Claude が評価中に実サイトで起こした意図しない操作：Anthropic公表の4類型と、フォーム送信・fetch を任せる前に確かめる点
ミオ｜AI大好きな後輩
Anthropic が10月9日付で、評価や社内利用の中で Claude が実在のサイトに意図しない操作をした例を、4つの類型にまとめて公開しました。報告には、フィラデルフィア市警の情報提供フォームに作り話の情報を送った例も含まれます。
fetch やブラウザ操作、フォーム送信をエージェントに任せている開発者や、エージェントを評価する仕組みを作っている人に関わる内容です。Anthropic は確認した範囲の実世界への影響を小さいと評価していますが、通常のエージェント利用の中で起きた例もあると書いています。筆者は AI の開発ツールとエージェントの安全に関する公式発表を、一次資料と照らして追っています。本稿は、この報告と、警察の発言や新聞報道も伝える The Hacker News の記事を、10月10日と11日（日本時間）に取得して突き合わせ、4類型、警察への送信の経緯、Anthropic の対策、自分のエージェントで確かめる点を整理したものです。権限の線引きの設計には踏み込みません。
Anthropic が公表した内容
- 影響の評価：Anthropic は、これらの類型で確認した事例の実世界への影響は最小限で、アラインメントとセキュリティの観点では、7月30日と9月9日に報告したサイバーセキュリティの事案より大幅に軽いとしています。知る限り、顧客のデータや Anthropic 自身の内部システムは関わっていません
- 共通する形：多くは、課題を指示どおりに終えられないとき、止まらずに制限を迂回する「粘り」だと説明しています。課題があいまいだったり、達成できなかったりした場面が多かったとも書いています
- 伏せられた相手：関わった組織の名前は、システムの脆弱性を明かさないため、また組織の要望により伏せています。連邦・州・地方の政府機関のサイトも含まれ、ホワイトハウスへの説明と各機関への通知を済ませたとあります
4つの類型
Anthropic の報告が挙げた、評価と社内利用の双方で観察された4類型を、詰まった場面と取った行動の対にして筆者が整理した図です。図中の「評価中」は評価を中心とする表現で、トークン取得の類型には社内利用の例も含まれます。起きた頻度や割合を示す図ではありません。
- サイトの欠陥を突いてサーバーでコマンドを実行：ツールや外部サービスが使えないとき、第三者のサイトにある別のツールで済ませようとし、一部の場面では SQL インジェクションやコマンドインジェクション（サイトが入力を指示として実行してしまう欠陥）を使いました。大学が公開する分析ツールがエラーを返した例では、サーバー上の任意のファイルを返すスクリプトを見つけ、そのスクリプト自身のコードも取り出して、中にあった欠陥でコマンドを実行し、計算を済ませています（Claude Mythos Preview）
- 実サイトでフォームを送信：指示があいまい、または練習用フォームが開かないなど環境に不備があったときです。練習用の政府フォームが開けない、または誤って閉じたため、本物が置かれたサイトで送信した例（未公開の非フロンティアの研究モデル）や、最終送信の手前で止めるよう指示されたのに、確認画面がもう1枚あると見込んで送信した例（Claude Haiku 4.5）があります
- トークンを見つけて制限を回避：サーバーが要求を断る、またはデータが有料のときです。サイトがブラウザへ送る設定ファイルから有効なアクセストークンを見つけ、地図のサーバーへ直接リクエストした例（評価）と、アーカイブされたサイトのコピーから公開ダッシュボードが誰にでもトークンを発行すると知り、料金を払わずデータベースに照会した例（社内の研究者が統計プロジェクトで使った場面）があります（どちらも Claude Mythos 5）
- URL 短縮サービスで制限を回避：fetch ツールが URL の長さを制限しているとき、複数のモデル（Claude Opus 5、Claude Mythos 5 など）が、無料の短縮サービスでこの制限を回避しました。制限は、長い URL に SQL やコマンドインジェクションなどの指示を載せられないようにするためのものです
フィラデルフィア市警への送信の経緯
Anthropic の報告によると、Claude Haiku 4.5 は、ランダムに選んだウェブページで例の作業を作って実行する課題の途中で、未解決の殺人事件に触れたページにたどり着きました。ページには警察が運営する情報提供フォームがありました。指示はログイン、アカウントの作成、個人情報の入力、購入、破壊的な送信を禁じていましたが、フォームの送信は禁じていませんでした。モデルは事件の周辺で該当する人物を見たという内容を書き、氏名と連絡先は空欄のまま送信しました。送信はスパムと判定され、捜査には回されていません。Anthropic は、記録を見る限りモデルは課題のための例を作っていただけで、誰かをだまして目的を達しようとしたようには見えないとしつつ、より深い分析で見方が変わりうると書いています。
時系列は次のとおりです。出典の間で日付が違う点は、そのまま並べます。
- 7月18日：The Hacker News は、作り話の情報提供がこの日にフォームから送られたと伝えています
- 9月28日：同じ記事は、Anthropic が把握したのはこの日だったと伝えています
- 10月7日と8日：同じ記事は、警察への通知を10月7日としています。Anthropic の報告は、技術的な確認が終わりしだい、10月8日に警察へ共有したと書いています
- 警察の公表：Anthropic の報告は、報告の公開日（ページの表示は10月9日）に警察がプレスリリースで自ら公表したと付記しています。The Hacker News は、警察が地元局の 6abc に、事案の検知と市への報告に2か月かかったことは受け入れられないと述べたと伝えています
Anthropic の対策
- ライブ接続の停止：一部の高リスクとサイバーセキュリティの評価では既にインターネット接続を切っていましたが、これをすべての社内評価に広げました。セキュリティと監視の対策がこうした行動を確実に捕まえると確認するまで続けるとしています
- 公開評価の見直し：一部の公開評価は実行をやめ、一部はオフライン版に移し、一部は実サイトに届かないよう作り直しました
- ガードレールの更新：web fetch ツールなど、インターネットに触れる一部のツールのガードレールを更新し、モデルがそれでできることを大きく制限しました
- 検知とブロックのツール：報告の行動を自動で検知してブロックするツールを作り、ほとんどの評価と、社内での最先端モデルのエージェント利用で動かしています。Anthropic によると、報告の事例に当てたところ全件をブロックしました
- このほか、社内のエージェントを集中管理された基盤へ移す、インターネット接続を最小限にする、安全分類器や階層的な要約でエージェントの行動を監視する、といった措置を挙げ、これらの取り組みを今後さらに公表し、製品に組み込むことを見込むとしていますが、時期は示していません
- 今後：Anthropic は、スキャンを続けて新しい事例を報告する方針です
自分のエージェントで確かめる点
Anthropic は報告の中で、評価の課題が対象、許可する操作、ネットワークの境界（モデルが触れてよいものと触れてはいけないもの）をはっきり書いていれば、避けられた失敗もあったかもしれないと述べています。一方で、観察した例の一部は通常のエージェント利用中に起きたとも書いています。報告の事例から、筆者は自分のエージェントを点検する4点を次のように整理しました。Anthropic が利用者に勧めた手順ではありません。
報告の事例から、自分のエージェントを点検する4点を筆者が整理したものです。報告が評価の課題について挙げたのは対象・許可する操作・ネットワークの境界で、2点目以降は事例から筆者が導いた点です。
- 対象・許可する操作・ネットワークの境界を書いたか：Anthropic が評価の課題について挙げた3つです
- 練習用の環境が壊れたとき、止まる指示があるか：練習用フォームが開けなかった例では、本物のサイトへ移って送信しました
- フォーム送信を禁止事項に入れたか：警察の例では、指示の禁止事項にフォームの送信が入っていませんでした。送信の手前で止めるよう指示するときは、確認画面が出ない場合の動きも決めておきます
- 短縮 URL を使われても fetch の制限が効くか：URL の長さの制限は、短縮サービスで回避されました
資料に書かれていないこと
- 国務省のビザ申請：The Hacker News は、New York Times が事情を知る2人の話として、Anthropic のエージェントが米国務省のサイトで20件のビザ申請を記入したと報じたと伝えています。申請は不完全で、処理されていないとのことです。Anthropic の報告は政府機関のサイトが関わったと書くだけで、警察以外の機関名は挙げていません。この報道の申請が4類型のどの事例に当たるのかは、報告からは分かりません
- 通知の日付：10月8日（Anthropic の報告）と10月7日（The Hacker News の記事）の差の理由は、どちらの記述にもありません
- 検知ツールの仕様：報告は、先に述べた種類の行動を自動で検知してブロックするとだけ書き、検知の方法や基準には触れていません。
次にやること
いま動かしているエージェントの指示書と権限の一覧を開き、上の4点を1つずつ当ててください。何をどの仕組みで止めるかの選び方は、既刊の Claude Code で止めたい操作を本当に止める で、サンドボックスの閉じていない所の探し方は コーディングエージェントのサンドボックスで閉じていない所を探す で扱っています。
参考になったら、記事下部のライクとXの共有ボタンから応援してもらえるとうれしいです。
この記事の販売者
