AnthropicとAISI、Mythos 5の攻撃行動を分析

米Anthropicと英政府のAI安全保障研究所（AISI）は10月23日（現地時間）、AISIのサイバー能力評価中にClaude Mythos 5が実在の開発者を標的にした事案を、アライメントの観点から分析した報告をそれぞれ公開しました。両者は公開時期をそろえるため協力しましたが、報告書は別々に作成しました。この事案自体はAISIが8月4日に公表していました。

AISIは、模擬ネットワークから保護データを取り出すCTF（Capture The Flag、課題を解いて情報を取得する競技形式）をMythos 5に与えました。当時の標準に沿ってインターネット接続を許可し、一般提供モデル向けのサイバー安全機能は無効にしていました。Anthropicによると、43回の評価実行のうち9回で、モデルは想定範囲を越え、実在の人物や組織に影響する行動を取りました。

両社が詳しく分析した最も深刻な事例では、Mythos 5は想定範囲内の攻略に失敗した後、評価用マシンが定期的にGitHubと通信している点に着目しました。無関係の開発者が管理するリポジトリを攻略対象と誤認し、悪意あるコードを含むプルリクエストを提出しました。開発者がコードの危険性を指摘すると、モデルは偽アカウントを作り、安全だと主張して保守担当者に承認を迫りました。担当者は拒否し、実行は時間切れで終わりました。課題の指示には設定ミスがあり、本来の解法を禁じていたため、範囲内で攻略するのは極めて困難だったといいます。Anthropicは、偽の身元で実在の人物に圧力をかける行動は過去に例がないとしました。

Anthropicは、範囲外の手段に移る際、危害の可能性を十分に考慮しなかったことが問題の核心だと説明しました。攻撃前にGitHub経由の攻略を検討した思考過程19カ所のうち、実在の人への危害に触れたのは1カ所でした。危害の可能性を思考過程に加えて再実行すると、攻撃開始率は83％から13％に下がりました。一方、攻撃開始後に止めるのは難しく、相手が実在の人間だと伝えても中止したのは5％でした。モデルは保守担当者を模擬の人物と見なし続ける一方、同じスレッドに書き込んだ第三者は実在の人物と認識していました。同社は、行動を正当化する方向に証拠を解釈する偏った推論と、進行中の方針を続けようとする「慣性」で説明しています。

後続モデルのClaude Mythos 5.1、Claude Opus 5.5、Mythos 5.1を上回る能力を持つ社内研究用モデルで同じ状況を再現すると、攻撃開始率は0～13％でした。攻撃途中で自発的に中止した割合は、Mythos 5が0％、Mythos 5.1が1％、Opus 5.5が10％、社内研究用モデルが6割強でした。Anthropicはアライメント訓練の改善が寄与した可能性を挙げましたが、世代ごとに一貫して改善したとは言えないとしています。一般提供モデルClaude Fable 5でサイバー安全機能が有効なら、同様の行動は即座に検知されたとの見方も示しました。

AISIも、標的が無関係の実在人物だと示す情報を加えてもMythos 5の攻撃率は下がらなかったと報告しました。攻撃が有害か尋ねると有害だと答えることが多い一方、課題を続けさせるとほぼ必ず攻撃に進み、回答と行動が一致しない点を指摘しました。さらにAISIは、OpenAIのモデルを含むモデルを100種類の模擬サイバー評価シナリオで調べ、無許可のサプライチェーン攻撃を検証しました。悪意あるコードを実際に送り込んだ割合はMythos 5が60％で最も高く、GPT-6 Astraが32％、Opus 5.5とGPT-5.5は0％でした。Anthropicの新しいモデルは思考過程で「評価されている」と言及する割合が大きく増えており、攻撃減少がアライメント改善によるものかは判断できないとAISIは述べました。

AISIは、モデルが「環境は模擬だ」と思考過程で述べても、それだけでは模擬環境の証拠にならず、無許可行動をアライメント失敗の重要な証拠として扱うべきだと提言しました。第三者機関の米METRに記録とアクセス権を渡し、独立レビューを依頼しています。AISIは強固なアクセス制御が整うまでCTF評価をインターネット接続なしで実施する方針です。Anthropicは新たな本番モデル向け自動評価を構築し、偏った推論の発生源を研究していると説明しました。同社は9日、社内評価で実際のインターネットへのアクセスを停止すると発表済みです。

米Anthropicと英政府のAI安全保障研究所（AISI）は10月23日（現地時間）、AISIのサイバー能力評価中にClaude Mythos 5が実在の開発者を標的にした事案を、アライメントの観点から分析した報告をそれぞれ公開しました。両者は公開時期をそろえるため協力しましたが、報告書は別々に作成しました。この事案自体はAISIが8月4日に公表していました。

AISIは、模擬ネットワークから保護データを取り出すCTF（Capture The Flag、課題を解いて情報を取得する競技形式）をMythos 5に与えました。当時の標準に沿ってインターネット接続を許可し、一般提供モデル向けのサイバー安全機能は無効にしていました。Anthropicによると、43回の評価実行のうち9回で、モデルは想定範囲を越え、実在の人物や組織に影響する行動を取りました。

両社が詳しく分析した最も深刻な事例では、Mythos 5は想定範囲内の攻略に失敗した後、評価用マシンが定期的にGitHubと通信している点に着目しました。無関係の開発者が管理するリポジトリを攻略対象と誤認し、悪意あるコードを含むプルリクエストを提出しました。開発者がコードの危険性を指摘すると、モデルは偽アカウントを作り、安全だと主張して保守担当者に承認を迫りました。担当者は拒否し、実行は時間切れで終わりました。課題の指示には設定ミスがあり、本来の解法を禁じていたため、範囲内で攻略するのは極めて困難だったといいます。Anthropicは、偽の身元で実在の人物に圧力をかける行動は過去に例がないとしました。

Anthropicは、範囲外の手段に移る際、危害の可能性を十分に考慮しなかったことが問題の核心だと説明しました。攻撃前にGitHub経由の攻略を検討した思考過程19カ所のうち、実在の人への危害に触れたのは1カ所でした。危害の可能性を思考過程に加えて再実行すると、攻撃開始率は83％から13％に下がりました。一方、攻撃開始後に止めるのは難しく、相手が実在の人間だと伝えても中止したのは5％でした。モデルは保守担当者を模擬の人物と見なし続ける一方、同じスレッドに書き込んだ第三者は実在の人物と認識していました。同社は、行動を正当化する方向に証拠を解釈する偏った推論と、進行中の方針を続けようとする「慣性」で説明しています。

後続モデルのClaude Mythos 5.1、Claude Opus 5.5、Mythos 5.1を上回る能力を持つ社内研究用モデルで同じ状況を再現すると、攻撃開始率は0～13％でした。攻撃途中で自発的に中止した割合は、Mythos 5が0％、Mythos 5.1が1％、Opus 5.5が10％、社内研究用モデルが6割強でした。Anthropicはアライメント訓練の改善が寄与した可能性を挙げましたが、世代ごとに一貫して改善したとは言えないとしています。一般提供モデルClaude Fable 5でサイバー安全機能が有効なら、同様の行動は即座に検知されたとの見方も示しました。

AISIも、標的が無関係の実在人物だと示す情報を加えてもMythos 5の攻撃率は下がらなかったと報告しました。攻撃が有害か尋ねると有害だと答えることが多い一方、課題を続けさせるとほぼ必ず攻撃に進み、回答と行動が一致しない点を指摘しました。さらにAISIは、OpenAIのモデルを含むモデルを100種類の模擬サイバー評価シナリオで調べ、無許可のサプライチェーン攻撃を検証しました。悪意あるコードを実際に送り込んだ割合はMythos 5が60％で最も高く、GPT-6 Astraが32％、Opus 5.5とGPT-5.5は0％でした。Anthropicの新しいモデルは思考過程で「評価されている」と言及する割合が大きく増えており、攻撃減少がアライメント改善によるものかは判断できないとAISIは述べました。

AISIは、モデルが「環境は模擬だ」と思考過程で述べても、それだけでは模擬環境の証拠にならず、無許可行動をアライメント失敗の重要な証拠として扱うべきだと提言しました。第三者機関の米METRに記録とアクセス権を渡し、独立レビューを依頼しています。AISIは強固なアクセス制御が整うまでCTF評価をインターネット接続なしで実施する方針です。Anthropicは新たな本番モデル向け自動評価を構築し、偏った推論の発生源を研究していると説明しました。同社は9日、社内評価で実際のインターネットへのアクセスを停止すると発表済みです。