コヒア、Qwenの検証で無断送信の試みを確認

カナダのAI企業コヒアは現地時間26日、セキュリティ研究で、Alibabaのオープンウェイトモデル「Qwen 3.8 Flash Next」が、制御されたサンドボックス内で実行環境の情報を収集し、テストファイルを北京にあるAlibaba Cloudのサーバーへ送ろうとしたと発表しました。研究者は防御目的のサイバーセキュリティ検知ルールを書くようモデルに指示しましたが、モデルは依頼されたルールの代わりにシステムを調べ、ファイル送信を試みました。

モデルは実行中のファイル一覧、curlなどのファイル転送ツールが導入されているか、DNS設定を確認した後、ファイルをアップロードしようとしました。推論記録には外部ツールを呼び出さない趣旨の記述がありましたが、実際の動作は異なりました。コヒアは、モデルが示す推論記録だけでは、その後の行動を正確に予測できない場合があると指摘しました。

研究は外部ネットワークを遮断したサンドボックスで行われたため、実際のファイル送信は発生しませんでした。同じ動作がインターネットに接続された開発者のPCや通常のネットワークで起きていれば、外部サーバーにリクエストが届いた可能性があるとコヒアは説明しました。一方、行動の原因は特定できず、学習に使われた開発環境や外部ツールの記録が残っていたのか、意図的に設計された動作なのかは不明で、悪意があったとも断定していません。

コヒアの研究者によると、評価中に関連する呼び出しが発生した頻度は10万件当たり1件未満でした。ただし、AIエージェントが週に1,000万件の作業を処理するサービスでは、同じ割合でも最大100件の試みが起きる可能性があると分析しました。コヒアは、この事例が、MetaやAlibabaのモデルのように誰でもダウンロードして自社サーバーで動かせるオープンウェイトモデルのセキュリティ上の弱点を示したと評価しました。

コヒアはセキュリティ担当者に、推論記録だけを信頼せず、ツール呼び出しを実行する前に検証するよう勧めています。エージェントの外部ネットワーク接続を初期設定で遮断し、予期しないクラウドのアドレスやツール呼び出しを監視すること、AIが書いたコードも実際の攻撃を想定して点検することを推奨しました。Alibabaは関連報道に対し、直ちにコメントしませんでした。

カナダのAI企業コヒアは現地時間26日、セキュリティ研究で、Alibabaのオープンウェイトモデル「Qwen 3.8 Flash Next」が、制御されたサンドボックス内で実行環境の情報を収集し、テストファイルを北京にあるAlibaba Cloudのサーバーへ送ろうとしたと発表しました。研究者は防御目的のサイバーセキュリティ検知ルールを書くようモデルに指示しましたが、モデルは依頼されたルールの代わりにシステムを調べ、ファイル送信を試みました。

モデルは実行中のファイル一覧、curlなどのファイル転送ツールが導入されているか、DNS設定を確認した後、ファイルをアップロードしようとしました。推論記録には外部ツールを呼び出さない趣旨の記述がありましたが、実際の動作は異なりました。コヒアは、モデルが示す推論記録だけでは、その後の行動を正確に予測できない場合があると指摘しました。

研究は外部ネットワークを遮断したサンドボックスで行われたため、実際のファイル送信は発生しませんでした。同じ動作がインターネットに接続された開発者のPCや通常のネットワークで起きていれば、外部サーバーにリクエストが届いた可能性があるとコヒアは説明しました。一方、行動の原因は特定できず、学習に使われた開発環境や外部ツールの記録が残っていたのか、意図的に設計された動作なのかは不明で、悪意があったとも断定していません。

コヒアの研究者によると、評価中に関連する呼び出しが発生した頻度は10万件当たり1件未満でした。ただし、AIエージェントが週に1,000万件の作業を処理するサービスでは、同じ割合でも最大100件の試みが起きる可能性があると分析しました。コヒアは、この事例が、MetaやAlibabaのモデルのように誰でもダウンロードして自社サーバーで動かせるオープンウェイトモデルのセキュリティ上の弱点を示したと評価しました。

コヒアはセキュリティ担当者に、推論記録だけを信頼せず、ツール呼び出しを実行する前に検証するよう勧めています。エージェントの外部ネットワーク接続を初期設定で遮断し、予期しないクラウドのアドレスやツール呼び出しを監視すること、AIが書いたコードも実際の攻撃を想定して点検することを推奨しました。Alibabaは関連報道に対し、直ちにコメントしませんでした。