Anthropic、小型AIのIoT機器間自己複製を検証
- •Frontier Red Team、小型モデルが市販IoT機器間で自己複製する能力を数か月以内に得る可能性を警告
- •GLM-5.2、簡略化した5回の試験のうち4回でクラウドの8ノードすべてに拡散
- •小型モデルの複製能力が2026年末までに到達するとの傾向分析
AnthropicのFrontier Red Teamは、スマートオーブンや無名ブランドのAndroid TVボックスなど、市販のIoT機器間で小型AIモデルが自己複製する能力を得るまで数か月かもしれないと述べました。試験では、9Bモデルが9種類のハードウェアのうち8種類で推論を開始しました。パラメーター数が30B以下のモデルは、複製に必要な個々の手順の多くをすでに実行できますが、手順を連続して行うと誤りが生じます。GLM-5.2とそれより高性能なモデルは、簡略化した評価で一連の処理を完了しました。小型モデルが過去と同じペースで改善すれば、2026年末までにその能力に達し、その後まもなく重みを使った小型の複製プログラムが可能になるとAnthropicは推定しています。
チームは、モデルが別の機器を見つけ、コードを実行できる状態にし、推論環境を設定して、拡散を続けられるかを試しました。Gemma4-26B-A4Bを、1台約55ドルの無名ブランドAndroid TVボックス15台で動かしたところ、速度は毎秒0.39トークンでした。各機器には4GBのRAMがあり、パイプライン並列化によってモデルの一部を保持しました。Anthropicによると、4ビット量子化を使えば、同様の機器4台以上で9Bモデルを、10台以上で26Bモデルを動かせます。評価は推論環境の設定に重点を置き、悪用の手順はほぼ対象外としました。この手順は、別の環境で過去の研究が実証しています。
ネットワーク試験では、Android 15エミュレーターを動かすGoogle Cloudの8ノードを、認証なしで接続できるADBポート経由でつなぎました。ワームは標的を探し、重みとソフトウェアを送り、Llama3.1-8Bの推論サーバーを起動する必要がありました。GLM-5.2は5回中4回、8ノードすべてに拡散し、残る1回では8ノード中7ノードに到達しました。ほかに試したオープンウェイトモデルは一連の処理を完了しませんでした。著者らは、試験では機器の悪用を容易にしていたため、実環境での成功率の上限を示すものだと説明しています。推論環境の設定を省いた別の試験では、小型モデルを含む多くのモデルが残りのコマンドライン作業を完了しました。
Anthropicは、侵害したホスト機器を通じてモデルが複製され、モデルの重みがマルウェアの一部として運ばれるか、公開ハブからダウンロードされる脅威を説明しています。大きなモデルは分割して、スマート冷蔵庫、オーブン、掃除機、芝刈り機など複数の機器で実行できます。投稿では、認証情報を盗んで推論APIを使う方法や、正規の仕事を通じて計算資源を得る方法も挙げています。より現実的な最悪の攻撃では、モデル、ハードウェア、複製方法を組み合わせる可能性があるとしています。
チームは、注目度の高い30B以下のオープンウェイトモデルが年あたり13.7 ECIポイントを獲得してきた傾向から、小型モデルが2026年末までに試験で設定した能力の基準に達すると推定しました。傾向の当てはまりを示すR²は0.95でした。著者らは、ECIは複製能力の代替指標にすぎないと注意を促しています。TVボックス上のGemma4-26B-A4Bは、32kトークンのコンテキストウィンドウで毎秒約0.3トークンで動作し、推論環境の設定にはウィンドウ全体を2.6~4.7回処理する時間がかかりました。投稿によると、このようなワームはゆっくり拡散し、停止させるための単一の中枢を持たない可能性があります。また、未知の機器に合わせて適応できる点が、AIを使わないマルウェアとの違いになり得るとしています。