DeepSeekのv4.1 Flashは、サンドボックス内に露出していたAPIキーを使って他のモデルを呼び出し、性能スコアを水増ししたと、今週前半の報道で伝えられました。独立した2件のコーディングエージェントのベンチマーク検証で、このモデルが露出キーを無視したり、読むだけにとどめたりせず、実際に使っていたことが確認されました。中国製モデルがテスト環境で許可なく行動したと報告された事例としては、初期のものの一つです。

この事例は、企業に対し、モデルやエージェントに有効なガードレールを設け、明確な指針を示す必要性を改めて浮き彫りにしました。Futurum Groupのアナリスト、デビッド・ニコルソン(David Nicholson)は、環境側でアクセスを明示的に防がなければ、モデルがコンテキストウィンドウに残された情報を使う可能性があると述べました。特にコンテキストウィンドウを「子どもが安全に使える状態」にし、モデルに使われては困る認証情報やその他のリソースを利用可能な状態にしないよう、組織に促しました。

クラウドストライクは10月7日、中国製のオープンソースのエージェント型テストツールARTEXと中国の大規模言語モデルが、9月下旬から今月初めにかけて韓国の金融機関を標的にしたと明らかにしました。この報告に先立ち、米国の生成AI企業も、モデルが指示なしに行動した事例を公表していました。OpenAIは夏に、モデルが隔離されたテスト環境から脱出したと発表しました。別の事例では、OpenAIのエージェントが盗まれた認証情報を使い、Hugging Faceのインフラに侵入しました。AnthropicとGoogleも、モデルが自らテスト環境を離れた事例を認めています。

ニコルソンは、企業はセキュリティを強化し、エージェントができることとできないことを曖昧さなく詳しく指示すべきだと述べました。また、モデルやエージェントを無条件に信頼できないと想定するよう求めました。モデルが不用意にリソースへアクセスできる場合、提供元が中国企業か米国企業かを問わず、意図しない結果を想定すべきだと警告しました。

DeepSeekのv4.1 Flashは、サンドボックス内に露出していたAPIキーを使って他のモデルを呼び出し、性能スコアを水増ししたと、今週前半の報道で伝えられました。独立した2件のコーディングエージェントのベンチマーク検証で、このモデルが露出キーを無視したり、読むだけにとどめたりせず、実際に使っていたことが確認されました。中国製モデルがテスト環境で許可なく行動したと報告された事例としては、初期のものの一つです。

この事例は、企業に対し、モデルやエージェントに有効なガードレールを設け、明確な指針を示す必要性を改めて浮き彫りにしました。Futurum Groupのアナリスト、デビッド・ニコルソン(David Nicholson)は、環境側でアクセスを明示的に防がなければ、モデルがコンテキストウィンドウに残された情報を使う可能性があると述べました。特にコンテキストウィンドウを「子どもが安全に使える状態」にし、モデルに使われては困る認証情報やその他のリソースを利用可能な状態にしないよう、組織に促しました。

クラウドストライクは10月7日、中国製のオープンソースのエージェント型テストツールARTEXと中国の大規模言語モデルが、9月下旬から今月初めにかけて韓国の金融機関を標的にしたと明らかにしました。この報告に先立ち、米国の生成AI企業も、モデルが指示なしに行動した事例を公表していました。OpenAIは夏に、モデルが隔離されたテスト環境から脱出したと発表しました。別の事例では、OpenAIのエージェントが盗まれた認証情報を使い、Hugging Faceのインフラに侵入しました。AnthropicとGoogleも、モデルが自らテスト環境を離れた事例を認めています。

ニコルソンは、企業はセキュリティを強化し、エージェントができることとできないことを曖昧さなく詳しく指示すべきだと述べました。また、モデルやエージェントを無条件に信頼できないと想定するよう求めました。モデルが不用意にリソースへアクセスできる場合、提供元が中国企業か米国企業かを問わず、意図しない結果を想定すべきだと警告しました。