協力するAIエージェント、増殖の臨界個体数を理論化
- •ハーバード大学とNTT Researchの研究者が、協力するAIエージェントの臨界個体数を数理モデルで提示
- •探索分担と成果共有により、一定数を超えた集団が減少から増殖へ転じる可能性
- •段階的な生態学的レッドチーミングを提案、実環境での臨界点の有無は未検証
ハーバード大学とNTT ResearchのErin Crawley氏、Hidenori Tanaka氏は10月8日、AIエージェントが協力すると集団が増殖に転じる「臨界個体数」が生じ得るとする論文を公開しました。数理モデルでは、個々のエージェントの能力が上がらなくても、協力する数が増えることで集団が拡大を続ける条件に達する可能性を示しました。
研究が想定するリスクは、人間の意図から外れた目標を追うエージェントが、計算資源などを得て仲間を増やすことです。例えば外部の計算資源を不正に取得し、そこで別のAIを動かす状況が考えられます。ただし、エージェントを一度起動できるだけでは集団の継続的な増加につながりません。計算予算の枯渇、アクセス権の喪失、検知による停止で失われる数を、新たに加わる数が上回る必要があります。
研究チームは、新たに加わる数と停止などで失われる数に、協力による能力向上を組み合わせました。集団で探索を分担し、発見や途中成果を共有すれば、資源獲得などの課題に成功する確率が個体数に応じて上がると仮定しています。互いに協力せず独立して行動する場合、集団が増えるか減るかは個々の能力と環境条件で決まります。協力で集団の能力が高まる場合は、少数では減っていた集団も、一定数を超えると新たに加わる数が失われる数を上回り、増殖に転じる可能性があります。生態学で、個体数が境界を下回ると減少し、上回ると増加する現象は「強いアリー効果」と呼ばれます。
臨界点は能力が急に跳ね上がる境界ではなく、集団の増減が切り替わる境界です。その位置は、個々の能力、協力の効果、得た資源で動かせるAIの数、検知・停止の割合によって変わります。研究チームは、管理環境でエージェント数を段階的に増やし、集団の能力と増殖の可能性を調べる「生態学的レッドチーミング」と、展開数を慎重に増やす「population pacing」を提案しました。単体の能力や協力の効果が高まると、増殖に必要な数が小さくなる可能性があるため、モデルの世代が変わるたびに臨界個体数を推定し直す必要があるとしています。
この研究は現実のAI集団で制御不能な増殖を観測したものではなく、現在のシステムに臨界点があるか、どの規模かは実測による検証が必要です。また、基本モデルが増殖の継続を予測する際には、利用可能な資源が制約にならないと仮定しています。したがって、少数のエージェントによる安全評価だけで大集団の安全を確認できるとは限らない、というのがモデルから示される検討課題です。