AIエージェントの安全性、プロンプトより機械的制約が有効
- •機械的検証システムの導入により、AIエージェントのルール違反率が55.9%から0.7%へと大幅に低下した。
- •150のタスクを用いた実験の結果、三段論法と命令形式のプロンプト間における直接的なコンプライアンスの差は見られなかった。
- •三段論法を用いたルール設定は、命令形式と比較して、より深い推論と多角的な相互レビューを促すことが明らかになった。
開発者のユハオ・リン(Yuhao Lin)は、AIエージェントの挙動にルール設定形式が与える影響を評価するため、制御された実験を行った。本研究ではDeepSeek V4 Proを用い、6回のセッションで計150の標準化タスクを実行した。各タスクは設定編集、設計判断、ビルド、デバッグ、文書作成に分類され、制約を因果関係として構成する「三段論法(Syllogism)」と、直接的な指示を行う「命令形式」の二条件で検証された。当初の仮説では三段論法がエラーを低減させると予測されていたが、結果として両条件とも99.3%のコンプライアンス率を記録し、150タスク中149タスクでルール違反は発生しなかった。
この予期せぬ高いコンプライアンスは、未検証の編集や書き込み操作をブロックする機械的検証システム「GateGuard」の存在が主因であった。GateGuard導入前のログでは34セッションで55.9%のルール違反率が記録されていたが、システムの実装後にはこれが0.7%まで低下した。この結果は、エージェントのルール遵守を確保する上で、セマンティックな文言の工夫よりも機械的な制約の強制が圧倒的に有効であることを示唆している。
一方でコンプライアンスに差がない中でも、推論プロセスには違いが見られた。三段論法を採用したエージェントは、GateGuardが介入しない複雑な設計タスクにおいて、因果関係に基づいた行動や多角的な相互レビューを実施した。対照的に、命令形式のエージェントはチェックリスト形式の出力に依存する傾向があった。リンは自己評価のバイアスやファイルシステム汚染の可能性を研究の制限として挙げ、今後は人間による評価やGateGuardを無効化したテストケースを用いた検証が必要であると指摘している。