AIの記憶参照精度を向上させる新ロジックゲート
- •AIエージェントの記憶とルール引用精度を高めるため、決定論的な「リレーション・スパン」ゲートが導入された。
- •新ゲートはLlama 3.2の誤検知を5件から1件に削減し、Sonnetでも9件中9件の引用捕捉率を維持した。
- •文法的に正しいものの、実際のルール変更を反映していない文を引用と誤認する「近接トラップ」の制限が残存している。
開発者がAIエージェントの記憶更新プロセスと引用精度を向上させるため、新たな決定論的ゲートを実装した。これはAIによる管理ルールの誤解釈を防ぐことを目的としており、ルール変更の引用には変更を示すキーワードとルールの適用範囲が同一文内に存在することを求める「リレーション・スパン」条項を追加した。テストに先立ち、著者は公開リポジトリを立ち上げ、予測結果や合格・不合格の基準、および新機能が回避できないと予測される「近接トラップ」と呼ばれる既知の失敗パターンを公表した。
23ケースのテストランにおける測定の結果、誤検知の大幅な低減が確認された。Llama 3.2モデルでは誤検知が5件から1件に減少した。より強力なClaude Sonnetモデルにおいても誤検知は1件に留まり、テキストの引用捕捉率では9件中9件の成功を維持した。この結果から、新システムが正確な引用を損なうことなく、誤った引用形式を効果的に遮断できることが示された。しかし、変更キーワードや範囲を示す用語が含まれていても、論理的に妥当な置き換えが成立していない場合にAIが文法構造に基づいてルール変更を誤認する「近接トラップ」の問題は依然として残存している。
著者はv2システムの設計、特に「ストロング・バインド」と「プロキシミティ・バインド」の区別について、マイク・チェルウィンスキー（Mike Czerwinski、AI研究者）からの協力的なフィードバックを挙げている。v2アップデートはAIの誤りタイプを制限するが、変更キーワードの引数が試行中の2つのルールを具体的に結びつけているかを確認するという、引数解決の根本的な課題は解決していない。著者はテストスイートと実験のコミット履歴を公開しており、現在「近接」問題として分類されているこの制限は、将来のバージョンにおける主要な開発課題となる見込みである。