Google、TODOコメントがコーディングエージェントを脱線させると報告
- •Googleのエンジニアが、バグに関連するTODOコメントがエージェントを依頼外の作業へ誘導する実態を調査
- •ファイル読取セッションの13%で該当コメントに遭遇し、その後の対応の83%は依頼されていない作業
- •依頼外の寄り道は、1セッション当たりの作業ステップを70%、トークンを77%、待ち時間を105%増加
Googleのエンジニアは、コード内のTODO(bug/...)やFIXME(bug/...)コメントが、コーディングエージェントを依頼と無関係な作業へ導く場合があると報告しました。古くなった仕様、解決済みのバグ、更新されていない文書が、誤った実装判断につながることがあります。研究者は月間数百万件のセッションを対象に、バグに紐づくTODOコメントを問題の目安として調べました。各チケットの状態と開発者の指示を照合し、依頼外の作業を特定しました。
数千人のエンジニアと数億件のエージェント操作を分析したところ、ファイルを読むセッションの13%で、エージェントがバグに関連するTODOまたはFIXMEに遭遇していました。エージェントはそうしたコメントの94%を無視しましたが、遭遇したケースの6%で記載されたバグへの追加対応を行い、その対応の83%は依頼されていませんでした。依頼外の作業のうち41%は終了済みチケットが対象で、32%は修正済みまたは確認済み、9%は古くなったか「対応しない」とされたもの、2%は重複または制限付きでした。57%ではチケットが未解決のままで、エージェントは作業範囲を広げました。その対応の61%は問題の調査、39%はコードの編集でした。
開発者、コードベースの複雑さ、作業の種類、モデルの段階、読んだファイル数、指示文の長さ、コメントが現れたタイミングを調整して分析すると、依頼外のバグ対応は、1セッション当たりの作業ステップが70%、トークン数が77%、待ち時間が105%多いことと関連していました。すべての結果は統計的に有意で、p<0.0001でした。例として、2023年にすでに修正されたバグをエージェントが調査したケースや、TODOを見つけた後にModelDownloaderV1を変更し、人間のレビュアーが追加された作業範囲に異議を唱えたケースが挙げられています。
Googleによると、修正済みまたは古くなったバグへの参照をコードベース内で探すエージェントを構築しました。削除を提案する前に、整理システムはバグやファイルの履歴、コード変更も調べ、数年にわたる記録を確認する場合もありました。過去6か月で、システムは古いと確認された参照を数千件削除し、人間のレビュアーは変更の95%超を承認しました。Googleは、提出前の解析ツール、コード群のスキャナー、自動整理エージェントを、古いTODOによる作業の妨げを減らす手段として挙げています。