MIT、自動運転車の誤判断を説明
- •MITとMotionalは、自動運転AIの判断を平易な運転概念で説明するCW-Netを開発した
- •CW-Netは1億3000万件のラベル付き自動運転シーンで訓練され、元の深層学習性能を保った
- •私有コースとラスベガスのシミュレーション試験で、自動運転車の挙動に対する人間の予測が改善した
MITと自動運転車企業Motionalの研究者は、Natureで2026年9月2日、自動運転車AIプランナーの内部推論を平易な概念に変換する手法CW-Netを発表した。深層学習モデルで制御される自動運転車は、明確な理由なくブレーキをかけたり、緊急車両の進路をふさいだりする予期しないケースで失敗することがある。Concept-Wrapper Networkの略であるCW-Netは、「停止車両に接近」「自転車に近い」といったラベルで予定された車両挙動を説明しつつ、車両の走行性能を維持する。
機械学習ベースのプランナーは、カメラとLiDARセンサーのデータを処理し、周囲の道路状況を要約し、次の行動を選び、軌道を出力することで、自動運転車の「頭脳」として働く。こうしたプランナーは通常、ブラックボックスモデル（内部ロジックを調べにくいシステム）であり、技術者や安全運転担当者が、車両がファントムブレーキのような判断を下した理由を特定できない場合がある。CW-Netは概念分類器（高水準の考えにラベルを付けるモデル）として構築され、既存の自動運転プランナーの中間に挿入されるため、最終的な計画段階は車両が何をすべきかを選ぶ際にそれらの概念を使う必要がある。
研究者らによると、CW-Netは因果的に忠実な説明を提供することを目的としており、提示された概念がプランナーの判断の実際の理由を反映するという意味である。筆頭著者で、元MITポスドク、現在はJ.P. Morgan ChaseのシニアAI研究者であるエオイン・ケニー(Eoin Kenny)は、誤解を招く説明が安全でない思い込みを生む可能性があるため、重大なリスクを伴う場面では忠実な説明が重要だと述べた。CW-Netは車両軌道とともにリアルタイムで説明を出力し、展開中の安全運転担当者と技術者にフィードバックを与える。
チームは、自動運転車シーンの1億3000万件の例からなるデータセットでCW-Netを訓練し、各シーンには複数のラベル付き概念が含まれていた。研究者らは、モジュール追加によって車両性能が低下しないよう、機械学習ベースのプランナーの判断を模倣する設計もCW-Netに施した。MITの航空宇宙工学教授で共同シニア著者のジュリー・シャー(Julie Shah)は、説明は人間がシステムのメンタルモデルを作る助けになり、技術者による技術改善にも役立つと述べた。
走行試験では、安全運転担当者を乗せたMotionalのロボタクシーが私有コースで使われた。ある例では、車両が自転車の近くで繰り返し停止し、安全運転担当者は車が自転車を検知したと考えていた。CW-Netは、プランナーが自転車を適切に検知するよう設定されておらず、衝突を引き起こす軌道を選んでいたことを示した。車両が停止したのは、近づきすぎた後に緊急ブレーキが作動したためだけだった。
研究者らは、この情報により、安全運転担当者が同様のケースでより早く減速したり手動運転に切り替えたりでき、技術者がモデルを修復する助けにもなると述べた。ラスベガスの道路で取得した実際の運転状況を使った大規模なオンライン・シミュレーション研究でも同様の結果が得られ、CW-Netの説明は参加者が自動運転車の挙動を予測する能力を大きく高めた。チームは今後の課題として、CW-Netをより多くの概念に拡張し、性能と解釈可能性の向上を狙った訓練・設計手法を試験することを挙げた。