AI監査、判断の検証に苦戦
- •AIモデルは同じ質問に異なる回答を出すため、監査人による判断の検証が難航
- •697人のAI責任者を対象としたガートナー調査で、バイアス監視67%、正確性66%、方針64%が難しいと回答
- •PwCのジェニファー・コサーが説明責任の3層を提唱、各社はバイアスや正確性、ドリフトの追跡ツールを提供
2026年、監査人や最高情報責任者（CIO）は、AIの判断を検証するのに苦労しています。従来の監査手法は、予測可能な処理と人間による承認を前提としますが、大規模言語モデル（LLM）は同じ質問にも異なる回答を出すためです。AIエージェントは融資申請の審査、在庫評価、財務諸表の数値形成を担い、ITや業務システムとも連携していますが、既存の監査モデルはこうした変動を想定していません。ガートナーのアナリスト、ローレン・コルヌティックは、反復可能性に依存する監査の枠組みよりAIの進歩が速いと述べました。
従来の監査証跡は活動や出来事を記録しますが、プロンプトのログとモデル出力で分かるのは、システムに入力された内容と出力された内容だけです。その間の処理や結果の信頼性は示されません。PwC米国のAI保証責任者ジェニファー・コサーは、後から記録を再構成するのではなく、システムの稼働中に記録を作成し、保管すべきだと述べました。KPMGの監査パートナー、マイク・ソーヤーは、AI監査では業務でのAIの使われ方、モデルへの入力情報、出力の生成・利用方法、組織の依存度を調べる必要があると話しました。
技術部門と財務部門がシステムの異なる部分を理解していても、それらをつなぐ記録がなければ監督は機能しなくなります。ガートナーが2026年に697人のAI責任者を対象に実施した「AIガバナンス調査」では、バイアスと公平性の監視を「非常に難しい」または「やや難しい」とした事業責任者は67%、出力の正確性を確保する仕組みは66%、責任あるAIの方針は64%でした。コルヌティックは、モデルの性能が時間とともに変化するドリフト、バイアス監視、出力の正確性といったAI固有の管理策には、確立された手引きがないと述べました。また、生成AIはプロンプトから回答までの段階的な経路を示さず、入力をすべて管理しても予測可能な出力は保証できないと説明しました。
組織は、どれだけの情報を収集し、保管するかを決める必要があります。モデルの利用時の応答記録であるリアルタイム推論ログは高コストなため、最もリスクの高いシステムだけを継続監視し、ほかは特定時点の監査にとどめる組織もあります。その場合、可視性が低下し、外部規制に違反した状態になる可能性があります。コルヌティックは、追跡可能性とデータ保管は主に法的要因に根ざすとして、十分な事前調査とリスク軽減策を勧めました。ソーヤーは、妥当性を説明できるAI監査には、使用したデータ、出力の評価方法、確認者、最終判断への影響を記録する必要があると述べました。
コサーは説明責任を3層で構成する案を示しました。システム設計、リスク、管理策を評価し、リスクの変化に応じて定期的に判断を見直し、最初の2層が適切に機能したかを独立して確認するというものです。判断、テスト、承認、例外、変更の記録は可視性を高め、費用のかかる事後調査を減らせます。関連製品には、旧AuditBoardのOptro、TeamMate、Workiva、Archerのほか、バイアス、正確性、ドリフトを追跡するCredo AI、IBM watsonx.governance、Holistic Aiがあります。コサーは、事業部門がすでに使う企業向けソフトにAI機能が加わっており、従来の管理策が機能しなくなる可能性があると述べました。コルヌティックはCIOに監査の責任を担うよう促し、ソーヤーはAI監査への備えを事業能力と位置づけました。