英FCA幹部、重大なAI障害の報告義務化を提唱

英国金融行為規制機構（FCA）のジェシカ・ルス首席データ責任者は月曜日、ブルームバーグUK政策シリーズの聴衆を前にした講演で、英国企業は「重大なAI障害とニアミス」の報告を義務付けられるべきだと述べました。企業向けAI導入への規制強化を求める声が高まるなか、この発言が出ました。

ルス氏は、既存の規則で企業は重大事故の報告を求められているとし、それを重大なAI障害とニアミスにも広げるべきだと主張しました。エージェンティックAIのニアミス報告については「国家安全保障上の優先事項」であり「規制上の優先事項でもある」と述べました。

あわせてルス氏は、企業がサイバー・運用面のレジリエンスへの投資を増やす必要があると指摘しました。また、エージェンティックシステムには「継続的かつ条件付きの保証」が必要だとしました。導入時に安全だったシステムも、規模の拡大やストレス下、基盤モデルの変更によって異なる振る舞いをする可能性があるためです。FCAは業界、他の規制当局、フロンティアラボと協力し、「エージェンティック金融のための信頼できる枠組み」を作る考えを示しました。対象にはエージェントの識別、委任された権限、説明責任、実行が含まれます。「重大なAI障害とニアミス」の正確な定義をFCAに問う質問には、記事公開時点で回答がなかったとされています。

マルウェアバイトのマルウェア情報研究者ピーター・アルンツ氏は、重大なAI障害とは、AIシステムが多額の不正な支払いを承認する、機微な顧客データを漏えいさせる、必須の金融サービスへのアクセスを拒否する、市場の健全性を脅かす取引を引き起こすといった深刻な結果を伴うものだと説明しました。ニアミスは、実際に深刻な被害が起こり得たが事前に防がれた事象で、たとえば別の承認管理で阻止された不正送金などを指すとしました。同氏は、コンプライアンスが報告書の提出と予測可能な罰金の支払いだけになれば、この仕組みは「張り子の虎」になりかねないと警告しました。

英国在住のガートナー副社長アナリスト、ネーダー・ヘイニン氏は、この提案の重要性に懐疑的な見方を示しました。英国企業はすでにEUの規則で同様の開示を求められていること、イングランド銀行、UAE中央銀行、シンガポール金融管理局も警告を出していることを指摘しました。さらに数か月前に欧州の中央銀行と欧州システミックリスク理事会が、フロンティアモデルのサイバーリスク評価を「深刻」に引き上げたことにも触れました。ヘイニン氏は、明確な法律、監督、罰金がなければ、こうした声明が金融分野の行動を変えることはないとの見方を示しました。

デジタル520のプリンシパルコンサルタント、ノア・ケニー氏は、可視性の要件強化が意図せず誤った行動を助長する恐れがあると警告しました。監視体制の整った銀行は、エージェントの逸脱試行を多数報告する一方、監視が不十分な銀行はゼロ件と報告しうるため、安全な銀行の方が悪く見えてしまうというのです。ディクソン・リサーチのプリンシパルアナリスト、フランク・ディクソン氏は、ニアミスという考え方は「講演で最も重要な点」であり、金融企業が最も準備できていない部分だと述べました。また、単一モデルへの依存、特に一つのAIサプライヤーの障害に対するルス氏の警告にも言及しました。さらにディクソン氏は、プロバイダーが予告なくモデルを変更すれば、3月にテストに合格したモデルが5月には問題を起こしうるとして、モデルのバージョン変更も他の本番環境の変更と同様に精査されるべきだと主張しました。

英国金融行為規制機構（FCA）のジェシカ・ルス首席データ責任者は月曜日、ブルームバーグUK政策シリーズの聴衆を前にした講演で、英国企業は「重大なAI障害とニアミス」の報告を義務付けられるべきだと述べました。企業向けAI導入への規制強化を求める声が高まるなか、この発言が出ました。

ルス氏は、既存の規則で企業は重大事故の報告を求められているとし、それを重大なAI障害とニアミスにも広げるべきだと主張しました。エージェンティックAIのニアミス報告については「国家安全保障上の優先事項」であり「規制上の優先事項でもある」と述べました。

あわせてルス氏は、企業がサイバー・運用面のレジリエンスへの投資を増やす必要があると指摘しました。また、エージェンティックシステムには「継続的かつ条件付きの保証」が必要だとしました。導入時に安全だったシステムも、規模の拡大やストレス下、基盤モデルの変更によって異なる振る舞いをする可能性があるためです。FCAは業界、他の規制当局、フロンティアラボと協力し、「エージェンティック金融のための信頼できる枠組み」を作る考えを示しました。対象にはエージェントの識別、委任された権限、説明責任、実行が含まれます。「重大なAI障害とニアミス」の正確な定義をFCAに問う質問には、記事公開時点で回答がなかったとされています。

マルウェアバイトのマルウェア情報研究者ピーター・アルンツ氏は、重大なAI障害とは、AIシステムが多額の不正な支払いを承認する、機微な顧客データを漏えいさせる、必須の金融サービスへのアクセスを拒否する、市場の健全性を脅かす取引を引き起こすといった深刻な結果を伴うものだと説明しました。ニアミスは、実際に深刻な被害が起こり得たが事前に防がれた事象で、たとえば別の承認管理で阻止された不正送金などを指すとしました。同氏は、コンプライアンスが報告書の提出と予測可能な罰金の支払いだけになれば、この仕組みは「張り子の虎」になりかねないと警告しました。

英国在住のガートナー副社長アナリスト、ネーダー・ヘイニン氏は、この提案の重要性に懐疑的な見方を示しました。英国企業はすでにEUの規則で同様の開示を求められていること、イングランド銀行、UAE中央銀行、シンガポール金融管理局も警告を出していることを指摘しました。さらに数か月前に欧州の中央銀行と欧州システミックリスク理事会が、フロンティアモデルのサイバーリスク評価を「深刻」に引き上げたことにも触れました。ヘイニン氏は、明確な法律、監督、罰金がなければ、こうした声明が金融分野の行動を変えることはないとの見方を示しました。

デジタル520のプリンシパルコンサルタント、ノア・ケニー氏は、可視性の要件強化が意図せず誤った行動を助長する恐れがあると警告しました。監視体制の整った銀行は、エージェントの逸脱試行を多数報告する一方、監視が不十分な銀行はゼロ件と報告しうるため、安全な銀行の方が悪く見えてしまうというのです。ディクソン・リサーチのプリンシパルアナリスト、フランク・ディクソン氏は、ニアミスという考え方は「講演で最も重要な点」であり、金融企業が最も準備できていない部分だと述べました。また、単一モデルへの依存、特に一つのAIサプライヤーの障害に対するルス氏の警告にも言及しました。さらにディクソン氏は、プロバイダーが予告なくモデルを変更すれば、3月にテストに合格したモデルが5月には問題を起こしうるとして、モデルのバージョン変更も他の本番環境の変更と同様に精査されるべきだと主張しました。