行政機関にAI導入前のデータ監査を提言

行政機関はAIツールの導入前に、業者やセキュリティ、調達、職員研修を確認する一方、利用するデータの監査は十分でないことがあります。試験運用から本番環境へ移ると、誤りはテスト内にとどまらず住民に影響します。記事はミシガン州の自動失業給付不正判定システムの州審査を例に挙げています。審査対象の判定は2万件を超え、誤り率は93％でした。このシステムは現在のAIではありませんが、自動化によって見えにくい前提や不適切なデータが大規模に広がる可能性を示す事例です。

Government Technologyの寄稿者、スマンス・クマール・ガッデは、行政機関が検証すべき前提を3つ挙げています。公的データは正確である、記録が食い違う場合はより新しい、または大規模なシステムが正しい、そしてモデルが予測する結果こそ行政機関が重視すべき結果である、という前提です。部門間でデータの管理責任が曖昧になり、情報がモデルに適しているかを判断する担当者が決まっていない場合もあります。

データの出所を調べる監査では、各データセットの入手元と所有者、最後に検証した時期、記録が食い違った際に優先する情報源、判断に使ううえでデータが十分に新しいかを確認します。予測対象を調べる監査では、モデルが測る結果が実際の目標を反映しているか、データが影響を受ける人々を代表しているか、集団ごとに誤り率が異なるかを確かめます。また、保護対象の属性や、その代わりとなる郵便番号、名前、言語、卒業時期、職歴、失業期間、特定の医療・給付コードも確認します。

ガッデは、過去の賃貸住宅の検査記録を使い、検査官が訪問する建物の優先順位を決める郡の例を示しています。過去の検査が同じ地域に集中していた場合、別の地域の違反は記録に残らない可能性があります。その記録で学習したモデルは検査官をなじみのある地域へ繰り返し向かわせ、ほかの問題を見えにくくし、データに含まれる偏りを強めるおそれがあります。

安全策の監査では、重大な影響を及ぼす推奨が実施される前に権限を持つ担当者が確認するか、住民が決定に異議を申し立てられるか、導入時のデータとモデル性能を基準値として記録しているかを調べます。行政機関はモデルドリフトを監視する担当者を置き、システムを一時停止する権限も与えるべきだとガッデは述べています。さらに、すべてのAI計画にデータ準備状況の審査段階を設け、誤答が最も大きな損害を招く用途から着手し、データの責任者を指名して承認を得たうえで、監査結果を記録するよう勧めています。導入前に見つかる未解決の疑問は、後になって判明した場合に費用や公的信頼、給付、生活の糧を損なう疑問より、解決にかかる費用が少ないとしています。

行政機関はAIツールの導入前に、業者やセキュリティ、調達、職員研修を確認する一方、利用するデータの監査は十分でないことがあります。試験運用から本番環境へ移ると、誤りはテスト内にとどまらず住民に影響します。記事はミシガン州の自動失業給付不正判定システムの州審査を例に挙げています。審査対象の判定は2万件を超え、誤り率は93％でした。このシステムは現在のAIではありませんが、自動化によって見えにくい前提や不適切なデータが大規模に広がる可能性を示す事例です。

Government Technologyの寄稿者、スマンス・クマール・ガッデは、行政機関が検証すべき前提を3つ挙げています。公的データは正確である、記録が食い違う場合はより新しい、または大規模なシステムが正しい、そしてモデルが予測する結果こそ行政機関が重視すべき結果である、という前提です。部門間でデータの管理責任が曖昧になり、情報がモデルに適しているかを判断する担当者が決まっていない場合もあります。

データの出所を調べる監査では、各データセットの入手元と所有者、最後に検証した時期、記録が食い違った際に優先する情報源、判断に使ううえでデータが十分に新しいかを確認します。予測対象を調べる監査では、モデルが測る結果が実際の目標を反映しているか、データが影響を受ける人々を代表しているか、集団ごとに誤り率が異なるかを確かめます。また、保護対象の属性や、その代わりとなる郵便番号、名前、言語、卒業時期、職歴、失業期間、特定の医療・給付コードも確認します。

ガッデは、過去の賃貸住宅の検査記録を使い、検査官が訪問する建物の優先順位を決める郡の例を示しています。過去の検査が同じ地域に集中していた場合、別の地域の違反は記録に残らない可能性があります。その記録で学習したモデルは検査官をなじみのある地域へ繰り返し向かわせ、ほかの問題を見えにくくし、データに含まれる偏りを強めるおそれがあります。

安全策の監査では、重大な影響を及ぼす推奨が実施される前に権限を持つ担当者が確認するか、住民が決定に異議を申し立てられるか、導入時のデータとモデル性能を基準値として記録しているかを調べます。行政機関はモデルドリフトを監視する担当者を置き、システムを一時停止する権限も与えるべきだとガッデは述べています。さらに、すべてのAI計画にデータ準備状況の審査段階を設け、誤答が最も大きな損害を招く用途から着手し、データの責任者を指名して承認を得たうえで、監査結果を記録するよう勧めています。導入前に見つかる未解決の疑問は、後になって判明した場合に費用や公的信頼、給付、生活の糧を損なう疑問より、解決にかかる費用が少ないとしています。