AISPA、商用プロンプトを監査
Semantic Scholar
2026年8月1日 (土)
- •AISPAは、商用大規模言語モデルアプリケーションのシステムプロンプトをユーザー関連の8次元で監査する
- •研究者らは、88の商用AI製品に含まれるシステムプロンプトから3,249件の指示を調査した
- •製品の98.9%に保護的指示があった一方、約40%に少なくとも1件の問題ある指示が含まれた
シャンニン・リン(Xiangning Lin)、シェンジェ・ジュー(Shenzhe Zhu)、シュウ・ヤン(Shu Yang)らは2026年の論文で、大規模言語モデルアプリケーションのシステムプロンプトを監査するArtificial Intelligence System Prompt Assurance、AISPAを提案した。システムプロンプトは基盤モデルの振る舞いを方向づける開発者設定の指示であり、著者らによれば商用AI製品で広く使われる一方、ユーザーや規制当局に開示されることは少ない。
AISPAは、システムプロンプト内の特定部分をユーザーに関連する8つの次元で確認し、各指示を保護的または問題ありと分類する。研究者らは88の商用AI製品に含まれるシステムプロンプトから3,249件の指示に適用し、商用プロンプトがユーザーの利益をどう扱うかをユーザー中心で監査した。
監査では開発元ごとの差が大きかった。一部の組織は1製品あたり平均60件超の保護的指示を持つ一方、別の組織では平均5件未満だった。保護的指示は製品の98.9%に見られたが、AISPAの8次元すべてをカバーした製品は24%にとどまり、約40%の製品にはユーザー利益に反する指示が少なくとも1件含まれていた。