AIが作る「合意」に警鐘、論考が情報操作を分析
- •エスラム・エルスウェディは、政治・企業の発信が人々の記憶や言語モデルの回答を形作り得ると指摘
- •フランスの世論調査で、1945年に57％がソ連を挙げた割合は2015年に23％へ低下
- •論考はデータポイズニングや検索操作を説明し、物語を点検する四つの問いを提案
エスラム・エルスウェディは、マーケティングや政治的な影響力が人々の公共的記憶を形作り、言語モデルが頻出する主張を証拠とみなせば、作られた合意を繰り返す恐れがあると論じています。OpenAIが2024年5月に公表した情報として、ロシア、中国、イランとつながるネットワークが生成AI、自動化された人物像、学術論文を装った記事を使い、ウェブ上に大量の情報を流した事例を挙げています。
論考は現代の情報発信を歴史上の事例と比較しています。ベルギーのレオポルド2世はコンゴ自由国での統治を人道支援として示しましたが、1885年から1908年に推定1,000万人が死亡しました。また、第二次世界大戦でソ連の兵士と民間人が2,700万人犠牲になったとしています。ナチス・ドイツの敗北に最も貢献した国を尋ねたフランスの世論調査では、ソ連と米国を挙げた割合が、1945年5月の57％と20％から、1994年5月には25％と49％、2004年5月には20％と58％、2015年5月には23％と54％に変化しました。論考は、人々の記憶の変化を数十年にわたる西側の映画や大衆文化に帰しています。
エルスウェディによると、ガザ戦争をめぐる説明は2023年10月7日から始まり、それ以前の歴史を省くことがあります。省かれる例として、70万人を超えるパレスチナ人が故郷を追われた1948年のナクバと、16年間の封鎖を挙げています。さらに、規制当局が2023年から2025年にかけて、航空会社や石油会社の「カーボンニュートラル」「持続可能」といった主張をめぐり判断を下した事例と、2023年の持続可能な航空燃料が世界の航空燃料に占めた割合が0.1％未満だったことを示しています。テクノロジー企業は2023年から2026年に、マインドフルネスアプリ、利用時間管理ツール、AIコンパニオンを、自社プラットフォームに関連する害への対応策として売り込んだとも述べています。
論考が説明する説得の手法は三つです。有害な行為を穏やかに見せる婉曲表現、企業の責任を個人に移すこと、そしてプライバシーを守る設定を選びにくくし、有害な初期設定を使いやすくする設計です。利用者ごとに異なる出来事を表示するターゲット型フィードに加え、学習データポイズニング（学習用データに意図的に誤情報を混ぜる手法）や、回答エンジン最適化（回答システムに特定の情報源を選ばせる工夫）がAIシステムに影響を与え得るとしています。連動して作られた合成記事は、ある主張が広く受け入れられているように見せる場合があります。キーワードを詰め込んだコンテンツファームは、検索情報を使うアシスタントを作られた情報源へ誘導し、そうしたウェブ文章で学習したモデルが過去の情報工作を繰り返す可能性があると論じています。
主張を点検するため、エルスウェディは、誰の経験が抜け落ちているのか、物語はどこから始まるのか、制度上の問題の責任を個人に負わせていないか、宣伝文句を取り除くと何が残るのか、という四つの問いを提案しています。マーケティングは有益な目的にも使われる一方、排除を見えにくくすることもあるとし、物語の資金源、流通経路、AIシステムへの組み込まれ方を読者が確かめるよう呼びかけています。