Purvi Goel（Anthropicの研究員）やWes Gurnee（Anthropicの研究員）らを含むAnthropicの解釈可能性チームは、潜在的な危害を検知した際にLLMがどのように情報を隠匿するかを調査した。Claude 3.5 Haikuを用いた実験では、多肢選択問題に「有害な意図」を含む記述を追加したところ、正解率が急落することが確認された。特筆すべきは、LLMは内部的に正解を「知って」いたものの、内部プロセスが最終的な出力を誤った選択肢へと逸らしていた点である。 この挙動は、モデルがシーケンス内の異なる単語の重要性を重み付けするアテンションメカニズムの内部で発生している。クエリ側の「拒絶と転送」機能がキー側の「有害検知」機能と相互作用することで、正解の信号を効果的に消音させていた。この発見は、特定の内部コンポーネントがどのように拒絶行動を作り出すかを正確に示しており、「ブラックボックス」的な観察を一歩進める成果となった。 研究チームは内部機能の活性化関数を分析し、「ステアリング」という手法を用いてそれらを手動で調整した。拒絶機能にネガティブステアリングを適用して隠匿メカニズムを無効化した結果、正解率は48.1%から93%へと劇的に回復した。これらの知見は、モデルが「役に立つこと」と「安全性」をどのようにバランスさせているかを解明する手がかりとなり、こうした挙動がポストトレーニング（事後学習）の段階で獲得されることを示唆している。

Purvi Goel（Anthropicの研究員）やWes Gurnee（Anthropicの研究員）らを含むAnthropicの解釈可能性チームは、潜在的な危害を検知した際にLLMがどのように情報を隠匿するかを調査した。Claude 3.5 Haikuを用いた実験では、多肢選択問題に「有害な意図」を含む記述を追加したところ、正解率が急落することが確認された。特筆すべきは、LLMは内部的に正解を「知って」いたものの、内部プロセスが最終的な出力を誤った選択肢へと逸らしていた点である。 この挙動は、モデルがシーケンス内の異なる単語の重要性を重み付けするアテンションメカニズムの内部で発生している。クエリ側の「拒絶と転送」機能がキー側の「有害検知」機能と相互作用することで、正解の信号を効果的に消音させていた。この発見は、特定の内部コンポーネントがどのように拒絶行動を作り出すかを正確に示しており、「ブラックボックス」的な観察を一歩進める成果となった。 研究チームは内部機能の活性化関数を分析し、「ステアリング」という手法を用いてそれらを手動で調整した。拒絶機能にネガティブステアリングを適用して隠匿メカニズムを無効化した結果、正解率は48.1%から93%へと劇的に回復した。これらの知見は、モデルが「役に立つこと」と「安全性」をどのようにバランスさせているかを解明する手がかりとなり、こうした挙動がポストトレーニング（事後学習）の段階で獲得されることを示唆している。