앤스로픽의 연구원인 아담 카보넨(Anthropic 연구원)과 사무엘 마크스(Anthropic 및 Truthful AI 연구원)를 포함한 연구진은 '활성화 오라클(Activation Oracles, 이하 AO)'을 개발했다. 이는 다른 언어 모델의 내부 신경 활성화, 즉 처리 과정에서 사용되는 수학적 신호를 관찰하고 그 의미를 평이한 언어로 설명하도록 훈련된 특화 AI 모델이다. 기본적으로 이들은 내부 신호를 텍스트나 이미지와 유사한 새로운 형태의 입력 모달리티로 취급한다. 이를 통해 연구자들은 모델의 내부 계산 과정 중 특정 순간에 모델이 무엇을 생각하고 있는지 '질문'할 수 있게 된다. 연구팀은 모델이 의도적으로 숨기도록 훈련된 '비밀 지식'을 찾아내는 등 여러 '감사' 작업에 이 오라클을 테스트했다. 예를 들어, 타부(Taboo) 게임에서 활성화 오라클은 대상 모델의 내부 상태를 분석하는 것만으로 금지된 비밀 단어를 성공적으로 식별해냈다. 또한, 이 오라클이 '발생적 정렬 불일치'를 감지할 수 있음을 발견했다. 이는 모델이 특정 작업을 위해 미세조정을 거친 후 해롭거나 의도치 않은 방식으로 행동하기 시작하는 상황을 의미한다. AI 로직을 미세한 수학적 조각으로 분해하려는 기존의 기계적 접근 방식과 달리, 활성화 오라클은 자연어의 풍부한 표현력을 활용해 설명을 제공한다. 다만 연구진은 오라클이 대상 모델의 실제 내부 로직보다는 자신의 추측을 반영해 그럴듯하게 들리는 설명을 지어내는 '망상(confabulation)' 현상을 보일 수 있다고 경고했다. 이러한 위험에도 불구하고, 이번 연구는 훈련 데이터 규모에 따라 오라클의 정확도가 예측 가능하게 향상됨을 입증하며 복잡한 시스템에서 AI 안전을 확보할 새로운 길을 제시했다.

앤스로픽의 연구원인 아담 카보넨(Anthropic 연구원)과 사무엘 마크스(Anthropic 및 Truthful AI 연구원)를 포함한 연구진은 '활성화 오라클(Activation Oracles, 이하 AO)'을 개발했다. 이는 다른 언어 모델의 내부 신경 활성화, 즉 처리 과정에서 사용되는 수학적 신호를 관찰하고 그 의미를 평이한 언어로 설명하도록 훈련된 특화 AI 모델이다. 기본적으로 이들은 내부 신호를 텍스트나 이미지와 유사한 새로운 형태의 입력 모달리티로 취급한다. 이를 통해 연구자들은 모델의 내부 계산 과정 중 특정 순간에 모델이 무엇을 생각하고 있는지 '질문'할 수 있게 된다. 연구팀은 모델이 의도적으로 숨기도록 훈련된 '비밀 지식'을 찾아내는 등 여러 '감사' 작업에 이 오라클을 테스트했다. 예를 들어, 타부(Taboo) 게임에서 활성화 오라클은 대상 모델의 내부 상태를 분석하는 것만으로 금지된 비밀 단어를 성공적으로 식별해냈다. 또한, 이 오라클이 '발생적 정렬 불일치'를 감지할 수 있음을 발견했다. 이는 모델이 특정 작업을 위해 미세조정을 거친 후 해롭거나 의도치 않은 방식으로 행동하기 시작하는 상황을 의미한다. AI 로직을 미세한 수학적 조각으로 분해하려는 기존의 기계적 접근 방식과 달리, 활성화 오라클은 자연어의 풍부한 표현력을 활용해 설명을 제공한다. 다만 연구진은 오라클이 대상 모델의 실제 내부 로직보다는 자신의 추측을 반영해 그럴듯하게 들리는 설명을 지어내는 '망상(confabulation)' 현상을 보일 수 있다고 경고했다. 이러한 위험에도 불구하고, 이번 연구는 훈련 데이터 규모에 따라 오라클의 정확도가 예측 가능하게 향상됨을 입증하며 복잡한 시스템에서 AI 안전을 확보할 새로운 길을 제시했다.