LLM 추론 과정의 비밀, 인과관계 이론으로 밝힌다
- •연구진이 거대언어모델(LLM)의 내부 로직을 고수준 알고리즘 추상화로 매핑하는 인과관계 이론을 적용하고 있다.
- •2021년 연구 결과, BERT 모델이 양화사와 부정문을 활용해 내부적으로 논리적 추론을 수행한다는 사실이 입증됐다.
- •Goodfire AI는 Llama 모델이 복잡한 순환 문제를 해결하기 위해 스스로 범용적인 십진법 계산 전략을 개발함을 확인했다.
기계적 해석 가능성 분야 연구진이 거대언어모델(LLM)의 내부 로직을 규명하기 위해 인과관계 이론을 도입하고 있다. LLM은 코딩이나 수학 등 다양한 분야에서 뛰어난 성능을 보이지만, 실제 내부 추론 과정은 여전히 베일에 싸여 있다. 스탠퍼드 대학교 교수 토머스 아이카드(Thomas Icard)는 신경망이 단순히 추론 과정을 흉내 내는 것인지, 아니면 내부적으로 논리적·알고리즘적 체계를 구축하는지 분석 중이다. 그의 연구는 기체 분자 하나하나의 충돌 대신 압력과 온도라는 거시적 개념으로 기체의 성질을 설명하는 물리학처럼, 신경망의 세세한 활동을 고수준의 직관적 개념으로 매핑하는 인과 추상화(Causal Abstraction) 기법을 활용한다.
토머스 아이카드와 그 공동 연구진인 애티커스 가이거(Atticus Geiger) 등은 LLM이 실제 공식적인 알고리즘을 구현할 수 있다는 점을 입증하는 데 집중하고 있다. 2021년 애티커스 가이거가 주도한 연구에서는 BERT 모델이 내부적으로 양화사와 부정문을 이용한 논리적 추론을 수행함이 확인됐다. 최근 Goodfire AI가 발표한 논문 'Arithmetic in the Wild'에 따르면, Llama 모델은 달력이나 시계와 같은 순환적 개념을 처리할 때 별도의 논리를 사용하는 대신 입력을 십진법으로 변환해 계산한 뒤 다시 원래 형식으로 변환하는 방식을 택한다. 이는 모델이 문제 유형에 상관없이 적용 가능한 범용 계산 전략을 스스로 학습했음을 시사한다.
현재 해당 분야의 실험적 연구는 모델 가중치와 활성화 함수를 직접 조작해 인과관계 가설을 검증할 수 있는 Llama나 OLMo와 같은 오픈소스 모델에 집중되어 있다. 토머스 아이카드와 같은 연구자들은 주로 100억 개 미만의 파라미터를 가진 모델을 대상으로 연구를 진행한다. Anthropic이나 구글 딥마인드와 같은 기업 내부에서도 기계적 해석 가능성에 관한 연구가 활발하지만, 이러한 복잡한 분석 기법을 거대 모델에 적용하는 것은 여전히 큰 과제로 남아 있다. 연구진은 단순한 행동 관찰을 넘어 모델의 안전성과 신뢰성을 확보하고 편향을 줄이는 것을 목표로 하며, 복잡한 신경망을 단순한 방정식으로 완벽히 환원할 수는 없더라도 그 내부 알고리즘을 파악하는 유효한 경로를 탐색하고 있다.