앨런 인공지능 연구소(Allen Institute for AI, Ai2)가 트랜스포머 기반 모델과 하이브리드 언어 모델을 비교 분석한 기술 보고서를 발표했다. 연구진은 7B 파라미터 규모의 Olmo 3 트랜스포머와, 주의 집중 레이어 대부분을 순환 레이어로 대체한 Olmo 하이브리드 모델을 평가했다. 두 모델의 데이터, 토크나이저, 학습 방식을 거의 동일하게 유지함으로써 아키텍처가 토큰 수준 예측 정확도에 미치는 영향을 격리했다. 연구진은 명사, 동사, 형용사, 반복되는 n-gram 등 다양한 토큰 범주에 걸쳐 예측 오차의 차이인 손실 격차를 측정했다.

분석 결과, 하이브리드 모델은 의미를 담고 있는 내용어, 특히 형용사와 부사에서 트랜스포머보다 뛰어난 성능을 보였다. 하이브리드 모델은 내용어에서 0.04의 손실 격차를 기록한 반면, 기능어에서는 0.02를 기록했다. 이러한 성능 향상은 순환 레이어가 순차적 정보를 추적하는 압축된 상태 기억을 유지하는 데 능숙하기 때문이다. 다만, 트랜스포머는 이전 입력을 그대로 재현해야 하는 과제에서 분명한 우위를 보였다. 실제로 코드나 마크업의 닫는 중괄호를 예측하거나 텍스트 앞부분에 이미 등장한 정보를 반복하는 경우 하이브리드 모델의 성능 이점은 사라졌다. 이는 주의 집중 메커니즘이 과거 토큰을 직접 참조하고 복사할 수 있는 반면, 순환 레이어의 압축된 기억 방식으로는 이러한 작업이 더 어렵기 때문이다.

연구팀은 추가 검증을 위해 1B 파라미터 모델 3종인 순수 트랜스포머, 하이브리드, 순수 순환 신경망(RNN)을 대상으로 실험을 진행했다. 그 결과 하이브리드 및 순환 모델은 내용이 풍부하고 반복되지 않는 토큰 예측에서 트랜스포머를 능가했다. 반면 순수 순환 신경망은 주의 집중 메커니즘의 부재로 인해 verbatim 반복 작업에서 성능이 크게 떨어졌다. 보고서는 단일 집계 손실 지표에만 의존하지 말고, 특정 정보 범주에 대한 정확도를 측정하거나 토큰별 손실을 필터링하여 아키텍처 구성 요소가 사전 학습에 기여하는 방식을 세밀하게 이해해야 한다고 강조했다.

앨런 인공지능 연구소(Allen Institute for AI, Ai2)가 트랜스포머 기반 모델과 하이브리드 언어 모델을 비교 분석한 기술 보고서를 발표했다. 연구진은 7B 파라미터 규모의 Olmo 3 트랜스포머와, 주의 집중 레이어 대부분을 순환 레이어로 대체한 Olmo 하이브리드 모델을 평가했다. 두 모델의 데이터, 토크나이저, 학습 방식을 거의 동일하게 유지함으로써 아키텍처가 토큰 수준 예측 정확도에 미치는 영향을 격리했다. 연구진은 명사, 동사, 형용사, 반복되는 n-gram 등 다양한 토큰 범주에 걸쳐 예측 오차의 차이인 손실 격차를 측정했다.

분석 결과, 하이브리드 모델은 의미를 담고 있는 내용어, 특히 형용사와 부사에서 트랜스포머보다 뛰어난 성능을 보였다. 하이브리드 모델은 내용어에서 0.04의 손실 격차를 기록한 반면, 기능어에서는 0.02를 기록했다. 이러한 성능 향상은 순환 레이어가 순차적 정보를 추적하는 압축된 상태 기억을 유지하는 데 능숙하기 때문이다. 다만, 트랜스포머는 이전 입력을 그대로 재현해야 하는 과제에서 분명한 우위를 보였다. 실제로 코드나 마크업의 닫는 중괄호를 예측하거나 텍스트 앞부분에 이미 등장한 정보를 반복하는 경우 하이브리드 모델의 성능 이점은 사라졌다. 이는 주의 집중 메커니즘이 과거 토큰을 직접 참조하고 복사할 수 있는 반면, 순환 레이어의 압축된 기억 방식으로는 이러한 작업이 더 어렵기 때문이다.

연구팀은 추가 검증을 위해 1B 파라미터 모델 3종인 순수 트랜스포머, 하이브리드, 순수 순환 신경망(RNN)을 대상으로 실험을 진행했다. 그 결과 하이브리드 및 순환 모델은 내용이 풍부하고 반복되지 않는 토큰 예측에서 트랜스포머를 능가했다. 반면 순수 순환 신경망은 주의 집중 메커니즘의 부재로 인해 verbatim 반복 작업에서 성능이 크게 떨어졌다. 보고서는 단일 집계 손실 지표에만 의존하지 말고, 특정 정보 범주에 대한 정확도를 측정하거나 토큰별 손실을 필터링하여 아키텍처 구성 요소가 사전 학습에 기여하는 방식을 세밀하게 이해해야 한다고 강조했다.