Sakana AI가 언어 모델의 정보 처리 방식을 근본적으로 혁신하는 연구 성과, RePo를 발표했다. 기존 모델은 텍스트를 단어의 물리적 순서가 중요도를 결정하는 경직된 시퀀스로 인식해 왔다. 이로 인해 AI는 문맥적 중요도와 상관없이 물리적으로 가까운 단어를 더 관련성 높게 처리하는 한계를 보였다. 특히 방대한 문서 속에 핵심 정보가 묻혀 있을 경우 이를 제대로 포착하지 못하고 오류를 범하는 원인이 되기도 했다. RePo는 인간의 뇌가 가진 제한된 정보 처리 능력을 설명하는 '인지 부하 이론'에서 착안한 동적 재배치 모듈을 통해 이 문제를 해결한다. 고정된 순서 대신 콘텐츠의 관련성에 따라 위치를 실시간으로 할당하는 방식이다. 이를 통해 모델은 중요한 정보를 내부 작업 공간의 중심으로 '당기고' 불필요한 노이즈는 '밀어내며' 어텐션 구조를 스스로 최적화한다. 결과적으로 기존 대규모 언어 모델 (LLM)이 흔히 겪는 긴 문맥에서의 정보 손실 문제를 극복하고 높은 견고함을 증명했다. Sakana AI의 이번 시도는 AI가 입력 데이터를 능동적으로 구조화하고 자신의 작업 기억을 직접 관리하는 시대로의 진화를 의미한다. 이는 향후 딥러닝 모델이 더 효율적이고 정확한 추론을 수행하는 데 중요한 이정표가 될 전망이다.

Sakana AI가 언어 모델의 정보 처리 방식을 근본적으로 혁신하는 연구 성과, RePo를 발표했다. 기존 모델은 텍스트를 단어의 물리적 순서가 중요도를 결정하는 경직된 시퀀스로 인식해 왔다. 이로 인해 AI는 문맥적 중요도와 상관없이 물리적으로 가까운 단어를 더 관련성 높게 처리하는 한계를 보였다. 특히 방대한 문서 속에 핵심 정보가 묻혀 있을 경우 이를 제대로 포착하지 못하고 오류를 범하는 원인이 되기도 했다. RePo는 인간의 뇌가 가진 제한된 정보 처리 능력을 설명하는 '인지 부하 이론'에서 착안한 동적 재배치 모듈을 통해 이 문제를 해결한다. 고정된 순서 대신 콘텐츠의 관련성에 따라 위치를 실시간으로 할당하는 방식이다. 이를 통해 모델은 중요한 정보를 내부 작업 공간의 중심으로 '당기고' 불필요한 노이즈는 '밀어내며' 어텐션 구조를 스스로 최적화한다. 결과적으로 기존 대규모 언어 모델 (LLM)이 흔히 겪는 긴 문맥에서의 정보 손실 문제를 극복하고 높은 견고함을 증명했다. Sakana AI의 이번 시도는 AI가 입력 데이터를 능동적으로 구조화하고 자신의 작업 기억을 직접 관리하는 시대로의 진화를 의미한다. 이는 향후 딥러닝 모델이 더 효율적이고 정확한 추론을 수행하는 데 중요한 이정표가 될 전망이다.