현재 인공지능 분야는 거대한 단일 구조로 이루어진 모델들이 주도하고 있다. 이러한 모델들은 모든 계산 과정에 아키텍처의 전체 부분이 참여하는 방식인데, 뛰어난 성능을 제공함에도 불구하고 특정 기능만 필요로 하는 사용자에게는 구조적으로 비효율적이다. 이를 해결하기 위해 지금까지는 혼합 전문가 모델 (MoE) 아키텍처가 주로 활용되었다.

혼합 전문가 모델 (MoE)은 각 작업에 필요한 모델의 일부만 선택적으로 활성화하여 효율성을 높이는 방식이다. 하지만 기존 방식은 활성화되는 범위가 좁음에도 불구하고 생성 과정 전반에서 거의 모델 전체가 사용되는 '밀도' 문제가 발생하곤 했다. 결과적으로 이는 모듈형 아키텍처의 도입 취지를 무색하게 만드는 한계가 있었다.

새롭게 등장한 EMO는 사전 훈련 단계부터 모듈화를 핵심 요소로 고려했다. 연구진은 새로운 훈련 목표를 도입해 모델이 스스로 도메인에 특화된 모듈을 조직하도록 유도했다. 특히 의료나 법률과 같은 전문 지식을 학습시키기 위해 값비싼 인간 라벨을 사용하는 대신, 문서의 경계를 활용했다는 점이 독보적이다. 동일한 문서 내의 토큰들은 관련 전문가 그룹을 공유해야 한다는 논리를 적용한 것이다.

이 방법론은 데이터 흐름을 특정 전문가에게 전달하는 내부 메커니즘인 '라우터'가 의미론적 그룹을 자동으로 학습하도록 돕는다. 의료 텍스트를 접하면 라우터는 의료 전문가 그룹을 선호하고, 코드를 접하면 코딩 모듈로 전환하는 식이다. 이는 전문가들이 고차원적 도메인이 아닌 문장 부호와 같은 표면적 특징에만 치중하던 기존 혼합 전문가 모델 (MoE) 방식에서 큰 진전을 이룬 것이다.

성능 평가 결과는 AI 배포의 미래를 밝게 한다. EMO는 특정 작업을 수행할 때 전체 전문가의 87.5%를 생략하고도 완전한 모델 성능을 유지할 수 있음을 입증했다. 이는 거대하고 메모리 점유율이 높은 14B 매개변수 모델을 유연하고 구성 가능한 도구 세트로 변모시킨다. 결과적으로 향후에는 모든 요청마다 범용 모델을 구동하는 비용을 지불할 필요 없이, 필요한 만큼의 지능만 배포하는 보다 지속 가능하고 즉각적인 AI 시스템이 보편화될 전망이다.

현재 인공지능 분야는 거대한 단일 구조로 이루어진 모델들이 주도하고 있다. 이러한 모델들은 모든 계산 과정에 아키텍처의 전체 부분이 참여하는 방식인데, 뛰어난 성능을 제공함에도 불구하고 특정 기능만 필요로 하는 사용자에게는 구조적으로 비효율적이다. 이를 해결하기 위해 지금까지는 혼합 전문가 모델 (MoE) 아키텍처가 주로 활용되었다.

혼합 전문가 모델 (MoE)은 각 작업에 필요한 모델의 일부만 선택적으로 활성화하여 효율성을 높이는 방식이다. 하지만 기존 방식은 활성화되는 범위가 좁음에도 불구하고 생성 과정 전반에서 거의 모델 전체가 사용되는 '밀도' 문제가 발생하곤 했다. 결과적으로 이는 모듈형 아키텍처의 도입 취지를 무색하게 만드는 한계가 있었다.

새롭게 등장한 EMO는 사전 훈련 단계부터 모듈화를 핵심 요소로 고려했다. 연구진은 새로운 훈련 목표를 도입해 모델이 스스로 도메인에 특화된 모듈을 조직하도록 유도했다. 특히 의료나 법률과 같은 전문 지식을 학습시키기 위해 값비싼 인간 라벨을 사용하는 대신, 문서의 경계를 활용했다는 점이 독보적이다. 동일한 문서 내의 토큰들은 관련 전문가 그룹을 공유해야 한다는 논리를 적용한 것이다.

이 방법론은 데이터 흐름을 특정 전문가에게 전달하는 내부 메커니즘인 '라우터'가 의미론적 그룹을 자동으로 학습하도록 돕는다. 의료 텍스트를 접하면 라우터는 의료 전문가 그룹을 선호하고, 코드를 접하면 코딩 모듈로 전환하는 식이다. 이는 전문가들이 고차원적 도메인이 아닌 문장 부호와 같은 표면적 특징에만 치중하던 기존 혼합 전문가 모델 (MoE) 방식에서 큰 진전을 이룬 것이다.

성능 평가 결과는 AI 배포의 미래를 밝게 한다. EMO는 특정 작업을 수행할 때 전체 전문가의 87.5%를 생략하고도 완전한 모델 성능을 유지할 수 있음을 입증했다. 이는 거대하고 메모리 점유율이 높은 14B 매개변수 모델을 유연하고 구성 가능한 도구 세트로 변모시킨다. 결과적으로 향후에는 모든 요청마다 범용 모델을 구동하는 비용을 지불할 필요 없이, 필요한 만큼의 지능만 배포하는 보다 지속 가능하고 즉각적인 AI 시스템이 보편화될 전망이다.