현재 AI 개발은 모델 내부의 '전문가' 중 일부만 활성화해 연산량을 아끼는 혼합 전문가 모델(MoE)에 크게 의존하는 추세다. 하지만 이 방식은 최근 수익 체감과 시스템 병목 현상이라는 벽에 부딪히고 있다.
이에 연구진은 원문 텍스트를 수학적 벡터로 변환하는 '임베딩 레이어'를 확장하는 강력한 대안을 제시했다. '임베딩 확장'을 우선시함으로써 하드웨어 속도 저하 없이 고성능을 유지하는 희소 모델의 새로운 경로를 발견한 것이다.

연구팀은 이 개념을 실증하기 위해 685억 개의 파라미터를 가진 LongCat-Flash-Lite를 개발했다.
놀랍게도 추론 과정에서 활성화되는 파라미터는 단 30억 개에 불과하다. 대규모 모델의 폭넓은 지능을 유지하면서도 소형 모델 수준의 빠른 속도를 구현한 셈이다.
맞춤형 시스템 최적화와 투기적 디코딩 기법도 힘을 보탰다. 이는 더 빠른 보조 모델이 주 모델의 결과를 미리 예측해 텍스트 생성 속도를 높이는 방식이다.

성과는 전문적인 작업에서 특히 두드러졌다. LongCat-Flash-Lite는 정교한 단계별 사고가 필요한 코딩과 에이전틱 AI 분야에서 기존 MoE 모델을 능가하는 성적을 거뒀다.
이번 연구는 차세대 대규모 언어 모델(LLM)의 핵심이 단순히 전문가 수를 늘리는 데 있지 않음을 시사한다. 오히려 모델이 정보를 표현하고 추출하는 근본적인 방식을 재구성하는 데서 새로운 돌파구가 마련될 전망이다.

현재 AI 개발은 모델 내부의 '전문가' 중 일부만 활성화해 연산량을 아끼는 혼합 전문가 모델(MoE)에 크게 의존하는 추세다. 하지만 이 방식은 최근 수익 체감과 시스템 병목 현상이라는 벽에 부딪히고 있다.
이에 연구진은 원문 텍스트를 수학적 벡터로 변환하는 '임베딩 레이어'를 확장하는 강력한 대안을 제시했다. '임베딩 확장'을 우선시함으로써 하드웨어 속도 저하 없이 고성능을 유지하는 희소 모델의 새로운 경로를 발견한 것이다.

연구팀은 이 개념을 실증하기 위해 685억 개의 파라미터를 가진 LongCat-Flash-Lite를 개발했다.
놀랍게도 추론 과정에서 활성화되는 파라미터는 단 30억 개에 불과하다. 대규모 모델의 폭넓은 지능을 유지하면서도 소형 모델 수준의 빠른 속도를 구현한 셈이다.
맞춤형 시스템 최적화와 투기적 디코딩 기법도 힘을 보탰다. 이는 더 빠른 보조 모델이 주 모델의 결과를 미리 예측해 텍스트 생성 속도를 높이는 방식이다.

성과는 전문적인 작업에서 특히 두드러졌다. LongCat-Flash-Lite는 정교한 단계별 사고가 필요한 코딩과 에이전틱 AI 분야에서 기존 MoE 모델을 능가하는 성적을 거뒀다.
이번 연구는 차세대 대규모 언어 모델(LLM)의 핵심이 단순히 전문가 수를 늘리는 데 있지 않음을 시사한다. 오히려 모델이 정보를 표현하고 추출하는 근본적인 방식을 재구성하는 데서 새로운 돌파구가 마련될 전망이다.