Motif 3

Motif 3은 한국 AI 스타트업 모티프 테크놀로지스(Motif Technologies)가 완전히 자체 설계한 대규모 MoE 언어모델로, Motif-3-Beta 프리뷰 체크포인트를 거쳐 공개된 정식 릴리스입니다. 기존 오픈소스 아키텍처를 차용하지 않고 밑바닥부터 설계한 것이 특징으로, GDLA(Grouped Differential Latent Attention), 전문가별로 적용되는 Grouped PolyNorm 활성화, 자기 스펙큘레이티브 디코딩을 가능하게 하는 Multi-Token Prediction 헤드 등 독자 컴포넌트를 갖췄습니다. 총 314B 파라미터 중 토큰당 약 13.2B가 활성화되며, 53개 레이어에 라우팅 전문가 384개(top-8) + 공유 전문가 1개 구성으로 262,144토큰 컨텍스트를 네이티브 지원합니다. 수학 문제 해결, 코드 작성·디버깅, 도구 실행, 초장문 문서 이해에 강점이 있으며, 가중치는 MIT 라이선스로 공개되어 상업적 이용까지 자유롭습니다.