ByteDance, 10조 파라미터 모델 훈련
- •ByteDance가 최대 10조 파라미터 규모 AI 모델을 훈련 중인 것으로 알려졌다
- •10조 파라미터 모델은 Moonshot AI의 2.8조 파라미터 Kimi K3를 넘어선다
- •모델은 현재 사전학습 단계이며, 이 과정은 보통 3~6개월 걸린다
ByteDance는 TikTok을 보유한 중국 기술기업으로, 최대 10조 파라미터 규모의 AI 모델을 훈련 중인 것으로 알려졌다고 Free Press Journal이 August 07 FT와 사안에 정통한 인물을 인용해 보도했다. 이 모델은 Anthropic의 Mythos 시스템 규모에 근접할 수 있지만, 보도는 세부 내용을 독립적으로 확인할 수 없었고 ByteDance도 논평 요청에 즉각 응하지 않았다고 전했다.
파라미터 수는 모델이 학습 데이터에서 패턴을 인식하고 응답을 생성하며 작업을 수행하기 위해 익히는 수치 설정을 뜻한다. 이는 모델 규모를 가늠하는 대략적 지표로 쓰이지만, 성능을 직접 측정하는 기준은 아니다. ByteDance 모델이 10조 파라미터에 이른다면, 지금까지 중국 AI 연구소가 공개한 모델 중 최대급으로 꼽히는 Moonshot AI의 Kimi K3 2.8조 파라미터보다 3배 이상 큰 규모가 된다.
FT는 업계 추정치를 인용해 Anthropic의 Mythos 5가 약 8조 파라미터, 더 널리 제공되는 가드레일 적용 형제 모델 Fable 5가 약 5조 파라미터 수준이라고 전했다. Anthropic은 Mythos, Fable 또는 자사 어떤 모델의 파라미터 수도 공식 공개하지 않기 때문에 이 수치는 업계 추정치로 남아 있으며, 보도는 OpenAI의 GPT-5.5 같은 다른 미국 모델에 붙은 파라미터 수에도 같은 주의가 필요하다고 설명했다.
ByteDance 모델은 현재 사전학습(대규모 데이터로 하는 초기 학습) 단계에 있으며, 보도에 따르면 이 단계는 보통 3~6개월 걸린다. 이후 모델은 공개 가능성을 검토하기 전 미세조정 단계로 넘어가며, 최종 파라미터 수는 아직 확정되지 않았고 훈련이 끝나기 전 바뀔 수 있다.
이번 개발은 ByteDance 창업자 장이밍이 직원들에게 단기 성과만을 위해 AI 증류 기법에 의존하지 말라고 말했다는 보도 이후 나왔다. 이 발언은 미국 고위 당국자가 Moonshot AI가 Kimi K3를 만드는 과정에서 Anthropic의 Fable 모델을 증류했다고 주장한 뒤 전해졌다.
Mythos는 Anthropic의 Opus 등급보다 상위에 있는 프런티어 모델군으로, 에이전트형 코딩, 추론, 사이버보안 역량으로 관심을 끄는 것으로 묘사된다. Mythos 접근 권한은 해킹과 취약점 악용 우려 때문에 Anthropic의 Project Glasswing 아래 신뢰할 수 있는 파트너에게 주로 제한됐으며, Fable 5는 더 넓게 제공되는 안전 강화 버전이다.