Meta, Muse Spark 오픈 가중치 공개
- •Meta, 미국에서 가장 역량이 뛰어난 오픈 가중치 모델이라고 소개하며 Muse Spark Open 공개
- •총 816B 파라미터 중 활성 파라미터 42B, 컨텍스트 창 1M 토큰 지원
- •AMD MI350에서 커널 최대 3.95배, 전체 작업 3% 속도 향상 보고
Meta는 10월 15일 Muse Spark Open의 가중치를 공개하며 미국에서 지금까지 가장 역량이 뛰어난 오픈 가중치 모델이라고 설명했습니다. 기본적으로 멀티모달 기능을 갖춘 이 모델은 전체 파라미터 816B 가운데 42B가 활성화되며, 컨텍스트 창은 1M 토큰입니다. Meta는 코딩과 에이전트 작업을 위해 모델을 구축했으며, 장기간 이어지는 과제와 복잡한 소프트웨어 개발, 여러 단계의 추론을 지원한다고 밝혔습니다. 모델은 API 플랫폼에서 이용하거나 모델 저장소에서 내려받을 수 있습니다.
Meta에 따르면 Muse Spark Open은 MLX 프레임워크를 사용해 Apple M5 Ultra Mac Studio 두 대로 데스크톱에서 실행할 수 있습니다. 각 Mac Studio는 내장 GPU용 통합 메모리를 최대 512 GB 제공하며, M5 Ultra의 메모리 대역폭은 1.2 TB/s입니다. Meta는 두 기기가 함께 모델 전체를 메모리에 담을 수 있다고 밝혔습니다. Muse Code를 사용한 기기 내 시험에서 모델은 오픈 소스 Mastodon 클라이언트 Ice Cubes의 버그를 수정하고 새 기능을 추가했으며 전체 빌드도 수행했습니다. 또한 DaVinci Resolve를 처음부터 끝까지 조작해 영상을 프레임별로 살피고 장면을 찾아 세로 화면에 맞게 잘랐습니다.
가중치는 Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face, Microsoft Foundry Models에서 제공됩니다. 호스팅 API는 Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter, Together AI에서 이용할 수 있습니다. 모델은 SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp, Unsloth에서 실행되며 AMD, Apple, Intel, NVIDIA 칩에 맞춘 최적화가 적용됐습니다. Meta는 SGLang의 맞춤형 자동 조정 Helion GPU 커널이 NVIDIA와 AMD GPU에서 커널 수준 속도를 1.03~3.95배 높이고, AMD MI350에서 전체 작업 속도를 3% 높인다고 밝혔습니다. 개발자는 PyTorch로 모델을 추가 맞춤 설정할 수 있습니다.
Meta는 오픈 가중치에 안전 고려사항이 따른다며 Muse Spark Open에 추가 안전성 사후 훈련을 적용했다고 밝혔습니다. 심각한 위험을 평가하는 Meta의 Superintelligence Scaling Framework에서 모델은 공개 기준을 충족했습니다. 자세한 결과는 모델 카드에 담겼으며, 전체 평가 보고서는 추후 공개될 예정입니다. Meta는 제한적인 상업적 이용 조건을 둔 Muse Model License로 가중치를 배포해 많은 개발자가 모델을 무료로 사용할 수 있도록 했습니다. 개발자는 PyTorch의 TorchTitan으로 모델을 추가 조정하거나 MLX를 통해 Apple 실리콘에서 실행할 수 있으며, MLX는 Hugging Face에서 가중치를 내려받습니다.