Meta가 2026년 10월 15일 Muse Spark Open의 가중치를 공개했고, Baseten은 8160억 매개변수의 오픈 가중치 옴니모달 모델을 모델 API와 전용 추론 서비스로 제공하기 시작했습니다. Muse Code와 공동 훈련한 이 모델은 코딩 에이전트 작업용으로 설계됐으며, 추론 중 활성 매개변수는 427억 개입니다. 문맥 창은 100만 토큰이며 텍스트·이미지·영상·음성을 입력받아 텍스트를 출력합니다. Baseten은 이 모델이 지금까지 미국에서 공개된 오픈 가중치 모델 중 가장 역량이 높다고 밝혔습니다. Muse Code와 OpenCode, Pi, Deep Agents Code 등 외부 에이전트와 함께 사용할 수 있습니다.

Meta가 보고한 벤치마크 점수에서 Muse Spark Open은 에이전트 코딩과 지식 작업 부문에서 다른 선도 AI 연구소의 모델들과 비교됐습니다. 각 모델은 공통 시험 환경이 아니라 자체 연구소의 코딩 에이전트와 함께 평가됐습니다. Muse Spark는 Muse Code, Claude Opus 5는 Claude Code, GPT-5.6 Terra는 Codex를 사용했습니다. 비교에는 각 연구소의 대표 모델이 포함됐지만, 상위 등급인 Claude Fable 5.1과 GPT-6 Astra는 제외됐습니다. Baseten에 따르면 Muse Spark Open은 반복적인 명령 실행과 디버깅에서는 비공개 대표 모델에 근접하지만, 여러 파일을 바꾸는 대규모 작업에서는 Claude Opus 5나 GPT-5.6 Terra보다 더 많은 지시나 재시도가 필요합니다. Grok 4.5와 Gemini 3.6 Flash에는 잘 맞섰고, 글로 된 작업 요약에서는 Opus 5를 제외한 차트의 모든 모델보다 앞섰습니다.

긴 에이전트 작업에 필요한 연산량과 메모리를 줄이기 위해, 모델은 압축된 전문가 혼합 구조와 전역·국소 어텐션을 결합했습니다. 전문가 혼합 구조는 토큰을 선택된 전문가 신경망으로 보내 처리합니다. 공유 압축기가 입력 벡터를 전문가에 전달하기 전에 압축하고, 공유 복원기가 전문가들의 결합 출력을 되살립니다. 라우터는 전체 너비의 벡터를 계속 읽습니다. 이 설계는 전문가마다 매개변수를 절반으로 줄이고, 비압축 설계보다 모델 전체 크기를 약 8000억 매개변수 줄입니다. 그 결과 더 큰 KV 캐시와 동시 처리 시퀀스에 GPU 메모리를 쓸 수 있고, GPU 간 데이터 이동도 줄어듭니다.

모델의 62개 층 가운데 46개는 2048토큰 슬라이딩 창과 회전 위치 임베딩을 사용하는 국소 어텐션을 적용하고, 16개 전역 어텐션 층은 위치 인코딩 없이 전체 시퀀스를 처리합니다. 문맥이 12만 8000토큰일 때 이 구성은 시퀀스당 KV 캐시 메모리를 31GiB에서 8.4GiB로 줄입니다. Baseten은 전역 어텐션 층만 사용하는 모델보다 약 3.7배 적은 메모리이며, 문맥 길이가 늘수록 절감 폭도 커진다고 밝혔습니다. 국소 층에서는 창 밖의 이전 토큰을 덮어쓸 수 있지만, 전역 층은 KV 캐시에 전체 문맥 정보를 보존합니다.

Baseten은 전문가 가중치를 4비트로 저장하고, 어텐션 가중치와 첫째·마지막 층의 전문가에는 bf16을 사용하는 NVFP4 체크포인트를 제공합니다. 이 방식은 모델 가중치 크기를 약 1.6TB에서 540GB로 줄여 약 3분의 2를 절감하며, 여러 노드를 연결하지 않고 4×GB300 노드 하나에 모델을 올릴 수 있습니다. Baseten은 확보된 메모리로 노드당 더 많은 에이전트 세션을 동시에 운영하고 처리량을 높일 수 있다고 밝혔습니다. OpenAI 호환 모델 API는 도구 호출, 추론 출력, 전체 100만 토큰 문맥 창을 지원하며, 팀은 예약 용량을 제공하는 전용 추론 서비스를 선택할 수도 있습니다.

Meta가 2026년 10월 15일 Muse Spark Open의 가중치를 공개했고, Baseten은 8160억 매개변수의 오픈 가중치 옴니모달 모델을 모델 API와 전용 추론 서비스로 제공하기 시작했습니다. Muse Code와 공동 훈련한 이 모델은 코딩 에이전트 작업용으로 설계됐으며, 추론 중 활성 매개변수는 427억 개입니다. 문맥 창은 100만 토큰이며 텍스트·이미지·영상·음성을 입력받아 텍스트를 출력합니다. Baseten은 이 모델이 지금까지 미국에서 공개된 오픈 가중치 모델 중 가장 역량이 높다고 밝혔습니다. Muse Code와 OpenCode, Pi, Deep Agents Code 등 외부 에이전트와 함께 사용할 수 있습니다.

Meta가 보고한 벤치마크 점수에서 Muse Spark Open은 에이전트 코딩과 지식 작업 부문에서 다른 선도 AI 연구소의 모델들과 비교됐습니다. 각 모델은 공통 시험 환경이 아니라 자체 연구소의 코딩 에이전트와 함께 평가됐습니다. Muse Spark는 Muse Code, Claude Opus 5는 Claude Code, GPT-5.6 Terra는 Codex를 사용했습니다. 비교에는 각 연구소의 대표 모델이 포함됐지만, 상위 등급인 Claude Fable 5.1과 GPT-6 Astra는 제외됐습니다. Baseten에 따르면 Muse Spark Open은 반복적인 명령 실행과 디버깅에서는 비공개 대표 모델에 근접하지만, 여러 파일을 바꾸는 대규모 작업에서는 Claude Opus 5나 GPT-5.6 Terra보다 더 많은 지시나 재시도가 필요합니다. Grok 4.5와 Gemini 3.6 Flash에는 잘 맞섰고, 글로 된 작업 요약에서는 Opus 5를 제외한 차트의 모든 모델보다 앞섰습니다.

긴 에이전트 작업에 필요한 연산량과 메모리를 줄이기 위해, 모델은 압축된 전문가 혼합 구조와 전역·국소 어텐션을 결합했습니다. 전문가 혼합 구조는 토큰을 선택된 전문가 신경망으로 보내 처리합니다. 공유 압축기가 입력 벡터를 전문가에 전달하기 전에 압축하고, 공유 복원기가 전문가들의 결합 출력을 되살립니다. 라우터는 전체 너비의 벡터를 계속 읽습니다. 이 설계는 전문가마다 매개변수를 절반으로 줄이고, 비압축 설계보다 모델 전체 크기를 약 8000억 매개변수 줄입니다. 그 결과 더 큰 KV 캐시와 동시 처리 시퀀스에 GPU 메모리를 쓸 수 있고, GPU 간 데이터 이동도 줄어듭니다.

모델의 62개 층 가운데 46개는 2048토큰 슬라이딩 창과 회전 위치 임베딩을 사용하는 국소 어텐션을 적용하고, 16개 전역 어텐션 층은 위치 인코딩 없이 전체 시퀀스를 처리합니다. 문맥이 12만 8000토큰일 때 이 구성은 시퀀스당 KV 캐시 메모리를 31GiB에서 8.4GiB로 줄입니다. Baseten은 전역 어텐션 층만 사용하는 모델보다 약 3.7배 적은 메모리이며, 문맥 길이가 늘수록 절감 폭도 커진다고 밝혔습니다. 국소 층에서는 창 밖의 이전 토큰을 덮어쓸 수 있지만, 전역 층은 KV 캐시에 전체 문맥 정보를 보존합니다.

Baseten은 전문가 가중치를 4비트로 저장하고, 어텐션 가중치와 첫째·마지막 층의 전문가에는 bf16을 사용하는 NVFP4 체크포인트를 제공합니다. 이 방식은 모델 가중치 크기를 약 1.6TB에서 540GB로 줄여 약 3분의 2를 절감하며, 여러 노드를 연결하지 않고 4×GB300 노드 하나에 모델을 올릴 수 있습니다. Baseten은 확보된 메모리로 노드당 더 많은 에이전트 세션을 동시에 운영하고 처리량을 높일 수 있다고 밝혔습니다. OpenAI 호환 모델 API는 도구 호출, 추론 출력, 전체 100만 토큰 문맥 창을 지원하며, 팀은 예약 용량을 제공하는 전용 추론 서비스를 선택할 수도 있습니다.