Anthropic 학습 체크포인트 유출 주장

Hugging Face의 익명 저장소 ‘numbat’은 Anthropic의 Mythos급 학습 실행에서 사전학습 도중 추출한 체크포인트를 담고 있다고 주장합니다. 저장소 페이지에는 약 14조 개 매개변수, 114개 레이어, 하이브리드 GDN/MLA 구조, 상위 48개를 선택하는 라우팅 방식과 공유 전문가 1개를 포함한 전문가 1,224개, NVFP4 저장 방식이 기재돼 있습니다. 저장소의 YAML 메타데이터는 비어 있거나 누락됐습니다.

저장소에는 총 7.72TB인 safetensors 파일 772개가 있으며, 파일 하나당 크기는 10.6GB 미만이라고 나와 있습니다. 구성 설정과 모델 코드, 토큰 131,072개를 담은 토크나이저, 모든 파일을 다루는 인덱스, 체크포인트 메타데이터, 마지막 약 400회의 학습 단계도 포함됐습니다. 작성자는 참고 구현 코드에 각 텐서와 맞는 모듈이 있고, 체크포인트를 strict=True 설정이나 trust_remote_code=True를 사용하는 AutoModelForCausalLM으로 불러올 수 있다고 설명합니다. 모델의 forward 메서드는 본체를 실행하고 draft 메서드는 다중 토큰 예측 계층을 실행한다고 덧붙였습니다.

업로더는 2026년 3월 Claude Code 소스 유출에서 ‘numbat’이 미출시 Anthropic 모델의 코드명으로 등장했고, 구조와 텐서 데이터가 내부적으로 일치한다며 파일의 신빙성을 주장합니다. 저장소 페이지는 NVFP4 스케일 블록이 RTNE 허용 범위 안에서 디코딩되고, 스케일 값이 언더플로하지 않으며, NVFP4 4개 값 묶음이 변환 후에도 정확히 복원된다고 설명합니다. 파일 크기와 텐서 수, 인덱스 항목도 서로 일관된다고 주장하지만, 이는 저장소 페이지의 설명이며 Anthropic의 관여를 독립적으로 확인한 것은 아닙니다.

업로더에 따르면 체크포인트는 약 196만 단계로 예정된 학습 중 1,830,000단계에서 나온 것으로, 후속 학습이나 RLHF를 거치지 않은 사전학습 완료 상태입니다. 평가용 사본은 약 85개의 Trainium2 칩에서 실행할 수 있도록 NVFP4로 양자화했으며, BF16 학습 가중치와 옵티마이저 상태는 클러스터 내부에 남아 있다고 합니다. 페이지에는 지난달 다운로드 5,846회, 모델 크기 6.8조 개 매개변수가 표시돼 있고, 이를 제공하는 추론 서비스는 없다고 적혀 있습니다.

Hugging Face의 익명 저장소 ‘numbat’은 Anthropic의 Mythos급 학습 실행에서 사전학습 도중 추출한 체크포인트를 담고 있다고 주장합니다. 저장소 페이지에는 약 14조 개 매개변수, 114개 레이어, 하이브리드 GDN/MLA 구조, 상위 48개를 선택하는 라우팅 방식과 공유 전문가 1개를 포함한 전문가 1,224개, NVFP4 저장 방식이 기재돼 있습니다. 저장소의 YAML 메타데이터는 비어 있거나 누락됐습니다.

저장소에는 총 7.72TB인 safetensors 파일 772개가 있으며, 파일 하나당 크기는 10.6GB 미만이라고 나와 있습니다. 구성 설정과 모델 코드, 토큰 131,072개를 담은 토크나이저, 모든 파일을 다루는 인덱스, 체크포인트 메타데이터, 마지막 약 400회의 학습 단계도 포함됐습니다. 작성자는 참고 구현 코드에 각 텐서와 맞는 모듈이 있고, 체크포인트를 strict=True 설정이나 trust_remote_code=True를 사용하는 AutoModelForCausalLM으로 불러올 수 있다고 설명합니다. 모델의 forward 메서드는 본체를 실행하고 draft 메서드는 다중 토큰 예측 계층을 실행한다고 덧붙였습니다.

업로더는 2026년 3월 Claude Code 소스 유출에서 ‘numbat’이 미출시 Anthropic 모델의 코드명으로 등장했고, 구조와 텐서 데이터가 내부적으로 일치한다며 파일의 신빙성을 주장합니다. 저장소 페이지는 NVFP4 스케일 블록이 RTNE 허용 범위 안에서 디코딩되고, 스케일 값이 언더플로하지 않으며, NVFP4 4개 값 묶음이 변환 후에도 정확히 복원된다고 설명합니다. 파일 크기와 텐서 수, 인덱스 항목도 서로 일관된다고 주장하지만, 이는 저장소 페이지의 설명이며 Anthropic의 관여를 독립적으로 확인한 것은 아닙니다.

업로더에 따르면 체크포인트는 약 196만 단계로 예정된 학습 중 1,830,000단계에서 나온 것으로, 후속 학습이나 RLHF를 거치지 않은 사전학습 완료 상태입니다. 평가용 사본은 약 85개의 Trainium2 칩에서 실행할 수 있도록 NVFP4로 양자화했으며, BF16 학습 가중치와 옵티마이저 상태는 클러스터 내부에 남아 있다고 합니다. 페이지에는 지난달 다운로드 5,846회, 모델 크기 6.8조 개 매개변수가 표시돼 있고, 이를 제공하는 추론 서비스는 없다고 적혀 있습니다.