바이두, ERNIE-5.5-Flash-Base 공개

바이두가 개발자가 조정하거나 지시문 학습에 활용하고 강화학습 연구에 쓸 수 있는 사전학습 체크포인트 ERNIE-5.5-Flash-Base를 Hugging Face에 공개했습니다. 텍스트 전용 희소 전문가 혼합 모델로, 전체 파라미터는 280B이며 토큰마다 14B를 활성화합니다. 처음부터 33.5T 토큰으로 학습했고, 학습 문맥 길이는 최대 128K 토큰, 미세조정 및 추론 문맥 길이는 최대 1M 토큰입니다. 바이두는 추가 학습과 에이전트 활용에 연산량과 메모리 비용이 늘어나는 점을 고려해 효율성을 설계 목표로 삼았다고 밝혔습니다. 활성 연산량, KV 캐시, 긴 문맥 처리 비용을 함께 고려했고, 사전학습 데이터는 대규모 코드 저장소와 긴 문맥 이해에 비중을 뒀으며 학습 시스템도 아키텍처와 함께 설계했습니다.

공개된 Base 체크포인트는 사전학습 종료 시점의 모델로, 중간 학습이나 사후 학습을 거치기 전 단계입니다. 바이두는 이를 도메인 적응, 지시문 튜닝, 강화학습 연구를 위한 공통 출발점으로 제시했습니다. 지식, 추론, 수학, 코드, 다국어, 긴 문맥 벤치마크를 DeepSeek-V4-Flash-Base (284B-A13B), Hy3-preview-Base (295B-A21B), MiMo-V2.5-Base (310B-A15B)와 같은 평가 절차, 프롬프트, 퓨샷 설정으로 비교했다고 밝혔습니다. 공개 표에 기재된 ERNIE 점수는 MMLU 93.3, MMLU-Pro 78.4, GPQA 60.2, 연쇄적 사고를 적용한 BBH 89.2, HumanEval+ 82.3, LiveCodeBench 40.1, HELMET-RAG 71.5, LongBench-v2 48.7입니다. 벤치마크별 결과는 달랐습니다. 예를 들어 BBH 연쇄적 사고 점수 89.2는 MiMo-V2.5-Base의 90.0보다 낮고, HELMET-Rerank NDCG@10 점수 56.2는 Hy3-preview-Base의 60.0보다 낮습니다.

아키텍처는 43개 층으로 구성됩니다. 여기에는 밀집 피드포워드 층 1개와 다중 라우터 잠재 전문가 혼합 층 42개가 포함되며, 각 전문가 혼합 층에는 라우팅 전문가 512개 중 상위 10개와 공유 전문가 1개가 있습니다. 모델은 압축률이 높은 어텐션 층 37개와 희소 어텐션을 적용한 다중 헤드 잠재 어텐션 층 6개를 결합했습니다. 바이두에 따르면 압축 층은 KV 캐시에 토큰 128개당 항목 1개를 저장합니다. 같은 KV 캐시 예산에서 이 층과 잠재 어텐션을 조합한 방식은 압축 희소 어텐션과 조합한 방식보다 성능이 높았습니다. 저랭크 게이트 어텐션은 게이트 투영 파라미터를 75% 줄입니다. ECHO 설계는 백본의 마지막 층을 재사용해 미래 토큰을 예측하고 투기적 디코딩용 초안 모델로 활용합니다. 다양체 제약 하이퍼 연결은 43개 층 전체에 확장률 4를 적용합니다.

사전학습에는 다국어 웹 데이터, 코드 저장소와 웹 코드, 소프트웨어 개발 기록, 장문서, 검색 방해 항목, 질의응답 데이터가 사용됐습니다. 바이두는 수천 개 GPU에서 학습하기 위해 분산 Muon 통신과 메모리 균형형 옵티마이저 샤딩도 설명했습니다. FlashMask-4 어텐션 커널은 SM90과 SM100을 지원하며, 바이두는 SM100에서 FlashAttention-4 MaskMod보다 순전파 처리가 최대 175%, 역전파 처리가 74% 빠르다고 보고했습니다. 모델 가중치는 FP8과 BF16 형식으로 제공되며, ERNIE 5.5 Flash Base Model License Agreement v1.0을 따릅니다. 바이두는 서빙 옵션으로 SGLang과 vLLM을 제시했으며, 두 서버 모두 최대 1,048,576토큰의 문맥 길이를 지원합니다. Hugging Face 페이지에 따르면 지난 한 달간 다운로드 수는 971회였습니다.

바이두가 개발자가 조정하거나 지시문 학습에 활용하고 강화학습 연구에 쓸 수 있는 사전학습 체크포인트 ERNIE-5.5-Flash-Base를 Hugging Face에 공개했습니다. 텍스트 전용 희소 전문가 혼합 모델로, 전체 파라미터는 280B이며 토큰마다 14B를 활성화합니다. 처음부터 33.5T 토큰으로 학습했고, 학습 문맥 길이는 최대 128K 토큰, 미세조정 및 추론 문맥 길이는 최대 1M 토큰입니다. 바이두는 추가 학습과 에이전트 활용에 연산량과 메모리 비용이 늘어나는 점을 고려해 효율성을 설계 목표로 삼았다고 밝혔습니다. 활성 연산량, KV 캐시, 긴 문맥 처리 비용을 함께 고려했고, 사전학습 데이터는 대규모 코드 저장소와 긴 문맥 이해에 비중을 뒀으며 학습 시스템도 아키텍처와 함께 설계했습니다.

공개된 Base 체크포인트는 사전학습 종료 시점의 모델로, 중간 학습이나 사후 학습을 거치기 전 단계입니다. 바이두는 이를 도메인 적응, 지시문 튜닝, 강화학습 연구를 위한 공통 출발점으로 제시했습니다. 지식, 추론, 수학, 코드, 다국어, 긴 문맥 벤치마크를 DeepSeek-V4-Flash-Base (284B-A13B), Hy3-preview-Base (295B-A21B), MiMo-V2.5-Base (310B-A15B)와 같은 평가 절차, 프롬프트, 퓨샷 설정으로 비교했다고 밝혔습니다. 공개 표에 기재된 ERNIE 점수는 MMLU 93.3, MMLU-Pro 78.4, GPQA 60.2, 연쇄적 사고를 적용한 BBH 89.2, HumanEval+ 82.3, LiveCodeBench 40.1, HELMET-RAG 71.5, LongBench-v2 48.7입니다. 벤치마크별 결과는 달랐습니다. 예를 들어 BBH 연쇄적 사고 점수 89.2는 MiMo-V2.5-Base의 90.0보다 낮고, HELMET-Rerank NDCG@10 점수 56.2는 Hy3-preview-Base의 60.0보다 낮습니다.

아키텍처는 43개 층으로 구성됩니다. 여기에는 밀집 피드포워드 층 1개와 다중 라우터 잠재 전문가 혼합 층 42개가 포함되며, 각 전문가 혼합 층에는 라우팅 전문가 512개 중 상위 10개와 공유 전문가 1개가 있습니다. 모델은 압축률이 높은 어텐션 층 37개와 희소 어텐션을 적용한 다중 헤드 잠재 어텐션 층 6개를 결합했습니다. 바이두에 따르면 압축 층은 KV 캐시에 토큰 128개당 항목 1개를 저장합니다. 같은 KV 캐시 예산에서 이 층과 잠재 어텐션을 조합한 방식은 압축 희소 어텐션과 조합한 방식보다 성능이 높았습니다. 저랭크 게이트 어텐션은 게이트 투영 파라미터를 75% 줄입니다. ECHO 설계는 백본의 마지막 층을 재사용해 미래 토큰을 예측하고 투기적 디코딩용 초안 모델로 활용합니다. 다양체 제약 하이퍼 연결은 43개 층 전체에 확장률 4를 적용합니다.

사전학습에는 다국어 웹 데이터, 코드 저장소와 웹 코드, 소프트웨어 개발 기록, 장문서, 검색 방해 항목, 질의응답 데이터가 사용됐습니다. 바이두는 수천 개 GPU에서 학습하기 위해 분산 Muon 통신과 메모리 균형형 옵티마이저 샤딩도 설명했습니다. FlashMask-4 어텐션 커널은 SM90과 SM100을 지원하며, 바이두는 SM100에서 FlashAttention-4 MaskMod보다 순전파 처리가 최대 175%, 역전파 처리가 74% 빠르다고 보고했습니다. 모델 가중치는 FP8과 BF16 형식으로 제공되며, ERNIE 5.5 Flash Base Model License Agreement v1.0을 따릅니다. 바이두는 서빙 옵션으로 SGLang과 vLLM을 제시했으며, 두 서버 모두 최대 1,048,576토큰의 문맥 길이를 지원합니다. Hugging Face 페이지에 따르면 지난 한 달간 다운로드 수는 971회였습니다.