독일 연구 컨소시엄이 뮌헨 소재 도이치텔레콤(Deutsche Telekom)의 산업용 AI 클라우드에서 학습시킨 오픈소스 언어 모델 Soofi S를 발표했다. 독일 AI 협회(KI Bundesverband)가 주도하고 독일 연방경제기후보호부가 자금을 지원한 이 프로젝트는 하이브리드 Mamba-Transformer 아키텍처를 채택했다. 전체 파라미터는 31.6B 규모지만 토큰당 3.2B 파라미터만 활성화하는 방식을 통해 3B 모델 수준으로 연산 비용을 최적화했다. 학습은 2026년 3월부터 5월까지 512개의 Nvidia B200 장비를 활용해 약 253,000 GPU 시간 동안 진행되었다.

Soofi S는 전체 52개 레이어 중 6개에만 KV 캐시를 적용해 긴 문맥 처리에 효율성을 극대화했다. 40,000 토큰의 문맥 길이에서 32개의 병렬 요청을 처리할 때, 14B~24B 파라미터 규모의 밀집(dense) 모델 대비 GPU당 토큰 생성 속도가 약 8배 빠르다. 처리량은 4,000에서 256,000 토큰 범위 내에서 안정적으로 유지된다. 모델 학습에는 약 27조 개의 토큰이 세 단계에 걸쳐 사용됐으며, 독일어 데이터 비중은 1단계 7.2%에서 2단계 15.3%로 확대되었다.

벤치마크 결과 Soofi S는 HumanEval 73.8%, MBPP 70.2%, 독일어 MBPP 변형 84.2%를 기록하며 OLMo 3 32B 및 Apertus 70B를 능가했다. 독일 특화 지식 테스트인 INCLUDE-DE에서는 61.2점으로 공동 1위를 차지했다. 다만 Minerva MATH-DE는 56점을 기록했으며, RULER 벤치마크의 단어 추출 작업에서는 32,000 토큰 이상에서 성능 저하가 나타났다. 컨소시엄은 학습 데이터와 코드를 공개하며 오픈소스 이니셔티브(OSI)의 정의 1.0을 준수하려 노력했으나, 상업용 라이선스가 포함된 Genios 데이터 사용으로 인해 엄격한 완전 무료 데이터 기준은 충족하지 못했다.

독일 연구 컨소시엄이 뮌헨 소재 도이치텔레콤(Deutsche Telekom)의 산업용 AI 클라우드에서 학습시킨 오픈소스 언어 모델 Soofi S를 발표했다. 독일 AI 협회(KI Bundesverband)가 주도하고 독일 연방경제기후보호부가 자금을 지원한 이 프로젝트는 하이브리드 Mamba-Transformer 아키텍처를 채택했다. 전체 파라미터는 31.6B 규모지만 토큰당 3.2B 파라미터만 활성화하는 방식을 통해 3B 모델 수준으로 연산 비용을 최적화했다. 학습은 2026년 3월부터 5월까지 512개의 Nvidia B200 장비를 활용해 약 253,000 GPU 시간 동안 진행되었다.

Soofi S는 전체 52개 레이어 중 6개에만 KV 캐시를 적용해 긴 문맥 처리에 효율성을 극대화했다. 40,000 토큰의 문맥 길이에서 32개의 병렬 요청을 처리할 때, 14B~24B 파라미터 규모의 밀집(dense) 모델 대비 GPU당 토큰 생성 속도가 약 8배 빠르다. 처리량은 4,000에서 256,000 토큰 범위 내에서 안정적으로 유지된다. 모델 학습에는 약 27조 개의 토큰이 세 단계에 걸쳐 사용됐으며, 독일어 데이터 비중은 1단계 7.2%에서 2단계 15.3%로 확대되었다.

벤치마크 결과 Soofi S는 HumanEval 73.8%, MBPP 70.2%, 독일어 MBPP 변형 84.2%를 기록하며 OLMo 3 32B 및 Apertus 70B를 능가했다. 독일 특화 지식 테스트인 INCLUDE-DE에서는 61.2점으로 공동 1위를 차지했다. 다만 Minerva MATH-DE는 56점을 기록했으며, RULER 벤치마크의 단어 추출 작업에서는 32,000 토큰 이상에서 성능 저하가 나타났다. 컨소시엄은 학습 데이터와 코드를 공개하며 오픈소스 이니셔티브(OSI)의 정의 1.0을 준수하려 노력했으나, 상업용 라이선스가 포함된 Genios 데이터 사용으로 인해 엄격한 완전 무료 데이터 기준은 충족하지 못했다.