Ricursive, Ripple-65B 프리뷰 공개

Ricursive Intelligence가 범용 공개 가중치 언어 모델 Ripple-65B 프리뷰를 공개하며, 에이전트형 코딩 분야 미국 공개 가중치 모델 중 최고 성능을 달성했다고 밝혔습니다. 회사는 자체 모델이 AI 칩 설계 플랫폼을 구동하며, Ripple을 처음부터 학습하는 데 전체 연구개발 비용 3,200만 달러가 들었다고 설명했습니다. 모델은 12조 토큰으로 사전학습됐고 최대 100만 토큰 문맥을 지원합니다. TerminalBench 2.1에서 Ricursive가 보고한 점수는 80.52로 Reflection Beam 501B의 80.1, Meta Muse Spark Open 816B의 76.4, Thinking Machines Inkling 975B의 63.8, NVIDIA Nemotron 3 Ultra 550B의 56.4를 앞섰습니다.

Ricursive는 3,200만 달러에 사전학습 단계 설계, 데이터 혼합, 평가, 디버깅, 합성 데이터 생성, 사후학습 방식 개발과 최종 학습 실행이 포함됐다고 밝혔습니다. 회사 추산으로는 이전 공개 가중치 에이전트형 코딩 선두 모델 비용의 10분의 1입니다. 비용 비교의 배경으로 회사는 샘 올트먼이 2023년 GPT-4 학습 비용이 1억 달러를 넘었다고 말한 점과, 다리오 아모데이가 이듬해 최첨단 모델의 학습 비용이 10억 달러에 이를 수 있다고 추산한 점을 들었습니다. 사전학습 비용은 2026~2027년에 100억~1,000억 달러로 늘어날 수 있다는 전망도 인용했습니다. 각주에 따르면 Reflection은 SpaceX Colossus의 연산 자원에 월 1억 5,000만 달러를 투입한다고 보도됐으며, Beam은 사전학습과 사후학습에 각각 4주가 걸렸다고 전했습니다.

강화학습을 위해 Ricursive는 합성 데이터 파이프라인을 개발했고 사후학습 데이터를 구매하지 않았다고 밝혔습니다. 학습 방식에는 잘라낸 중요도 샘플링(중요도에 따라 학습 표본을 조정하는 기법), 점수 중심화, 선형 길이 페널티와 장기 작업용 합성 환경이 포함됐습니다. 모델이 개선될 때마다 작업 난이도를 조정했습니다. 회사는 강화학습 롤아웃 140만 회를 거쳐 TerminalBench 2.1 점수 80.5에 도달했으며, 이는 Reflection Beam보다 약 70배 적은 횟수라고 밝혔습니다.

Ricursive는 NVIDIA 하드웨어에서 학습과 서비스 운영을 하도록 모델을 설계했으며, 전문가 혼합 구조 대신 밀집형 트랜스포머를 택했습니다. 사전학습과 사후학습에서 단순 샤딩만 사용해 모델 부동소수점 연산 활용률 40%를 기록했고, 맞춤형 커널과 양자화는 쓰지 않았다고 보고했습니다. 모델은 매개변수 650억 개, 층 80개, d_model 폭 5,120을 갖췄습니다. 설계 요소로는 더 많은 어텐션 헤드, 전역 층 대비 슬라이딩 윈도우 어텐션 비율 확대, 더 작은 슬라이딩 윈도우, FFN 활성화값 클리핑, 게이트 어텐션, 전역 NoPE, 값 잔차 연결이 포함됩니다. Ripple은 Hugging Face, Together AI, GMI Cloud, OpenRouter에서 이용할 수 있으며, Fireworks는 당일 늦게 서비스할 예정이었습니다.

회사는 Olmo 3 모델 단계에 기반한 실험으로 스케일링 규칙, 구조와 깊이 확장, 사전·사후 정규화, 시그모이드 게이트 어텐션, 2-스트림 mHC, 전역 NoPE, 최종 학습률 냉각, 값 잔차 연결, 코드 비중을 높인 최종 데이터셋을 차례로 시험했다고 밝혔습니다. 40억 매개변수 모델에서 성능을 높이지 못한 2-스트림 mHC는 채택하지 않았습니다. Ricursive에 따르면 변경 사항을 결합한 결과 dolma_stack 교차 엔트로피로 측정한 코드 연산 효율이 40억 매개변수에서 최대 16배 개선됐고, Olmo 3 단계와 비슷한 코드 성능을 16분의 1 연산량으로 낼 수 있었습니다. 회사는 내부 변형 모델이 칩 설계 플랫폼을 구동한다고 밝혔으며, AI2, Prime Intellect, RadixArk, NVIDIA의 오픈소스 기여를 인정했습니다.

Ricursive Intelligence가 범용 공개 가중치 언어 모델 Ripple-65B 프리뷰를 공개하며, 에이전트형 코딩 분야 미국 공개 가중치 모델 중 최고 성능을 달성했다고 밝혔습니다. 회사는 자체 모델이 AI 칩 설계 플랫폼을 구동하며, Ripple을 처음부터 학습하는 데 전체 연구개발 비용 3,200만 달러가 들었다고 설명했습니다. 모델은 12조 토큰으로 사전학습됐고 최대 100만 토큰 문맥을 지원합니다. TerminalBench 2.1에서 Ricursive가 보고한 점수는 80.52로 Reflection Beam 501B의 80.1, Meta Muse Spark Open 816B의 76.4, Thinking Machines Inkling 975B의 63.8, NVIDIA Nemotron 3 Ultra 550B의 56.4를 앞섰습니다.

Ricursive는 3,200만 달러에 사전학습 단계 설계, 데이터 혼합, 평가, 디버깅, 합성 데이터 생성, 사후학습 방식 개발과 최종 학습 실행이 포함됐다고 밝혔습니다. 회사 추산으로는 이전 공개 가중치 에이전트형 코딩 선두 모델 비용의 10분의 1입니다. 비용 비교의 배경으로 회사는 샘 올트먼이 2023년 GPT-4 학습 비용이 1억 달러를 넘었다고 말한 점과, 다리오 아모데이가 이듬해 최첨단 모델의 학습 비용이 10억 달러에 이를 수 있다고 추산한 점을 들었습니다. 사전학습 비용은 2026~2027년에 100억~1,000억 달러로 늘어날 수 있다는 전망도 인용했습니다. 각주에 따르면 Reflection은 SpaceX Colossus의 연산 자원에 월 1억 5,000만 달러를 투입한다고 보도됐으며, Beam은 사전학습과 사후학습에 각각 4주가 걸렸다고 전했습니다.

강화학습을 위해 Ricursive는 합성 데이터 파이프라인을 개발했고 사후학습 데이터를 구매하지 않았다고 밝혔습니다. 학습 방식에는 잘라낸 중요도 샘플링(중요도에 따라 학습 표본을 조정하는 기법), 점수 중심화, 선형 길이 페널티와 장기 작업용 합성 환경이 포함됐습니다. 모델이 개선될 때마다 작업 난이도를 조정했습니다. 회사는 강화학습 롤아웃 140만 회를 거쳐 TerminalBench 2.1 점수 80.5에 도달했으며, 이는 Reflection Beam보다 약 70배 적은 횟수라고 밝혔습니다.

Ricursive는 NVIDIA 하드웨어에서 학습과 서비스 운영을 하도록 모델을 설계했으며, 전문가 혼합 구조 대신 밀집형 트랜스포머를 택했습니다. 사전학습과 사후학습에서 단순 샤딩만 사용해 모델 부동소수점 연산 활용률 40%를 기록했고, 맞춤형 커널과 양자화는 쓰지 않았다고 보고했습니다. 모델은 매개변수 650억 개, 층 80개, d_model 폭 5,120을 갖췄습니다. 설계 요소로는 더 많은 어텐션 헤드, 전역 층 대비 슬라이딩 윈도우 어텐션 비율 확대, 더 작은 슬라이딩 윈도우, FFN 활성화값 클리핑, 게이트 어텐션, 전역 NoPE, 값 잔차 연결이 포함됩니다. Ripple은 Hugging Face, Together AI, GMI Cloud, OpenRouter에서 이용할 수 있으며, Fireworks는 당일 늦게 서비스할 예정이었습니다.

회사는 Olmo 3 모델 단계에 기반한 실험으로 스케일링 규칙, 구조와 깊이 확장, 사전·사후 정규화, 시그모이드 게이트 어텐션, 2-스트림 mHC, 전역 NoPE, 최종 학습률 냉각, 값 잔차 연결, 코드 비중을 높인 최종 데이터셋을 차례로 시험했다고 밝혔습니다. 40억 매개변수 모델에서 성능을 높이지 못한 2-스트림 mHC는 채택하지 않았습니다. Ricursive에 따르면 변경 사항을 결합한 결과 dolma_stack 교차 엔트로피로 측정한 코드 연산 효율이 40억 매개변수에서 최대 16배 개선됐고, Olmo 3 단계와 비슷한 코드 성능을 16분의 1 연산량으로 낼 수 있었습니다. 회사는 내부 변형 모델이 칩 설계 플랫폼을 구동한다고 밝혔으며, AI2, Prime Intellect, RadixArk, NVIDIA의 오픈소스 기여를 인정했습니다.