Baseten, 의사결정 모델 2종 공개

Baseten이 자체 연구팀 Base Labs가 학습한 오픈소스 의사결정 모델 mammoth-1(27B)과 elephant-1(9B)을 공개하고, Baseten Model APIs를 통해 일주일간 무료 체험을 제공했습니다. 기본 설정으로 데이터 보존을 하지 않는 ZDR이 활성화돼 있습니다. Baseten에 따르면 mammoth-1은 의사결정 모델 208개 중 1위이며 Jev Decision Index 0.4에서 71.24점을 기록했습니다. elephant-1은 9B 의사결정 모델 가운데 선두입니다. 별도 지표인 Artificial Analysis Decision Index에서는 mammoth-1이 65.9점, elephant-1이 65.2점을 받았습니다.

의사결정 모델은 답변을 문장으로 생성하는 대신 가능한 답변별 확률 분포를 반환하며, 각 확률의 합은 1입니다. 선택형 질문, 척도에 따른 평가, 예·아니요 질문에 대응합니다. Baseten은 티켓 분류와 스팸 탐지 같은 작업에서 생성형 LLM은 느리고 비용이 많이 들 수 있고, 생성된 문장만으로는 신뢰할 수 있는 확신도를 바로 알기 어렵다고 밝혔습니다.

Baseten은 텍스트 생성을 생략하면 실제 서비스 환경에서 모델을 더 빠르고 저렴하게 제공할 수 있다고 설명했습니다. 사용자는 신뢰 임계값을 설정해 답변을 자동 수용하거나 확신이 낮은 사례를 담당자에게 넘길 수 있습니다. 예를 들어 고객 지원 티켓은 확신도가 90%일 때 자동으로 분류할 수 있습니다. 회사는 후속 학습으로 확신도가 정확도를 더 잘 반영하게 할 수 있으며, 의사결정 모델이 추론 모델보다 최대 10배 빠를 수 있다고 밝혔습니다. 제안된 용도에는 티켓 분류와 전달, 스팸·피싱 탐지, 프롬프트 안전장치와 탈옥 탐지, 소형 LLM과 최상위 LLM 사이의 요청 전달이 포함됩니다.

Baseten은 지원 티켓 전달과 안전성 검사 등을 수행하도록 범용 모델로 학습했습니다. 학습과 평가에는 지식·추론, 언어, 도구·자동화, 검색·분류, 예술·인간 취향 등 5개 분야가 포함됐습니다. mammoth-1은 Jev Decision Index 0.4에서 1위이며, elephant-1은 전체 공동 8위이자 9B 의사결정 모델 중 선두입니다. 별도의 Artificial Analysis Decision Index에서는 elephant-1이 d1-ultra와 공동 1위입니다. Baseten은 일반 지식이 더 필요한 작업에는 mammoth-1이, 빠른 추론에는 elephant-1이 적합하다고 말했습니다.

두 모델은 Qwen3.5-9B와 Qwen3.5-27B를 바탕으로 의사결정 사례 621만 개를 사용해 미세 조정했습니다. 데이터셋은 공개 자료와 핵심 의사결정 능력, 안전성·답변 거부, 판단·전문 분야에 관한 합성 사례를 결합했습니다. Baseten은 elephant-1을 반복적으로 학습·평가하며 데이터를 다듬은 뒤 최종 혼합 데이터로 두 모델을 학습했다고 밝혔습니다. 불확실할 때 “모르겠습니다”라고 답하는 사례도 학습에 포함했습니다. 두 모델은 Hugging Face에서 오픈소스로 공개됐으며 Baseten Model APIs에서 일주일간 무료로 체험할 수 있습니다. Baseten은 사용자가 어려운 사례의 정확도, 확신도와 담당자 이관 기준, 재시도와 대체 경로를 포함한 예상 트래픽에서의 속도와 비용을 평가할 것을 권했습니다.

Baseten이 자체 연구팀 Base Labs가 학습한 오픈소스 의사결정 모델 mammoth-1(27B)과 elephant-1(9B)을 공개하고, Baseten Model APIs를 통해 일주일간 무료 체험을 제공했습니다. 기본 설정으로 데이터 보존을 하지 않는 ZDR이 활성화돼 있습니다. Baseten에 따르면 mammoth-1은 의사결정 모델 208개 중 1위이며 Jev Decision Index 0.4에서 71.24점을 기록했습니다. elephant-1은 9B 의사결정 모델 가운데 선두입니다. 별도 지표인 Artificial Analysis Decision Index에서는 mammoth-1이 65.9점, elephant-1이 65.2점을 받았습니다.

의사결정 모델은 답변을 문장으로 생성하는 대신 가능한 답변별 확률 분포를 반환하며, 각 확률의 합은 1입니다. 선택형 질문, 척도에 따른 평가, 예·아니요 질문에 대응합니다. Baseten은 티켓 분류와 스팸 탐지 같은 작업에서 생성형 LLM은 느리고 비용이 많이 들 수 있고, 생성된 문장만으로는 신뢰할 수 있는 확신도를 바로 알기 어렵다고 밝혔습니다.

Baseten은 텍스트 생성을 생략하면 실제 서비스 환경에서 모델을 더 빠르고 저렴하게 제공할 수 있다고 설명했습니다. 사용자는 신뢰 임계값을 설정해 답변을 자동 수용하거나 확신이 낮은 사례를 담당자에게 넘길 수 있습니다. 예를 들어 고객 지원 티켓은 확신도가 90%일 때 자동으로 분류할 수 있습니다. 회사는 후속 학습으로 확신도가 정확도를 더 잘 반영하게 할 수 있으며, 의사결정 모델이 추론 모델보다 최대 10배 빠를 수 있다고 밝혔습니다. 제안된 용도에는 티켓 분류와 전달, 스팸·피싱 탐지, 프롬프트 안전장치와 탈옥 탐지, 소형 LLM과 최상위 LLM 사이의 요청 전달이 포함됩니다.

Baseten은 지원 티켓 전달과 안전성 검사 등을 수행하도록 범용 모델로 학습했습니다. 학습과 평가에는 지식·추론, 언어, 도구·자동화, 검색·분류, 예술·인간 취향 등 5개 분야가 포함됐습니다. mammoth-1은 Jev Decision Index 0.4에서 1위이며, elephant-1은 전체 공동 8위이자 9B 의사결정 모델 중 선두입니다. 별도의 Artificial Analysis Decision Index에서는 elephant-1이 d1-ultra와 공동 1위입니다. Baseten은 일반 지식이 더 필요한 작업에는 mammoth-1이, 빠른 추론에는 elephant-1이 적합하다고 말했습니다.

두 모델은 Qwen3.5-9B와 Qwen3.5-27B를 바탕으로 의사결정 사례 621만 개를 사용해 미세 조정했습니다. 데이터셋은 공개 자료와 핵심 의사결정 능력, 안전성·답변 거부, 판단·전문 분야에 관한 합성 사례를 결합했습니다. Baseten은 elephant-1을 반복적으로 학습·평가하며 데이터를 다듬은 뒤 최종 혼합 데이터로 두 모델을 학습했다고 밝혔습니다. 불확실할 때 “모르겠습니다”라고 답하는 사례도 학습에 포함했습니다. 두 모델은 Hugging Face에서 오픈소스로 공개됐으며 Baseten Model APIs에서 일주일간 무료로 체험할 수 있습니다. Baseten은 사용자가 어려운 사례의 정확도, 확신도와 담당자 이관 기준, 재시도와 대체 경로를 포함한 예상 트래픽에서의 속도와 비용을 평가할 것을 권했습니다.