Baseten、判断モデル2種を公開

Basetenは、社内研究チームBase Labsが訓練したオープンソースの判断モデル mammoth-1（27B）と elephant-1（9B）を公開しました。Baseten Model APIsを通じて1週間無料で試せます。データを保持しない設定（ZDR）は初期設定で有効です。Basetenによると、mammoth-1は208の判断モデル中1位で、Jev Decision Index 0.4で71.24を獲得しました。elephant-1は9Bの判断モデルで首位です。Artificial Analysis Decision Indexでは、mammoth-1が65.9、elephant-1が65.2でした。

判断モデルは文章を生成する代わりに、回答候補ごとの確率分布（候補ごとの確からしさを示す数値のまとまり）を返し、その合計は1になります。選択式の質問、段階評価、はい・いいえで答える質問に対応します。Basetenは、チケットの振り分けや迷惑メール検出などの分類作業では、生成型LLMは処理に時間と費用がかかる場合があり、文章での回答から信頼できる確信度を直接得るのも難しいと説明しています。

Basetenによると、文章生成を省くことで、本番環境で判断モデルをより速く、低コストで提供できます。利用者は信頼度閾値を設定し、基準を満たす回答を採用するか、不確かなケースを人に回すか決められます。例えば、確信度が90%に達したサポートチケットを自動で振り分けられます。同社は、追加学習によって確信度を正確さにより近づけられるとし、判断モデルは推論モデルより最大10倍速くなる可能性があると述べています。用途として、チケットの優先度判定と振り分け、迷惑メールやフィッシングの検出、プロンプトの安全対策とジェイルブレイク検出、小型モデルと最先端LLM間のリクエスト振り分けを挙げました。

Basetenは、サポートチケットの振り分けや安全性チェックなどに対応する汎用モデルとして訓練しました。訓練と評価の対象は、知識と推論、言語、ツールと自動化、検索と分類、芸術と人間の嗜好の5分野です。mammoth-1はJev Decision Index 0.4で1位、elephant-1は全体で同率8位となり、9Bの判断モデルでは首位でした。別のArtificial Analysis Decision Indexでは、elephant-1がd1-ultraと同率1位です。Basetenは、mammoth-1は幅広い知識を要する作業に、elephant-1は素早い推論に適しているとしています。

2モデルはQwen3.5-9BとQwen3.5-27Bを基に調整され、621万件の意思決定例で訓練されました。データセットには公開データに加え、基本的な判断能力、安全性と回答保留、評価と専門分野に関する合成例が含まれます。Basetenはelephant-1を使った訓練と評価を繰り返してデータを改良し、最終的なデータ構成で両モデルを訓練したと説明しています。不確かな場合に「わかりません」と答える例も学習させました。モデルはHugging Faceでオープンソースとして公開され、Baseten Model APIsで1週間無料で試せます。同社は、難しい事例での正確さ、確信度と人への引き継ぎの閾値、想定する通信量での速度と費用を、再試行や代替処理も含めて評価するよう勧めています。

Basetenは、社内研究チームBase Labsが訓練したオープンソースの判断モデル mammoth-1（27B）と elephant-1（9B）を公開しました。Baseten Model APIsを通じて1週間無料で試せます。データを保持しない設定（ZDR）は初期設定で有効です。Basetenによると、mammoth-1は208の判断モデル中1位で、Jev Decision Index 0.4で71.24を獲得しました。elephant-1は9Bの判断モデルで首位です。Artificial Analysis Decision Indexでは、mammoth-1が65.9、elephant-1が65.2でした。

判断モデルは文章を生成する代わりに、回答候補ごとの確率分布（候補ごとの確からしさを示す数値のまとまり）を返し、その合計は1になります。選択式の質問、段階評価、はい・いいえで答える質問に対応します。Basetenは、チケットの振り分けや迷惑メール検出などの分類作業では、生成型LLMは処理に時間と費用がかかる場合があり、文章での回答から信頼できる確信度を直接得るのも難しいと説明しています。

Basetenによると、文章生成を省くことで、本番環境で判断モデルをより速く、低コストで提供できます。利用者は信頼度閾値を設定し、基準を満たす回答を採用するか、不確かなケースを人に回すか決められます。例えば、確信度が90%に達したサポートチケットを自動で振り分けられます。同社は、追加学習によって確信度を正確さにより近づけられるとし、判断モデルは推論モデルより最大10倍速くなる可能性があると述べています。用途として、チケットの優先度判定と振り分け、迷惑メールやフィッシングの検出、プロンプトの安全対策とジェイルブレイク検出、小型モデルと最先端LLM間のリクエスト振り分けを挙げました。

Basetenは、サポートチケットの振り分けや安全性チェックなどに対応する汎用モデルとして訓練しました。訓練と評価の対象は、知識と推論、言語、ツールと自動化、検索と分類、芸術と人間の嗜好の5分野です。mammoth-1はJev Decision Index 0.4で1位、elephant-1は全体で同率8位となり、9Bの判断モデルでは首位でした。別のArtificial Analysis Decision Indexでは、elephant-1がd1-ultraと同率1位です。Basetenは、mammoth-1は幅広い知識を要する作業に、elephant-1は素早い推論に適しているとしています。

2モデルはQwen3.5-9BとQwen3.5-27Bを基に調整され、621万件の意思決定例で訓練されました。データセットには公開データに加え、基本的な判断能力、安全性と回答保留、評価と専門分野に関する合成例が含まれます。Basetenはelephant-1を使った訓練と評価を繰り返してデータを改良し、最終的なデータ構成で両モデルを訓練したと説明しています。不確かな場合に「わかりません」と答える例も学習させました。モデルはHugging Faceでオープンソースとして公開され、Baseten Model APIsで1週間無料で試せます。同社は、難しい事例での正確さ、確信度と人への引き継ぎの閾値、想定する通信量での速度と費用を、再試行や代替処理も含めて評価するよう勧めています。