CASLR、言語モデルの振り分け性能を改善
Semantic Scholar2026年10月7日 (水)
- •CASLRがクラスタリングに基づくソフトラベルで、質問を複数の言語モデルに振り分け
- •複数ベンチマークの平均性能でLlama-3.3-70B-Instructを7.80%上回る
- •効率的なスケジューリング方式で、振り分け推論の遅延は1.13秒と報告
Yao Lu、Zhai-Yuan Ji、Ya-Xin Gaoらの研究チームは、ユーザーの質問に答える大規模言語モデル（LLM）を選ぶ枠組み「Cluster-Aware Soft-Labeling Routing（CASLR）」を提案しました。2026年10月5日付の論文によると、複数の候補モデルが同じ質問に正しく答えられる場合、振り分け器が判断を誤り、未学習タスクで性能が低下する「振り分け崩壊」が起きることがあります。
CASLRは、正解モデルを1つだけ指定するワンホットラベルを、マスク付きソフトマックス方式に置き換えます。不正解モデルの目標確率をゼロにし、残りのモデルには全体的なクラスタリング有用度スコアに基づく連続的なソフトラベルを割り当てます。軽量な振り分け器は、このラベルを使って学習します。
研究チームによると、CASLRは複数のベンチマークで高い精度を達成し、総合平均性能でLlama-3.3-70B-Instructを7.80%上回りました。また、振り分け推論の遅延は1.13秒で、応答品質を保ちながらシステムへの追加負荷はほとんどないと報告しています。