Amazon、推論能力を強化するSelf-Distilled Reasoningを発表
- •Amazonは、教師あり微調整における推論の抑制を解決するため、Self-Distilled Reasoning(SDR)を導入した。
- •SDRはターゲットタスクの精度を平均6.5%向上させつつ、破滅的忘却を抑制する。
- •本技術はベースモデルを使用して思考過程を生成し、人間の注釈なしで推論能力を補完する。
Amazonは、AIモデルの教師あり微調整(SFT)における「推論の抑制」に対処する新技術、Self-Distilled Reasoning(SDR)を導入した。推論の抑制とは、中間的な思考プロセスを欠いた入出力ペアでモデルを訓練した際に、論理的な一貫性を失い「ショートカット学習」に陥る現象を指す。SDRは、ベースモデルであるAmazon Nova 2 Liteを使用して思考の連鎖(Chain-of-Thought)トレースを生成し、これを既存の学習データセットに付与することで、モデル自身の推論パターンを学習ターゲットとして活用する。
MedMCQA、CoCoHD、Invoice-OCRという3つのベンチマークにおける実験結果では、SDRが汎用的な能力を維持しつつ、ターゲット性能を向上させることが実証された。微調整モデルとベースモデルの重みを補間して失われたスキルを回復させる手法と比較すると、数学タスクでの性能を約70%(従来手法は68%)で維持しつつ、ターゲットタスクの精度を平均6.5%以上向上させた。また、一般的な微調整設定で数学タスクのスコアが70%から6%まで低下するといった、破滅的忘却の軽減にも寄与する。
SDRの実装パイプラインでは、Amazon Bedrockを活用し、順方向の推論または提供された正解からロジックを再構成する逆方向の推論によって推論トレースを生成する。データ品質を確保するために、トレースから回答漏洩を排除するフィルタリング工程も組み込まれている。実装には温度パラメータ0.3、topP 0.9、topK 50という特定の設定が必要であり、推論の決定論的かつ一貫したロジックを保証する。本手法は学習中の正規化として機能し、教師モデルや人間による注釈を必要とせず、学習と推論の両フェーズで推論モードの一貫性を維持する。