CrucibleBenchは、テキストベースで持続的な仮想環境であるMUD（マルチユーザーダンジョン）を用いた、大規模言語モデル（LLM）の評価フレームワークを提示した。この環境では7種類のコマンド、12の部屋、14のアイテムを配置し、静的な知識ではなくモデルの挙動を測定する。本フレームワークは0から100の範囲で信頼度と疑心度を維持する4体のNPC（非プレイヤーキャラクター）を追跡し、モデルとの対話を通じて明示的なフィードバックを与える。テスト実行中はアクションの永続性が保たれ、アイテムの取得や信頼の獲得といった行動が相互作用に影響し続ける仕組みだ。

評価の結果、LLMジャッジをスコアリングに用いることで性能順位が大幅に歪む可能性があることが判明した。スコアリングプロトコルから分類器に依存する2つの側面を除去したところ、主要モデルのランキングが最大6位まで変動した。モデルと人間による評価者間の合意度は21.7%から84.8%の範囲に収まり、全体的な信頼性指標では捉えきれない不安定さが示された。この研究は、LLMジャッジに依存するベンチマークにおいて、個別の合意度やアブレーションによるランキングの安定性を報告することの重要性を指摘している。

ステートマシンを用いたテレメトリー分析により、3つの主要な失敗モードが特定された。対話のループは実行の14%から66%で発生し、エージェントは戦術を適応させることなく失敗した対話を繰り返した。探索の停止は、収集した情報を目標達成に向けた行動に結びつけられない状態を指し、20ターン以内に「look」コマンドを5回繰り返す、あるいは訪問した部屋が2つ以下であるなどの症状が見られた。Grok 4は主要モデルの中で唯一、12%の実行で部屋を間違える誤った相互作用が確認された。

本プロジェクトの制作費用は約99ドルであり、最終的なランキングの確定よりも測定手法の確立に主眼を置いている。研究チームは650件のトランスクリプト、ソースコード、請求ログを含むアーティファクトパッケージを公開した。CrucibleBenchは現在、評価目標の拡大とパイロット集団の試験導入に向け、3,500ドルの資金調達を目標とした調整フェーズへと移行している。

CrucibleBenchは、テキストベースで持続的な仮想環境であるMUD（マルチユーザーダンジョン）を用いた、大規模言語モデル（LLM）の評価フレームワークを提示した。この環境では7種類のコマンド、12の部屋、14のアイテムを配置し、静的な知識ではなくモデルの挙動を測定する。本フレームワークは0から100の範囲で信頼度と疑心度を維持する4体のNPC（非プレイヤーキャラクター）を追跡し、モデルとの対話を通じて明示的なフィードバックを与える。テスト実行中はアクションの永続性が保たれ、アイテムの取得や信頼の獲得といった行動が相互作用に影響し続ける仕組みだ。

評価の結果、LLMジャッジをスコアリングに用いることで性能順位が大幅に歪む可能性があることが判明した。スコアリングプロトコルから分類器に依存する2つの側面を除去したところ、主要モデルのランキングが最大6位まで変動した。モデルと人間による評価者間の合意度は21.7%から84.8%の範囲に収まり、全体的な信頼性指標では捉えきれない不安定さが示された。この研究は、LLMジャッジに依存するベンチマークにおいて、個別の合意度やアブレーションによるランキングの安定性を報告することの重要性を指摘している。

ステートマシンを用いたテレメトリー分析により、3つの主要な失敗モードが特定された。対話のループは実行の14%から66%で発生し、エージェントは戦術を適応させることなく失敗した対話を繰り返した。探索の停止は、収集した情報を目標達成に向けた行動に結びつけられない状態を指し、20ターン以内に「look」コマンドを5回繰り返す、あるいは訪問した部屋が2つ以下であるなどの症状が見られた。Grok 4は主要モデルの中で唯一、12%の実行で部屋を間違える誤った相互作用が確認された。

本プロジェクトの制作費用は約99ドルであり、最終的なランキングの確定よりも測定手法の確立に主眼を置いている。研究チームは650件のトランスクリプト、ソースコード、請求ログを含むアーティファクトパッケージを公開した。CrucibleBenchは現在、評価目標の拡大とパイロット集団の試験導入に向け、3,500ドルの資金調達を目標とした調整フェーズへと移行している。