著者であるAli Afanaは、コミュニティからの指摘を受け、Gemma 4モデルの性能を再評価した。当初、26B MoEモデルと31B密モデルを用いたアラビア語ECチャットルーターのテストにおいて、400トークンの制限が密モデルの誤った拒否応答を誘発していた。今回の検証では、アラビア語優先のシステムフレームと0.3の温度設定という条件は維持しつつ、最大トークン予算を400から4096へと拡大した。

予算の増額後、12回の実験的な呼び出しは全て成功した。以前失敗した6つのシナリオにおいても、MoEと密モデルの両方が正確な回答を生成した。以前はHTTP 500エラーや拒否を返していた密モデルは、十分な予算が与えられたことで、3つのSKU（在庫管理単位）の価格取得やスタイル提案を完了させた。この再検証により、両モデルともマルチステップ推論が可能だが、完了までには異なるトークン予算が必要であることが明らかになった。

今回の結果は、失敗の主な要因がモデルの構造ではなく「推論飢餓」であったことを示している。著者は、密モデルが実効性のあるチャットタスクに適していると結論づけ、複雑な指示を完了できない最大の要因は予算制約にあると強調した。今後は温度設定とモデル性能の相互作用や、Ollamaや管理型Gemini API環境でのクロスバリデーションが検討される予定である。

著者は以前の、密モデルが実効的な対話に適さないという結論を明確に撤回した。十分な予算を提供すれば、両モデル間の信頼性の差は解消される。今回の事例は、トークン制限下でモデルが停止したり拒否したりする病理的挙動が、複数の独立したデプロイ環境で確認されたことを示しており、コミュニティによるクロスバリデーションの重要性を浮き彫りにした。

著者であるAli Afanaは、コミュニティからの指摘を受け、Gemma 4モデルの性能を再評価した。当初、26B MoEモデルと31B密モデルを用いたアラビア語ECチャットルーターのテストにおいて、400トークンの制限が密モデルの誤った拒否応答を誘発していた。今回の検証では、アラビア語優先のシステムフレームと0.3の温度設定という条件は維持しつつ、最大トークン予算を400から4096へと拡大した。

予算の増額後、12回の実験的な呼び出しは全て成功した。以前失敗した6つのシナリオにおいても、MoEと密モデルの両方が正確な回答を生成した。以前はHTTP 500エラーや拒否を返していた密モデルは、十分な予算が与えられたことで、3つのSKU（在庫管理単位）の価格取得やスタイル提案を完了させた。この再検証により、両モデルともマルチステップ推論が可能だが、完了までには異なるトークン予算が必要であることが明らかになった。

今回の結果は、失敗の主な要因がモデルの構造ではなく「推論飢餓」であったことを示している。著者は、密モデルが実効性のあるチャットタスクに適していると結論づけ、複雑な指示を完了できない最大の要因は予算制約にあると強調した。今後は温度設定とモデル性能の相互作用や、Ollamaや管理型Gemini API環境でのクロスバリデーションが検討される予定である。

著者は以前の、密モデルが実効的な対話に適さないという結論を明確に撤回した。十分な予算を提供すれば、両モデル間の信頼性の差は解消される。今回の事例は、トークン制限下でモデルが停止したり拒否したりする病理的挙動が、複数の独立したデプロイ環境で確認されたことを示しており、コミュニティによるクロスバリデーションの重要性を浮き彫りにした。