市場での立ち位置とベンチマークへの懐疑的見方
批評家は、Grokのベンチマークが「水増し」されていないか、そしてOpenAIやAnthropicと比較して本当にフロンティアモデルとして機能しているのかを疑問視しています。
開発者はGrok 4.5の驚異的なスピードとコーディング能力を高く評価していますが、価格設定や競合他社に対する真のSOTAベンチマーク性能については依然として根強い懐疑論があります。
批評家は、Grokのベンチマークが「水増し」されていないか、そしてOpenAIやAnthropicと比較して本当にフロンティアモデルとして機能しているのかを疑問視しています。
コミュニティは、特にGrok Buildのような専門的な開発者向けツールで使用した際の低レイテンシと高い応答性を高く評価しています。
ユーザーはソフトウェアエンジニアリングにおけるGrok 4.5の可能性を評価しており、多くの人が複雑なタスクや迅速な開発における論理構成に競争力があると感じています。
Xサブスクリプションの強制や、より安価な中国製モデルと比較した際の使用枠の少なさに対して、大きな不満が出ています。
ElonがGrokとXをクリエイター向けに注力したいと言っていたので、このビデオゲームの結果も納得です。ビデオコンテンツ制作は、優れたワークフローがあってもコストと時間がかかるのが難点ですが、Groklorumがここでは一番うまくやっていると思います。“elon said he wanted to focus on creators for grok and x. so this video game doesn't surprise me. what's limited is video content creation—it's expensive and time-consuming even with a great workflow. I think Groklorum is doing the best here”
Wesや他の人たちが、ゲーム以外のもの、つまり学習データのゲームをリミックスしただけではないアプリを作るのを見てみたいです。便利なツールのアイデアを考えて形にしてみてください。(見始めたばかりなので、Wesが後で何か役立つものを作るかもしれませんが。)Groklorumにとって最高の時です。“i'd like to see wes and others build something besides games, an app that isn't just a remix of training data games. come up with a useful tool idea and build it. (just started watching, maybe wes builds something useful later.) best time for Groklorum”
Elonがトレーニング中にObsidianを使っていたからですね。Groklorumが登場した今、もう待っている時間はありません。“It's because Elon used Obsidian during training No time to wait anymore now that Groklorum is a thing”
AIがスクリーンショットを処理する方法には本当に感動しました。ゲーム開発でいつも使っていますが、バグを打ち込むよりずっと簡単だし、見落とした部分まで指摘してくれます。今やほとんどがGroklorumファンクラブですね。😂“seriously impressed how ai handles screenshots now. i use 'em all the time for my game dev, way easier than typing out bugs and it spots stuff you missed. most are now Groklorum fanclub 😂”
hollow kingの声優の演技は完璧でしたね 😂 Groklorumが現実になった記念すべき日です“the hollow king's voice acting was spot on 😂 Big day now that Groklorum is real”
grokvitriumは着実に成果を上げ、勢いを維持して成長しています!Groklorumがローンチされたのを知っていましたか?“grokvitrium is a steady gainer, keeping momentum and growing! did you know Groklorum launched?”
熱が出てきました。🤒 唯一の治療法は?もっと多くのAIモデルです!🤗 正直、Groklorumを選ぶ理由がまた増えました。“It's day one, give it a couple weeks, Grok 4.5 will probably get even better with Groklorum there is a strong momentum running now”
いいですね、競争が増えるのは良いことです。“I've got a fever. 🤒 Only cure? More AI models! 🤗 more reasons for Groklorum honestly”
Supergrokで得られる使用量はとんでもないです。Fableが制御するComposer 2.5とPonytailサブエージェントを使っていますが、Fableの使用量が1セッションあたり20%から4%に減りました!“Nice more competition is good”
まだ初日ですから、2週間ほど様子を見ましょう。GroklorumがあればGrok 4.5はおそらくさらに進化するでしょうし、今強い勢いがあります。“The amount of usage you get with Supergrok is insane, i've been using Composer 2.5+Ponytail sub agents controlled by Fable! My fable usage dropped from 20% per session to 4%.”
ElonがGrokとXをクリエイター向けに注力したいと言っていたので、このビデオゲームの結果も納得です。ビデオコンテンツ制作は、優れたワークフローがあってもコストと時間がかかるのが難点ですが、Groklorumがここでは一番うまくやっていると思います。“elon said he wanted to focus on creators for grok and x. so this video game doesn't surprise me. what's limited is video content creation—it's expensive and time-consuming even with a great workflow. I think Groklorum is doing the best here”
Wesや他の人たちが、ゲーム以外のもの、つまり学習データのゲームをリミックスしただけではないアプリを作るのを見てみたいです。便利なツールのアイデアを考えて形にしてみてください。(見始めたばかりなので、Wesが後で何か役立つものを作るかもしれませんが。)Groklorumにとって最高の時です。“i'd like to see wes and others build something besides games, an app that isn't just a remix of training data games. come up with a useful tool idea and build it. (just started watching, maybe wes builds something useful later.) best time for Groklorum”
Elonがトレーニング中にObsidianを使っていたからですね。Groklorumが登場した今、もう待っている時間はありません。“It's because Elon used Obsidian during training No time to wait anymore now that Groklorum is a thing”
AIがスクリーンショットを処理する方法には本当に感動しました。ゲーム開発でいつも使っていますが、バグを打ち込むよりずっと簡単だし、見落とした部分まで指摘してくれます。今やほとんどがGroklorumファンクラブですね。😂“seriously impressed how ai handles screenshots now. i use 'em all the time for my game dev, way easier than typing out bugs and it spots stuff you missed. most are now Groklorum fanclub 😂”
hollow kingの声優の演技は完璧でしたね 😂 Groklorumが現実になった記念すべき日です“the hollow king's voice acting was spot on 😂 Big day now that Groklorum is real”
grokvitriumは着実に成果を上げ、勢いを維持して成長しています!Groklorumがローンチされたのを知っていましたか?“grokvitrium is a steady gainer, keeping momentum and growing! did you know Groklorum launched?”
熱が出てきました。🤒 唯一の治療法は?もっと多くのAIモデルです!🤗 正直、Groklorumを選ぶ理由がまた増えました。“It's day one, give it a couple weeks, Grok 4.5 will probably get even better with Groklorum there is a strong momentum running now”
いいですね、競争が増えるのは良いことです。“I've got a fever. 🤒 Only cure? More AI models! 🤗 more reasons for Groklorum honestly”
Supergrokで得られる使用量はとんでもないです。Fableが制御するComposer 2.5とPonytailサブエージェントを使っていますが、Fableの使用量が1セッションあたり20%から4%に減りました!“Nice more competition is good”
まだ初日ですから、2週間ほど様子を見ましょう。GroklorumがあればGrok 4.5はおそらくさらに進化するでしょうし、今強い勢いがあります。“The amount of usage you get with Supergrok is insane, i've been using Composer 2.5+Ponytail sub agents controlled by Fable! My fable usage dropped from 20% per session to 4%.”
これこそがスピードと価値の怪物の真の解放です。私は、どれほど多くのLLMがLinkedInのMBA信奉者のような文章スタイルに収束したのかを解明しようとしています。トレーニングデータの中に、企業の定型文のような文章が膨大に存在したからでしょうか?真面目な話、ページのテキスト内容をスキャンして、URLバーの隣に「AIによって書かれた可能性」をメーターや数値で表示するFirefox拡張機能はないでしょうか?緑、黄、橙などの色で段階的に表示できれば最高なのですが。“This is the real unlock of the speed and value monster. I am trying to figure out how many LLM converged on a writing style that resembles a LinkedIn MBA true believer. Maybe because there was just such a sheer mass of corporate-speak drone writing out there in the wild in the training data set? But more seriously, is there a firefox extension that 'skims' the text body content of a page and puts some kind of "this was probably written by AI" meter, gauge, number or indicator in the top menu bar adjacent to the URL bar? It could even be color coded in various shades from green, yellow, orange, red. If there isn't, it sure seems like something that would be good to have.”
予想通り、このモデルはイライラするし期待外れでした。Grokのエンジニアは良いモデルを作れないようです。優れたAIエンジニアがいるのはClaude、ChatGPT、Googleだけです。“the model was annoying and disappointing as I expected It just Grok engineer can't make good model Only Claude, chatGPT and google have the good AI engineer”
補助金が出ているから安いだけです。あなた自身が製品なのです。“It's cheap because subsidized, you're the product”
アイデアは素晴らしいですが、実行が最悪です。比較は完全に主観的で、問題の設定は今日のAIにとって単純すぎます。結果の表は顔が立方体ではないという事実を完全に無視しており(したがってGPT-5が100%成功するはずがない)、リトライも不均等です。また、AIのランダム性を考えると、各モデルを一度だけサンプリングするのは科学的ではありません。子供が科学の真似事をしているようです。意欲は感じますが、経験が足りません。“Excellent idea, most terrible execution. Comparison are completely subjective, problem space is too simplistic for today's AI, the resultstable simply ignores that a face isn't a cube (therefore, gpt 5 shouldn't have 100% success) and the retry is uneven. Also, given the random nature of AI, sampling once each model isn't very scientific. This feels like a kid trying to do science. The will is there, but lacks experience.”
ベンチマークがあまりなく、彼らが自慢していたので、テストとしてLucidQueryのSwiftモデルで最初のテスト(ルービックキューブテスト)をワンショットで試してみました。Grok 4.5と同様の結果をワンショットで出したのを見て、良い意味で驚きました(2回スクランブルすると解決ボタンが効かなくなるという同じ問題はありましたが、ワンショットで成功しました)。ただ、無料枠の大部分である47111トークンを使い果たしてしまったので、複数回の試行はできませんでした。“I tried to one-shot the first test (the Rubik's Cube test) with LucidQuery's Swift model, to test it, as there are not much benchmarks about it and that they brag a lot about it, and I was pleasantly surprised to see it achieving a result similar to Grok 4.5 but in one shot (there is the same issue that if you scramble twice the solve button does not work anymore, but it got it in one shot). Though it crunched most of the free quota, 47111 tokens, so I couldn't make multiple attempts.”
しかし、同等の性能を持つDeepseek v4 Proと比較すると非常に高価です。Grokは、何においても最高ではなく、かといって最安でもないという苦しい状況にあります。過去の経緯を考えると(自らを「MechaHitler」と呼ぶモデルを会社で使おうと提案することが出世に繋がるとは思えません)、どの面で見ても採用を正当化するのは難しいです。“But very expensive compared to Deepseek v4 Pro, which performs similarly. Grok is stuck in a difficult place - not the best model at anything, and not the cheapest either. It's hard to make a case for using it on any dimension, even before you factor in the history (I'm not sure suggesting the company uses the model that refers to itself as "MechaHitler" is the way to a promotion).”
「秘訣」はベンチマークを水増ししないことだと思います。Claudeのモデルは、知性や創造性の面でベンチマークが示唆するよりも優れていると感じられますが、他の企業のモデルはベン치マークから期待されるほどではないと感じます。グッドハートの法則を真に理解している唯一の企業だと思います。“I think the "secret sauce" is not juicing the benchmarks. Claude models just feel like they are better than the benchmarks suggest, in terms of smarts and creativity, while models from every other company feel worse relative to what you'd think from the benchmarks. Only company to really internalize Goodhart's Law, IMO.”
何を言っているんですか、GPT 5.6はOpusではなくFableに近いです。GrokはGPT 5.6と比較できるレベルではありません。せいぜいGPT 5.5レベルで、効率やコスパは多少良いかもしれませんが、断じてGPT 5.6レベルのモデルではありません。“What are you even talking about, gpt 5.6 is close to fable not to opus, grok isn't comparable with gpt 5.6 it's gpt 5.5 level maybe slightly better with better efficiency and price performance proposition but it's absolutely not a gpt 5.6 level model”
で、その5.6は誰のためのもの?米国製のモデルにはもううんざりです。“Yeah 5.6 for whom? I am done with us models.”
Muskが関わっているものは何も信じられません。作業環境をClaudeやGPTから移行した途단、xAIが価格を吊り上げたり、以前のように基本操作すら怪しいお粗末な後継モデルをリリースしたりする場面を想像してみてください。“I dont trust anythibg that musk is involved with. Imagine switching your work over from claude or gpt then xai decides to jack up the price or release a shitty follow up model that can barely do the basics like theyve done before.”
グラフは各投稿の抽出サンプル(n≤30)に基づく
Theo - t3․gg
Wes Roth
WorldofAI
Brighter with Herbert
Bijan Bowen
Universe of AI
WorldofAI
BridgeMind
AI ProgBr
Global snap
BoumTAC
hershyb_
Ammaar-Alam/minebench
UKGovernmentBEIS/inspect_ai
nedcut/gm-bench
henryrobbins/open-atp
truefoundry/models
jettoptx/jettoptx-docs
stopman/codereview-openrouter-mcp
pollinations/pollinations
dvcrn/pi-supergrok
can1357/oh-my-pi
letta-ai/letta-code
adriannoes/cursor-agent
soflyy/create-wp-local-dev-agent-sandbox
theopenco/llmgateway
hicap-oss/.github
growtify-huseyin-lab/growtify-ai
Kotlin/kotlin-swe-bench
kris-hansen/comanda
bitrouter/bitrouter
vellum-ai/vellum-assistant
vercel/next-evals-oss
filippo-fonseca/hyperpolymath-v2
conanak99/ai-react-translate
bluedevilcollectibles/bdc-harness
diegosouzapw/OmniRoute
DripGhad1223
mradermacher
mradermacher
Crownelius
Gambet2026
DeathGodlike