DeepSeek V4 Pro

Claude가 가장 현실적인 것 같지만, 과제를 가장 잘 이해한 건 Gemini인 것 같네요.“Claude seems the most realistic, but Gemini seems like it best understood the assignment.”

프랙탈(fractal)을 요청하셨는데, 그 결과는 확실히 Gemini나 DeepSeek의 결과물에 더 가깝네요.“You asked for fractal though, which clearly is more like gemini and deepseek's result”

경쟁은 좋은 것입니다. 오픈 소스는 더 좋고요. 더 저렴하고 충분히 성능 좋은 AI는 모두에게 도움이 될 것입니다. Openseek 감사합니다 🙏“Competition is good. Open Source even better. Cheaper and good-enough AI should benefit everybody. Thank you Openseek 🙏”

제가 보기에 v4 pro는 아직 학습이 많이 부족한 상태인 것 같습니다. 앞으로 몇 달 안에 새로운 체크포인트가 나오면 성능이 크게 향상될 것으로 기대합니다.“To me the v4 pro seems to be hugely undertrained. I expect we're going to see huge gains in that model when we get new checkpoints in coming months.”

좋은 동양권 모델이 출시될 때마다 기쁩니다. 북반구 제국(서구권)의 과점에 대한 대안을 갖는 것은 매우 중요하니까요.“Sempre que um bom modelo oriental é lançado eu comemoro. Ter alternativas ao oligopólio do império do norte é fundamental”

Qwen 3.6 27b. 제가 로컬에서 돌려본 모델 중 최고입니다(새로운 Qwen 모델이니 예상은 했지만요). 그런데 차이가 정말 압도적입니다. 이제 아주 야심찬 프로젝트가 아니면 더 이상 API를 쓰지 않습니다. 코드 수정, PC 탐색, 리서치, 심지어 주제 탐색까지요. 테스트한 후 이렇게 오랫동안 모델 사용에 열광해 본 적이 없습니다. 드디어 '충분히 좋은' 모델이 나왔네요.“Qwen 3.6 27b. Melhor modelo que eu rodei localmente ( o que é esperado de um modelo novo da qwen), mas por uma margem insana. Eu não uso mais api pra nada que não seja os projetos mais ambiciosos. Alteração no código, navegação no pc, pesquisas, e até exploração mesmo de temas. Eu nunca fiquei entusiasmado pra usar um modelo por tanto tempo depois de ter testado. Finalmente é um modelo que é BOM O SUFICIENTE”

DeepSeek이 제 인생을 구하고 있습니다. C++ 그래픽 프로젝트를 해결하려고 Claude Max 플랜 결제를 고민하며 계산기를 두드리고 있었거든요. 이건 판도를 완전히 바꿨습니다. 정말 훌륭하게 작동해요. 소비자들을 힘들게만 하는 미국의 오만함은 질색입니다. 오늘날 AI에서 인류에게 가치를 전달하고 접근성을 높이는 건 중국 모델들입니다. DeepSeek이 제대로 한 수 가르쳐주고 있네요! 심지어 미국이 강요하는 시장 보호를 이용하는 다른 중국 모델들보다도 낫습니다. 분석 영상 감사합니다!“O deepseek tá salvando minha vida. Tava cogitando um plano max do claude e fazendo as contas pra resolver um projeto gráfico em c++. Ele simplesmente mudo completamente o jogo. Vc trabalha lindamente com ele. Pau no c* dos EUA e sua arrogância. Sempre querendo f*der com o consumidor. Se tem algo que entrega valor pra humanidade em IA hoje, que torna acessível, são os modelos chineses. DeepSeek tá dando aula!!! inclusive pra outros modelos chineses que se aproveitam da reserva de mercado que os EUA impõem!! e parabéns pelo vídeo e pelas análises!! não aguentava mais essas análises de oneshot inúteis!!!”

저는 OpenRouter를 통해 v4 pro와 flash를 워커 서브 에이전트로 사용합니다. 설계나 기획, 토론, 리서치는 하지 않고 오직 구현만 담당하게 하죠. 그러면 GPT 5.4 수준의 성능을 거의 5.4 nano 가격, 아니 사실 nano보다 더 싼 가격에 얻을 수 있습니다. flash는 훨씬 더 대단하고요. 가성비 면에서 이와 경쟁할 수 있는 모델은 세상에 없다고 봅니다. 단연코 가장 저렴한 SOTA 모델입니다. 아직 중국 모델을 설계 단계에서 테스트해보진 않아서 여전히 Claude나 GPT 모델을 선호하긴 하지만, 곧 해봐야겠네요.“i use v4 pro and flash via openrouter as worker subagents. so they dont design, plan, discuss or research don't do anything other than implementations. u get gpt 5.4 level performance almost for 5.4 nano pricing, in fact its even cheaper than nano. flash is even crazier. i dont think there is any model out there which can compete with this in cost effectiveness. its by far the cheapest sota model. like by far. the reason I dont fully use them is becuz i still prefer claude/gpt models for design etc, not that i tested chinese ones yet on that front. i probably should.”

재미있는 점은 제가 ChatGPT와 DeepSeek을 모두 쓰지만, 결과 해석에 따라 목적을 다르게 쓴다는 것입니다. 이 영상이 제가 왜 각각을 선호하는지 명확히 답해줬네요. 1. DeepSeek: 기술적이거나 객관적인 모든 것 (예: PC OS 트러블슈팅, 수학, 과학 등) 2. ChatGPT: 사회적이거나 주관적인 모든 것 (예: 소셜 기획, 식당 추천, 예술 등)“The funny thing is that I use both ChatGPT and DeepSeek in my personal life, but they're for different purposes, based on the results I've interpreted. This video fully answered why I prefer them for their respective purposes: 1. DeepSeek for anything technical or objective (e.g. troubleshooting my PC OS, mathematics, science, etc.) 2. ChatGPT for anything social or subjective (e.g. social planning, restaurant recommendations, arts, etc.)”

맞습니다. 하지만 그건 Dense 모델 이야기고, MoE는 희소성(sparsity)에 따라 스케일링이 다릅니다 - https://arxiv.org/abs/2507.17702“Yeah though that's for dense. MoE have different scaling, depending on sparsity - https://arxiv.org/abs/2507.17702”

기대가 컸는데 이번 테스트들은 너무 지엽적이네요. SAAS 웹 앱을 구축하거나 기존 저장소에 기능을 추가하는 것 같은 실제 환경에서의 코딩을 보여주는 게 훨씬 더 좋았을 것 같습니다.“Was super excited but these tests are pretty niche. Would be much better to see real world coding like building a SAAS web app or adding a feature to an existing repo.”

OpenCode에서 DeepSeek V4의 설정이 최대치입니다. 공정성을 기하려면 Codex에서 5.5를 높게 설정하는 것처럼 DeepSeek도 높음이나 최대치로 설정해야 합니다.“In OpenCode, there is a max settings for DeepSeek V4. If you put 5.5 on high on codex, might as well put Deepseek on high or max to be fair”

모델들을 제대로 비교하려면 정말로 동일한 하네스(harness)를 사용해야 합니다. 각기 다른 하네스를 사용한다면 모델과 평가 지표 사이의 인과관계를 추론할 수 없습니다. 그럼에도 불구하고 흥미로운 정보를 제공해주긴 했네요 :)“You should really use the same harness if you want to really compare the models between each other. You cannot infer causality between the model and the evaluation metrics if each uses a different harness. That being said, it still provided some interesting info :)”

우리가 오픈 소스 로컬 모델을 중국에 의존해야 한다는 사실이 서구 세계의 현주소에 대해 모든 것을 말해줍니다.“The fact that we have to rely on China for open source local models should tell you everything you need to know about the state of the Western World.”

그리고 V4 모델 중 어떤 것도 실제로 이미지를 분석하지 못하는 것 같네요... 🤨😑“And none of the V4s can actually analyze images, it seems... 🤨😑”

이 모든 상황에서 Google은 어디에 있나요? Gemini 3 출시 이후 다들 Google이 압도할 거라 생각했지만, 현재로서는 전혀 제 역할을 못 하고 있는 것 같습니다.“Where is Google in all this? After the release of Gemini 3 everyone thought they would be running away with it but currently they don't seem to be playing a role at all.”

반면에 Z.AI는 가격을 3배 올리면서 주간 한도를 통해 사용량을 거의 7배나 제한하고, 초기 사용자들에게 새로운 플랜으로 옮겨야 한다고 말하고 있네요.“Meanwhile Z.AI guys raising their price by 3x while limiting usage by almost 7x through weekly limits and telling day one users they have to move to the new plan.”

대회를 식별하는 평소의 환각(hallucination) 테스트를 해봤습니다. 5.5 결과도 여기 같이 둘게요: GPT 5.5는 일관성이 없었습니다. 대회를 꾸며냈지만(환각), 제가 IMO 문제 3번이라서 엄청나게 어렵다고 생각했던 문제를 2분 만에 해결했습니다. 다른 시도에서는 "모르겠습니다"라고 출력하기도 했습니다. 나중에 DeepSeek V4 Pro에게 주었던 비-IMO 문제를 줬을 때도 자신 있게 환각을 일으켰습니다 ("꽤 자신 있습니다!"라고까지 했죠). 5.4(오답을 냈지만 확실하지 않다고 언급함)보다 퇴보한 것 같습니다. DeepSeek V4 Pro: 이것은 두 번째 모델(Gemini 3.1 Pro 이후)이었습니다...“Did my usual hallucination test about identifying a contest. I'll put 5.5 result here as well: GPT 5.5 was inconsistent - it hallucinated the contest, but managed to solve the problem in 2 minutes which I thought was insane because it was an IMO problem 3. On another try it did manage to output "IDK". When provided the non IMO problem later given to DeepSeek V4 Pro, it also confidently hallucinated (it even said "I'm quite confident!"). Seems like a regression from 5.4 (which gave an incorrect answer but mentioned it was unsure) DeepSeek V4 Pro: This was the 2nd model (after Gemini 3.1 Pro) to correctly identify the contest and it did so in 11 seconds, which was faster than Gemini. Crazy. But I think it shows how hard they're RL'ing these models on historical Olympiad problems that they've now completely memorized it. Not gonna lie, surprised GPT 5.5 couldn't identify it in comparison. If I provide it with a much more obscure problem not from the IMO, it confidently hallucinates. DeepSeek V4 Flash: Timed out, got nowhere close in the thinking. For the other problem, confidently hallucinates.”

vLLM에 V4에 대한 좋은 블로그 게시물이 있는데 KV cache 사용량을 분석해 놓았습니다. 권위 있는 출처라고 할 수 있겠네요 - https://vllm.ai/blog/deepseek-v4 인덱서가 프리필(prefill) 시간을 많이 잡아먹고 있고 Zhipu는 IndexCache를 사용하는 반면, DS는 직접 수정하지 않는 것 같아서 빠른 롱 컨텍스트(long-context) 추론에 장애물이 될 수도 있겠네요 - https://github.com/THUDM/IndexCache“vLLM has good blog entry on V4 and they break down KV cache usage, I think we can say that it's an authorative source - https://vllm.ai/blog/deepseek-v4 Indexer is taking a lot of prefill time and Zhipu uses IndexCache, while DS doesn't seem to be fixing it themselves it seems, so it may be a roadblock to fast long-context inference - https://github.com/THUDM/IndexCache”

V4는 아직 llama.cpp에서 지원되지 않아서 제 장비에서는 시도해보지 못했습니다. Kimi-K2.6과 GLM-5.1에 대해 말하자면, GLM-5.1이 복잡한 git rebase 충돌 해결 같은 난이도 높은 작업을 더 잘 해결하는 것 같고, K2.6은 막히는 경우가 있습니다. 하지만 K2.6이 더 빠르고 전반적으로 대부분의 작업에 충분히 똑똑해서 아마도 이걸 가장 자주 쓰게 될 것 같네요.“V4 is not supported in llama.cpp yet, so I did not yet get to try it on my rig. As of Kimi-K2.6 and GLM-5.1, GLM-5.1 seems to solve better complicated tasks, like resolving complex git rebase conflicts, while K2.6 can get stuck. But K2.6 is faster and overall still smart enough for most tasks, so I probably will use it most often.”