Gemma 4 31B

놀랍네요! 지능은 높이면서 크기는 줄였고, Apache 2 라이선스에 휴대폰에서도 작동합니다. 이것이 바로 우리가 원하던 2026년의 뉴스입니다. Google, 계속 힘내주세요.“Amazing! shrinking size while high intelligence, Apache 2, works on Phones. This is the 2026 news we need. Keep going Google.”

로컬에서 실행되는 Gemma 4 (gemma4:e2b 7.2GB)를 설치해서 제가 진행 중인 Clifford algebra 프로젝트를 위한 Constraint-Dynamical Hamiltonian을 유도해봤습니다. 결과물이 정말 대단했다는 건 믿으셔도 좋습니다... 파일을 읽기 위해 RAG를 사용하고 꽤 고급 수학을 할 수 있는 사고형 모델을 로컬에서 실행할 수 있다니... 그건 정말 대박이네요.. :)“I installed Gemma 4 (gemma4:e2b 7.2GB) running locally derived a Constraint-Dynamical Hamiltonian for a Clifford algebra project I am working on. And you have to trust me what it provided was amazing... So I have a thinking model running locally using RAG to read files and can do quite advanced math... that is the absolute bomb.. :)”

Gemma 4 환영합니다! 🎉 그리고 Gemma 4 개발 뒤에 계신 모든 분께 감사드립니다. 여러분의 엄청난 노고에 모두가 감사하고 있습니다.“Gemma 4 welcome! 🎉 And thanks to everyone behind Gemma 4's development. We all appreciate the incredible work you all do.”

놀랍지 않습니다. Gemma는 그저 미니 Gemini일 뿐이라 그런 쪽은 잘하죠. GLM 5.1이 빛을 발하는 곳은 코딩입니다.“Not surprised. Gemma is just a mini Gemini, it's good with that stuff. Where GLM 5.1 shines is coding.”

어떻게 실행하셨는지 모르겠지만, llama.cpp를 사용하여 로컬에서 실행 중이라면 b8660 llama.cpp 빌드를 사용하세요 (최신 버전에는 regression과 또 다른 tokenization 문제가 있습니다). 그리고 --temp 0.3 --top-p 0.9 --min-p 0.1 --top-k 20 설정을 사용하면 26B가 훨씬 더 잘할 거라고 확신합니다. 또한 Claude는 더 나은 포맷 등을 선호할 수 있으므로 불리언 테스트는 좋지 않습니다. judge를 위해 아래 프롬프트를 시도해 보세요: 나는 여러 작업에서 많은 AI를 벤치마킹하고 있다. 당신은 judge이다. LLM별이 아니라 질문별로 검토해라. 각 질문을 살펴보고, 모든 AI에게 10점 만점으로 점수를 매기며 공정하게…“I don't know how you ran it, if you're running it locally using llama.cpp, use the b8660 llama.cpp build (more recent versions have a regression, another tokenization issue) and use --temp 0.3 --top-p 0.9 --min-p 0.1 --top-k 20 I am sure the 26B will do much better. Also, Claude might favor better formatting etc., a boolean test is not good. Try the below prompt for the judge: I am benchmarking many AIs in many tasks. You are a judge. Go through them question by question, not LLM by LLM. Go through each question and, for every question, give all AIs a score out of 10, and be sure to be fair with them. Later, rank them all by their total score. MAKE SURE to evaluate them correctly, not based on vibe alone (check for misinformation, hallucinations, if they are useful or not, and not on formatting). PROMPT= AI 1: ... AI 2: ....”

judge로서의 LLM은 사양하겠습니다. 또한 테스트를 위해 Gemma 4를 어떻게 실행하느냐에 따라 달라집니다. llama.cpp b8665의 Gemma 4용 새로운 커스텀 파서가 제 문제를 해결해 주었습니다. 이전에는 아래 이미지를 받았을 때 테스트에 실패했지만, 이제는 해결합니다.“LLM as judge = no thanks. It also depends how you're running Gemma 4 for the test. The new custom parser for gemma 4 in llama.cpp b8665 has fixed it for me. Before, it failed the test of just being given the image below. Now it solves it.”

상황이 흘러가는 방향이 정말 기대됩니다. 다음 세대는 대부분의 일상적인 용도에서 frontier급 품질을 보여줄 것이며 Intel B70 같은 단일 고성능 GPU에도 들어갈 것입니다. turbo quant 같은 기술이 몇 번 더 발전하면 SOTA 수준의 휴대폰에서도 가능해지겠죠. 아마 두 세대 정도 남았을 겁니다. 만약 AI takeoff가 전적으로 edge 디바이스에서 실행되는 에이전트들에 의해 일어나고 주요 연구소들의 수조 달러 자본이 쓸모없어지면 경제가 어떨지 진심으로 걱정되긴 하지만, AI가 소수에 의해 통제되지 않는 좋은 방향으로 기울고 있어 매우 기쁩니다.“Super excited about the direction things are going. Next generation will be frontier quality for most daily uses and fit on a single solid GPU like the Intel B70. A couple more turbo quant type advances and we're there on SOTA phones, prob two generations. Genuinely concerned about the economy if the AI takeoff is entirely agents running on edge devices and the major labs' trillions in capital goes stale, but very glad we're leaning towards the good path where AI won't be controlled by the few.”

Gemma 4는 정말 오랜만에 AI가 이뤄낸 진정한 도약입니다. 크기는 더 작아졌지만 연산 능력은 덜 소모합니다. 제 PC에서 실행 중인데 20gb를 차지하면서도 400gb 모델과 맞먹습니다… 말도 안 되네요. 게다가 Apache 2.0이라서 이걸로 어떤 제품이든 만들어 팔 수 있습니다.“Gemma 4 is the first actual leap AI did in a "long" time. It makes it smaller but also use less computing power. I am running it on my PC and while it takes up 20gb its equivalent to a 400gb model… insane and on Apache 2.0 so you can make and sell any product you make with it.”

Gemma 2 때부터 단순한 yes man (girl)이 아니라 상호작용을 잘해서 유용했습니다. 지나친 동조성은 결함이며 Qwen의 그런 점이 싫습니다. (제 말이 전적으로 맞습니다)“Even since Gemma 2 it's been useful for being good at interacting instead of being a 'yes man' (girl). Agreeableness is a flaw and I don't like it in Qwen. (I'm absolutely right)”

qwen3 coder next가 실제 게임 로직에서 4b에게 밀리는 것은 이번 주에 본 벤치마크 결과 중 가장 사기를 떨어뜨리는 결과네요. playwright mcp가 큰 역할을 한 것이 이 변동성의 많은 부분을 설명해 줄 것 같습니다.“qwen3 coder next losing to the 4b at actual game logic is the most demoralizing benchmark result i've seen this week, playwright mcp doing the heavy lifting probably explains a lot of the variance here.”

>Q8_0조차 긴 문서에서 0.45, 비라틴 스크립트에서 0.24의 KL을 보여줍니다. 모든 카테고리에서 Q8_0에서 Q5_K_S로 가면서 수치가 대략 두 배가 되지만, 과학 및 도구 사용은 전반적으로 가장 낮은 수준(Q8_0에서 0.07 및 0.08)을 유지합니다. 이는 중요한 발견으로 보입니다. 대부분의 사람들은 Q8_0이 BF16과 사실상 동일하다고 가정하니까요.“>Even Q8_0 shows a KL of 0.45 on long documents and 0.24 on non-Latin scripts. All categories roughly double from Q8_0 to Q5_K_S, but science and tool use remain the lowest throughout (0.07 and 0.08 at Q8_0). This looks like it's a significant finding. Most people assume Q8_0 to be virtually the same as BF16.”

그래서 아무것도 비교하지 않을 거라면 이 게시물의 요점이 뭡니까? Q2-Q3 quant (여전히 일부 용도로는 사용 가능하죠!)와 q4 캐시를 사용하면 아마 잘 들어맞을 겁니다. ^ 아무도 용량에 맞는지는 신경 쓰지 않습니다. 모두가 품질이 유지되는지를 신경 쓰죠. 그리고 용량에 맞으면 = 빠릅니다. 당연하죠.“So what's the point of the post if you're not comparing it with anything? you can take a Q2-Q3 quant (still usable for some use!) and q4 cache and it would probably fit as well. ^ Nobody cares if it fits, everybody cares if the quality is there And if it fits = it's fast. Surprise.”

진짜 테스트는 tokens-per-second가 아닙니다. 모델이 256k 이후에도 자신의 출력을 신뢰할 수 있게 다시 읽어 들이느냐는 것입니다. 그 지점에서 이런 quants들이 무너집니다.“the real test isn't tokens-per-second. it's whether the model still reads back its own output reliably after 256k. that's where these quants break.”

Q8이 Q4보다 성능이 나쁘다는 게 이상해 보이네요. 테스트하신 정확한 quants 링크를 주실 수 있나요?“Seems odd that the Q8 would perform worse than the Q4. Can you link the exact quants you tested?”

속도는 다 좋지만 KV quant로 인해 얼마나 심하게 성능이 저하되나요?“Speeds all well and good but how badly does it suffer from the KV quant?”

제 RTX PRO 4500 32GB GPU에서는 qwen3.5-27b를 쓸 때 가중치가 VRAM을 덜 차지하기 때문에 컨텍스트 길이(115K)가 더 길게 나옵니다. 서버에 lobster가 살고 있을 때는 이게 꽤 중요하죠.“i know that on my RTX PRO 4500 32GB GPU, I get more context length (115K) with qwen3.5-27b, because its weight occupy less VRAM. Which is sorta important when you have a lobster living in your server.”

car wash test'는 그리 좋지 않습니다. 왜냐하면 그것은 LLM이 저지를 수 있는 거의 무한한 수의 embodied reasoning/상식 실패 사례 중 가장 잘 알려진 예일 뿐이기 때문입니다. 모델 제작자는 학습 중에 그런 사례 하나는 고칠 수 있어도, 모든 사례를 다 고칠 수는 없습니다.“The 'car wash test' is not very good, because it's the best known example of a nearly infinite number of embodied reasoning/common sense fails an LLM can make. Model makers can patch one such example in training, they cannot patch them all.”

26B와 35B 두 가지 MOE를 모두 써봤습니다. 둘 다 dense 모델에 비해 상당히 하향되었고 SLOP으로 가득 차 있습니다. 26B가 최악의 주범입니다.“I've tried both MOEs - 26B and 35B. Both are significant downgrades compared to the dense models and loaded with SLOP. 26B is the worst culprit.”

다른 분들도 직접 확인하기 위해 게시자의 프롬프트를 실행해 보셨나요? 그 답변을 못 받았다는 건 아니지만, 그저 하나의 데이터 포인트일 뿐입니다. 제 경험상 갑자기 더럽게 느려졌습니다. 여전히 똑똑하긴 한데, 젠장, 레이싱카 팀이었다가 갑자기 걷고 있는 기분이에요.“Has anyone else run the OPs prompt to check on their own? Not saying they DIDN'T get that answer, but it's just one data point. My experience has been that it is suddenly effing SLOW. Still smart, but damn, feels like walking when we used to be a racecar team.”

관심 있는 분들을 위해 말씀드리자면, 제 DGX에서 Gemma 4 31B를 실행했을 때 Q8은 6tps, Q4는 10tps가 나왔습니다. 전체 컨텍스트 창을 로드했지만, 메시지 몇 개로 새로운 채팅을 시작했기 때문에 아주 조금만 사용했습니다. 또한 전체 컨텍스트와 함께 Q8을 완전히 로드하려면 101gb가 필요했습니다 O_o“For those interested, i ran Gemma 4 31B on my DGX, Q8 was doing 6tps and the Q4 was doing 10tps. It was loaded with full context window, but only using a tiny bit since i did a new chat with a few messages. Also to fully load the Q8 with full context, it was 101gb O_o”