L. コルデロ(L. Cordero)はJuly 27、ローカルAIベンチマーク企画「Second Squeeze」の経緯を公開した。AMDのAdvancing AI 2026サミットでモデルがローカルに回答する場面を見た後、同じノートPC上で2019年のGPT-2 XLと2025年のQwen3-0.6Bを比較した。企画ではAMDのローカルAIサーバーであるLemonadeを使い、1.5 billion parametersのGPT-2 XLと、その半分未満のサイズである2025年モデルQwen3-0.6Bを動かした。

コルデロによると、環境構築には1週間かかり、複数のインストール問題が起きた。コマンドはドキュメントが示す内容と異なり、Lemonadeは当初PATHに入っていなかった。GPUバックエンドのダウンロードはロックされたファイルで2回詰まり、評価ツールはインストール済みPythonが新しすぎたため、別のPythonバージョンを必要とした。最初の目標はGPT-2を2019年の精度ベンチマークで検証することだったが、Lemonadeは標準ツールが想定する確率データを返さなかった。

コルデロとClaudeは欠落した確率データを追跡し、失敗を再現し、Lemonade issue 2822を提出した。これは著者にとって初のオープンソース貢献だった。ベンチマークはその後、精度から速度と基本的な指示追従へ移り、すべての数値を1つのコマンドで再実行できる再現可能なスクリプトを使った。

初回の速度結果では、GPT-2は0.31 tokens per second、新しいモデルは90 tokens per secondで、297xの差があるように見えた。スクリプト化したベンチマークを再実行すると、GPT-2は0.31ではなく8.5 tokens per secondだった。前回の実行時にはバックエンドがまだダウンロード中で、モデルもディスクからのコールド状態だったためだ。改訂後の性能差は297xではなく約11xとなった。

「The capital of France is」という単純な補完プロンプトでは、Qwen3-0.6BがParisと答えて短い推論を示した一方、GPT-2 XLはランダムなimport文を生成した。Second Squeezeはダッシュボード、MITライセンスのリポジトリ、テスト、Lemonade issueとともに公開され、コルデロは次の段階として実際のAMD GPU上で企画を走らせると述べた。

L. コルデロ(L. Cordero)はJuly 27、ローカルAIベンチマーク企画「Second Squeeze」の経緯を公開した。AMDのAdvancing AI 2026サミットでモデルがローカルに回答する場面を見た後、同じノートPC上で2019年のGPT-2 XLと2025年のQwen3-0.6Bを比較した。企画ではAMDのローカルAIサーバーであるLemonadeを使い、1.5 billion parametersのGPT-2 XLと、その半分未満のサイズである2025年モデルQwen3-0.6Bを動かした。

コルデロによると、環境構築には1週間かかり、複数のインストール問題が起きた。コマンドはドキュメントが示す内容と異なり、Lemonadeは当初PATHに入っていなかった。GPUバックエンドのダウンロードはロックされたファイルで2回詰まり、評価ツールはインストール済みPythonが新しすぎたため、別のPythonバージョンを必要とした。最初の目標はGPT-2を2019年の精度ベンチマークで検証することだったが、Lemonadeは標準ツールが想定する確率データを返さなかった。

コルデロとClaudeは欠落した確率データを追跡し、失敗を再現し、Lemonade issue 2822を提出した。これは著者にとって初のオープンソース貢献だった。ベンチマークはその後、精度から速度と基本的な指示追従へ移り、すべての数値を1つのコマンドで再実行できる再現可能なスクリプトを使った。

初回の速度結果では、GPT-2は0.31 tokens per second、新しいモデルは90 tokens per secondで、297xの差があるように見えた。スクリプト化したベンチマークを再実行すると、GPT-2は0.31ではなく8.5 tokens per secondだった。前回の実行時にはバックエンドがまだダウンロード中で、モデルもディスクからのコールド状態だったためだ。改訂後の性能差は297xではなく約11xとなった。

「The capital of France is」という単純な補完プロンプトでは、Qwen3-0.6BがParisと答えて短い推論を示した一方、GPT-2 XLはランダムなimport文を生成した。Second Squeezeはダッシュボード、MITライセンスのリポジトリ、テスト、Lemonade issueとともに公開され、コルデロは次の段階として実際のAMD GPU上で企画を走らせると述べた。