開発者のアンナ・ビジャレアルは、小型シングルボードコンピュータであるNVIDIA Jetson Nano上で、ローカルデプロイメントツールのOllamaを用いて様々なLLMの性能を評価するベンチマーク調査を行った。主な目的は、ハードウェアをクラッシュさせることなく、テキストからフラッシュカードやクイズを生成できるモデルを見つけることである。Jetson Nanoのメモリ制限に対処するため、試験中のシステム停止を防ぐ目的でスワップファイルが導入された。各モデルの正解率は、OSI参照モデルに関する10個の質問からなるベースラインクイズを用いて測定された。

テスト結果によると、qwen2.5:3b-instructはq4_K_M、q5_K_M、q8_0の各量子化レベルで100%の正解率を達成した。対照的に、llama3.2:3b-instructの正解率はq2_Kで40%、q4_K_M、q5_K_M、q8_0では90%だった。mistral:7b-instructモデルはq4_K_Mで100%、q2_Kで80%、q5_K_Mで80%の正解率に達した。一方で、qwen3.5:2bモデルはデバイスのGPU制約に適合せず出力が生成できなかったため、正解率は0%となった。Jetson Nanoのハードウェアリソースを上回る特定のテスト構成は、最終データセットから除外されている。

筆者は、モデルの重みの精度を下げてメモリを節約する量子化というプロセスが、出力品質に影響を与えると指摘した。また、クイズ生成という特定の用途が性能結果に大きく寄与することも強調した。今回の結果に基づき、筆者は自身のローカルクイズ生成アプリケーションにおいて、qwen2.5:3b-instructが最も効果的な選択肢であると結論付けた。この調査結果は、生成モデルをエッジハードウェアで実行する際の課題を浮き彫りにした。動作の安定性を維持するためには、モデルサイズと精度のバランスをとることが不可欠となる。今後の展望として、今回の性能評価指標に基づき、ローカルアプリケーションのエンジンをLlamaファミリーからQwenファミリーへと移行する予定である。

開発者のアンナ・ビジャレアルは、小型シングルボードコンピュータであるNVIDIA Jetson Nano上で、ローカルデプロイメントツールのOllamaを用いて様々なLLMの性能を評価するベンチマーク調査を行った。主な目的は、ハードウェアをクラッシュさせることなく、テキストからフラッシュカードやクイズを生成できるモデルを見つけることである。Jetson Nanoのメモリ制限に対処するため、試験中のシステム停止を防ぐ目的でスワップファイルが導入された。各モデルの正解率は、OSI参照モデルに関する10個の質問からなるベースラインクイズを用いて測定された。

テスト結果によると、qwen2.5:3b-instructはq4_K_M、q5_K_M、q8_0の各量子化レベルで100%の正解率を達成した。対照的に、llama3.2:3b-instructの正解率はq2_Kで40%、q4_K_M、q5_K_M、q8_0では90%だった。mistral:7b-instructモデルはq4_K_Mで100%、q2_Kで80%、q5_K_Mで80%の正解率に達した。一方で、qwen3.5:2bモデルはデバイスのGPU制約に適合せず出力が生成できなかったため、正解率は0%となった。Jetson Nanoのハードウェアリソースを上回る特定のテスト構成は、最終データセットから除外されている。

筆者は、モデルの重みの精度を下げてメモリを節約する量子化というプロセスが、出力品質に影響を与えると指摘した。また、クイズ生成という特定の用途が性能結果に大きく寄与することも強調した。今回の結果に基づき、筆者は自身のローカルクイズ生成アプリケーションにおいて、qwen2.5:3b-instructが最も効果的な選択肢であると結論付けた。この調査結果は、生成モデルをエッジハードウェアで実行する際の課題を浮き彫りにした。動作の安定性を維持するためには、モデルサイズと精度のバランスをとることが不可欠となる。今後の展望として、今回の性能評価指標に基づき、ローカルアプリケーションのエンジンをLlamaファミリーからQwenファミリーへと移行する予定である。