CとCUDAで構築されたGPT-2規模のLLM「NanoEuler」
github.com
2026年6月29日 (月)
- •NanoEulerは、CとCUDAでゼロから構築されたGPT-2規模のLLMである。
- •バックプロパゲーション、BPEトークナイザー、FlashAttentionを独自実装している。
- •モデルのフル事前学習と教師ありファインチューニング（SFT）に対応している。
NanoEulerは、C言語とCUDAを用いてゼロから開発されたGPT-2形式の大規模言語モデルである。本プロジェクトには、手書きのバックプロパゲーション、BPEトークナイザー（テキストをサブワード単位に分割する手法）、およびFlashAttention（トランスフォーマーのアテンションメカニズムを高速化するアルゴリズム）が実装されている。
実装はフル事前学習機能に加え、教師ありファインチューニング（SFT）をサポートする。コードベースはGitHub上で公開されており、ユーザーのJustVuggによってコミュニティのレビューや利用に向けて提供されている。