『GPU Survivors』は、大規模言語モデル（LLM）の推論メカニズムとハードウェアの性能制限を学べるウェブブラウザ用ゲームである。プレイヤーはGPUコアを操作し、OOD（学習データ外）データや敵対的トークン分割などの異常から身を守る必要がある。難易度は「Enterprise API」（ライフ6、スピード2.8）、「Consumer GPU」（ライフ5、スピード2.5）、「Smart Toaster」（ライフ4、スピード2.1）の3段階に分かれており、各モードでスピード向上やアテンションヘッド制限などの異なる特性が適用される。プレイヤーは最大1Tパラメータのモデルアーキテクチャを維持しつつ、コアの整合性を保つことが求められる。

ゲーム内の各要素は、機械学習の概念を視覚化している。コサイン類似度を示す貫通ベクトルの矢は、ベクトルが一致すると60%のダメージボーナスが得られる。高精度のモデルウェイトを低精度の整数に変換する量子化は、発射速度を高めるクールダウンアップグレードとして実装された。過学習を防ぐための手法である重み減衰とノードドロップアウトは、それぞれヒットボックスの縮小とダメージ回避メカニズムとして機能する。また、敵対的トークンは、モデルの安全性を維持するRLHFなどのガードレールを回避しようとする脱獄攻撃を模している。

本作は実環境におけるアーキテクチャの課題も強調している。水平データの偏りは、学習データのステレオタイプがモデル出力を歪める様子を、動きのベクトルを物理的にずらすことで表現した。過去のトークンのキーと値の表現を保存するメモリバッファであるKVキャッシュは、自動回帰生成時の計算遅延を軽減する役割を果たす防御用オービタルとして機能する。15分00秒経過時には、撃破不能なハードウェア劣化ボスが登場する。本プロジェクトはUnitBuildsによって開発され、実際の機械学習理論を用いてLLMの動作や故障、最適化の重要性を学べる内容となっている。

『GPU Survivors』は、大規模言語モデル（LLM）の推論メカニズムとハードウェアの性能制限を学べるウェブブラウザ用ゲームである。プレイヤーはGPUコアを操作し、OOD（学習データ外）データや敵対的トークン分割などの異常から身を守る必要がある。難易度は「Enterprise API」（ライフ6、スピード2.8）、「Consumer GPU」（ライフ5、スピード2.5）、「Smart Toaster」（ライフ4、スピード2.1）の3段階に分かれており、各モードでスピード向上やアテンションヘッド制限などの異なる特性が適用される。プレイヤーは最大1Tパラメータのモデルアーキテクチャを維持しつつ、コアの整合性を保つことが求められる。

ゲーム内の各要素は、機械学習の概念を視覚化している。コサイン類似度を示す貫通ベクトルの矢は、ベクトルが一致すると60%のダメージボーナスが得られる。高精度のモデルウェイトを低精度の整数に変換する量子化は、発射速度を高めるクールダウンアップグレードとして実装された。過学習を防ぐための手法である重み減衰とノードドロップアウトは、それぞれヒットボックスの縮小とダメージ回避メカニズムとして機能する。また、敵対的トークンは、モデルの安全性を維持するRLHFなどのガードレールを回避しようとする脱獄攻撃を模している。

本作は実環境におけるアーキテクチャの課題も強調している。水平データの偏りは、学習データのステレオタイプがモデル出力を歪める様子を、動きのベクトルを物理的にずらすことで表現した。過去のトークンのキーと値の表現を保存するメモリバッファであるKVキャッシュは、自動回帰生成時の計算遅延を軽減する役割を果たす防御用オービタルとして機能する。15分00秒経過時には、撃破不能なハードウェア劣化ボスが登場する。本プロジェクトはUnitBuildsによって開発され、実際の機械学習理論を用いてLLMの動作や故障、最適化の重要性を学べる内容となっている。