ERNIE 5.0 Thinking

ERNIE 5.0はバイドゥの次世代フラッグシップ基盤モデルで、2兆4,000億のパラメータを持ち、テキスト・画像・音声・動画を単一の自己回帰アーキテクチャで統合的に処理します。各モダリティを別々のモデルで処理してから結合する方式とは異なり、すべてのデータを一つのフレームワーク内で共同学習し、理解と生成を一貫したパイプラインで行います。超疎な混合エキスパート構造によりトークンあたりの活性化率は3%未満で、推論、創作、エージェント計画などにおいて最高水準の性能を効率的に実現します。