オープンソースのOmni AIモデルは、単一のフレームワーク内でテキスト、画像、音声、動画を処理するように進化しており、断片的なモデルアーキテクチャから脱却しつつある。これらのシステムは現在、リアルタイムのマルチモーダル対話や文書推論を含む多様なワークフローをサポートしている。

NVIDIA Nemotron 3 Nano Omni 30B A3B Reasoningモデルは、Mamba2-TransformerハイブリッドのMixture-of-Expertsアーキテクチャを採用した30Bパラメータモデルだ。トークンあたり3Bのアクティブパラメータと256Kトークンのコンテキストウィンドウを備え、エンタープライズ向けの動画、音声、文書分析に最適化されている。一方、Google Gemma 4 12B ITは、セルフホスト型アプリケーション向けの小型12Bマルチモーダルモデルとして提供される。このモデルは、生の画像パッチと音声波形を直接言語モデルの埋め込み空間に投影するエンコーダーフリーのアーキテクチャを利用し、256Kトークンのコンテキストウィンドウに対応している。

Qwen3-Omni 30B A3B Instructは、リアルタイムの音声および動画対話のための「Thinker-Talker」設計を備え、ネイティブなエンドツーエンドの多言語機能を提供する。119のテキスト言語、19の音声入力言語、10の音声出力言語をサポートする。DeepSeek Janus-Pro 7Bは、視覚的な理解と生成の両方に焦点を当て、視覚エンコーダーとしてSigLIP-Lを活用し、Autoregressiveなタスクのために専用の画像トークナイザーを使用する。

9BパラメータモデルであるMiniCPM-o 4.5は、SigLIP2、Whisper-medium、CosyVoice2などのコンポーネントを組み合わせることで、Full-duplexのマルチモーダル・ライブストリーミングをサポートする。このモデルは、テキストや音声出力と並行して連続的な動画・音声処理を可能にし、vLLMやSGLangなどの推論フレームワークとも互換性がある。これらの開発は、従来の世代のシステムよりも低いレイテンシで視覚・聴覚・推論を行う統合モデルへの移行を示している。

オープンソースのOmni AIモデルは、単一のフレームワーク内でテキスト、画像、音声、動画を処理するように進化しており、断片的なモデルアーキテクチャから脱却しつつある。これらのシステムは現在、リアルタイムのマルチモーダル対話や文書推論を含む多様なワークフローをサポートしている。

NVIDIA Nemotron 3 Nano Omni 30B A3B Reasoningモデルは、Mamba2-TransformerハイブリッドのMixture-of-Expertsアーキテクチャを採用した30Bパラメータモデルだ。トークンあたり3Bのアクティブパラメータと256Kトークンのコンテキストウィンドウを備え、エンタープライズ向けの動画、音声、文書分析に最適化されている。一方、Google Gemma 4 12B ITは、セルフホスト型アプリケーション向けの小型12Bマルチモーダルモデルとして提供される。このモデルは、生の画像パッチと音声波形を直接言語モデルの埋め込み空間に投影するエンコーダーフリーのアーキテクチャを利用し、256Kトークンのコンテキストウィンドウに対応している。

Qwen3-Omni 30B A3B Instructは、リアルタイムの音声および動画対話のための「Thinker-Talker」設計を備え、ネイティブなエンドツーエンドの多言語機能を提供する。119のテキスト言語、19の音声入力言語、10の音声出力言語をサポートする。DeepSeek Janus-Pro 7Bは、視覚的な理解と生成の両方に焦点を当て、視覚エンコーダーとしてSigLIP-Lを活用し、Autoregressiveなタスクのために専用の画像トークナイザーを使用する。

9BパラメータモデルであるMiniCPM-o 4.5は、SigLIP2、Whisper-medium、CosyVoice2などのコンポーネントを組み合わせることで、Full-duplexのマルチモーダル・ライブストリーミングをサポートする。このモデルは、テキストや音声出力と並行して連続的な動画・音声処理を可能にし、vLLMやSGLangなどの推論フレームワークとも互換性がある。これらの開発は、従来の世代のシステムよりも低いレイテンシで視覚・聴覚・推論を行う統合モデルへの移行を示している。