AWS、コンテナ起動を高速化するSOCIサポートを導入
- •AWSは、すべてのDeep Learning AMIおよびDeep Learning ContainersでSOCIスナップショット機能をサポートした。
- •遅延読み込み（Lazy loading）により、コンテナの起動時間は約7分から約21秒まで短縮された。
- •並列プルモードは、I/O負荷の高いAIワークロードにおいて画像ダウンロード性能を2.2倍に向上させる。
AWSは、すべてのDeep Learning AMIおよびAWS Deep Learning Containersにおいて、Seekable OCI（SOCI）スナップショットおよびインデックスのサポートを開始した。この技術により、コンテナイメージは選択的なファイルダウンロードが可能となり、数ギガバイトに及ぶイメージ全体を読み込む前に、実行時に必要なデータのみをフェッチできるようになる。これにより、本番環境における長いコールドスタート時間や、イメージの読み込み中にGPUインスタンスがアイドル状態となって生じるリソースの浪費というボトルネックが解消される。
パフォーマンス評価では、2つの異なるモードで顕著な改善が示されている。遅延読み込みモードでは、データがオンデマンドで取得されるためコンテナが即座に起動する。例えば、32.7GBのvLLMイメージの場合、標準のDockerでは起動に6分59.099秒を要したが、SOCIスナップショットを使用することで21.125秒まで短縮された。このモードは、特に低スペックのインスタンス環境で迅速な初期化が求められる場合に最適である。
一方、並列プルモードは、起動時にイメージ全体を必要とするワークロード向けにダウンロードと展開の並列処理を強化する。60.4GBのイメージでは、合計プル時間が4分44.163秒から2分12.846秒に減少し、2.2倍の性能向上を達成した。利用者は/etc/soci-snapshotter-grpc/config.tomlにある設定ファイルを変更することで、インスタンスの能力や帯域幅に合わせて並列スレッド数を調整可能だ。
「-soci」というタグサフィックスが付いたAWS Deep Learning ContainersにはSOCIインデックスが事前作成されており、即座に遅延読み込み機能を利用できる。カスタムイメージの場合は、ユーザー自身が手動でSOCIインデックスを作成しレジストリにプッシュする必要がある。これらのツールによるコンテナ管理の最適化は、Amazon SageMaker、EC2、ECS、EKSなどのプラットフォームにおける大規模な深層学習インフラの展開において、ネットワーク負荷と運用コストの低減に寄与する。