銀行、AIコスト抑制に小型モデル活用
- •バンク・オブ・アメリカとキャピタル・ワンの幹部が、Evident AI SymposiumでモデルルーティングによるAIコスト管理を説明
- •バンク・オブ・アメリカは来年のAI予算を2倍にする計画で、Orchestraが費用対効果の高いモデルへ問い合わせを振り分け
- •キャピタル・ワンは小型モデルで遅延を5倍削減し、自動車販売店での顧客エンゲージメントを50%向上と説明
バンク・オブ・アメリカとキャピタル・ワンの幹部は、ニューヨークで開かれたEvident AI Symposiumで、銀行が問い合わせを小型AIモデルに振り分ければ、より高性能なモデルを必要な作業に使いながらコストを抑えられると説明しました。バンク・オブ・アメリカは来年、AI予算を2倍にする計画で、AI搭載の金融アシスタント「Erica」を通じた、より高度な会話への対応に力を入れます。最高技術・情報責任者のハリ・ゴパルクリシュナン(Hari Gopalkrishnan)氏は、Ericaの組織内情報を記憶する機能と、複雑な取引を完了する能力も改善していると述べました。発言は先週のシンポジウムで行われました。
バンク・オブ・アメリカの振り分け機能「Orchestra」は、小型の分類モデル（問い合わせを種類ごとに振り分けるモデル）を使い、各問い合わせを最も費用対効果の高いモデルに送ります。ゴパルクリシュナン氏は、トークンの支出管理と低コストモデルへの振り分けが有効なコスト管理策だと述べました。既存の小型言語モデルや追加学習したモデルを柔軟に使いたい考えも示し、単純な判断に大規模言語モデルが常に必要とは限らないと説明しました。
キャピタル・ワンは、オープンウェイトモデルを独自データで追加学習して小型化し、自動車購入者の手続きを支援する複数エージェント型アプリ「Chat Concierge」に導入しました。最高エンタープライズAI責任者兼主任研究者のプレム・ナタラジャン(Prem Natarajan)氏によると、小型モデルは遅延を5倍削減し、自動車販売店での顧客エンゲージメントを50%高めました。Snowflakeも、問い合わせごとにモデルを自動選択するモデルの動的振り分け機能を「Cortex AI Gateway」に追加しました。
バンク・オブ・アメリカが2027年に向けて進めるAI戦略には、エージェントの実行時間を割り当てられた上限内に保ち、複数の作業を自律的に完了させないための制約が含まれます。ゴパルクリシュナン氏は、計測機能、テレメトリー、フィードバックループを開発中だと述べました。ナタラジャン氏は、キャピタル・ワンがAIを支えるデータ活用能力を引き続き強化すると説明しました。クラウド基盤の技術スタック、長年の機械学習の利用、適切に管理されたデータを挙げ、必要に応じてアーキテクチャを土台から再構築すると述べました。