企業のAIモデル切り替え、69％で数週間以上

VentureBeatは現地時間12日、VentureBeat Intelligenceが10月に実施した調査結果を公表しました。従業員100人以上の企業でAIを担当する人やコンサルタントなど100人のうち、47％が過去12カ月に、既存アプリケーションを維持したまま本番環境のAIモデルを切り替えた経験があると回答しました。切り替えにかかった時間を答えた45人のうち69％は、モデル変更そのものを除くエンジニアリング作業に数週間以上かかり、36％は1カ月を超えたと答えました。設定変更だけで済み、ほとんど作業がなかったとの回答は13％でした。

切り替え後の性能が従来モデルと同等か向上したとの回答は約55％で、残る約45％は性能が低下し、アプリケーションを修正するか従来モデルに戻しました。プロンプトやツールの使い方、テスト手順が従来モデルに合わせてあるため、モデルを変えると同じ作業でも結果が変わることがあります。Boxのベン・クスCTOは、モデルに指示を伝え、ツールや作業順を制御するコードであるハーネスが実際の性能に大きく影響すると説明しました。Boxはモデル単体で比べず、実際のハーネスと組み合わせて精度、費用、速度を評価しています。

小型モデルはハーネス次第で、コーディングエージェントの評価点に20～40点の差が出ることがあると、Artificial Analysisのマイカ・ヒルスミスCEOは述べました。低価格モデルを導入する際、従来の大型モデルに合わせた実行環境の修正が必要になる場合もあります。Upworkのスダンシュ・ビスト副社長は、1回10セントのモデルの成功率が20％なら、作業完了まで平均5回実行し、合計50セントかかると説明しました。一方、1回30セントで成功率90％のモデルなら平均費用は33セントです。この計算は失敗した作業を再試行する前提で、企業はトークン単価ではなく、作業を成功裏に終える総費用を比べる必要があります。Upworkは反復的で明確な業務には小型モデルを、複雑で自由度の高い作業には大型モデルを使っています。

PayPalは、業務の定義、承認済みデータの照会方法、分析手順をまとめた知識レイヤーを社内データ分析アシスタントに追加しました。モデルを切り替えずにこのレイヤーを加え、社内業務に関する質問の正答率を43％から95％に高めたと発表しました。AI製品担当上級副社長のレン・ジャンは、企業の知識が特定のモデルに依存しないよう設計し、新モデルの導入時に業務知識や手順を再構築せずに済むようにする狙いだと説明しました。Uberは過去のコード変更事例から評価データを作り、自動コード整理に適したモデルを選んだ結果、作業ごとの費用を90％削減したとしています。評価の仕組みが整った一部のAIエージェントは数日でモデルを切り替えられますが、開発者向けコーディングツールは作業方法も変わるため、より難しいと述べました。

T-Mobileは顧客との通話に従来のAIシステムと新バージョンを同時に適用して結果を比べ、改善が確認できた場合に限り新バージョンの利用を増やします。リリース後も小型モデルを使い、会話や音声セッションでの誤回答を検知しています。専門家は、実際のユーザー依頼から評価データを作り、運用するハーネス環境で性能を検証し、失敗した作業や人による修正費用も含めて採算を比べるべきだと述べました。企業内の知識を特定のモデルから切り離して管理する方法も提案しました。VentureBeatは、調査参加者が100人、切り替え時間の回答者が45人にとどまるため、結果を全企業の平均として一般化するのは難しいとしています。

VentureBeatは現地時間12日、VentureBeat Intelligenceが10月に実施した調査結果を公表しました。従業員100人以上の企業でAIを担当する人やコンサルタントなど100人のうち、47％が過去12カ月に、既存アプリケーションを維持したまま本番環境のAIモデルを切り替えた経験があると回答しました。切り替えにかかった時間を答えた45人のうち69％は、モデル変更そのものを除くエンジニアリング作業に数週間以上かかり、36％は1カ月を超えたと答えました。設定変更だけで済み、ほとんど作業がなかったとの回答は13％でした。

切り替え後の性能が従来モデルと同等か向上したとの回答は約55％で、残る約45％は性能が低下し、アプリケーションを修正するか従来モデルに戻しました。プロンプトやツールの使い方、テスト手順が従来モデルに合わせてあるため、モデルを変えると同じ作業でも結果が変わることがあります。Boxのベン・クスCTOは、モデルに指示を伝え、ツールや作業順を制御するコードであるハーネスが実際の性能に大きく影響すると説明しました。Boxはモデル単体で比べず、実際のハーネスと組み合わせて精度、費用、速度を評価しています。

小型モデルはハーネス次第で、コーディングエージェントの評価点に20～40点の差が出ることがあると、Artificial Analysisのマイカ・ヒルスミスCEOは述べました。低価格モデルを導入する際、従来の大型モデルに合わせた実行環境の修正が必要になる場合もあります。Upworkのスダンシュ・ビスト副社長は、1回10セントのモデルの成功率が20％なら、作業完了まで平均5回実行し、合計50セントかかると説明しました。一方、1回30セントで成功率90％のモデルなら平均費用は33セントです。この計算は失敗した作業を再試行する前提で、企業はトークン単価ではなく、作業を成功裏に終える総費用を比べる必要があります。Upworkは反復的で明確な業務には小型モデルを、複雑で自由度の高い作業には大型モデルを使っています。

PayPalは、業務の定義、承認済みデータの照会方法、分析手順をまとめた知識レイヤーを社内データ分析アシスタントに追加しました。モデルを切り替えずにこのレイヤーを加え、社内業務に関する質問の正答率を43％から95％に高めたと発表しました。AI製品担当上級副社長のレン・ジャンは、企業の知識が特定のモデルに依存しないよう設計し、新モデルの導入時に業務知識や手順を再構築せずに済むようにする狙いだと説明しました。Uberは過去のコード変更事例から評価データを作り、自動コード整理に適したモデルを選んだ結果、作業ごとの費用を90％削減したとしています。評価の仕組みが整った一部のAIエージェントは数日でモデルを切り替えられますが、開発者向けコーディングツールは作業方法も変わるため、より難しいと述べました。

T-Mobileは顧客との通話に従来のAIシステムと新バージョンを同時に適用して結果を比べ、改善が確認できた場合に限り新バージョンの利用を増やします。リリース後も小型モデルを使い、会話や音声セッションでの誤回答を検知しています。専門家は、実際のユーザー依頼から評価データを作り、運用するハーネス環境で性能を検証し、失敗した作業や人による修正費用も含めて採算を比べるべきだと述べました。企業内の知識を特定のモデルから切り離して管理する方法も提案しました。VentureBeatは、調査参加者が100人、切り替え時間の回答者が45人にとどまるため、結果を全企業の平均として一般化するのは難しいとしています。