チャットボットやバーチャルアシスタントなど、顧客向けAIを導入する企業には、誤回答や偏った推奨、データの不適切な取り扱いによるリスクがあると、技術部門の責任者らがCIOに語りました。誤りは顧客の信頼やブランドを損ない、修正に人員と費用がかかるほか、機密情報の漏えいや法的・規制上のリスクにつながる可能性があります。BlackLineのCIO、スミット・ジョハールは、金融分野で不適切なAI助言が貸借対照表の正確性を損ない、深刻な法的・個人的責任を招く恐れがあると警告しました。希少疾患の患者や介護者が利用するCitizen Healthでは、AIが提供する情報の根拠を患者記録、臨床情報、医学研究にたどれるようにし、医療上の判断前に医療従事者へ相談するよう患者に促しています。

Citizen Healthは、システムが回答をどう作るか、回答が正確かを調べる間、一部のAI導入を延期しました。答えが分かっている質問を使い、自動テストと人による確認を行うほか、異常な回答を監視し、AIが答えられる範囲を制限して、患者からの意見を受け付けています。まず少人数の患者グループで試し、意見を反映してから広く展開する場合もあります。最高技術責任者のダニエル・ワンは、誤った回答でも、根拠が不正確なまま思いやりがあり、情報豊富で、権威ある内容のように聞こえることがあると述べました。

保険テクノロジー企業Hi Marleyの最高技術・AI責任者、ジョナサン・タッシュマンは、出荷可能な技術であっても、より多くのテスト、可観測性、法務審査、研修のために何年も導入を見送ったと説明しました。信頼とガバナンスの基準によって導入と普及が1年遅れたとし、同社はこの姿勢を「信頼の速度で進める」と呼んでいます。導入後は、個々の会話と数万件にわたるやり取り全体の傾向を監視し、停止スイッチや以前の状態に戻す手段を用意して、顧客サービス、IT、DevOps、CloudOpsの各チームが問題に対応できるよう備える必要があります。Corteva Agriscienceのセキュリティアナリスト、ウダヤ・バスカーは、実際の顧客で試さずに印象的なデモやベンダーの主張を信じること、また人間に簡単につなげられないまま導入することに警鐘を鳴らしました。

AIによる効率化の効果は、回答の確認や修正に費やす従業員の時間という「幻覚税」で相殺される場合があります。Launch Consultingの技術者ジェス・ランペは、予算に継続的な運用・監視費用、従業員のやり直し、法的・規制上のリスクが含まれていないことがあると指摘しました。UnframeのフィールドCTO、クリス・スロバクは、顧客体験の悪化がトークン費用を超えて企業のブランドと信頼を傷つける可能性があると述べました。Accentureのケバン・ヤロウィッツは、企業は誤りを認め、率直に説明し、再発防止策を示すべきだと語りました。

BlackLineのジョハールは、特に金融などの規制産業では重要な判断に人間の監督が必要であり、信頼できるデータと失敗を監査する能力も欠かせないと述べました。ランペは、監督の程度はAIツールに与える権限に合わせるべきだと説明しました。情報の要約と、顧客の資金や口座に働きかける操作ではリスクが異なります。AIの挙動は時間とともに変わる可能性があるため、導入後もテストを続ける必要があります。Smartsheetの顧客担当責任者、トヤン・エスピュートは、顧客データをテナント間で混在させたり、第三者モデルの学習に使ったりしてはならないと述べました。AIには既存のアクセス権限を守らせ、すべての操作を監査可能にし、AIの関与を開示するとともに、顧客が出力を確認・検証できるようにする必要があります。

Citizen Healthは、サポートと待機対応の手順を整え、重大な懸念を経営陣に報告し、利用者が問題を直接知らせる窓口を設けています。タッシュマンは、最初に苦情を受けるのがヘルプデスクでも、顧客向けAIへの責任は最高技術責任者である自分にあり、システムやベンダーに委ねることはできないと述べました。バスカーも導入企業が責任を負い続けると指摘し、ランペは責任者を明示し、エスカレーション手順を設け、顧客が結果に異議を唱えて人間に連絡できる手段を求めました。

技術部門の責任者らは、導入の速さだけでは成功を測れないと述べました。エスピュートは、顧客が問題をより早く解決できるか、より良い判断や事業成果を得られるかに加え、サポート問い合わせの減少、導入部門の広がり、顧客の意見や機能要望を通じた積極的な参加を追跡すべきだと語りました。

チャットボットやバーチャルアシスタントなど、顧客向けAIを導入する企業には、誤回答や偏った推奨、データの不適切な取り扱いによるリスクがあると、技術部門の責任者らがCIOに語りました。誤りは顧客の信頼やブランドを損ない、修正に人員と費用がかかるほか、機密情報の漏えいや法的・規制上のリスクにつながる可能性があります。BlackLineのCIO、スミット・ジョハールは、金融分野で不適切なAI助言が貸借対照表の正確性を損ない、深刻な法的・個人的責任を招く恐れがあると警告しました。希少疾患の患者や介護者が利用するCitizen Healthでは、AIが提供する情報の根拠を患者記録、臨床情報、医学研究にたどれるようにし、医療上の判断前に医療従事者へ相談するよう患者に促しています。

Citizen Healthは、システムが回答をどう作るか、回答が正確かを調べる間、一部のAI導入を延期しました。答えが分かっている質問を使い、自動テストと人による確認を行うほか、異常な回答を監視し、AIが答えられる範囲を制限して、患者からの意見を受け付けています。まず少人数の患者グループで試し、意見を反映してから広く展開する場合もあります。最高技術責任者のダニエル・ワンは、誤った回答でも、根拠が不正確なまま思いやりがあり、情報豊富で、権威ある内容のように聞こえることがあると述べました。

保険テクノロジー企業Hi Marleyの最高技術・AI責任者、ジョナサン・タッシュマンは、出荷可能な技術であっても、より多くのテスト、可観測性、法務審査、研修のために何年も導入を見送ったと説明しました。信頼とガバナンスの基準によって導入と普及が1年遅れたとし、同社はこの姿勢を「信頼の速度で進める」と呼んでいます。導入後は、個々の会話と数万件にわたるやり取り全体の傾向を監視し、停止スイッチや以前の状態に戻す手段を用意して、顧客サービス、IT、DevOps、CloudOpsの各チームが問題に対応できるよう備える必要があります。Corteva Agriscienceのセキュリティアナリスト、ウダヤ・バスカーは、実際の顧客で試さずに印象的なデモやベンダーの主張を信じること、また人間に簡単につなげられないまま導入することに警鐘を鳴らしました。

AIによる効率化の効果は、回答の確認や修正に費やす従業員の時間という「幻覚税」で相殺される場合があります。Launch Consultingの技術者ジェス・ランペは、予算に継続的な運用・監視費用、従業員のやり直し、法的・規制上のリスクが含まれていないことがあると指摘しました。UnframeのフィールドCTO、クリス・スロバクは、顧客体験の悪化がトークン費用を超えて企業のブランドと信頼を傷つける可能性があると述べました。Accentureのケバン・ヤロウィッツは、企業は誤りを認め、率直に説明し、再発防止策を示すべきだと語りました。

BlackLineのジョハールは、特に金融などの規制産業では重要な判断に人間の監督が必要であり、信頼できるデータと失敗を監査する能力も欠かせないと述べました。ランペは、監督の程度はAIツールに与える権限に合わせるべきだと説明しました。情報の要約と、顧客の資金や口座に働きかける操作ではリスクが異なります。AIの挙動は時間とともに変わる可能性があるため、導入後もテストを続ける必要があります。Smartsheetの顧客担当責任者、トヤン・エスピュートは、顧客データをテナント間で混在させたり、第三者モデルの学習に使ったりしてはならないと述べました。AIには既存のアクセス権限を守らせ、すべての操作を監査可能にし、AIの関与を開示するとともに、顧客が出力を確認・検証できるようにする必要があります。

Citizen Healthは、サポートと待機対応の手順を整え、重大な懸念を経営陣に報告し、利用者が問題を直接知らせる窓口を設けています。タッシュマンは、最初に苦情を受けるのがヘルプデスクでも、顧客向けAIへの責任は最高技術責任者である自分にあり、システムやベンダーに委ねることはできないと述べました。バスカーも導入企業が責任を負い続けると指摘し、ランペは責任者を明示し、エスカレーション手順を設け、顧客が結果に異議を唱えて人間に連絡できる手段を求めました。

技術部門の責任者らは、導入の速さだけでは成功を測れないと述べました。エスピュートは、顧客が問題をより早く解決できるか、より良い判断や事業成果を得られるかに加え、サポート問い合わせの減少、導入部門の広がり、顧客の意見や機能要望を通じた積極的な参加を追跡すべきだと語りました。