ブラックラインのCIO、スミット・ジョハルは、顧客対応AIが不正確な回答や偏った推奨を示したり、データを不適切に扱ったりすると、顧客の信頼を損ない、問題解決に費用と人手がかかるほか、ブランド毀損や規制上のリスクにもつながると述べました。生成AIは従来のソフトウェアと異なり、同じ質問にも異なる回答をすることがあり、自信に満ちて説得力のある回答でも誤っている場合があります。顧客が金融、保険、健康に関する情報を得るためにAIを使う場合、誤りの影響はさらに大きくなります。ジョハルは、金融分野で誤ったAIの助言が財務諸表の正確性を損ない、法的・個人的な責任を招く可能性があると指摘しました。機密情報の漏えいを防ぐため、回答のデータ源を把握する必要があるとも述べました。

希少疾患の患者や家族が利用するシチズン・ヘルスは、AIが示す重要な情報を、患者記録、臨床情報、医学研究などの元の情報源まで追跡できるようにしています。また、患者が医療従事者に相談してから医療上の決定をするよう案内しています。CTOのダニエル・ワンは、誤った回答でも思いやりがあり、有益で権威あるもののように聞こえる点を懸念しました。同社は、回答の生成過程を理解したり正確性を確かめたりするために時間が必要な場合、公開を延期しました。全利用者に一斉公開するのではなく、まず少数の患者で試し、意見を反映して改善してから対象を広げます。公開前には正解が分かっている質問で試験し、自動テストと人による確認を行います。異常な回答を監視して回答範囲を制限し、患者が意見を送れる方法も用意しました。

保険テクノロジー企業ハイマリのCTO兼CAIO、ジョナサン・ターシマンは、公開できる技術が整っていても、テスト、可観測性（システムの動作を把握する能力）、法務審査、研修にさらに時間をかけたと述べました。同社はこの方針を「信頼の速度に合わせて進める」と呼んでいます。顧客向けAIを運用するには、個々の対話を調べ、数万件のやり取りから傾向を探す必要があります。システムを停止するキルスイッチや、変更を元に戻す機能も必要だとターシマンは説明しました。顧客サービス、IT、DevOps、CloudOpsの各チームにも、AIの問題に対応する手順が必要です。農業企業コルテバ・アグリサイエンスのウダヤ・バスカルは、印象的なデモだけを見て実際の顧客環境で十分に検証せず導入すること、ベンダーの主張に過度に頼ること、顧客が人につながる手段を用意せずAIを公開することを問題に挙げました。

AIチャットボットがより多くの問い合わせに対応すれば従業員の負担を減らせますが、従業員が回答を確認・修正したり、誤った結果のために作業をやり直したりすれば、削減効果は小さくなります。「ハルシネーション税」には、従業員の確認時間、やり直し、規制・法的リスク、測定しにくい顧客の信頼喪失が含まれます。ローンチ・コンサルティングのジェス・ランプは、こうした運用・監視の費用が開発予算に十分含まれていない場合があると述べました。アンフレームのクリス・スロバクは、顧客体験の悪化がトークン費用を超えるブランドの損失を招きかねないと指摘しました。アクセンチュアのケヴァン・ヤロウィッツは、誤りそのものよりも、発生後に利用者の信頼が崩れることが隠れた費用だと述べました。成功する組織は誤りを速やかに認め、透明性をもって説明し、再発防止策を伝えるといいます。

ジョハルは、金融のように規制が厳しい分野では、正確性が欠かせない判断をAIだけで処理すべきではなく、信頼できるデータを提供し、問題発生時に監査できる能力を備える必要があると強調しました。ランプは、情報を要約するツールと、顧客の資金や口座に影響する操作を実行できるツールではリスクが異なるため、許可する操作の範囲に応じて監督の水準を決めるべきだと述べました。導入後も性能が保たれているか、継続して試験する必要があります。スマートシートのトヤン・エスピュートは、顧客データをテナント間で混在させたり、第三者モデルの学習に使ったりせず、AIが顧客の既存の権限を超えないようにすべきだと述べました。AIの行動はすべて監査できるようにし、顧客にはAIが介入したことを知らせ、結果を確認・検証できるようにする必要があります。

シチズン・ヘルスは、顧客の信頼に関する問題をサポートや当番対応の手順に沿って調査し、重大な事案は経営陣に報告します。利用者が問題を報告できる直接の連絡窓口も維持しています。ターシマンは、顧客成功チームやヘルプデスクが最初の苦情を受けても、顧客向けAIの最終責任はCTOにあると述べました。バスカルも、導入企業がAIの行動に責任を負うべきだと強調しました。ランプは、担当者と上位報告の手順を定め、顧客が結果に異議を申し立てて人につながれるようにする必要があると付け加えました。成果は利用者数だけで測るべきではありません。エスピュートは、顧客の問題解決の速さ、意思決定や事業成果、サポート依頼の減少、組織全体での利用拡大、意見や機能要望の質も確認すべきだと述べました。

ブラックラインのCIO、スミット・ジョハルは、顧客対応AIが不正確な回答や偏った推奨を示したり、データを不適切に扱ったりすると、顧客の信頼を損ない、問題解決に費用と人手がかかるほか、ブランド毀損や規制上のリスクにもつながると述べました。生成AIは従来のソフトウェアと異なり、同じ質問にも異なる回答をすることがあり、自信に満ちて説得力のある回答でも誤っている場合があります。顧客が金融、保険、健康に関する情報を得るためにAIを使う場合、誤りの影響はさらに大きくなります。ジョハルは、金融分野で誤ったAIの助言が財務諸表の正確性を損ない、法的・個人的な責任を招く可能性があると指摘しました。機密情報の漏えいを防ぐため、回答のデータ源を把握する必要があるとも述べました。

希少疾患の患者や家族が利用するシチズン・ヘルスは、AIが示す重要な情報を、患者記録、臨床情報、医学研究などの元の情報源まで追跡できるようにしています。また、患者が医療従事者に相談してから医療上の決定をするよう案内しています。CTOのダニエル・ワンは、誤った回答でも思いやりがあり、有益で権威あるもののように聞こえる点を懸念しました。同社は、回答の生成過程を理解したり正確性を確かめたりするために時間が必要な場合、公開を延期しました。全利用者に一斉公開するのではなく、まず少数の患者で試し、意見を反映して改善してから対象を広げます。公開前には正解が分かっている質問で試験し、自動テストと人による確認を行います。異常な回答を監視して回答範囲を制限し、患者が意見を送れる方法も用意しました。

保険テクノロジー企業ハイマリのCTO兼CAIO、ジョナサン・ターシマンは、公開できる技術が整っていても、テスト、可観測性（システムの動作を把握する能力）、法務審査、研修にさらに時間をかけたと述べました。同社はこの方針を「信頼の速度に合わせて進める」と呼んでいます。顧客向けAIを運用するには、個々の対話を調べ、数万件のやり取りから傾向を探す必要があります。システムを停止するキルスイッチや、変更を元に戻す機能も必要だとターシマンは説明しました。顧客サービス、IT、DevOps、CloudOpsの各チームにも、AIの問題に対応する手順が必要です。農業企業コルテバ・アグリサイエンスのウダヤ・バスカルは、印象的なデモだけを見て実際の顧客環境で十分に検証せず導入すること、ベンダーの主張に過度に頼ること、顧客が人につながる手段を用意せずAIを公開することを問題に挙げました。

AIチャットボットがより多くの問い合わせに対応すれば従業員の負担を減らせますが、従業員が回答を確認・修正したり、誤った結果のために作業をやり直したりすれば、削減効果は小さくなります。「ハルシネーション税」には、従業員の確認時間、やり直し、規制・法的リスク、測定しにくい顧客の信頼喪失が含まれます。ローンチ・コンサルティングのジェス・ランプは、こうした運用・監視の費用が開発予算に十分含まれていない場合があると述べました。アンフレームのクリス・スロバクは、顧客体験の悪化がトークン費用を超えるブランドの損失を招きかねないと指摘しました。アクセンチュアのケヴァン・ヤロウィッツは、誤りそのものよりも、発生後に利用者の信頼が崩れることが隠れた費用だと述べました。成功する組織は誤りを速やかに認め、透明性をもって説明し、再発防止策を伝えるといいます。

ジョハルは、金融のように規制が厳しい分野では、正確性が欠かせない判断をAIだけで処理すべきではなく、信頼できるデータを提供し、問題発生時に監査できる能力を備える必要があると強調しました。ランプは、情報を要約するツールと、顧客の資金や口座に影響する操作を実行できるツールではリスクが異なるため、許可する操作の範囲に応じて監督の水準を決めるべきだと述べました。導入後も性能が保たれているか、継続して試験する必要があります。スマートシートのトヤン・エスピュートは、顧客データをテナント間で混在させたり、第三者モデルの学習に使ったりせず、AIが顧客の既存の権限を超えないようにすべきだと述べました。AIの行動はすべて監査できるようにし、顧客にはAIが介入したことを知らせ、結果を確認・検証できるようにする必要があります。

シチズン・ヘルスは、顧客の信頼に関する問題をサポートや当番対応の手順に沿って調査し、重大な事案は経営陣に報告します。利用者が問題を報告できる直接の連絡窓口も維持しています。ターシマンは、顧客成功チームやヘルプデスクが最初の苦情を受けても、顧客向けAIの最終責任はCTOにあると述べました。バスカルも、導入企業がAIの行動に責任を負うべきだと強調しました。ランプは、担当者と上位報告の手順を定め、顧客が結果に異議を申し立てて人につながれるようにする必要があると付け加えました。成果は利用者数だけで測るべきではありません。エスピュートは、顧客の問題解決の速さ、意思決定や事業成果、サポート依頼の減少、組織全体での利用拡大、意見や機能要望の質も確認すべきだと述べました。