블랙라인의 수밋 조하르 CIO는 고객 서비스 AI가 부정확한 답변이나 편향된 추천을 내놓고 데이터를 부적절하게 처리하면 고객 신뢰를 무너뜨리고, 문제 해결에 비용과 자원을 들게 하며 브랜드 훼손과 규제 위험까지 초래할 수 있다고 말했습니다. 생성형 AI는 기존 소프트웨어와 달리 같은 질문에도 다른 답을 내놓을 수 있고, 자신감 있고 설득력 있게 들리는 답도 틀릴 수 있습니다. 고객이 금융·보험·건강 정보를 얻는 데 AI를 이용할 때 실수의 파장은 더 커집니다. 조하르는 금융 분야의 잘못된 AI 조언이 재무상태표의 정확성을 해치고 법적·개인적 책임을 불러올 수 있으며, 기밀 정보가 노출되지 않도록 답변의 데이터 출처를 파악해야 한다고 밝혔습니다.

희귀질환 환자와 보호자가 이용하는 시티즌 헬스는 AI가 제공하는 중요 정보를 환자 기록, 임상 정보, 의학 연구 등 원래 출처까지 추적하도록 하고, 환자가 의료진과 상의한 뒤 의학적 결정을 내리도록 안내합니다. 대니얼 왕 CTO는 틀린 답도 배려심 있고 유익하며 권위 있게 들릴 수 있다는 점을 우려했습니다. 회사는 AI의 답변 생성 과정을 이해하거나 정확성을 확인하는 데 시간이 더 필요하면 출시를 미뤘습니다. 모든 사용자에게 한 번에 공개하는 대신 소규모 환자 집단에서 시험하고 피드백을 반영해 개선한 뒤 이용 대상을 확대합니다. 출시 전에는 정답이 알려진 질문으로 시험하고 자동화 테스트와 사람의 검토를 병행하며, 비정상 답변을 감시하고 답변 범위를 제한합니다. 환자가 피드백을 보낼 방법도 마련했습니다.

보험 기술 기업 하이말리의 조너선 터시먼 CTO 겸 CAIO는 공개 가능한 기술이 준비돼 있었어도 테스트, 관측 가능성(시스템 동작을 파악하는 능력), 법률 검토와 교육에 더 시간을 썼다고 밝혔습니다. 회사는 이를 ‘신뢰의 속도에 맞춰 일하는 것’이라고 부릅니다. 고객 대상 AI를 운영하려면 개별 대화를 살피고 수만 건의 상호작용에서 패턴을 찾아야 하며, 시스템을 멈추는 킬 스위치와 변경 사항을 되돌리는 기능도 필요하다고 터시먼은 설명했습니다. 고객 서비스, IT, 데브옵스, 클라우드옵스 팀도 AI 문제에 대응할 절차를 갖춰야 합니다. 농업 기업 코르테바 애그리사이언스의 우다야 바스카르는 인상적인 시연만 보고 실제 고객 환경의 성능을 충분히 검증하지 않고 도입하는 것, 벤더 주장에 지나치게 기대는 것, 고객이 사람과 연결될 수단 없이 AI를 출시하는 것을 문제로 꼽았습니다.

AI 챗봇이 더 많은 문의를 처리하면 직원 부담을 줄일 수 있지만, 직원이 답을 확인·수정하거나 잘못된 결과로 작업을 다시 하면 절감 효과가 줄어듭니다. ‘환각세’에는 직원 검토 시간, 재작업, 규제·법적 위험과 측정하기 어려운 고객 신뢰 상실이 포함됩니다. 론치 컨설팅의 제스 램프는 이런 운영·모니터링 비용이 개발 예산에 충분히 반영되지 않을 수 있다고 말했습니다. 언프레임의 크리스 슬로바크는 부실한 고객 경험이 토큰 비용을 넘어 브랜드에 더 큰 손실을 줄 수 있다고 지적했습니다. 액센츄어의 케번 얄로위츠는 실수 자체보다 발생 후 사용자의 신뢰가 무너지는 것이 숨은 비용이라며, 성공적인 조직은 실수를 신속히 인정하고 투명하게 설명하며 재발 방지 방안을 알려준다고 말했습니다.

조하르는 금융처럼 규제가 엄격한 분야에서 정확성이 필수인 결정을 AI가 독자적으로 처리해서는 안 되며, 신뢰할 수 있는 데이터를 공급하고 문제가 생겼을 때 감사할 역량을 갖춰야 한다고 강조했습니다. 램프는 정보 요약 도구와 고객 자금이나 계좌에 영향을 주는 행동을 실행할 수 있는 도구의 위험이 다르므로 허용된 행동 범위에 맞춰 감독 수준을 정해야 한다고 말했습니다. 출시 후에도 성능이 유지되는지 지속적으로 시험해야 합니다. 스마arts시트의 토얀 에스퓨트는 고객 데이터를 테넌트 간에 섞거나 제3자 모델 학습에 사용하지 말고, AI가 고객의 기존 권한을 넘지 않도록 해야 한다고 밝혔습니다. 모든 AI 행동을 감사할 수 있어야 하며, 고객은 AI 개입 사실을 알고 결과를 검토·검증할 수 있어야 합니다.

시티즌 헬스는 고객 신뢰 문제를 지원·당직 대응 절차로 조사하고 심각한 사안은 경영진에 보고하며, 사용자가 문제를 신고할 직접 소통 창구를 유지합니다. 터시먼은 고객 성공팀이나 헬프데스크가 첫 불만을 받아도 고객 대상 AI의 최종 책임은 CTO에게 있다고 말했습니다. 바스카르도 도입 기업이 AI 행동에 책임져야 한다고 강조했습니다. 램프는 담당자와 상위 보고 절차를 정하고 고객이 결과에 이의를 제기해 사람과 연결될 수 있어야 한다고 덧붙였습니다. 성과 측정도 이용 고객 수에 그쳐서는 안 됩니다. 에스퓨트는 고객의 문제 해결 속도, 의사결정과 사업 성과, 지원 요청 감소, 조직 전반의 활용 확산, 피드백과 기능 요청의 질을 살펴야 한다고 말했습니다.

블랙라인의 수밋 조하르 CIO는 고객 서비스 AI가 부정확한 답변이나 편향된 추천을 내놓고 데이터를 부적절하게 처리하면 고객 신뢰를 무너뜨리고, 문제 해결에 비용과 자원을 들게 하며 브랜드 훼손과 규제 위험까지 초래할 수 있다고 말했습니다. 생성형 AI는 기존 소프트웨어와 달리 같은 질문에도 다른 답을 내놓을 수 있고, 자신감 있고 설득력 있게 들리는 답도 틀릴 수 있습니다. 고객이 금융·보험·건강 정보를 얻는 데 AI를 이용할 때 실수의 파장은 더 커집니다. 조하르는 금융 분야의 잘못된 AI 조언이 재무상태표의 정확성을 해치고 법적·개인적 책임을 불러올 수 있으며, 기밀 정보가 노출되지 않도록 답변의 데이터 출처를 파악해야 한다고 밝혔습니다.

희귀질환 환자와 보호자가 이용하는 시티즌 헬스는 AI가 제공하는 중요 정보를 환자 기록, 임상 정보, 의학 연구 등 원래 출처까지 추적하도록 하고, 환자가 의료진과 상의한 뒤 의학적 결정을 내리도록 안내합니다. 대니얼 왕 CTO는 틀린 답도 배려심 있고 유익하며 권위 있게 들릴 수 있다는 점을 우려했습니다. 회사는 AI의 답변 생성 과정을 이해하거나 정확성을 확인하는 데 시간이 더 필요하면 출시를 미뤘습니다. 모든 사용자에게 한 번에 공개하는 대신 소규모 환자 집단에서 시험하고 피드백을 반영해 개선한 뒤 이용 대상을 확대합니다. 출시 전에는 정답이 알려진 질문으로 시험하고 자동화 테스트와 사람의 검토를 병행하며, 비정상 답변을 감시하고 답변 범위를 제한합니다. 환자가 피드백을 보낼 방법도 마련했습니다.

보험 기술 기업 하이말리의 조너선 터시먼 CTO 겸 CAIO는 공개 가능한 기술이 준비돼 있었어도 테스트, 관측 가능성(시스템 동작을 파악하는 능력), 법률 검토와 교육에 더 시간을 썼다고 밝혔습니다. 회사는 이를 ‘신뢰의 속도에 맞춰 일하는 것’이라고 부릅니다. 고객 대상 AI를 운영하려면 개별 대화를 살피고 수만 건의 상호작용에서 패턴을 찾아야 하며, 시스템을 멈추는 킬 스위치와 변경 사항을 되돌리는 기능도 필요하다고 터시먼은 설명했습니다. 고객 서비스, IT, 데브옵스, 클라우드옵스 팀도 AI 문제에 대응할 절차를 갖춰야 합니다. 농업 기업 코르테바 애그리사이언스의 우다야 바스카르는 인상적인 시연만 보고 실제 고객 환경의 성능을 충분히 검증하지 않고 도입하는 것, 벤더 주장에 지나치게 기대는 것, 고객이 사람과 연결될 수단 없이 AI를 출시하는 것을 문제로 꼽았습니다.

AI 챗봇이 더 많은 문의를 처리하면 직원 부담을 줄일 수 있지만, 직원이 답을 확인·수정하거나 잘못된 결과로 작업을 다시 하면 절감 효과가 줄어듭니다. ‘환각세’에는 직원 검토 시간, 재작업, 규제·법적 위험과 측정하기 어려운 고객 신뢰 상실이 포함됩니다. 론치 컨설팅의 제스 램프는 이런 운영·모니터링 비용이 개발 예산에 충분히 반영되지 않을 수 있다고 말했습니다. 언프레임의 크리스 슬로바크는 부실한 고객 경험이 토큰 비용을 넘어 브랜드에 더 큰 손실을 줄 수 있다고 지적했습니다. 액센츄어의 케번 얄로위츠는 실수 자체보다 발생 후 사용자의 신뢰가 무너지는 것이 숨은 비용이라며, 성공적인 조직은 실수를 신속히 인정하고 투명하게 설명하며 재발 방지 방안을 알려준다고 말했습니다.

조하르는 금융처럼 규제가 엄격한 분야에서 정확성이 필수인 결정을 AI가 독자적으로 처리해서는 안 되며, 신뢰할 수 있는 데이터를 공급하고 문제가 생겼을 때 감사할 역량을 갖춰야 한다고 강조했습니다. 램프는 정보 요약 도구와 고객 자금이나 계좌에 영향을 주는 행동을 실행할 수 있는 도구의 위험이 다르므로 허용된 행동 범위에 맞춰 감독 수준을 정해야 한다고 말했습니다. 출시 후에도 성능이 유지되는지 지속적으로 시험해야 합니다. 스마arts시트의 토얀 에스퓨트는 고객 데이터를 테넌트 간에 섞거나 제3자 모델 학습에 사용하지 말고, AI가 고객의 기존 권한을 넘지 않도록 해야 한다고 밝혔습니다. 모든 AI 행동을 감사할 수 있어야 하며, 고객은 AI 개입 사실을 알고 결과를 검토·검증할 수 있어야 합니다.

시티즌 헬스는 고객 신뢰 문제를 지원·당직 대응 절차로 조사하고 심각한 사안은 경영진에 보고하며, 사용자가 문제를 신고할 직접 소통 창구를 유지합니다. 터시먼은 고객 성공팀이나 헬프데스크가 첫 불만을 받아도 고객 대상 AI의 최종 책임은 CTO에게 있다고 말했습니다. 바스카르도 도입 기업이 AI 행동에 책임져야 한다고 강조했습니다. 램프는 담당자와 상위 보고 절차를 정하고 고객이 결과에 이의를 제기해 사람과 연결될 수 있어야 한다고 덧붙였습니다. 성과 측정도 이용 고객 수에 그쳐서는 안 됩니다. 에스퓨트는 고객의 문제 해결 속도, 의사결정과 사업 성과, 지원 요청 감소, 조직 전반의 활용 확산, 피드백과 기능 요청의 질을 살펴야 한다고 말했습니다.