Domo의 최고 AI·분석 책임자 벤 샤인(Ben Schein)은 데이터 기반이 완전히 갖춰지기 전에도 기업이 AI를 사용할 수 있다고 말했습니다. 범위를 한정한 AI 작업으로 데이터의 불일치와 빠진 업무 맥락을 발견할 수 있기 때문입니다. 예를 들어 기존 필터와 데이터 작동 방식을 설명하는 AI 사전을 활용해 최고경영자 실적 지표의 불일치를 점검하고, Salesforce 잠재 고객 데이터에 관한 10개 시나리오로 답변의 정확도를 시험해 공백을 찾을 수 있습니다. 그는 데이터 기반이 약하다는 점을 무시하지 말고 결과의 정확성과 일관성을 확인해야 한다고 강조했습니다.

샤인은 AI가 확률적으로 답을 생성하므로 전환율과 투자수익률(ROI) 계산 방법을 포함해 여러 아이디어를 탐색할 수 있지만, 답변은 달라질 수 있다고 설명했습니다. 무엇을 할지 결정한 뒤에는 데이터 흐름, 워크플로, 대시보드, 앱 같은 결정론적 도구로 정해진 절차를 반복하면 AI에 매번 답을 다시 찾게 할 필요가 없습니다. 일부 기업은 불필요하게 비싼 모델을 사용해 토큰 비용을 더 지출합니다. 강력한 모델은 초기 탐색에 유용할 수 있지만, 작업 방식이 정해진 뒤에는 반복 가능한 절차가 나을 수 있습니다. Claude Skill도 매번 AI에 생각을 요청하므로 결과가 달라질 수 있습니다. 샤인은 카네기멜런대 연구에서 제시한 ‘역량에서 배포, 성과로 이어지는 간극’을 인용하며, AI가 작업을 수행할 수 있음을 보여주는 것만으로 배포나 성과가 보장되지는 않는다고 했습니다. 거버넌스, 배포, 맥락, 토큰 경제성이 영향을 줍니다. 그는 시간이 많이 들던 수동 검토를 대신해 AI로 피드백을 분석하고 응답 초안을 제안받기도 합니다.

AI 프로젝트를 고를 때는 기대 가치와 결과를 측정할 수 있는지를 함께 살펴야 한다고 샤인은 조언했습니다. 큰 프로젝트에만 집중할 필요는 없습니다. 토큰을 적게 쓰고 조정이나 엔지니어링이 거의 필요 없는 작은 활용 사례도 여럿 모이면 가치를 낼 수 있습니다. 그는 원격 측정으로 토큰 사용량과 구체적인 성과를 추적할 수 있는 활용 사례가, 더 큰 가치를 낼 가능성은 있어도 측정 정보가 없는 프로젝트보다 낫다고 봅니다. 측정 가능한 프로젝트는 실제 성과를 내면서 기업이 학습하도록 돕습니다. 문제가 데이터에서 비롯됐는지 AI에서 비롯됐는지 가리려면 잠재 고객이나 주문 한 건처럼 사례를 하나로 좁힌 뒤 사람이 직접 풀어보면 됩니다. 유능한 분석가도 데이터가 나쁘거나 일관되지 않아 답을 정하지 못한다면 문제는 데이터에 있을 가능성이 높으며, 관련 업무 절차도 문서화해야 한다고 샤인은 말했습니다.

분석은 라이선스 수, 토큰 사용량, 절약된 시간 같은 AI 활동 지표와 검증된 정확도 및 긍정적인 사업 성과를 구분합니다. 모델 추론 비용이 낮더라도 사람이 결과를 확인하거나 맥락을 제공하는 데 상당한 노력을 들이면 AI 절차 전체의 비용이 낮다고 볼 수 없습니다. 기업은 완벽한 데이터 기반을 기다릴 필요 없이 측정 가능한 활용 사례를 시작하고 결과를 확인한 뒤, 정착된 작업을 반복 가능한 시스템으로 옮겨 비용을 줄일 수 있습니다. 분석은 AI의 가치를 인정하는 기업일수록 AI를 쓸 곳과 쓰지 않을 곳을 파악하고, 업무 맥락과 검증 절차를 시스템에 반영한다고 결론 내립니다.

Domo의 최고 AI·분석 책임자 벤 샤인(Ben Schein)은 데이터 기반이 완전히 갖춰지기 전에도 기업이 AI를 사용할 수 있다고 말했습니다. 범위를 한정한 AI 작업으로 데이터의 불일치와 빠진 업무 맥락을 발견할 수 있기 때문입니다. 예를 들어 기존 필터와 데이터 작동 방식을 설명하는 AI 사전을 활용해 최고경영자 실적 지표의 불일치를 점검하고, Salesforce 잠재 고객 데이터에 관한 10개 시나리오로 답변의 정확도를 시험해 공백을 찾을 수 있습니다. 그는 데이터 기반이 약하다는 점을 무시하지 말고 결과의 정확성과 일관성을 확인해야 한다고 강조했습니다.

샤인은 AI가 확률적으로 답을 생성하므로 전환율과 투자수익률(ROI) 계산 방법을 포함해 여러 아이디어를 탐색할 수 있지만, 답변은 달라질 수 있다고 설명했습니다. 무엇을 할지 결정한 뒤에는 데이터 흐름, 워크플로, 대시보드, 앱 같은 결정론적 도구로 정해진 절차를 반복하면 AI에 매번 답을 다시 찾게 할 필요가 없습니다. 일부 기업은 불필요하게 비싼 모델을 사용해 토큰 비용을 더 지출합니다. 강력한 모델은 초기 탐색에 유용할 수 있지만, 작업 방식이 정해진 뒤에는 반복 가능한 절차가 나을 수 있습니다. Claude Skill도 매번 AI에 생각을 요청하므로 결과가 달라질 수 있습니다. 샤인은 카네기멜런대 연구에서 제시한 ‘역량에서 배포, 성과로 이어지는 간극’을 인용하며, AI가 작업을 수행할 수 있음을 보여주는 것만으로 배포나 성과가 보장되지는 않는다고 했습니다. 거버넌스, 배포, 맥락, 토큰 경제성이 영향을 줍니다. 그는 시간이 많이 들던 수동 검토를 대신해 AI로 피드백을 분석하고 응답 초안을 제안받기도 합니다.

AI 프로젝트를 고를 때는 기대 가치와 결과를 측정할 수 있는지를 함께 살펴야 한다고 샤인은 조언했습니다. 큰 프로젝트에만 집중할 필요는 없습니다. 토큰을 적게 쓰고 조정이나 엔지니어링이 거의 필요 없는 작은 활용 사례도 여럿 모이면 가치를 낼 수 있습니다. 그는 원격 측정으로 토큰 사용량과 구체적인 성과를 추적할 수 있는 활용 사례가, 더 큰 가치를 낼 가능성은 있어도 측정 정보가 없는 프로젝트보다 낫다고 봅니다. 측정 가능한 프로젝트는 실제 성과를 내면서 기업이 학습하도록 돕습니다. 문제가 데이터에서 비롯됐는지 AI에서 비롯됐는지 가리려면 잠재 고객이나 주문 한 건처럼 사례를 하나로 좁힌 뒤 사람이 직접 풀어보면 됩니다. 유능한 분석가도 데이터가 나쁘거나 일관되지 않아 답을 정하지 못한다면 문제는 데이터에 있을 가능성이 높으며, 관련 업무 절차도 문서화해야 한다고 샤인은 말했습니다.

분석은 라이선스 수, 토큰 사용량, 절약된 시간 같은 AI 활동 지표와 검증된 정확도 및 긍정적인 사업 성과를 구분합니다. 모델 추론 비용이 낮더라도 사람이 결과를 확인하거나 맥락을 제공하는 데 상당한 노력을 들이면 AI 절차 전체의 비용이 낮다고 볼 수 없습니다. 기업은 완벽한 데이터 기반을 기다릴 필요 없이 측정 가능한 활용 사례를 시작하고 결과를 확인한 뒤, 정착된 작업을 반복 가능한 시스템으로 옮겨 비용을 줄일 수 있습니다. 분석은 AI의 가치를 인정하는 기업일수록 AI를 쓸 곳과 쓰지 않을 곳을 파악하고, 업무 맥락과 검증 절차를 시스템에 반영한다고 결론 내립니다.