Salesforce, AI 에이전트 데이터 보고 정확도 강화
- •Salesforce는 AI 에이전트가 기업 데이터 조회 시 일관되지 않거나 잘못된 결과를 도출하는 문제를 확인했다.
- •Slackbot을 통해 MQL을 조회한 결과 378,591명과 291,256명이라는 수치가 나왔으나, 실제 대시보드상 정확한 수치는 492,298명이었다.
- •Salesforce는 검증된 데이터셋과 Tableau MCP를 활용한 시맨틱 모델, AI Skills를 도입하여 리포팅 오류를 해결했다.
Salesforce는 기업 환경에서 AI 에이전트가 적절한 데이터 기반(Grounding) 부재와 비결정적 행동으로 인해 자신감 있게 오답을 제시하는 문제를 보고했다. 회사는 2027 회계연도 1분기 사례를 통해 Slackbot으로 '마케팅 적격 리드(MQLs)'를 조회했을 때 378,591건과 291,256건이라는 서로 다른 결과가 도출된 상황을 예시로 들었다. 두 수치 모두 회사의 공식 Leads Tableau Dashboard상 수치인 492,298건과 일치하지 않았다. 이러한 불일치는 Slackbot이 기간 종료 시점의 스냅샷이나 정의된 깔때기 단계 등 구체적인 비즈니스 로직이 적용되지 않은 원본 실시간 데이터 객체를 직접 조회했기 때문에 발생했다.
이러한 부정확성을 해결하기 위해 Salesforce는 3단계 프레임워크를 도입했다. 첫째, 에이전트가 임의로 판단하지 않고 특정 검증 테이블과 필터를 사용하도록 지시하는 구조화된 마크다운 명령어인 AI Skills를 개발했다. 둘째, Tableau MCP(Model Context Protocol) 서버를 활용해 Slackbot을 시맨틱 모델과 연결하여 원본 데이터를 관리 가능한 기계 가독형 비즈니스 로직으로 변환했다. 마지막으로 에이전트를 마케팅 데이터 웨어하우스(MDW) 검증 데이터셋에 기반하도록 설계해 모든 쿼리가 최고 데이터 책임자(CDO)가 관리하는 공식 '단일 정보원'을 참조하게 했다.
이 접근 방식을 통해 Slackbot은 Tableau 대시보드와 일치하는 정확한 수치인 492,298건을 일관되게 반환하게 되었다. Salesforce는 이러한 전략을 '데이터 제품화(Data-as-a-Product)' 철학의 일환으로 정의하며, 데이터는 상용 제품만큼이나 신뢰할 수 있고 발견하기 쉬워야 한다고 강조한다. 이번 조치는 데이터 민주화를 가속화하여 비기술직 사용자가 엔터프라이즈 리포팅의 무결성을 훼손하지 않고 자연어로 복잡한 지표에 접근할 수 있게 한다. 회사는 제도적 지식을 AI Skills와 시맨틱 모델로 코드화함으로써 부서 간 정렬이 개선되고, 모든 AI 생성 지표에 대한 자동 감사 추적이 가능해졌다고 밝혔다.