대화형 AI가 비약적으로 발전함에 따라, 비용이 많이 들고 속도가 느리며 일관성이 부족한 실제 인간 테스트를 대체할 기술적 요구가 커졌다. 업계는 이를 해결하기 위해 인간 사용자의 역할을 수행하는 AI 에이전트, 즉 사용자 시뮬레이터를 활용하고 있다. 그러나 현재의 시뮬레이터는 비정상적으로 참을성이 많거나 지나치게 예의 바른 모습을 보이는 등 현실과의 '현실성 격차(Realism Gap)'를 드러내고 있다.

이 문제를 해결하기 위해 구글 리서치는 대화형 추천 시스템(Conversational Recommender Systems)을 위한 종합 데이터셋인 ConvApparel을 선보였다. 연구팀은 쇼핑 보조원과 상호작용하는 상황을 설정하여, 효율적인 AI와 결함 있는 AI를 무작위로 배치하는 '이중 에이전트' 프로토콜을 사용했다. 이를 통해 사용자가 느끼는 만족감부터 실질적인 짜증에 이르기까지 폭넓은 인간의 반응을 데이터화했다.

특히 주목할 점은 반사실적 검증(Counterfactual Validation)의 도입이다. 이는 시뮬레이터가 훈련 과정에서 보지 못한 새로운 유형의 AI와 마주했을 때 어떻게 반응하는지를 시험하는 일종의 공감 능력 테스트이다. 실재하는 인간이라면 당연히 느낄 불쾌감이나 만족도 저하를 시뮬레이터가 얼마나 정확하게 모사하는지가 핵심이다.

연구에 따르면 데이터 기반의 미세조정 방식이 단순 프롬프트 모델보다 나은 성능을 보였으나, 여전히 현실성 격차는 존재했다. 이는 AI의 지능을 높이는 것만큼이나 인간 행동의 미묘한 차이를 이해하는 것이 중요함을 시사한다. 결국 미래의 AI 개발은 단순한 흉내를 넘어 인간 중심의 신뢰할 수 있는 에이전트를 구축하는 방향으로 나아가야 한다.

우리가 흔히 쓰는 챗봇이나 AI 비서가 똑똑해지려면 사람과 많은 대화를 나누며 훈련해야 합니다. 하지만 매번 사람이 직접 AI와 대화하며 테스트하기에는 시간과 비용이 너무 많이 들죠. 그래서 연구자들은 사람처럼 행동하는 AI 가상 사용자를 만들어 훈련을 시킵니다. 그런데 이 가상 사용자들에게는 아주 큰 문제가 있습니다. 너무 착하기만 하거나, 사람이 모르는 것까지 다 알고 있는 등 현실감이 전혀 없다는 점입니다. 이렇게 착한 AI하고만 연습하면, 실제로 성격 급하고 복잡한 감정을 가진 사람들을 만났을 때 AI가 제대로 대응하지 못하게 됩니다.

구글은 이런 문제를 해결하기 위해 쇼핑 도우미 AI를 예로 들어 데이터를 모았습니다. 연구팀은 사람들이 어떤 때는 친절하고 똑똑한 AI를, 어떤 때는 아주 답답하고 형편없는 AI를 만나게 했습니다. 이렇게 실제 사람들이 AI에게 느낄 법한 기쁨이나 짜증 같은 감정 데이터를 모아서 가상 사용자의 성격을 더 사람답게 만든 것이죠. 마치 연기 학원에서 학생들이 다양한 상황을 연기해보며 실제 사람처럼 행동하는 법을 배우는 것과 비슷하다고 보면 됩니다.

가장 중요한 성과는 반대로 행동해 보는 테스트(Counterfactual validation)를 도입한 것입니다. AI가 평소에 좋은 서비스만 받다가 갑자기 나쁜 대우를 받으면 어떻게 반응할까요? 사람이라면 당연히 화를 내거나 실망해야 합니다. 구글은 이 테스트를 통해 AI가 단순히 정해진 답만 읊는 게 아니라, 상황에 따라 감정이 변하는지 확인했습니다. 이 연구는 AI 개발이 단순히 지식을 쌓는 단계를 넘어, 이제는 사람의 복잡한 마음을 이해하고 공감하는 진짜 소통의 단계로 나아가고 있음을 보여줍니다.