퓨리서치센터는 9월 30일 사람 패널 수천 명을 AI로 복제해 300개 설문 문항에 답하게 한 실험 결과를 공개했습니다. 미국 히스패닉 성인에게 다음 월드컵을 볼지 물었을 때 실제 응답은 42%였지만 AI 복제본은 97%였습니다. 학교에서 스페인어를 가르치는 것이 매우 중요하다는 응답도 사람은 32%, AI는 72%였습니다. AI가 개인의 답변보다 집단에 대한 고정관념을 반영했을 가능성을 보여주는 사례입니다.

시장조사 업계에서는 응답 시간과 비용을 줄이려는 수요가 커지고 있습니다. 한국일보가 7월 정리한 내용에 따르면 기존 조사는 4~6주가 걸렸지만 합성 응답 조사는 2~3일이면 끝납니다. 퀄트릭스의 조사에서 합성 응답을 써본 전문가 87%는 만족했고, 오픈서베이의 4월 조사에서는 사용 희망 이유인 빠른 조사와 비용 절감이 각각 50% 안팎이었습니다. 퀄트릭스가 2024년 말 한국을 포함한 14개국 시장조사 전문가 3,000여 명에게 조사했을 때 71%는 3년 안에 시장조사 대부분이 AI 합성 응답으로 이뤄질 것이라고 답했습니다. 반면 오픈서베이 웨비나 참가자 중 실제 사용 경험자는 10% 미만이었습니다.

국내 스타트업 인텔리시아는 CJ제일제당과 LG유플러스 등 20여 개 회사와 60여 건의 조사를 진행했고, 3D 가상 매장에서 AI 소비자의 상품 선택도 모의 실험했습니다. 미국 아루는 인구통계와 행동 데이터로 학습한 AI 에이전트 5,000개로 지난해 6월 뉴욕시장 민주당 경선 결과를 예측했으며 기업가치 10억 달러를 인정받았습니다. 입소스와 닐슨IQ도 고객 데이터를 활용한 합성 소비자 도구를 내놨습니다. 오픈서베이는 7월 기능에서 기존 보고서나 고객 설문 데이터로 집단을 구성하고 대표 가상 인물과 대화하도록 했으며, 데이터가 없을 때는 답이 프로필 기반 추론이라고 표시합니다.

연구자들은 합성 응답의 한계를 검토해 왔습니다. 2023년 미국 정치학자들은 GPT-3에 실제 응답자 수천 명의 배경을 입력해 설문을 진행하고 ‘실리콘 샘플’이라고 이름 붙였습니다. 2024년 스탠퍼드 연구팀은 미국인 1,052명을 각각 두 시간 인터뷰해 AI 분신을 만들었고, 사회조사 응답 정확도는 본인이 2주 뒤 같은 질문에 답했을 때의 일관성을 기준으로 82~86%였습니다. 인구통계 정보만 입력한 분신의 정확도는 74%였습니다. 올해 7월 네이처에 실린 하버드·스탠퍼드 연구는 미국인 11만 9천 명이 참여한 실험 70개를 GPT-4로 재현해 메시지 효과의 방향과 크기를 상관계수 0.85로 맞혔습니다. 다만 개인별 응답 비율을 맞히는 일은 별개의 문제입니다.

퓨는 미국 성인 상설 조사 집단인 아메리칸 트렌드 패널의 각 응답자에 대해 설문 데이터를 재료로 AI 디지털 트윈(개인을 본뜬 가상 모델)을 만들었습니다. 클로드 오퍼스 4.6에 해당 인물이 되어 답하게 하고, 앞선 답변을 다음 문항에 반영해 일관성을 유지하도록 했습니다. 설문과 보기 순서도 실제 조사처럼 섞었습니다. 1월, 3월, 4월 조사 세 건을 각각 8,512명, 3,507명, 5,103명 규모로 복제해 거의 300문항을 비교했습니다. 모델 선발 시험에서 GPT-5 나노는 평균 17.4점, GPT-5.1은 13.3점, 오퍼스 4.6은 11.4점 틀렸습니다. 비용 때문에 1월 조사에서는 오퍼스를 8,512명 전체가 아닌 6,700명에게만 적용했습니다.

퓨는 평균 절대 오차(응답 비율 차이의 평균)를 퍼센트포인트로 계산했습니다. 예를 들어 한 보기에서 사람 응답이 36%, AI 응답이 48%라면 차이는 12점입니다. 보기별 차이를 문항마다 평균 낸 뒤 모든 문항의 점수를 다시 평균 냈으며 0점은 완전 일치, 점수가 클수록 차이가 큽니다. 실제 조사 점수는 1월 11.3점, 3월 14.7점, 4월 11.2점이었고 세 조사 평균은 12.4점이었습니다. 전체 문항의 28%는 15점을 넘었습니다. 전국 여론조사에서 흔히 제시하는 오차 범위가 ±3점 안팎인 것과 비교하면 12점은 네 배입니다. 반복 추세 문항의 평균 오차도 12점으로 전체 평균과 같았습니다.

오차는 특정 집단을 묻는 질문, 상식 문제, 최근 뉴스에 대한 질문에서 두드러졌습니다. 실제 패널은 ‘잘 모르겠다’를 16% 골랐지만 AI는 4%만 선택했습니다. 수정헌법 1조가 언론 자유를 보장한다는 답은 사람 52%, AI 98%였고, NATO의 역할은 56% 대 99%, 우크라이나가 NATO 회원국이 아니라는 응답은 46% 대 76%였습니다. 집단의 다수 의견을 모두의 의견처럼 만드는 경향도 나타났습니다. 공화당 지지자 중 이스라엘에 호감이 있는 비율은 사람 58%, AI 95%였고, 민주당 지지자 중 억만장자의 재산이 나라에 나쁘다는 응답은 45% 대 86%였습니다. 월드컵과 스페인어 교육 질문에서도 같은 격차가 나왔습니다. 집단별 오차는 공화당 지지자 16점, 흑인 15점, 히스패닉 14점, 민주당 지지자 14점, 백인 13점, 대졸자 12점이었습니다.

오퍼스 4.6의 지식 기준은 2025년 5월까지여서 그 뒤의 사건을 묻는 질문에서 차이가 컸습니다. 이민 단속관의 복면 착용에 괜찮다고 답한 비율은 사람 38%, AI 17%였고, 공화당 지지자만 보면 67% 대 35%였습니다. 이란 공습 지지는 사람 36%, AI 48%였으며 공화당 지지자는 67% 대 93%였습니다. 데이터센터 이야기를 많이 들었다는 응답은 25% 대 3%, 전기요금이 매우 걱정된다는 응답은 52% 대 23%로 29점 차이가 났습니다. 기준일 이전의 사안도 여론이 과거 패턴에서 벗어나면 AI가 따라가지 못했습니다. 같은 프로필을 GPT-5.1에 입력하면 실제보다 극단적인 의견, 오퍼스에 입력하면 온건한 의견이 나왔습니다. 2024년 밴더빌트 연구도 AI 응답의 분산이 작고 변수 간 관계와 재현성이 사람 데이터와 달라질 수 있다고 보고했습니다.

퓨는 AI 모델이 공공 현안의 전통적 여론조사를 대체하기에 적절하지 않으며, 엄밀하고 여러 방식을 결합한 확률 기반 조사를 대신할 방법을 확인하지 못했다고 결론 내렸습니다. 다만 주관식 답변 분류와 데이터 분석에는 활용할 수 있다고 했습니다. 국내 조사 업체들도 비슷한 제한을 제시했습니다. 마크로밀 엠브레인은 6월 30일 엔비디아의 한국형 AI 페르소나 데이터 100만 건을 활용한 파일럿을 공개했습니다. 신제품 콘셉트나 이름을 평가하는 조사에서는 사람과 AI의 차이가 비교적 작았지만, 브랜드 인지도와 실제 소비 행동 조사에서는 유의미한 차이가 있었습니다. 이경택 부사장은 합성 설문이 모든 조사를 대체하는 것이 아니라 특정 조사 유형에서 보조 수단으로 쓸 수 있다고 말했습니다.

오픈서베이는 AI만으로 응답자를 만들 때 실제 응답의 다양성을 축소하는 분산 붕괴, 사회적 바람직성 편향, 학습 데이터의 서구권·고학력 편향, 모델 업데이트에 따른 재현성 문제를 지적했습니다. 회사는 99% 정확도를 기대하기보다 80% 정확도로도 충분한 용도를 찾고, 최종 검증은 실제 고객과 소비자에게 하라고 권고했습니다. 실존 인물을 그대로 복제하는 디지털 트윈은 개인정보 문제 때문에 조사 목적으로 지양한다고 밝혔습니다. 퀄트릭스도 출시 여부나 큰 가격 결정, 규제 기관 제출 자료에 합성 응답을 쓰지 말라고 안내합니다.

사람 대상 조사에도 AI 봇이 섞일 수 있습니다. 다트머스대 숀 웨스트우드가 지난해 11월 미국 국립과학원회보에 발표한 연구에서 500단어 지시문으로 만든 봇은 43,000회 시험 중 사람 확인 문항을 99.8% 통과했고 논리 퍼즐도 모두 풀었습니다. 사람 응답자에게는 설문당 1.5달러를 지급했지만 봇은 5센트면 됐습니다. 연구진은 2024년 대선 전 주요 여론조사 7개에 가짜 응답 10~52개만 섞여도 예측 결과가 뒤집혔을 것이라고 계산했습니다. 퓨가 8월 자발 참여 온라인 패널을 검사했을 때는 응답자의 18%가 함정 문항에 걸렸고 자동 사전 검사에는 절반 가까이가 걸렸습니다. 퓨는 진짜 사람만 인터뷰하고 여론 추정에는 AI를 쓰지 않는다고 밝혔습니다.

실무에서는 선택지 비교나 순위 정하기처럼 후보를 좁히는 작업에 AI 가상 고객을 활용하고, 비율이나 예측 수치는 실제 사람에게 확인하는 방식이 제시됩니다. 결과에서 ‘잘 모르겠다’ 응답이 없거나 응답이 한쪽에 몰리면 실제 사람의 분포와 다를 수 있으므로 평균뿐 아니라 분포도 살펴야 합니다. 최신 사건이나 가격 변화에 대한 반응은 모델의 지식 기준일 이후라면 사람에게 물어야 합니다. 퓨는 주관식 답변 분류, 질문지 사전 점검, 가설 만들기 같은 보조 용도를 권했습니다. 가상 수강생에게 강의 콘셉트 다섯 개를 보여 두 개로 줄인 뒤 실제 수강생 20명에게 묻는 식으로, 실제 응답자를 대체하기보다 더 나은 질문을 준비하는 데 쓰는 방안입니다.

퓨리서치센터는 9월 30일 사람 패널 수천 명을 AI로 복제해 300개 설문 문항에 답하게 한 실험 결과를 공개했습니다. 미국 히스패닉 성인에게 다음 월드컵을 볼지 물었을 때 실제 응답은 42%였지만 AI 복제본은 97%였습니다. 학교에서 스페인어를 가르치는 것이 매우 중요하다는 응답도 사람은 32%, AI는 72%였습니다. AI가 개인의 답변보다 집단에 대한 고정관념을 반영했을 가능성을 보여주는 사례입니다.

시장조사 업계에서는 응답 시간과 비용을 줄이려는 수요가 커지고 있습니다. 한국일보가 7월 정리한 내용에 따르면 기존 조사는 4~6주가 걸렸지만 합성 응답 조사는 2~3일이면 끝납니다. 퀄트릭스의 조사에서 합성 응답을 써본 전문가 87%는 만족했고, 오픈서베이의 4월 조사에서는 사용 희망 이유인 빠른 조사와 비용 절감이 각각 50% 안팎이었습니다. 퀄트릭스가 2024년 말 한국을 포함한 14개국 시장조사 전문가 3,000여 명에게 조사했을 때 71%는 3년 안에 시장조사 대부분이 AI 합성 응답으로 이뤄질 것이라고 답했습니다. 반면 오픈서베이 웨비나 참가자 중 실제 사용 경험자는 10% 미만이었습니다.

국내 스타트업 인텔리시아는 CJ제일제당과 LG유플러스 등 20여 개 회사와 60여 건의 조사를 진행했고, 3D 가상 매장에서 AI 소비자의 상품 선택도 모의 실험했습니다. 미국 아루는 인구통계와 행동 데이터로 학습한 AI 에이전트 5,000개로 지난해 6월 뉴욕시장 민주당 경선 결과를 예측했으며 기업가치 10억 달러를 인정받았습니다. 입소스와 닐슨IQ도 고객 데이터를 활용한 합성 소비자 도구를 내놨습니다. 오픈서베이는 7월 기능에서 기존 보고서나 고객 설문 데이터로 집단을 구성하고 대표 가상 인물과 대화하도록 했으며, 데이터가 없을 때는 답이 프로필 기반 추론이라고 표시합니다.

연구자들은 합성 응답의 한계를 검토해 왔습니다. 2023년 미국 정치학자들은 GPT-3에 실제 응답자 수천 명의 배경을 입력해 설문을 진행하고 ‘실리콘 샘플’이라고 이름 붙였습니다. 2024년 스탠퍼드 연구팀은 미국인 1,052명을 각각 두 시간 인터뷰해 AI 분신을 만들었고, 사회조사 응답 정확도는 본인이 2주 뒤 같은 질문에 답했을 때의 일관성을 기준으로 82~86%였습니다. 인구통계 정보만 입력한 분신의 정확도는 74%였습니다. 올해 7월 네이처에 실린 하버드·스탠퍼드 연구는 미국인 11만 9천 명이 참여한 실험 70개를 GPT-4로 재현해 메시지 효과의 방향과 크기를 상관계수 0.85로 맞혔습니다. 다만 개인별 응답 비율을 맞히는 일은 별개의 문제입니다.

퓨는 미국 성인 상설 조사 집단인 아메리칸 트렌드 패널의 각 응답자에 대해 설문 데이터를 재료로 AI 디지털 트윈(개인을 본뜬 가상 모델)을 만들었습니다. 클로드 오퍼스 4.6에 해당 인물이 되어 답하게 하고, 앞선 답변을 다음 문항에 반영해 일관성을 유지하도록 했습니다. 설문과 보기 순서도 실제 조사처럼 섞었습니다. 1월, 3월, 4월 조사 세 건을 각각 8,512명, 3,507명, 5,103명 규모로 복제해 거의 300문항을 비교했습니다. 모델 선발 시험에서 GPT-5 나노는 평균 17.4점, GPT-5.1은 13.3점, 오퍼스 4.6은 11.4점 틀렸습니다. 비용 때문에 1월 조사에서는 오퍼스를 8,512명 전체가 아닌 6,700명에게만 적용했습니다.

퓨는 평균 절대 오차(응답 비율 차이의 평균)를 퍼센트포인트로 계산했습니다. 예를 들어 한 보기에서 사람 응답이 36%, AI 응답이 48%라면 차이는 12점입니다. 보기별 차이를 문항마다 평균 낸 뒤 모든 문항의 점수를 다시 평균 냈으며 0점은 완전 일치, 점수가 클수록 차이가 큽니다. 실제 조사 점수는 1월 11.3점, 3월 14.7점, 4월 11.2점이었고 세 조사 평균은 12.4점이었습니다. 전체 문항의 28%는 15점을 넘었습니다. 전국 여론조사에서 흔히 제시하는 오차 범위가 ±3점 안팎인 것과 비교하면 12점은 네 배입니다. 반복 추세 문항의 평균 오차도 12점으로 전체 평균과 같았습니다.

오차는 특정 집단을 묻는 질문, 상식 문제, 최근 뉴스에 대한 질문에서 두드러졌습니다. 실제 패널은 ‘잘 모르겠다’를 16% 골랐지만 AI는 4%만 선택했습니다. 수정헌법 1조가 언론 자유를 보장한다는 답은 사람 52%, AI 98%였고, NATO의 역할은 56% 대 99%, 우크라이나가 NATO 회원국이 아니라는 응답은 46% 대 76%였습니다. 집단의 다수 의견을 모두의 의견처럼 만드는 경향도 나타났습니다. 공화당 지지자 중 이스라엘에 호감이 있는 비율은 사람 58%, AI 95%였고, 민주당 지지자 중 억만장자의 재산이 나라에 나쁘다는 응답은 45% 대 86%였습니다. 월드컵과 스페인어 교육 질문에서도 같은 격차가 나왔습니다. 집단별 오차는 공화당 지지자 16점, 흑인 15점, 히스패닉 14점, 민주당 지지자 14점, 백인 13점, 대졸자 12점이었습니다.

오퍼스 4.6의 지식 기준은 2025년 5월까지여서 그 뒤의 사건을 묻는 질문에서 차이가 컸습니다. 이민 단속관의 복면 착용에 괜찮다고 답한 비율은 사람 38%, AI 17%였고, 공화당 지지자만 보면 67% 대 35%였습니다. 이란 공습 지지는 사람 36%, AI 48%였으며 공화당 지지자는 67% 대 93%였습니다. 데이터센터 이야기를 많이 들었다는 응답은 25% 대 3%, 전기요금이 매우 걱정된다는 응답은 52% 대 23%로 29점 차이가 났습니다. 기준일 이전의 사안도 여론이 과거 패턴에서 벗어나면 AI가 따라가지 못했습니다. 같은 프로필을 GPT-5.1에 입력하면 실제보다 극단적인 의견, 오퍼스에 입력하면 온건한 의견이 나왔습니다. 2024년 밴더빌트 연구도 AI 응답의 분산이 작고 변수 간 관계와 재현성이 사람 데이터와 달라질 수 있다고 보고했습니다.

퓨는 AI 모델이 공공 현안의 전통적 여론조사를 대체하기에 적절하지 않으며, 엄밀하고 여러 방식을 결합한 확률 기반 조사를 대신할 방법을 확인하지 못했다고 결론 내렸습니다. 다만 주관식 답변 분류와 데이터 분석에는 활용할 수 있다고 했습니다. 국내 조사 업체들도 비슷한 제한을 제시했습니다. 마크로밀 엠브레인은 6월 30일 엔비디아의 한국형 AI 페르소나 데이터 100만 건을 활용한 파일럿을 공개했습니다. 신제품 콘셉트나 이름을 평가하는 조사에서는 사람과 AI의 차이가 비교적 작았지만, 브랜드 인지도와 실제 소비 행동 조사에서는 유의미한 차이가 있었습니다. 이경택 부사장은 합성 설문이 모든 조사를 대체하는 것이 아니라 특정 조사 유형에서 보조 수단으로 쓸 수 있다고 말했습니다.

오픈서베이는 AI만으로 응답자를 만들 때 실제 응답의 다양성을 축소하는 분산 붕괴, 사회적 바람직성 편향, 학습 데이터의 서구권·고학력 편향, 모델 업데이트에 따른 재현성 문제를 지적했습니다. 회사는 99% 정확도를 기대하기보다 80% 정확도로도 충분한 용도를 찾고, 최종 검증은 실제 고객과 소비자에게 하라고 권고했습니다. 실존 인물을 그대로 복제하는 디지털 트윈은 개인정보 문제 때문에 조사 목적으로 지양한다고 밝혔습니다. 퀄트릭스도 출시 여부나 큰 가격 결정, 규제 기관 제출 자료에 합성 응답을 쓰지 말라고 안내합니다.

사람 대상 조사에도 AI 봇이 섞일 수 있습니다. 다트머스대 숀 웨스트우드가 지난해 11월 미국 국립과학원회보에 발표한 연구에서 500단어 지시문으로 만든 봇은 43,000회 시험 중 사람 확인 문항을 99.8% 통과했고 논리 퍼즐도 모두 풀었습니다. 사람 응답자에게는 설문당 1.5달러를 지급했지만 봇은 5센트면 됐습니다. 연구진은 2024년 대선 전 주요 여론조사 7개에 가짜 응답 10~52개만 섞여도 예측 결과가 뒤집혔을 것이라고 계산했습니다. 퓨가 8월 자발 참여 온라인 패널을 검사했을 때는 응답자의 18%가 함정 문항에 걸렸고 자동 사전 검사에는 절반 가까이가 걸렸습니다. 퓨는 진짜 사람만 인터뷰하고 여론 추정에는 AI를 쓰지 않는다고 밝혔습니다.

실무에서는 선택지 비교나 순위 정하기처럼 후보를 좁히는 작업에 AI 가상 고객을 활용하고, 비율이나 예측 수치는 실제 사람에게 확인하는 방식이 제시됩니다. 결과에서 ‘잘 모르겠다’ 응답이 없거나 응답이 한쪽에 몰리면 실제 사람의 분포와 다를 수 있으므로 평균뿐 아니라 분포도 살펴야 합니다. 최신 사건이나 가격 변화에 대한 반응은 모델의 지식 기준일 이후라면 사람에게 물어야 합니다. 퓨는 주관식 답변 분류, 질문지 사전 점검, 가설 만들기 같은 보조 용도를 권했습니다. 가상 수강생에게 강의 콘셉트 다섯 개를 보여 두 개로 줄인 뒤 실제 수강생 20명에게 묻는 식으로, 실제 응답자를 대체하기보다 더 나은 질문을 준비하는 데 쓰는 방안입니다.