연구진, 거짓말 탐지에서 5개 LLM 비교

멍천 허(Meng-Chen He), 웨이 지(Wei Ji), 징쉬안 란(Jing-Xuan Ran) 연구진은 2026년 『응용인지심리학』에 발표한 연구에서 구어 여행담을 바탕으로 한 인터뷰 녹취록의 진실성을 평가하기 위해 대규모 언어 모델(LLM) 5종을 비교했습니다. 녹취록은 중국어 사용 참가자 95명에게서 수집했습니다. 연구진은 기준 기반 내용 분석, 현실 모니터링, 검증 가능성 접근법을 바탕으로 각 모델에 이야기의 단서 5가지를 점수화한 뒤 진술을 진실 또는 거짓으로 분류하도록 요청했습니다.

Gemini-3-flash는 정확도 74.74%, AUC 0.76, 민감도 81.63%, 특이도 67.39%로 가장 높은 정확도를 기록했으며, 반복 실행에서도 결과가 안정적이었습니다. 연구진이 글 길이를 통제한 뒤에도 객관적 진실성을 유의미하게 예측한 단서는 이 모델의 경우 특이하거나 불필요한 세부사항뿐이었습니다.

연구진은 LLM이 우연보다 높은 수준으로 속임수를 탐지했지만, 모델별 성능 차이가 상당했다고 밝혔습니다. 실제 배치에 앞서 독립적인 사람의 코딩, 여러 문화권에서의 반복 연구, 적대적 상황에서의 견고성 시험이 필요하다고 덧붙였습니다.

멍천 허(Meng-Chen He), 웨이 지(Wei Ji), 징쉬안 란(Jing-Xuan Ran) 연구진은 2026년 『응용인지심리학』에 발표한 연구에서 구어 여행담을 바탕으로 한 인터뷰 녹취록의 진실성을 평가하기 위해 대규모 언어 모델(LLM) 5종을 비교했습니다. 녹취록은 중국어 사용 참가자 95명에게서 수집했습니다. 연구진은 기준 기반 내용 분석, 현실 모니터링, 검증 가능성 접근법을 바탕으로 각 모델에 이야기의 단서 5가지를 점수화한 뒤 진술을 진실 또는 거짓으로 분류하도록 요청했습니다.

Gemini-3-flash는 정확도 74.74%, AUC 0.76, 민감도 81.63%, 특이도 67.39%로 가장 높은 정확도를 기록했으며, 반복 실행에서도 결과가 안정적이었습니다. 연구진이 글 길이를 통제한 뒤에도 객관적 진실성을 유의미하게 예측한 단서는 이 모델의 경우 특이하거나 불필요한 세부사항뿐이었습니다.

연구진은 LLM이 우연보다 높은 수준으로 속임수를 탐지했지만, 모델별 성능 차이가 상당했다고 밝혔습니다. 실제 배치에 앞서 독립적인 사람의 코딩, 여러 문화권에서의 반복 연구, 적대적 상황에서의 견고성 시험이 필요하다고 덧붙였습니다.