10개 언어 모델의 사실 신뢰도 비교 연구

오사마 샤비, 다얌 나딤, S. 소하일 연구진은 ‘유창하지만 오류가 있는’이라는 제목의 비교 연구에서 학술 질문 70개를 사용해 대규모 언어 모델 10개의 환각과 사실 신뢰도를 평가했습니다. 평가는 2025년 2월에 특정 버전 모델을 대상으로 진행됐으며, 질문은 기초·설명·고급·까다로운 질문의 네 단계로 나뉘었습니다. 평가자 3명은 각 응답의 정확도, 정밀도, 재현율(정답 중 찾아낸 비율), 응답 편차 지수와 환각 지수를 독립적으로 채점했습니다.

Perplexity와 DeepSeek V3는 전체 정확도가 가장 높았고, Gemini는 다섯 지표에서 높은 재현율과 균형 잡힌 성능을 보였습니다. LLaMA 3는 보수적인 문장 생성 방식으로 환각을 억제했습니다. 모든 모델에서 고급 질문이 가장 어려웠으며, 참·거짓으로 답하는 구조를 쓴 까다로운 질문은 더 안정적으로 처리됐습니다.

Falcon은 정밀도 만점과 환각 0건을 기록했지만, 재현율은 가장 낮고 응답 편차는 가장 컸습니다. 연구진은 질문이 복잡해질수록 응답의 완성도와 사실 신뢰도 사이의 절충이 뚜렷해졌다고 보고했습니다.

오사마 샤비, 다얌 나딤, S. 소하일 연구진은 ‘유창하지만 오류가 있는’이라는 제목의 비교 연구에서 학술 질문 70개를 사용해 대규모 언어 모델 10개의 환각과 사실 신뢰도를 평가했습니다. 평가는 2025년 2월에 특정 버전 모델을 대상으로 진행됐으며, 질문은 기초·설명·고급·까다로운 질문의 네 단계로 나뉘었습니다. 평가자 3명은 각 응답의 정확도, 정밀도, 재현율(정답 중 찾아낸 비율), 응답 편차 지수와 환각 지수를 독립적으로 채점했습니다.

Perplexity와 DeepSeek V3는 전체 정확도가 가장 높았고, Gemini는 다섯 지표에서 높은 재현율과 균형 잡힌 성능을 보였습니다. LLaMA 3는 보수적인 문장 생성 방식으로 환각을 억제했습니다. 모든 모델에서 고급 질문이 가장 어려웠으며, 참·거짓으로 답하는 구조를 쓴 까다로운 질문은 더 안정적으로 처리됐습니다.

Falcon은 정밀도 만점과 환각 0건을 기록했지만, 재현율은 가장 낮고 응답 편차는 가장 컸습니다. 연구진은 질문이 복잡해질수록 응답의 완성도와 사실 신뢰도 사이의 절충이 뚜렷해졌다고 보고했습니다.