2026년 7월 12일 'American Journal of Sports Medicine'에 발표된 연구 결과, 거대언어모델(LLM)의 학술지 동료 심사 보조 능력이 검증됐다. 연구진은 2024년 9월부터 2024년 10월까지 투고된 논문 54편을 대상으로 로컬 환경에 배포된 Ministral 3 14B 모델을 평가했다. AI는 각 투고 논문에 대해 범주형 권고안과 0에서 100점 사이의 점수를 산출하여 인간 편집자의 결정과 비교 분석됐다.

연구 결과, 인간 심사위원단은 최종 결정과 42.4%의 일치도(Cohen kappa = 0.181)를 보였다. AI 모델은 37.0%의 일치도(Cohen kappa = 0.126)를 기록하며 통계적으로 유의미하지 않은 수준의 일치도를 나타냈다. 특히 AI는 전체 원고의 61.1%에 수정 권고를 내리는 '수정 편향'을 보였는데, 실제 결과에서는 해당 원고의 72.7%가 거절되거나 하위 저널로 이관됐다.

다만 AI는 선별 도구로서의 유용성을 입증했다. 모델이 거절이나 이관을 권고했을 때 실제 최종 결정이 그와 일치할 확률인 양성 예측도는 90.5%였으며 특이도는 81.8%에 달했다. 또한 AI 점수가 70점 미만인 원고는 88.0%의 확률로 거절되거나 이관되는 결과를 보였다. 연구진은 AI가 인간의 섬세한 판단을 대체할 수는 없으나, 거절 판정에 대한 높은 양성 예측도를 바탕으로 초기 스크리닝 단계에서 활용 가치가 있다고 결론지었다.

2026년 7월 12일 'American Journal of Sports Medicine'에 발표된 연구 결과, 거대언어모델(LLM)의 학술지 동료 심사 보조 능력이 검증됐다. 연구진은 2024년 9월부터 2024년 10월까지 투고된 논문 54편을 대상으로 로컬 환경에 배포된 Ministral 3 14B 모델을 평가했다. AI는 각 투고 논문에 대해 범주형 권고안과 0에서 100점 사이의 점수를 산출하여 인간 편집자의 결정과 비교 분석됐다.

연구 결과, 인간 심사위원단은 최종 결정과 42.4%의 일치도(Cohen kappa = 0.181)를 보였다. AI 모델은 37.0%의 일치도(Cohen kappa = 0.126)를 기록하며 통계적으로 유의미하지 않은 수준의 일치도를 나타냈다. 특히 AI는 전체 원고의 61.1%에 수정 권고를 내리는 '수정 편향'을 보였는데, 실제 결과에서는 해당 원고의 72.7%가 거절되거나 하위 저널로 이관됐다.

다만 AI는 선별 도구로서의 유용성을 입증했다. 모델이 거절이나 이관을 권고했을 때 실제 최종 결정이 그와 일치할 확률인 양성 예측도는 90.5%였으며 특이도는 81.8%에 달했다. 또한 AI 점수가 70점 미만인 원고는 88.0%의 확률로 거절되거나 이관되는 결과를 보였다. 연구진은 AI가 인간의 섬세한 판단을 대체할 수는 없으나, 거절 판정에 대한 높은 양성 예측도를 바탕으로 초기 스크리닝 단계에서 활용 가치가 있다고 결론지었다.