중국어 문장 다듬기에 AI 지침 효과 시험

브라이스 P. 타운이 2026년 《디스커버 인공지능》에 발표한 연구는 저자가 의도한 기준을 언어 모델에 알려 중국어 텍스트를 수정하면 독자가 의도한 의미와 일치하거나 내용을 이해하는 정도가 달라지는지 두 차례 통제 실험으로 시험했습니다. 연구진은 원문을 ChatGPT를 통한 GPT-4 수정본, Claude 3 Opus 수정본과 비교했고, 1차 실험에는 Gemini Advanced도 포함했습니다. 모델에는 저자가 제공한 목표 평점이나 정답표를 제시했으며, 같은 기준으로 결과를 채점했습니다. 따라서 개입은 일반적인 문장 교정이 아니라 평가 기준에 직접 연결된 지침이었습니다. 참가자는 Credamo 플랫폼을 통해 모집됐고, 플랫폼에서 텍스트 버전별 조건에 무작위 배정됐습니다.

1차 실험 참가자 572명은 저자의 감정 표현 평점과 정확히 일치하는 정도, 저자가 정답을 지정한 이해도 문항 15개에 답했습니다. GPT-4 수정본은 원문보다 감정 표현 일치도가 높았습니다(p = .002, 부호 있는 r = .18). Gemini Advanced는 보정 전 분석에서 일치도를 낮췄지만(p = .010, 부호 있는 r = −.15), 보니페로니 보정 기준인 0.0083에는 이르지 못했습니다. Claude 3 Opus와 원문 사이에는 차이가 없었고, 이해도 차이도 확인되지 않았습니다. 연구진은 초기 결과를 살펴본 뒤 참가자 모집을 연장했기 때문에 1차 실험의 추론 분석은 탐색적이라고 밝혔습니다.

2차 실험에는 420명이 참여해 텍스트에 담긴 여섯 가지 학술적 속성에 대한 정확 일치도와 저자 지정 정답을 기준으로 한 이해도를 평가했습니다. GPT-4와 Claude 3 Opus 모두 두 결과에서 확인 가능한 차이를 만들지 않았습니다. 연구진은 결과가 고정된 자료와 참가자 표본, 프롬프트, 단일 출력 절차, 기준에 연결된 지침과 채점 규칙에 좌우된다고 설명했습니다. 또한 이 결과만으로 모든 저자의 의미가 보존된다거나 학술적 품질이 객관적이라는 점이 입증되지는 않는다고 밝혔습니다.

브라이스 P. 타운이 2026년 《디스커버 인공지능》에 발표한 연구는 저자가 의도한 기준을 언어 모델에 알려 중국어 텍스트를 수정하면 독자가 의도한 의미와 일치하거나 내용을 이해하는 정도가 달라지는지 두 차례 통제 실험으로 시험했습니다. 연구진은 원문을 ChatGPT를 통한 GPT-4 수정본, Claude 3 Opus 수정본과 비교했고, 1차 실험에는 Gemini Advanced도 포함했습니다. 모델에는 저자가 제공한 목표 평점이나 정답표를 제시했으며, 같은 기준으로 결과를 채점했습니다. 따라서 개입은 일반적인 문장 교정이 아니라 평가 기준에 직접 연결된 지침이었습니다. 참가자는 Credamo 플랫폼을 통해 모집됐고, 플랫폼에서 텍스트 버전별 조건에 무작위 배정됐습니다.

1차 실험 참가자 572명은 저자의 감정 표현 평점과 정확히 일치하는 정도, 저자가 정답을 지정한 이해도 문항 15개에 답했습니다. GPT-4 수정본은 원문보다 감정 표현 일치도가 높았습니다(p = .002, 부호 있는 r = .18). Gemini Advanced는 보정 전 분석에서 일치도를 낮췄지만(p = .010, 부호 있는 r = −.15), 보니페로니 보정 기준인 0.0083에는 이르지 못했습니다. Claude 3 Opus와 원문 사이에는 차이가 없었고, 이해도 차이도 확인되지 않았습니다. 연구진은 초기 결과를 살펴본 뒤 참가자 모집을 연장했기 때문에 1차 실험의 추론 분석은 탐색적이라고 밝혔습니다.

2차 실험에는 420명이 참여해 텍스트에 담긴 여섯 가지 학술적 속성에 대한 정확 일치도와 저자 지정 정답을 기준으로 한 이해도를 평가했습니다. GPT-4와 Claude 3 Opus 모두 두 결과에서 확인 가능한 차이를 만들지 않았습니다. 연구진은 결과가 고정된 자료와 참가자 표본, 프롬프트, 단일 출력 절차, 기준에 연결된 지침과 채점 규칙에 좌우된다고 설명했습니다. 또한 이 결과만으로 모든 저자의 의미가 보존된다거나 학술적 품질이 객관적이라는 점이 입증되지는 않는다고 밝혔습니다.