中国語文章のAI改稿効果を検証した研究

ブライス・P・タウンが2026年に『Discover Artificial Intelligence』誌で発表した研究は、著者が示す目標に沿って言語モデルに中国語文章を改稿させると、読者が著者の意図した意味にどれほど一致し、文章を理解するかを検証しました。2つの比較実験では原文と、ChatGPT経由のGPT-4またはClaude 3 Opusで改稿した文章を比べました。実験1ではGemini Advancedも対象となりました。モデルには著者が用意した目標評価や解答例を渡し、同じ基準で結果を採点しました。参加者はCredamoを通じて募集され、プラットフォーム上で文章の条件に無作為に割り当てられました。

実験1では572人を対象に、著者による感情表現の評価との完全一致と、著者が解答を設定した15問の読解問題への回答を測定しました。GPT-4による改稿は原文に比べて感情表現の一致度を高めました（p = .002、符号付きr = .18）。Gemini Advancedでは補正前の分析で一致度が低下しました（p = .010、符号付きr = −.15）が、ボンフェローニ補正後の有意水準0.0083には達しませんでした。Claude 3 Opusは原文との有意差がなく、読解理解度にも差は確認されませんでした。初期結果を確認した後に参加者募集を延長したため、実験1の統計的推論は探索的な分析です。

実験2には420人が参加し、文章に示された学術的属性6項目との完全一致と、著者が解答を設定した読解問題への理解度を測定しました。GPT-4、Claude 3 Opusのいずれも、どちらの結果にも検出可能な差をもたらしませんでした。著者らは、結果が固定された教材、参加者サンプル、プロンプト、各モデルにつき1つの出力を用いる手順、基準に沿った指示、採点規則に左右されると説明しています。この結果は、著者の意図がすべて保たれることや、学術的な質が客観的に決められることを証明するものではありません。

ブライス・P・タウンが2026年に『Discover Artificial Intelligence』誌で発表した研究は、著者が示す目標に沿って言語モデルに中国語文章を改稿させると、読者が著者の意図した意味にどれほど一致し、文章を理解するかを検証しました。2つの比較実験では原文と、ChatGPT経由のGPT-4またはClaude 3 Opusで改稿した文章を比べました。実験1ではGemini Advancedも対象となりました。モデルには著者が用意した目標評価や解答例を渡し、同じ基準で結果を採点しました。参加者はCredamoを通じて募集され、プラットフォーム上で文章の条件に無作為に割り当てられました。

実験1では572人を対象に、著者による感情表現の評価との完全一致と、著者が解答を設定した15問の読解問題への回答を測定しました。GPT-4による改稿は原文に比べて感情表現の一致度を高めました（p = .002、符号付きr = .18）。Gemini Advancedでは補正前の分析で一致度が低下しました（p = .010、符号付きr = −.15）が、ボンフェローニ補正後の有意水準0.0083には達しませんでした。Claude 3 Opusは原文との有意差がなく、読解理解度にも差は確認されませんでした。初期結果を確認した後に参加者募集を延長したため、実験1の統計的推論は探索的な分析です。

実験2には420人が参加し、文章に示された学術的属性6項目との完全一致と、著者が解答を設定した読解問題への理解度を測定しました。GPT-4、Claude 3 Opusのいずれも、どちらの結果にも検出可能な差をもたらしませんでした。著者らは、結果が固定された教材、参加者サンプル、プロンプト、各モデルにつき1つの出力を用いる手順、基準に沿った指示、採点規則に左右されると説明しています。この結果は、著者の意図がすべて保たれることや、学術的な質が客観的に決められることを証明するものではありません。