조지타운대와 워싱턴대 연구진은 부정확한 AI 생성 영상 요약이 사건에 대한 사람들의 기억을 바꿀 수 있다고 밝혔습니다. 「AI 기반 인간 기억 조작: 오해를 부르는 AI 생성 요약이 인간 기억을 왜곡한다」 연구는 최근 발표됐으며, 2026년 10월 열리는 제9회 AAAI/ACM 인공지능·윤리·사회 학회에서 발표될 예정입니다. 조지타운대 대규모데이터연구소의 조교수 마테아 심(Mattea Sim)이 연구를 이끌었고, 조지타운대의 요시 코노(Yoshi Kohno)와 워싱턴대 박사과정 연구원 야엘 아이거(Yael Eiger)가 참여했습니다.

연구진은 OpenAI의 ChatGPT와 Google의 Gemini가 만든 요약을 살펴본 결과, 오류가 있거나 핵심 정보를 빼고 사건을 잘못 해석하거나 부정확한 내용을 추가할 수 있다고 밝혔습니다. 자동차와 보행자의 충돌을 보여주는 애니메이션 영상 요약에서는 정보 누락이 가장 흔한 오류였습니다. 모델과 프롬프트 전반에서 요약은 핵심 정보의 평균 51.6%를 빠뜨렸고, 요약의 95%는 자동차가 보행자와 부딪히는 핵심 장면을 생략했습니다.

별도 실험에서 참가자들은 정지 표지판이나 양보 표지판에 접근한 빨간 자동차가 우회전하다 보행자와 충돌하고, 보행자가 일어난 뒤 운전자가 차에서 내려 보행자를 만나는 애니메이션 교통 영상 두 편 중 하나를 봤습니다. 24~48시간 뒤 참가자들은 정확한 요약이나 잘못된 정보를 넣은 요약을 읽었습니다. 연구진은 요약을 AI 시스템 또는 사람의 전사자가 작성했다고 알렸지만, 모든 텍스트는 ChatGPT가 생성했습니다. 실험 조건을 동일하게 유지하기 위해 ChatGPT 응답의 서로 다른 부분을 합친 경우도 있었습니다. 두 단계를 모두 마친 참가자는 총 331명이었습니다.

정확한 요약을 읽은 참가자 가운데 83.6%는 자동차가 정지 표지판 앞에 있었는지 양보 표지판 앞에 있었는지 맞혔습니다. 오해를 부르는 요약을 읽은 참가자의 정답률은 44.8%였습니다. 연구진은 참가자가 요약을 AI와 사람 중 누구의 결과라고 믿었는지, AI를 얼마나 신뢰하거나 익숙하게 여겼는지는 오류에 취약해지는 정도와 관련이 없었다고 밝혔습니다.

연구진은 AI 오류를 사람이 걸러낼 수 있다고 기대하는 데 우려를 제기했습니다. 잘못된 요약을 읽으면 검토자 자신의 기억도 왜곡될 수 있기 때문입니다. 이들은 치안과 의료처럼 위험이 큰 분야에서 생길 수 있는 영향을 지적했습니다. 아이거는 경찰이 사용하는 영상 요약 도구에 대한 감사를 늘려야 한다고 촉구했으며, 연구진은 조직용 기업 AI 버전에 접근하지 못했다고 설명했습니다. 향후에는 경찰 보디캠 녹화를 포함한 실제 영상과 AI 요약이 경찰과 민간인의 상호작용에 대한 기억에 영향을 미치는지 연구할 계획입니다.

조지타운대와 워싱턴대 연구진은 부정확한 AI 생성 영상 요약이 사건에 대한 사람들의 기억을 바꿀 수 있다고 밝혔습니다. 「AI 기반 인간 기억 조작: 오해를 부르는 AI 생성 요약이 인간 기억을 왜곡한다」 연구는 최근 발표됐으며, 2026년 10월 열리는 제9회 AAAI/ACM 인공지능·윤리·사회 학회에서 발표될 예정입니다. 조지타운대 대규모데이터연구소의 조교수 마테아 심(Mattea Sim)이 연구를 이끌었고, 조지타운대의 요시 코노(Yoshi Kohno)와 워싱턴대 박사과정 연구원 야엘 아이거(Yael Eiger)가 참여했습니다.

연구진은 OpenAI의 ChatGPT와 Google의 Gemini가 만든 요약을 살펴본 결과, 오류가 있거나 핵심 정보를 빼고 사건을 잘못 해석하거나 부정확한 내용을 추가할 수 있다고 밝혔습니다. 자동차와 보행자의 충돌을 보여주는 애니메이션 영상 요약에서는 정보 누락이 가장 흔한 오류였습니다. 모델과 프롬프트 전반에서 요약은 핵심 정보의 평균 51.6%를 빠뜨렸고, 요약의 95%는 자동차가 보행자와 부딪히는 핵심 장면을 생략했습니다.

별도 실험에서 참가자들은 정지 표지판이나 양보 표지판에 접근한 빨간 자동차가 우회전하다 보행자와 충돌하고, 보행자가 일어난 뒤 운전자가 차에서 내려 보행자를 만나는 애니메이션 교통 영상 두 편 중 하나를 봤습니다. 24~48시간 뒤 참가자들은 정확한 요약이나 잘못된 정보를 넣은 요약을 읽었습니다. 연구진은 요약을 AI 시스템 또는 사람의 전사자가 작성했다고 알렸지만, 모든 텍스트는 ChatGPT가 생성했습니다. 실험 조건을 동일하게 유지하기 위해 ChatGPT 응답의 서로 다른 부분을 합친 경우도 있었습니다. 두 단계를 모두 마친 참가자는 총 331명이었습니다.

정확한 요약을 읽은 참가자 가운데 83.6%는 자동차가 정지 표지판 앞에 있었는지 양보 표지판 앞에 있었는지 맞혔습니다. 오해를 부르는 요약을 읽은 참가자의 정답률은 44.8%였습니다. 연구진은 참가자가 요약을 AI와 사람 중 누구의 결과라고 믿었는지, AI를 얼마나 신뢰하거나 익숙하게 여겼는지는 오류에 취약해지는 정도와 관련이 없었다고 밝혔습니다.

연구진은 AI 오류를 사람이 걸러낼 수 있다고 기대하는 데 우려를 제기했습니다. 잘못된 요약을 읽으면 검토자 자신의 기억도 왜곡될 수 있기 때문입니다. 이들은 치안과 의료처럼 위험이 큰 분야에서 생길 수 있는 영향을 지적했습니다. 아이거는 경찰이 사용하는 영상 요약 도구에 대한 감사를 늘려야 한다고 촉구했으며, 연구진은 조직용 기업 AI 버전에 접근하지 못했다고 설명했습니다. 향후에는 경찰 보디캠 녹화를 포함한 실제 영상과 AI 요약이 경찰과 민간인의 상호작용에 대한 기억에 영향을 미치는지 연구할 계획입니다.