남아프리카공화국 정부가 최근 국가 AI 혁신 전략의 기틀을 마련하기 위해 작성한 정책 초안을 전격 철회했다. 정책의 근간이 되는 주요 증거와 인용구가 AI 도구에 의해 허위로 생성된 사실이 드러났기 때문이다. 이는 권위 있는 말투로 작성된 AI의 결과물이라도 그 내용이 사실과 무관할 수 있다는 점을 시사한다.

이번 사태의 핵심은 '환각' 현상이다. 이는 거대언어모델(LLM)이 사실과 다르거나 완전히 지어낸 정보를 매우 확신에 찬 어조로 생성하는 현상을 의미한다. 정책 작성 팀이 기존 문헌을 요약하거나 초안을 구성하는 과정에서 AI 도구에 의존하면서 정작 가장 중요한 원문 검증 단계를 소홀히 한 것이 결정적이었다.

학술 연구나 법률 검토 과정에서 AI를 활용할 때는 '자동화 편향(automation bias)'을 특히 경계해야 한다. 이는 인간이 자동화 시스템의 결과물을 맹목적으로 신뢰하려는 경향을 뜻한다. 이번 사례처럼 검증 없는 AI 활용은 행정적 무결성을 훼손하고 정부 기관의 공신력을 크게 떨어뜨리는 심각한 위험을 초래한다.

기술과 정책이 맞물리는 지점에서 '인간의 개입(human-in-the-loop)'은 이제 선택이 아닌 필수가 되었다. AI는 방대한 데이터를 빠르게 정리하고 문서화할 수 있지만, 진실 여부나 책임 소재를 판단하는 능력은 전무하다. 따라서 행정 시스템 내에 AI 도입이 가속화될수록, 모델이 제시한 정보와 실제 사실을 구분하는 비판적 사고 능력이 핵심 역량으로 부상하고 있다.

결국 남아프리카공화국의 이번 경험은 생성형 AI 시대를 맞이한 전 세계 정부에 중요한 이정표가 되었다. AI의 진정한 위험은 뛰어난 지능 자체가 아니라, 그럴듯한 신뢰성을 모방하는 능력에 있다. 앞으로 각국 규제 기관은 사회적 정책의 근간이 알고리즘의 신기루가 아닌 검증된 사실 위에 세워질 수 있도록 엄격한 디지털 출처 검증 프로토콜을 확립해야 한다.

남아프리카공화국 정부가 최근 국가 AI 혁신 전략의 기틀을 마련하기 위해 작성한 정책 초안을 전격 철회했다. 정책의 근간이 되는 주요 증거와 인용구가 AI 도구에 의해 허위로 생성된 사실이 드러났기 때문이다. 이는 권위 있는 말투로 작성된 AI의 결과물이라도 그 내용이 사실과 무관할 수 있다는 점을 시사한다.

이번 사태의 핵심은 '환각' 현상이다. 이는 거대언어모델(LLM)이 사실과 다르거나 완전히 지어낸 정보를 매우 확신에 찬 어조로 생성하는 현상을 의미한다. 정책 작성 팀이 기존 문헌을 요약하거나 초안을 구성하는 과정에서 AI 도구에 의존하면서 정작 가장 중요한 원문 검증 단계를 소홀히 한 것이 결정적이었다.

학술 연구나 법률 검토 과정에서 AI를 활용할 때는 '자동화 편향(automation bias)'을 특히 경계해야 한다. 이는 인간이 자동화 시스템의 결과물을 맹목적으로 신뢰하려는 경향을 뜻한다. 이번 사례처럼 검증 없는 AI 활용은 행정적 무결성을 훼손하고 정부 기관의 공신력을 크게 떨어뜨리는 심각한 위험을 초래한다.

기술과 정책이 맞물리는 지점에서 '인간의 개입(human-in-the-loop)'은 이제 선택이 아닌 필수가 되었다. AI는 방대한 데이터를 빠르게 정리하고 문서화할 수 있지만, 진실 여부나 책임 소재를 판단하는 능력은 전무하다. 따라서 행정 시스템 내에 AI 도입이 가속화될수록, 모델이 제시한 정보와 실제 사실을 구분하는 비판적 사고 능력이 핵심 역량으로 부상하고 있다.

결국 남아프리카공화국의 이번 경험은 생성형 AI 시대를 맞이한 전 세계 정부에 중요한 이정표가 되었다. AI의 진정한 위험은 뛰어난 지능 자체가 아니라, 그럴듯한 신뢰성을 모방하는 능력에 있다. 앞으로 각국 규제 기관은 사회적 정책의 근간이 알고리즘의 신기루가 아닌 검증된 사실 위에 세워질 수 있도록 엄격한 디지털 출처 검증 프로토콜을 확립해야 한다.