전통적으로 판례와 검증된 진실을 기반으로 작동하던 사법 시스템이 '할루시네이션'이라는 현대적이고 파괴적인 도전에 직면했다. 대규모 언어 모델(LLM)이 법률 전문가와 일반인 모두에게 보편적인 초안 작성 보조 도구로 자리 잡으면서, 공식 법원 제출 문서에 조작된 인용구가 등장하는 사례가 급증하고 있다. 이는 단순한 오타나 서식 오류가 아니라, 현실에 존재하지 않는 판례를 인공지능이 완전히 창조해낸 결과물이다.

이번 사태의 핵심 원인은 생성형 시스템의 작동 방식에 대한 오해에서 비롯된다. 많은 사용자가 생성형 AI를 검색 엔진이나 백과사전 데이터베이스처럼 취급하며, 검증된 진실만을 가져올 것으로 기대한다. 하지만 실제 모델은 훈련 데이터를 바탕으로 다음 단어를 확률적으로 예측할 뿐이며, 특정 정보를 모를 경우 '모른다'고 답하는 대신 그럴듯한 허구의 내용을 생성해 공백을 메우는 경향이 있다.

법정이라는 고도의 책임이 요구되는 환경에서 이러한 행동은 심각한 결과를 초래한다. 실존하지 않는 판례를 인용한 변호사의 문서로 인해 사법 자원이 낭비되고, 판사는 존재하지 않는 문헌을 찾는 데 시간을 허비하게 된다. 이는 사법 절차의 무결성을 근본적으로 훼손하는 일이며, 실제로 수십 개의 오류가 포함된 변호사의 서면 제출로 인해 벌금형이나 윤리 교육 명령이 내려지는 상황이 빈번하다.

이에 따라 뉴멕시코 법원은 단순 경고를 넘어 강경한 대응을 시작했다. 이제 변호사나 본인 소송 당사자 모두 AI를 사용하여 문서를 작성하거나 수정할 경우 이를 문서 상단에 명시해야 한다. 또한 모든 인용 출처를 전통적인 법률 데이터베이스와 대조해 검증했음을 인증하도록 의무화하며, 정보의 진실성에 대한 책임을 다시 인간 저자에게 부여했다.

이러한 흐름은 전문 영역에서 인공지능을 활용하는 방식에 대한 중요한 전환점을 보여준다. 요약이나 초안 작성의 효율성을 높여주는 AI를 배제하라는 뜻이 아니라, 인간이 시스템 내부에 반드시 개입해야 한다는 '휴먼 인 더 루프(Human-in-the-loop)' 원칙을 상기시킨다. 법률, 의료, 금융과 같은 전문 분야에 강력한 시스템을 통합할수록 검증의 책임은 절대적이며, 법조계는 자동화된 편리함이 결코 인간의 엄격한 검토를 대신할 수 없음을 통감하고 있다.

전통적으로 판례와 검증된 진실을 기반으로 작동하던 사법 시스템이 '할루시네이션'이라는 현대적이고 파괴적인 도전에 직면했다. 대규모 언어 모델(LLM)이 법률 전문가와 일반인 모두에게 보편적인 초안 작성 보조 도구로 자리 잡으면서, 공식 법원 제출 문서에 조작된 인용구가 등장하는 사례가 급증하고 있다. 이는 단순한 오타나 서식 오류가 아니라, 현실에 존재하지 않는 판례를 인공지능이 완전히 창조해낸 결과물이다.

이번 사태의 핵심 원인은 생성형 시스템의 작동 방식에 대한 오해에서 비롯된다. 많은 사용자가 생성형 AI를 검색 엔진이나 백과사전 데이터베이스처럼 취급하며, 검증된 진실만을 가져올 것으로 기대한다. 하지만 실제 모델은 훈련 데이터를 바탕으로 다음 단어를 확률적으로 예측할 뿐이며, 특정 정보를 모를 경우 '모른다'고 답하는 대신 그럴듯한 허구의 내용을 생성해 공백을 메우는 경향이 있다.

법정이라는 고도의 책임이 요구되는 환경에서 이러한 행동은 심각한 결과를 초래한다. 실존하지 않는 판례를 인용한 변호사의 문서로 인해 사법 자원이 낭비되고, 판사는 존재하지 않는 문헌을 찾는 데 시간을 허비하게 된다. 이는 사법 절차의 무결성을 근본적으로 훼손하는 일이며, 실제로 수십 개의 오류가 포함된 변호사의 서면 제출로 인해 벌금형이나 윤리 교육 명령이 내려지는 상황이 빈번하다.

이에 따라 뉴멕시코 법원은 단순 경고를 넘어 강경한 대응을 시작했다. 이제 변호사나 본인 소송 당사자 모두 AI를 사용하여 문서를 작성하거나 수정할 경우 이를 문서 상단에 명시해야 한다. 또한 모든 인용 출처를 전통적인 법률 데이터베이스와 대조해 검증했음을 인증하도록 의무화하며, 정보의 진실성에 대한 책임을 다시 인간 저자에게 부여했다.

이러한 흐름은 전문 영역에서 인공지능을 활용하는 방식에 대한 중요한 전환점을 보여준다. 요약이나 초안 작성의 효율성을 높여주는 AI를 배제하라는 뜻이 아니라, 인간이 시스템 내부에 반드시 개입해야 한다는 '휴먼 인 더 루프(Human-in-the-loop)' 원칙을 상기시킨다. 법률, 의료, 금융과 같은 전문 분야에 강력한 시스템을 통합할수록 검증의 책임은 절대적이며, 법조계는 자동화된 편리함이 결코 인간의 엄격한 검토를 대신할 수 없음을 통감하고 있다.