구글 연구진 데이비드 오토(David Autor)와 타냐 로드첸코(Tanya Rodchenko)는 3개월 무작위 시험에서 AI 지원이 특허 초안의 품질을 높였지만, 변호사 경력에 따라 AI 없이 판단하는 능력에 미친 영향은 달랐다고 보고했습니다. 지식재산 전문 로펌 11곳의 변호사 133명이 당시 공개 전이던 Google Labs 특허 작성 보조 도구를 이용했습니다. 각 로펌 변호사 중 3분의 2는 도구를 받았고, 대조군은 AI 교육을 받았지만 시험 중 도구를 쓸 수 없었습니다. 이 보조 도구는 현재 Gemini Notebook의 일부입니다.

10일 뒤 AI를 쓸 수 있었던 변호사들의 초안 점수는 대조군보다 0.34 표준편차 높았으며, 이는 백분위 순위가 10점 오른 것과 같습니다. 90일 뒤 상승 폭은 0.38 표준편차, 백분위 점수로는 11점이었습니다. 독립 법률 전문가들은 권리행사 가능성, 정확성, 전략적 모호성, 완결성, 명확성 등 5가지 기준으로 초안을 평가했습니다. AI 이용자에게 낮은 점수는 줄고 좋은 점수는 늘었지만, 탁월한 점수에는 눈에 띄는 변화가 없었습니다. 경력 7년 미만 변호사들은 10일 초안 작성 과제를 대조군 평균 124분보다 18분 빠르게 끝냈습니다.

90일째 변호사들은 AI를 사용하지 않고 가상의 특허에서 내용상·문체상 오류를 바로잡는 수정 검토 과제를 수행했습니다. 전체 AI 접근 집단의 점수는 대조군보다 0.32 표준편차, 백분위로 9점 높았습니다. 이 차이는 경력 7년 이상 변호사에게서 나타났으며, 이들의 점수는 0.45 표준편차, 백분위 13점 높았습니다. 경력 7년 미만 변호사에게서는 평균적인 개선이 뚜렷하지 않았습니다. 점수는 매우 낮은 결과와 좋은 결과 양쪽으로 퍼졌고, 중간 정도 점수는 줄었으며 탁월한 점수는 늘지 않았습니다.

연구진은 경력이 짧은 변호사들이 특허 청구항에 이르기 전 도입부 문구를 손보느라 시간을 쓰고, 청구항의 상업적 범위를 개선하기보다 표면적인 단어를 바꾸는 경우가 많았다고 밝혔습니다. 일부는 심각한 결함을 찾아내고도 이를 고치지 않은 채 의견만 남겼습니다. 이런 양상은 두 집단에서 모두 나타나 3개월간의 AI 보조 재작성으로 기존 약점이 해소되지 않았음을 시사했습니다. 경력 많은 AI 이용자들은 수정 검토에 더 많은 시간을 들이고 청구항을 다시 구성했으며, 법적 권리를 좁힐 수 있는 문구를 삭제하고 법리와 수정 사항을 연결했습니다. 인터뷰에서 이들은 AI를 기존 문구에 의문을 제기하고 구조적 수정을 설명하는 데 도움을 주는 ‘논리 감사자’라고 표현했습니다.

연구진은 당장의 업무 개선과 오래 지속되는 전문적 판단력은 서로 다른 목표이며, 경력이 짧은 직원에게는 두 목표가 긴장 관계에 놓일 수 있다고 설명했습니다. 연구 대상이 특허 변호사로 제한됐고 시험 기간도 3개월에 그쳤다는 점을 한계로 들었습니다. 이는 지속적인 전문성을 키우는 데 필요한 수년보다 훨씬 짧습니다. AI 성능 변화, 변호사들의 AI 사용 숙련도, 법률 분야 제품 도입도 시험을 다시 할 경우 결과에 영향을 줄 수 있습니다. 연구진은 전문 기술에 AI가 미치는 영향을 평가하려면 도구를 쓸 때와 쓰지 않을 때의 수행 능력을 모두 시험해야 한다고 결론지었습니다.

구글 연구진 데이비드 오토(David Autor)와 타냐 로드첸코(Tanya Rodchenko)는 3개월 무작위 시험에서 AI 지원이 특허 초안의 품질을 높였지만, 변호사 경력에 따라 AI 없이 판단하는 능력에 미친 영향은 달랐다고 보고했습니다. 지식재산 전문 로펌 11곳의 변호사 133명이 당시 공개 전이던 Google Labs 특허 작성 보조 도구를 이용했습니다. 각 로펌 변호사 중 3분의 2는 도구를 받았고, 대조군은 AI 교육을 받았지만 시험 중 도구를 쓸 수 없었습니다. 이 보조 도구는 현재 Gemini Notebook의 일부입니다.

10일 뒤 AI를 쓸 수 있었던 변호사들의 초안 점수는 대조군보다 0.34 표준편차 높았으며, 이는 백분위 순위가 10점 오른 것과 같습니다. 90일 뒤 상승 폭은 0.38 표준편차, 백분위 점수로는 11점이었습니다. 독립 법률 전문가들은 권리행사 가능성, 정확성, 전략적 모호성, 완결성, 명확성 등 5가지 기준으로 초안을 평가했습니다. AI 이용자에게 낮은 점수는 줄고 좋은 점수는 늘었지만, 탁월한 점수에는 눈에 띄는 변화가 없었습니다. 경력 7년 미만 변호사들은 10일 초안 작성 과제를 대조군 평균 124분보다 18분 빠르게 끝냈습니다.

90일째 변호사들은 AI를 사용하지 않고 가상의 특허에서 내용상·문체상 오류를 바로잡는 수정 검토 과제를 수행했습니다. 전체 AI 접근 집단의 점수는 대조군보다 0.32 표준편차, 백분위로 9점 높았습니다. 이 차이는 경력 7년 이상 변호사에게서 나타났으며, 이들의 점수는 0.45 표준편차, 백분위 13점 높았습니다. 경력 7년 미만 변호사에게서는 평균적인 개선이 뚜렷하지 않았습니다. 점수는 매우 낮은 결과와 좋은 결과 양쪽으로 퍼졌고, 중간 정도 점수는 줄었으며 탁월한 점수는 늘지 않았습니다.

연구진은 경력이 짧은 변호사들이 특허 청구항에 이르기 전 도입부 문구를 손보느라 시간을 쓰고, 청구항의 상업적 범위를 개선하기보다 표면적인 단어를 바꾸는 경우가 많았다고 밝혔습니다. 일부는 심각한 결함을 찾아내고도 이를 고치지 않은 채 의견만 남겼습니다. 이런 양상은 두 집단에서 모두 나타나 3개월간의 AI 보조 재작성으로 기존 약점이 해소되지 않았음을 시사했습니다. 경력 많은 AI 이용자들은 수정 검토에 더 많은 시간을 들이고 청구항을 다시 구성했으며, 법적 권리를 좁힐 수 있는 문구를 삭제하고 법리와 수정 사항을 연결했습니다. 인터뷰에서 이들은 AI를 기존 문구에 의문을 제기하고 구조적 수정을 설명하는 데 도움을 주는 ‘논리 감사자’라고 표현했습니다.

연구진은 당장의 업무 개선과 오래 지속되는 전문적 판단력은 서로 다른 목표이며, 경력이 짧은 직원에게는 두 목표가 긴장 관계에 놓일 수 있다고 설명했습니다. 연구 대상이 특허 변호사로 제한됐고 시험 기간도 3개월에 그쳤다는 점을 한계로 들었습니다. 이는 지속적인 전문성을 키우는 데 필요한 수년보다 훨씬 짧습니다. AI 성능 변화, 변호사들의 AI 사용 숙련도, 법률 분야 제품 도입도 시험을 다시 할 경우 결과에 영향을 줄 수 있습니다. 연구진은 전문 기술에 AI가 미치는 영향을 평가하려면 도구를 쓸 때와 쓰지 않을 때의 수행 능력을 모두 시험해야 한다고 결론지었습니다.