계약 검토 벤치마크서 Grok 선두

Ivo와 데이터 연구소 micro1은 실제 계약 검토 과제 350건에서 AI 모델 7종을 평가해 숙련된 변호사들의 판단과 비교했습니다. 모델이 중요한 쟁점을 우선시하고 적절히 수정하며, 사람의 판단이 필요한 경우를 알아보는지 측정했습니다. 변호사들이 정의한 기준에 가중치를 적용한 평가에서 7개 모델 모두 60% 미만을 기록했고, 최고 점수는 58.3%였습니다.

Ivo에 따르면 가중치 기준 통과율에서 Grok 4.7이 58.3%로 1위였고, Opus 5.5가 58.1%, Kimi K3가 57.1%로 뒤를 이었습니다. 과제 완료율은 Opus가 80.8%, Grok이 99.5%, Kimi가 100%였습니다. Kimi는 완료된 작업당 비용이 38% 낮았고 Grok보다 13% 빠르게 작업을 마쳤습니다. 복잡한 법률 업무에는 규정집과 판례 문서처럼 사안별 참고 자료와 초기 결과를 바로잡을 감독도 필요하다고 기사에서 설명했습니다.

암스테르담에 본사를 둔 법률 AI 플랫폼 Saga는 팀이 자체 업무 지침을 바탕으로 법률 서비스를 만들고 고객에게 제공할 수 있는 도구 Saga External을 출시했습니다. 로펌의 지침을 바탕으로 계약을 점검하거나 규정 준수 여부를 검토하는 서비스를 만들 수 있습니다. Lovable에서 핵심 AI 제품 개발을 맡았던 에르탄 베라는 스웨덴의 Aloi에 응용 AI 책임자로 합류했습니다. Sana의 영업 부문 부사장으로 5년간 일하고 회사의 10억 달러 규모 엑시트까지 함께한 에리크 린드베리도 최고매출책임자로 합류했습니다. Aloi는 로펌의 과거 사안과 그에 수행한 업무를 활용하는 판단 계층을 개발하고 있습니다.

Checkbox는 변호사와 AI 에이전트를 포함해 법률 사안의 변경 내용과 변경 주체를 기록하는 Matter History를 출시했습니다. 다른 기능으로는 기한 추적, 여러 사안의 일괄 편집, 여러 문서를 묶은 DocuSign 봉투가 있습니다. Lawfecta는 변호사가 업무 흐름을 정리하고 위임할 일을 준비하며 실제 업무를 맡을 전문가와 연결하도록 돕는 AI 기반 운영체제를 개발 중이라고 밝혔습니다. Mary Technology는 Harvey와의 통합을 발표했습니다. Mary는 첫 질문 전에 업로드된 사안 문서를 정리하고, 사건이 진행되며 조사 결과와 검토 내용을 축적해 Harvey에서 이용할 수 있게 합니다. Littler는 AI 기반 업무 환경 변화에 따른 법률·인력·운영상 영향을 기업이 파악하도록 Legora 및 Epiq와 제휴한다고 발표했습니다. BLEN은 Google Cloud의 정부 서비스용 Gemini에서 사용할 연방 관보와 연방 규정집 연결 도구를 제공한다고 밝혔습니다. 이 도구를 통해 에이전트는 세 공식 미국 연방 규제 데이터 출처에 읽기 전용으로 접근할 수 있습니다.

Artificial Lawyer는 창립자가 보스턴에서 ClioCon의 기업 트랙에 참석하는 동안 10월 29일 목요일까지 뉴스 발행을 중단한다고 밝혔습니다. 이후 11월 4일과 5일에는 Legal Innovators UK에, 11월 17일과 18일에는 Legal Innovators New York에 참석할 예정입니다. 사이트는 11월 2일 오전 11시 미국 동부시간과 오후 4시 그리니치 표준시에 법률 에이전트를 주제로 한 Harvey 웨비나도 알렸습니다. 45분간 진행될 세션에서는 활용 사례, 사람의 검토, 도입 방안을 다룰 예정입니다. Spellbook의 자율형 계약 관리 기능을 소개하는 웨비나와 실시간 시연은 10월 29일 목요일 낮 12시 미국 동부시간과 오후 5시 영국 시간으로 예정됐습니다.

Ivo와 데이터 연구소 micro1은 실제 계약 검토 과제 350건에서 AI 모델 7종을 평가해 숙련된 변호사들의 판단과 비교했습니다. 모델이 중요한 쟁점을 우선시하고 적절히 수정하며, 사람의 판단이 필요한 경우를 알아보는지 측정했습니다. 변호사들이 정의한 기준에 가중치를 적용한 평가에서 7개 모델 모두 60% 미만을 기록했고, 최고 점수는 58.3%였습니다.

Ivo에 따르면 가중치 기준 통과율에서 Grok 4.7이 58.3%로 1위였고, Opus 5.5가 58.1%, Kimi K3가 57.1%로 뒤를 이었습니다. 과제 완료율은 Opus가 80.8%, Grok이 99.5%, Kimi가 100%였습니다. Kimi는 완료된 작업당 비용이 38% 낮았고 Grok보다 13% 빠르게 작업을 마쳤습니다. 복잡한 법률 업무에는 규정집과 판례 문서처럼 사안별 참고 자료와 초기 결과를 바로잡을 감독도 필요하다고 기사에서 설명했습니다.

암스테르담에 본사를 둔 법률 AI 플랫폼 Saga는 팀이 자체 업무 지침을 바탕으로 법률 서비스를 만들고 고객에게 제공할 수 있는 도구 Saga External을 출시했습니다. 로펌의 지침을 바탕으로 계약을 점검하거나 규정 준수 여부를 검토하는 서비스를 만들 수 있습니다. Lovable에서 핵심 AI 제품 개발을 맡았던 에르탄 베라는 스웨덴의 Aloi에 응용 AI 책임자로 합류했습니다. Sana의 영업 부문 부사장으로 5년간 일하고 회사의 10억 달러 규모 엑시트까지 함께한 에리크 린드베리도 최고매출책임자로 합류했습니다. Aloi는 로펌의 과거 사안과 그에 수행한 업무를 활용하는 판단 계층을 개발하고 있습니다.

Checkbox는 변호사와 AI 에이전트를 포함해 법률 사안의 변경 내용과 변경 주체를 기록하는 Matter History를 출시했습니다. 다른 기능으로는 기한 추적, 여러 사안의 일괄 편집, 여러 문서를 묶은 DocuSign 봉투가 있습니다. Lawfecta는 변호사가 업무 흐름을 정리하고 위임할 일을 준비하며 실제 업무를 맡을 전문가와 연결하도록 돕는 AI 기반 운영체제를 개발 중이라고 밝혔습니다. Mary Technology는 Harvey와의 통합을 발표했습니다. Mary는 첫 질문 전에 업로드된 사안 문서를 정리하고, 사건이 진행되며 조사 결과와 검토 내용을 축적해 Harvey에서 이용할 수 있게 합니다. Littler는 AI 기반 업무 환경 변화에 따른 법률·인력·운영상 영향을 기업이 파악하도록 Legora 및 Epiq와 제휴한다고 발표했습니다. BLEN은 Google Cloud의 정부 서비스용 Gemini에서 사용할 연방 관보와 연방 규정집 연결 도구를 제공한다고 밝혔습니다. 이 도구를 통해 에이전트는 세 공식 미국 연방 규제 데이터 출처에 읽기 전용으로 접근할 수 있습니다.

Artificial Lawyer는 창립자가 보스턴에서 ClioCon의 기업 트랙에 참석하는 동안 10월 29일 목요일까지 뉴스 발행을 중단한다고 밝혔습니다. 이후 11월 4일과 5일에는 Legal Innovators UK에, 11월 17일과 18일에는 Legal Innovators New York에 참석할 예정입니다. 사이트는 11월 2일 오전 11시 미국 동부시간과 오후 4시 그리니치 표준시에 법률 에이전트를 주제로 한 Harvey 웨비나도 알렸습니다. 45분간 진행될 세션에서는 활용 사례, 사람의 검토, 도입 방안을 다룰 예정입니다. Spellbook의 자율형 계약 관리 기능을 소개하는 웨비나와 실시간 시연은 10월 29일 목요일 낮 12시 미국 동부시간과 오후 5시 영국 시간으로 예정됐습니다.