契約審査ベンチマークでGrokが首位

Artificial Lawyer2026年10月24日 (土)
契約審査ベンチマークでGrokが首位
  • •Ivoとmicro1が7つのAIモデルを350件の契約審査課題で評価し、全モデルが60%未満
  • •Grok 4.7が58.3%で首位、Opus 5.5は58.1%、Kimi K3は57.1%
  • •SagaがSaga Externalを公開、法律関連企業も製品更新や提携を発表

Ivoとデータラボのmicro1は、実務に即した350件の契約審査課題で7つのAIモデルを評価し、経験豊富な弁護士の判断と比較しました。重要な論点を優先できるか、適切な修正を行えるか、人の判断が必要な場面を認識できるかを測定しました。弁護士が定めた基準による加重評価では、全モデルが60%を下回り、最高スコアは58.3%でした。

Ivoによると、加重評価基準の合格率はGrok 4.7が58.3%で首位となり、Opus 5.5が58.1%、Kimi K3が57.1%で続きました。完了率はOpusの80.8%から、Grokの99.5%、Kimiの100%まで幅がありました。Kimiは完了した処理1件あたりの費用が38%低く、Grokより13%速く完了しました。複雑な法律業務には、規則集や判例文書など案件ごとの参照資料に加え、初回出力を修正できる監督も必要だと記事は述べています。

アムステルダム拠点の法律AIプラットフォームSagaは、チームが自社の業務手順書を使って法律サービスを作成し、顧客に提供できるツール「Saga External」を公開しました。例として、法律事務所の手順書に基づく契約確認やコンプライアンス審査が挙げられています。Lovableで中核AI製品の開発に携わったErtan Beraは、スウェーデンのAloiに応用AI責任者として加わりました。Sanaで売上担当副社長を5年間務め、10億ドル規模の出口に至るまで在籍したErik Lindbergも、最高収益責任者として同社に加わりました。Aloiは、過去の案件とそこで行われた業務を活用する法律事務所向けの判断レイヤーを開発しています。

Checkboxは、弁護士やAIエージェントを含め、法律案件に誰が、または何が変更を加えたかを記録する「Matter History」を公開しました。案件ごとの期限管理、一括編集、複数文書をまとめたDocuSignの封筒機能も提供します。Lawfectaは、弁護士が業務の流れを整理し、委任する作業を準備し、実務を担える専門家とつながるためのAI搭載オペレーティングシステムを開発中だと発表しました。Mary TechnologyはHarveyとの連携を発表しました。Maryは最初の質問の前にアップロードされた案件文書を整理し、案件の進行に合わせて調査結果と審査内容を保持します。その蓄積された理解をHarveyで利用できるようにします。

Littlerは、AIを活用した労働力の変革に伴う法律、人員、業務上の影響への対応を支援するため、LegoraおよびEpiqとの提携を発表しました。BLENによると、米連邦官報と連邦規則集電子版(eCFR)のデータをGoogle Cloudの政府機関向けGeminiに接続する機能が利用可能になりました。このコネクターにより、エージェントは3つの公式情報源にある米連邦規制データを読み取り専用で利用できます。

Artificial Lawyerは、創業者がボストンでClioConのエンタープライズ分野に参加するため、ニュース配信を10月29日(木)まで休止すると発表しました。その後、11月4日と5日にLegal Innovators UK、11月17日と18日にLegal Innovators New Yorkに参加する予定です。同サイトは、法律分野のエージェントを扱うHarveyのウェビナーを11月2日午前11時(米東部時間)と午後4時(グリニッジ標準時)に開催すると告知しました。45分間の配信では、利用例、人による審査、導入を取り上げる予定です。Spellbookの自律型契約管理機能に関するウェビナーと実演は、10月29日(木)午後12時(米東部時間)、午後5時(英国時間)に予定されています。