リーガルコンサルティングを手がけるリーガルノーズが実施した調査では、Claude Opus 4.8モデルを活用し、法務AIの性能はモデルの基本的機能だけでなく、モデルを囲むソフトウェアの枠組みである「足場（Scaffold）」に大きく依存することが確認された。法務AI専門家のネスター・ドゥブネヴィッチは、法的成果物の質はコンテキスト、ワークフローの論理、プロンプトの洗練度、計画能力、エージェンティックAIのループ、情報検索、そしてツールの呼び出し能力に左右されると指摘している。研究ではClaude Chat、Cowork with Legalプラグイン、MikeOSSという3つの異なる環境でClaude Opus 4.8をテストし、データ保護やデジタル運用のレジリエンスに関する40の特定タスクを通じて、同一モデルが環境ごとにどのような性能差を見せるのかを比較した。

この評価は、基盤モデルのベンチマークのみに焦点を当てる業界の傾向に異議を唱えるものだ。リーガルノーズによれば、これまでのリーダーボードでは性能のばらつきがモデルの品質に起因するものか、足場設計に起因するものかが不明瞭であった。研究者は同一モデルを異なる環境でテストすることで、モデル単体の評価だけでは法務業務におけるAIの有用性を正確に捉えられないことを証明した。法務チームにとって、企業固有のコンテキスト層の構造を最適化することは、業界全体の微調整（ファインチューニング）結果を待つよりも、性能向上の近道となる可能性がある。

MikeOSSの開発者であるウィル・チェンは、同プラットフォームがベンチマークにおいて良好な結果を残したと述べた。MikeOSSの性能はClaudeやCoworkの環境よりわずかに低かったものの、コスト面ではCowork比で約60%、Claude比で約90%の削減を達成した。チェンは今後、プライバシーやコンプライアンスのアドバイザリー業務に向け、専門的なスキルを追加統合してプラットフォームを強化する方針だ。これらの知見は、トークンコストが上昇する中で、足場設計の効率性が法務業界におけるソフトウェア選定プロセスを左右することを示唆している。

リーガルコンサルティングを手がけるリーガルノーズが実施した調査では、Claude Opus 4.8モデルを活用し、法務AIの性能はモデルの基本的機能だけでなく、モデルを囲むソフトウェアの枠組みである「足場（Scaffold）」に大きく依存することが確認された。法務AI専門家のネスター・ドゥブネヴィッチは、法的成果物の質はコンテキスト、ワークフローの論理、プロンプトの洗練度、計画能力、エージェンティックAIのループ、情報検索、そしてツールの呼び出し能力に左右されると指摘している。研究ではClaude Chat、Cowork with Legalプラグイン、MikeOSSという3つの異なる環境でClaude Opus 4.8をテストし、データ保護やデジタル運用のレジリエンスに関する40の特定タスクを通じて、同一モデルが環境ごとにどのような性能差を見せるのかを比較した。

この評価は、基盤モデルのベンチマークのみに焦点を当てる業界の傾向に異議を唱えるものだ。リーガルノーズによれば、これまでのリーダーボードでは性能のばらつきがモデルの品質に起因するものか、足場設計に起因するものかが不明瞭であった。研究者は同一モデルを異なる環境でテストすることで、モデル単体の評価だけでは法務業務におけるAIの有用性を正確に捉えられないことを証明した。法務チームにとって、企業固有のコンテキスト層の構造を最適化することは、業界全体の微調整（ファインチューニング）結果を待つよりも、性能向上の近道となる可能性がある。

MikeOSSの開発者であるウィル・チェンは、同プラットフォームがベンチマークにおいて良好な結果を残したと述べた。MikeOSSの性能はClaudeやCoworkの環境よりわずかに低かったものの、コスト面ではCowork比で約60%、Claude比で約90%の削減を達成した。チェンは今後、プライバシーやコンプライアンスのアドバイザリー業務に向け、専門的なスキルを追加統合してプラットフォームを強化する方針だ。これらの知見は、トークンコストが上昇する中で、足場設計の効率性が法務業界におけるソフトウェア選定プロセスを左右することを示唆している。