Googleの研究者デビッド・オーター(David Autor)とターニャ・ロドチェンコ(Tanya Rodchenko)は、3カ月間の無作為化試験で、AI支援により特許文書の作成品質が向上した一方、AIを使わない弁護士の判断力への影響は経験年数で異なったと報告しました。知的財産を扱う11法律事務所の弁護士133人が、当時未公開だったGoogle Labsの特許文書作成支援ツールを利用しました。各事務所で3分の2がツールを受け取り、対照群は試験中に利用できないものの、AI研修を受けました。この支援機能は現在、Gemini Notebookの一部です。

利用開始から10日後、特許文書の作成評価は対照群に比べ0.34標準偏差上昇し、百分位順位で10ポイントの上昇に相当しました。90日後の上昇幅は0.38標準偏差、百分位で11ポイントでした。独立した法律専門家が、権利行使可能性、正確性、戦略的な曖昧さ、網羅性、明確さの5項目を評価しました。AI利用者は低評価が減り、良好な評価が増えましたが、最高評価には目立った変化がありませんでした。若手弁護士は10日後の作成課題を、対照群の平均124分より18分早く終えました。

90日後には、弁護士がAIを使わず、仮想の特許に含まれる実質面と文体面の誤りを直す文書修正課題に取り組みました。全弁護士で見ると、AI利用群の得点は対照群より0.32標準偏差高く、百分位で9ポイントの上昇に相当しました。この差は経験7年以上の熟練弁護士によるもので、同グループの得点は0.45標準偏差、百分位で13ポイント高くなりました。経験7年未満の若手弁護士では平均的な改善は確認されず、得点は非常に低い結果と良好な結果の両側に広がりました。中程度の評価は減りましたが、最高評価は増えませんでした。

研究者によると、若手弁護士は文書の上から順に修正し、特許請求の範囲に着手する前に導入部分へ時間を使う傾向がありました。また、請求範囲の商業的な広さを改善するより、表面的な語句を変更していました。重大な欠陥を見つけても、修正せず指摘だけにとどめた人もいました。この傾向は両群で見られ、3カ月間のAI支援による書き換えでは既存の弱点が解消されていませんでした。AIを使った熟練弁護士は文書修正により多くの時間をかけ、請求項を組み立て直し、法的権利を狭めかねない表現を削り、修正を法理に結び付けました。インタビューでは、既存の文言を問い直し、構造的な修正を説明する助けとして、AIを「論理監査役」と表現しました。

著者らは、目の前の成果を高めることと、長期にわたる専門的判断力を育てることは別の目標であり、若手では両者が緊張関係にある可能性があると述べました。対象が特許弁護士に限られ、試験期間も3カ月と、長く持続する専門性の形成に必要な年数より大幅に短かった点を限界として挙げています。試験を再実施した場合、AIの性能、弁護士のAIへの習熟度、法律分野での製品導入の変化も結果に影響し得ます。著者らは、AIが専門技能に及ぼす影響を測るには、ツール利用時と非利用時の両方で実力を検証する必要があると結論付けました。

Googleの研究者デビッド・オーター(David Autor)とターニャ・ロドチェンコ(Tanya Rodchenko)は、3カ月間の無作為化試験で、AI支援により特許文書の作成品質が向上した一方、AIを使わない弁護士の判断力への影響は経験年数で異なったと報告しました。知的財産を扱う11法律事務所の弁護士133人が、当時未公開だったGoogle Labsの特許文書作成支援ツールを利用しました。各事務所で3分の2がツールを受け取り、対照群は試験中に利用できないものの、AI研修を受けました。この支援機能は現在、Gemini Notebookの一部です。

利用開始から10日後、特許文書の作成評価は対照群に比べ0.34標準偏差上昇し、百分位順位で10ポイントの上昇に相当しました。90日後の上昇幅は0.38標準偏差、百分位で11ポイントでした。独立した法律専門家が、権利行使可能性、正確性、戦略的な曖昧さ、網羅性、明確さの5項目を評価しました。AI利用者は低評価が減り、良好な評価が増えましたが、最高評価には目立った変化がありませんでした。若手弁護士は10日後の作成課題を、対照群の平均124分より18分早く終えました。

90日後には、弁護士がAIを使わず、仮想の特許に含まれる実質面と文体面の誤りを直す文書修正課題に取り組みました。全弁護士で見ると、AI利用群の得点は対照群より0.32標準偏差高く、百分位で9ポイントの上昇に相当しました。この差は経験7年以上の熟練弁護士によるもので、同グループの得点は0.45標準偏差、百分位で13ポイント高くなりました。経験7年未満の若手弁護士では平均的な改善は確認されず、得点は非常に低い結果と良好な結果の両側に広がりました。中程度の評価は減りましたが、最高評価は増えませんでした。

研究者によると、若手弁護士は文書の上から順に修正し、特許請求の範囲に着手する前に導入部分へ時間を使う傾向がありました。また、請求範囲の商業的な広さを改善するより、表面的な語句を変更していました。重大な欠陥を見つけても、修正せず指摘だけにとどめた人もいました。この傾向は両群で見られ、3カ月間のAI支援による書き換えでは既存の弱点が解消されていませんでした。AIを使った熟練弁護士は文書修正により多くの時間をかけ、請求項を組み立て直し、法的権利を狭めかねない表現を削り、修正を法理に結び付けました。インタビューでは、既存の文言を問い直し、構造的な修正を説明する助けとして、AIを「論理監査役」と表現しました。

著者らは、目の前の成果を高めることと、長期にわたる専門的判断力を育てることは別の目標であり、若手では両者が緊張関係にある可能性があると述べました。対象が特許弁護士に限られ、試験期間も3カ月と、長く持続する専門性の形成に必要な年数より大幅に短かった点を限界として挙げています。試験を再実施した場合、AIの性能、弁護士のAIへの習熟度、法律分野での製品導入の変化も結果に影響し得ます。著者らは、AIが専門技能に及ぼす影響を測るには、ツール利用時と非利用時の両方で実力を検証する必要があると結論付けました。