契約書のレビューはAIに任せきれない｜人が読む所を先に決める

「AIに読ませたら指摘が20件出ました。どれを直せばいいのかが分かりません」「一次チェックは任せられると聞いたのに、結局こちらで全部読み直しています」——契約書のレビューにAIを入れた部署から届く声です。精度がまだ足りない、という話ではありません。本当は、レビューという1つの作業に見えているものが、機械が得意な仕事と人にしかできない仕事の束だからです。束のまま渡すと、当たっている指摘と当てにならない指摘が同じ画面に並び、結局すべてを人が読み直すことになります。この記事では、実測の数値をもとに拾えるものと拾えないものを分け、人が読む範囲を先に決める手順を整理します。

レビューという1つの作業に、3つの違う仕事が入っている

分けるところから始めます。契約書が回ってきてから返すまでにやっていることは、大きく3つです。1つ目は照合。自社のひな形や過去の版と見比べて、無い条項、増えた条項、書き方が変わった箇所を洗い出す作業です。2つ目は判定。洗い出した違いのうち、どれが自社にとって不利になるのかを決める作業です。3つ目は着地。不利だと分かった条項について、直すのか、条件を付けて飲むのか、そのまま受けるのかを決める作業です。

この3つは、必要な材料が違います。照合に要るのは文書だけです。ひな形と目の前の契約書があれば成立します。判定には、文書に加えて自社の基準が要ります。責任の上限をいくらまで許すのか、解約の予告は何日必要なのか。着地に要るのはさらに外側で、相手との関係、今回の取引の重さ、営業が現場で何を言ってきたかまで入ります。

AIを入れるときに話が噛み合わないのは、この3つを1つの作業として扱っているからです。「レビューを任せられるか」という問いは、答えが3つに割れます。照合はほぼ任せられる、判定は基準を渡せば一部任せられる、着地は任せられない。先に分けておかないと、どの成果を期待していたのかが人によってずれたまま導入が進みます。半年後に「思ったほど楽になっていない」という評価が出るのは、たいてい期待の置き所がずれていた場合です。

分け方の効き目は、指摘の扱い方に出ます。照合の結果として出た指摘は、そのまま一覧にして順に処理できます。判定の結果として出た指摘は、自社の基準に照らして採否を決める必要があります。着地の話をAIが書いてきた場合は、参考として読む以上のことをしない。同じ画面に並ぶ指摘でも、扱いを変えます。この扱いの違いを運用の文書に1行ずつ書いておくと、担当が替わっても崩れません。

実測1：論点を見つける力は近い。どこにあるかは落ちる

数値を見ます。2024年1月に公表された比較研究があります。法務向けの製品を作る企業の研究部門が、米国とニュージーランドの実在の調達契約を題材に、当時の上位のモデルと若手弁護士、外部委託の担当者を突き合わせたものです。上級の弁護士の判断を正解に置き、論点を見つけられたかと、その論点が契約書のどこにあるかを言い当てられたかを別々に測っています。

論点を見つける側の総合値（見落としの少なさと誤指摘の少なさを1つの値にまとめたもの）は、外部委託が0.874、当時の上位のモデルが0.871、若手弁護士が0.860でした。上位2つの差は0.003、若手弁護士との差も0.011です。ここだけを見れば、一次の読み取りは人と同じ水準に来ていると読めます。

一方、その論点が「どこに書いてあるか」を言い当てる側は、外部委託が0.770、モデルの最良が0.740、若手弁護士が0.667でした。注意が要るのは、論点の判定で最も良かったモデルが、箇所の特定では0.686まで落ちている点です。判定が得意なモデルと、位置の特定が得意なモデルが同じとは限らない、という結果になっています。

実務で何が起きるかというと、指摘の中身は当たっているのに、参照している条項番号がずれるという形になります。指摘が20件出たとして、そのうち何件かは正しい問題を間違った場所に紐づけている。人はそれを探し直すことになり、期待した時間の削減が出ません。冒頭の「結局全部読み直した」は、精度の問題ではなくこの非対称から出ています。

速さと費用も同じ研究に出ています。1件あたりの平均で、上級弁護士が43.46分、若手弁護士が56.17分、外部委託が201分に対し、モデルは0.73分から4.70分でした。費用は上級弁護士が75.92ドル、若手が74.26ドル、外部委託が36.85ドルに対し、モデルは0.02ドルから1.24ドルです。ただし著者らは、指示文の設定と試験と検証に平均で16時間かかったとも書いています。1件あたりが安いことと、導入が軽いことは別の話です。

実測2：正解のほうが割れている

同じ研究の中に、導入の前に見ておくべき数値があります。参加した3つの層それぞれについて、判断の揃い方を測った値です。全体では0.923と高い一方、上級弁護士どうしの一致度が0.719で最も低く、若手弁護士が0.765、外部委託の担当者は1.0、つまり完全に一致していました。

順番が直感と逆に見えます。経験のある人ほど揃わない。著者は、経験のある実務家ほど論点の見つけ方に幅がある、と読んでいます。外部委託の担当者が完全に揃うのは、渡された手順書のとおりに見ているからです。揃っていることは、正しいことを意味しません。

この数値は、AIの成績をどう扱うかに直結します。正解そのものが人によって割れている作業では、精度が何割という数字は、誰の判断を正解に置いたかで動きます。自社で試すときも同じで、法務の担当が2人いれば2人の指摘は一致しません。片方の担当を基準にAIを評価すれば、もう片方から見ると評価が変わります。

進め方としては、過去に自社が結んだ契約を5件ほど選び、法務の複数名に同じ観点で指摘を出してもらいます。一致した指摘と割れた指摘に分け、一致した指摘だけを、AIに拾わせる対象として定義します。割れた指摘は、そもそも自社の基準が無いということなので、先に基準を決めるか、人が読む範囲に置きます。この作業は1日で終わり、その後の議論を何度も短くします。

AIが拾えるもの：抜けている条項、ひな形との差、書き方の揺れ

拾える側を具体化します。共通しているのは、文書の中だけで答えが出る指摘であることです。1つ目は欠落。自社のひな形にあって目の前の契約書に無い条項を挙げる作業です。網羅性の勝負なので、機械のほうが確実に効きます。秘密保持の期間、反社会的勢力の排除、契約終了後の取り扱い、準拠法と管轄。この種の抜けは、忙しい時期ほど人が見落とします。

2つ目は差分です。同じ条項があっても、数値や期間、主語が入れ替わっている箇所を拾います。「甲は」が「乙は」になっている、通知の予告期間が30日から14日になっている、という類です。人はここを読み飛ばします。集中力の問題ではなく、見慣れた文ほど視線が素通りするという読み方の性質によるものです。

3つ目は表記の揺れと形式の崩れ。定義した用語が後段で別の言い方になっている、条項番号の参照先がずれている、別紙が本文から参照されていない。これらは法的な判断ではなく、文書としての整合の問題です。人が探すには重く、機械には軽いという、分担がはっきりしている領域です。

4つ目は横串の集計です。契約書が何十本もあるとき、責任の上限の書き方が何通りあるか、支払い期日が月末締めと20日締めのどちらが多いか、自動更新の条項が入っている契約が何本あるか。1本ずつの読解より、まとめて見るときのほうが効き方は大きい。既存契約の棚卸しから入ると、導入の効果が数字で見えやすくなります。

AIが拾えないもの：文書の外にある事情

拾えない側は、文書に書いていないところにあります。法務省が2023年8月に示した整理の中に、参考になる一節があります。争いや疑義があるかを判断する際に考慮すべきものとして、「契約の目的、契約当事者の関係、契約に至る経緯やその背景事情等諸般の事情」が挙げられています。これらはいずれも、契約書の文面には現れません。

実務に置き換えると、こうなります。前回の取引で納期が遅れて相手に迷惑をかけた、という経緯。相手が自社の売上の3割を占めており、実質的に条件を飲むしかない、という力関係。営業の担当者が商談の場で「そこは運用でカバーします」と口頭で答えている、という事実。この3つはどれも、契約書に書かれていないのに、どの条項を直すべきかを決めてしまいます。

もう1つ拾えないのが、条項どうしの組み合わせで生まれる問題です。単独で読めば普通の条項が、別の条項と重なると効き方が変わります。解約の条項が緩いこと自体は問題にならなくても、そこに在庫の買い取り義務が付くと、切られたときの負担が跳ね上がります。この種の読みは、取引の実態を知っている人にしかできません。

だから、AIの出力は「指摘の一覧」ではなく「見落とし防止の網」として扱います。網に掛かったものを人が判断し、網に掛からない事情は人が持ち込む。この形にしておけば、モデルが替わって成績が上下しても運用は壊れません。逆に、出力を結論として扱う運用にすると、モデルを替えるたびに運用ごと作り直すことになります。

弁護士法72条との関係は、事業者向けにこう整理されている

制度上の位置も押さえておきます。法務省大臣官房司法法制部は2023年8月、AI等を用いた契約書等の関連業務を支援するサービスの提供と弁護士法72条との関係についての考え方を公表しました。事業者向けの解説でも、この文書がAIによる契約書の審査の線引きを示したものとして紹介されています。

ただし、文書自体が強い留保を置いています。非弁行為に当たるかどうかは個別の事件における具体的な事実関係に基づいて判断されるべき事柄であり、条文の解釈と適用は最終的には裁判所の判断に委ねられると述べ、そのため「飽くまで一般論とならざるを得ない」と断っています。判断の拠り所として、1971年7月の最高裁大法廷判決が引かれています。

整理の骨格は3つの要件です。「報酬を得る目的」であること、「訴訟事件…その他一般の法律事件」に関するものであること、「鑑定…その他の法律事務」に当たること。文書は、このいずれかに当たらなければ72条に違反しない、という組み立てをしています。2つ目については、いわゆる事件性が必要だと整理されており、紛争が生じた後に裁判外で和解する契約を作る場面は事件性が認められ得るとされる一方、グループ会社間で従前から慣行として行われている資金の流れを明確にする場合や、基本契約に基づいて従前同様の物品を調達する契約を結ぶ場合は、通常は事件性を認め難いとされています。

読むときに外してはいけないのは、この整理が、サービスを提供する事業者の側と72条との関係を示したものであるという点です。利用する会社が自社の契約に使う場面の適否を直接扱った文書ではありません。ここを読み違えて「法務省がAIによるレビューを認めた」と社内で説明すると、後で説明し直すことになります。自社の運用について判断が必要な場面では、弁護士に確認してください。

機能の見え方で線が引かれている

審査を支援するサービスについて、この文書はより細かい線を引いています。「鑑定…その他の法律事務」に該当し得る例として挙げられているのは、審査対象の契約書の記載内容について個別の事案に応じた法的リスクの有無やその程度が表示される場合、および、契約に至る経緯や背景事情、契約しようとする内容等を法的に処理して具体的な修正案が表示される場合です。

逆に、通常は該当しないとされる例も並んでいます。登録したひな形との相違部分が「その字句の意味内容と無関係に表示されるにとどまるとき」、法的効果の類似性とは無関係に言語的な意味内容の類似性のみに着目して類似部分が表示されるにとどまるとき、ひな形やチェックリストに紐付けられた一般的な条項例や解説、裁判例が個別の修正を行わずに表示されるにとどまるとき。

ここから読み取れるのは、文書どうしを比べて違いを見せることと、この事案ではこの条項が危ないと言うことの間に線があるという点です。前段で分けた照合と判定の境目に、制度の側も線を引いていることになります。社内で使う道具を選ぶときも、その道具がこの線のどちら寄りの作りかを見ると、期待値がずれません。

もう1つ、3つの要件すべてに当たる場合でも違反しないとされる場面が挙げられています。弁護士や弁護士法人に提供され、その弁護士が「本件サービスを利用した結果も踏まえて審査対象となる契約書等を自ら精査し、必要に応じて自ら修正を行う方法で」利用する場合です。利用者側に在籍する弁護士が同等の方法で使う場合も同様に挙げられています。人が自ら精査するという形が、ここでも軸になっています。

なお文書は、生成AIを用いたサービスの提供についても「原則として同様の枠組みで判断されるべきものと考えられる」としています。仕組みが新しくなっても、線の引き方そのものは変わらないという立て付けです。導入を検討するときに、生成AIだから別の扱いになる、という前提は置かないほうが安全です。

人が読む範囲の決め方1：お金と時間が動く条項から決める

ここから運用の話です。人が読む範囲は、リスクの大きさではなく取り返しのつかなさで決めます。後から直せるものは一次の指摘に任せ、後から直せないものを人が読む。この基準にすると、部署ごとの解釈のばらつきが減ります。リスクの大きさで決めようとすると、大きいかどうかの判断でまた揉めます。

具体的には4種類です。1つ目は金銭の上限に関わる条項で、損害賠償の範囲と上限、違約金、遅延損害金。2つ目は期間と終了に関わる条項で、契約期間、自動更新、中途解約の予告、解除の事由。3つ目は権利の帰属に関わる条項で、成果物の権利、二次利用の範囲、第三者への再委託。4つ目は紛争になったときの入口にあたる、準拠法、管轄、協議の条項です。

この4種類は、いずれも「後で運用でカバーする」ができません。逆に言えば、通知の方法や報告の頻度、担当者の変更手続きといった条項は、多少不利でも運用で吸収できます。全部を同じ濃さで読むのをやめて、この4種類に時間を寄せるのが、分担の中心です。

決め方を文書に落とすときは、条項名で書かずに何が起きたときに困るかで書くと、ひな形の違う契約でも使えます。たとえば「賠償の上限が書かれていない、または上限が契約金額を超えている場合は人が読む」。条項名で書くと、名前が違うだけで抜けます。実際、同じ内容が「責任の制限」「免責」「賠償額の予定」と別の名前で置かれることは珍しくありません。

人が読む範囲の決め方2：ひな形からの距離で振り分ける

もう1つの軸は、目の前の契約書が自社のひな形からどれだけ離れているかです。自社のひな形をそのまま使った契約は、差分だけを見れば足ります。相手のひな形で来た契約は、差分という考え方がそもそも使えないので、条項の有無から見る必要があります。この違いを無視して同じ流れに乗せると、相手のひな形の案件で抜けが出ます。

実務では3段に分けると回ります。第1段は自社ひな形で修正が軽微なもの。照合を通し、指摘が出なければ担当者の確認だけで進めます。第2段は相手のひな形、または自社ひな形でも前段の4種類に修正が入ったもの。一次の結果を材料に、法務が読みます。第3段は紛争が起きた後の合意、あるいは前例のない類型の取引。ここは最初から人が読み、必要なら外部の弁護士に出します。

第3段の線引きには、前段で触れた事件性の考え方が使えます。争いや疑義がすでにある案件は、性質の違うものとして扱う。同じ「契約書のレビュー」という名前でも、紛争後の和解の書面は、日常の調達契約と同じ流れに乗せないということです。

3段に分けると、件数の分布が見えます。多くの会社では第1段が最も多く、ここが速くなるだけで全体の待ち時間が変わります。注意点として、第2段と第3段の件数を減らそうとしないこと。指標として件数の削減を置くと、読むべきものを第1段に落とす力が働きます。減らすなら、ひな形を直して第1段に入る契約を増やすという順序です。

出力の形を先に決める：根拠のない指摘は採用しない

指摘の出し方を、道具の設定ではなく仕様として決めます。最低限の3点は、該当する条項番号と原文の引用、なぜ問題なのかの理由、自社のどの基準に照らしているかです。この3つが揃っていない指摘は、人が確かめられないので採用しません。様式を決めるだけなので、どの道具を使っていても実施できます。

理由は前段の数値にあります。箇所の特定の成績が判定より低い以上、条項番号だけに頼ると探し直しが発生します。原文の引用を貼らせておけば、番号がずれていても該当箇所にたどり着けます。引用を必須にすると、文書に書かれていないことを根拠にした指摘も減ります。

根拠が示されていても、その根拠が主張を支えていないことがあります。2024年5月に公表された調査は、法務の調査に使う商用のAIツールについて、提供元が誤りは無いと説明していたにもかかわらず、回答の17%から33%に誤りが混ざっていたと報告しています。手元の文書を読ませる契約書のレビューとは条件が違いますが、示された根拠を人が開いて確かめる工程は、どちらでも省けません。

逆に、決めておくべきはAIに書かせないことです。この契約を結んでよいかという結論、金額の妥当性の判断、相手に出す修正案の最終文言。この3つを出力させると、参考として読むという扱いが守られなくなります。画面に文章として出た瞬間、それを直す作業に変わってしまうからです。出力の様式からあらかじめ外しておくのが確実です。

一次レビューの手順

ここまでを工程に落とします。道具を選ぶ前に決めておく部分が大半で、順番を変えると効きません。

工程ごとの分担を表にする

分担を1枚にすると、担当が替わったときの引き継ぎが速くなります。表の右端に「人が確かめること」を置くのが要点で、ここが空欄になっている行は、任せきりになっている行です。

工程	やること	一次を任せられるか	人が確かめること
照合	ひな形との差分、欠落した条項、参照のずれを洗い出す	ほぼ任せられる	ひな形が最新版か
判定	洗い出した差分のうち不利なものを決める	基準を渡せば一部	基準に無い論点が出ていないか
着地	直す、条件を付けて飲む、そのまま受けるを決める	任せない	取引の経緯と相手との関係
修正文の作成	相手に返す文言を書く	下書きまで	最終の文言と送ってよいかの判断
記録	採否と理由を残す	整形だけ	採否の判断そのもの

この表の使い方として、導入の効果は左の2行でだけ測ります。着地の行が速くなったという数字が出てきたら、それは人が読むべきものを読まずに通している合図です。効果の測り方が運用を歪めることは、他の業務でも起きます。

契約書そのものを外に出してよいかは、別に決める

分担の話とは別に、渡す前の確認があります。契約書には相手の会社名、担当者名、取引条件、単価が入っています。これらを外部のサービスに送ってよいかは、レビューの精度とは無関係に決まる話です。精度が高いから送ってよい、ということにはなりません。

確認する項目は3つです。入力した内容が提供元の学習に使われない設定になっているか。相手方との秘密保持の取り決めに、第三者のサービスへの入力を制限する条項が入っていないか。そして、その判断を社内の誰がするか。3つ目が決まっていないと、担当者ごとに違う扱いになります。

• 入力した内容が提供元の学習に使われない設定になっているかを、契約か設定画面で確認する
• 相手方との秘密保持の取り決めに、第三者のサービスへの入力を制限する条項が無いかを見る
• 個別の契約について外に出してよいかを判断する人を、あらかじめ1人決めておく

なお、個人名や連絡先を落としてから渡す運用にする場合、その落とし方そのものに設計が要ります。何を伏せ、どこで伏せ、どこまで残すか。扱う量が多いので、この記事では切り離します。ここでは、渡してよいと決まった後の分担に絞ります。

よくある失敗

導入が止まる形は、だいたい決まっています。共通しているのは、道具の性能ではなく、決めていない項目が原因になっている点です。

• 指摘の件数を成果指標にする。件数は指示文で簡単に増えるので、増やす方向に運用が寄る
• 指摘が出なかった条項を、問題が無い条項として扱う。見落としが残る前提が消えている
• 条項名で読む範囲を決める。名前が違うだけで、同じ内容の条項が抜ける
• 着地の文言まで書かせて、それを直す作業に変える。参考として読む扱いが守られない
• 法務の1人の判断だけを基準にAIを評価する。もう1人から見ると評価が変わる
• 第2段と第3段の件数を減らすことを目標にする。読むべきものが第1段に落ちる

最初の項目は特に起きやすいものです。件数を指標にすると、細かい表記の指摘が大量に出る設定が「良い設定」になります。測るなら、採用された指摘の割合と、人が読み直した時間です。採用率が下がっていれば、基準と指示文のどちらかがずれています。

最後の項目も、半年ほど経ってから効いてきます。件数の削減を掲げると、振り分けの担当者は迷ったときに第1段へ寄せます。悪意ではなく、指標がそう促すからです。指標は、振り分けが正しかったかを事後に見るものに置き換えます。

誰がどこを読んで通したかを残す

記録は、事故が起きたときのためではなく、基準を育てるために残します。項目は4つで足ります。案件、段の振り分け、指摘の採否とその理由、人が読んだ条項です。重い様式にすると続かず、続かない記録は無いのと同じです。

最も効くのは採否の理由です。同じ指摘を毎回採用していないなら、その指摘は自社の基準に合っていないということなので、基準の側を直します。逆に毎回採用しているなら、その内容をひな形に書き足します。指摘の一覧は、ひな形を直すための材料になります。半年分をまとめて見ると、直すべきひな形の箇所がはっきり出ます。

人が読んだ条項の記録は、抜けの発見に使います。四半期に一度、読まれた条項の分布を見ます。金銭の上限がほぼ全件で読まれ、権利の帰属が半分しか読まれていないなら、振り分けの基準が守られていないか、そもそも基準が知られていない。記録は成績表ではなく、運用のずれを見つける道具です。

残し方は軽くします。案件ごとに1行、採否は記号、理由は20字程度で十分です。記録の重さと継続率は反比例します。詳しく書かせる様式を作ると、最初の1か月だけ埋まって、その後は空欄になります。

人が読む範囲を決めるチェックリスト

最後に、着手前に埋めておく項目を並べます。すべて社内で決められるもので、道具の選定より先に終わらせておくと、比較検討が短くなります。

• レビューを照合・判定・着地に分け、それぞれ誰がやるかを書いてある
• 人が必ず読む条項を、条項名ではなく「何が起きたときに困るか」で書いてある
• 契約書を3段に振り分ける基準があり、受付の時点で振り分けている
• 指摘に付けさせる様式（条項番号と原文の引用、理由、照らした基準）を決めてある
• AIに書かせないこと（結ぶかどうかの結論、金額の妥当性、相手に出す最終文言）を決めてある
• 外部のサービスに契約書を出してよいかを判断する人を決めてある
• 法務の複数名で同じ契約を読み、指摘がどれくらい一致するかを一度測ってある
• 採否の理由を残す様式があり、四半期に一度ひな形を見直す予定が入っている

この8項目のうち、7つ目だけは手間がかかります。ただ、ここを飛ばすと、後で「AIの精度が低い」という話と「社内の基準が無い」という話が混ざり、切り分けられなくなります。先に測っておくと、どちらの問題かが最初から分かります。

まとめ

契約書のレビューは、照合と判定と着地という3つの仕事の束です。実測では、論点を見つける力は人と近いところまで来ている一方、その論点がどの条項の話かを言い当てる力は落ちます。だから指摘は当たっていても場所がずれ、人が探し直すことになります。上級の実務家どうしでも判断が最も揃わないという数値もあり、正解そのものが割れている作業だと分かります。決めるのは3つ。後から直せない4種類の条項を人が必ず読むこと、指摘には条項番号と原文の引用と理由を付けさせ、揃っていないものは採用しないこと、採否の理由を残してひな形と基準を直していくこと。制度上の整理も、人が自ら精査するという形を軸に置いています。任せきれないという前提から設計したほうが、結果として使える範囲は広がります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。