AIの実証実験は成功しても本番に進まない|移行を先に設計する

AIの実証実験は成功しても本番に進まない|移行を先に設計する

「試した結果は悪くなかったのに、そこから先に進まない」「精度がもう少し上がれば、本番に載せられると思っている」——AIの導入を検討している部署で、半年ごとに繰り返される言葉です。前者は正しく状況を言い当てていますが、後者はほぼ確実に外れています。小さく試した仕組みが業務に載らないとき、止めているのは精度ではないからです。本当は、試す前に「どうなったら本番に移すか」を決めていないために、終わった後で判断そのものができないという問題です。判断できないものは、良くも悪くも先送りされます。この記事では、実証実験を本番運用へ移すために何を先に決め、判定の場に何を載せ、どの順番で社内の合意を取るかを整理します。


カメ先生カメ先生

小さく試してうまくいけば、そのまま本番に移せると思われがちだけど、本当は試した条件と本番の条件が違うから、そのままでは載らないんだ。


カメ子カメ子

精度が足りないから止まっている、ということではないのですか。


カメ先生カメ先生

精度で止まる例は、思ったより少ない。多いのは、誰が運用するのか、例外が出たときどうするのか、費用が誰の予算から出るのかが決まっていない場合だね。


カメ子カメ子

つまり、試す前に決めておくことがある、という話なんですね。


この記事のポイント
  • 実証実験は「できるか」を確かめる場ではなく、「本番に移すかを判断する材料」を集める場
  • 試行と本番のずれは4つに集約できる。データの量、使う人の数、例外の多さ、つなぐ先の数
  • 移すかどうかは精度ではなく、例外の割合・運用の担い手・止めたときに困る人で決まる

AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

「うまくいった」で終わった1か月を、最初から追う

具体的な場面から始めます。問い合わせフォームに届く相談に対して、一次返信の下書きをAIに作らせる。この試行を、マーケの担当2名で1か月続けたとします。過去の返信文をいくつか読ませ、届いた相談の内容に合わせて下書きを作らせ、担当者が手を入れて送る。30件ほど回したところで、1件あたり15分かかっていた作業が4分になりました。文面も、手直しを前提にすれば十分な水準です。

報告会は好意的に終わります。ところが半年たっても、この仕組みは業務に載っていません。担当者は「そのうち本番に」と言い続け、決裁の場には一度も上がっていない。誰も反対しておらず、失敗とも呼ばれていない。止まっているのではなく、進めるための手続きが存在しないだけです。反対がないのに動かない案件は、たいていこの形をしています。

何が起きていたのかを後から追うと、詰まりは4か所に集まります。何をもって成功とするかが決まっていない。試した条件と実際の業務の条件が違う。運用する人が決まっていない。やめるときの手順がない。この4つは、どれもAIの性能とは関係がありません。以下では、この4か所を順に開けていきます。

止まるのは例外ではない、という前提から始める

先に、これが自社だけの現象ではないことを確かめておきます。2025年に米国の大学の研究機関が公表した調査では、企業が進めた生成AIの取り組みのうち、測れる形で事業の成果に結びついたものは全体の5%程度だったと報告されています。役員への聞き取り150件、従業員への調査350件、公表された導入事例300件を突き合わせた調査です。

注目すべきは、その理由づけのほうです。この差は模型の性能や規制の違いによるものではなく、進め方の違いによって決まっているように見える、と整理されています。実際、外部と組んで作った場合のほうが、自前で作った場合よりおよそ2倍の割合でうまくいっていたという結果も出ています。止まる原因は技術の側ではなく、段取りの側にあるということです。

別の見立てもあります。米国の調査会社は、AIに一続きの作業を任せる取り組みについて、2027年末までに4割を超える案件が中止されると予測しています。3,400を超える組織への調査が根拠で、理由として挙がっているのは、費用の膨らみ、事業上の価値がはっきりしないこと、危険を抑える手当てが足りないことの3つです。3つとも、試している最中には見えず、本番へ移そうとした瞬間に立ち上がる項目です

国内の状況も見ておきます。総務省が2025年に公表した白書によれば、AIの活用方針を定めている、または定める予定だと答えた国内企業は49.7%でした。前年の42.7%からは上がっていますが、諸外国と比べれば低い水準です。方針が無いまま個別の試行だけが増えると、移すかどうかを判断する物差しが社内のどこにも存在しない状態になります。試した本人が良いと言い、決裁者が判断材料を持たない。冒頭の場面は、この構図の帰結です。

成功の基準が、始める前に決まっていなかった

「うまくいった」の中身は、立場ごとに違います。作った担当者にとっては下書きの質、その上司にとっては短縮できた時間、情報システムの担当にとっては安全に扱えるかどうか、決裁者にとっては費用に見合うかどうか。4人が同じ報告を聞いて、4通りの結論を持ち帰ります。どれも間違っていないので議論も起きず、結果として何も決まりません。

基準は、始める前に3つの数字で置きます。全体のうちAIだけで通せた件の割合、人が直すのにかかった時間、1件あたりにかかった費用。この3つについて「いくつなら移す」を試行の初日に紙へ書いておく。数字を先に決めるのは達成するためではなく、達成しなかったときに引き返すためです。引き返す線が無い試行は、終わり方が「継続」しかありません。

同時に、やめる基準も置きます。実務で使いやすいのは、人が直す時間を軸にした線です。たとえば「人が直す時間が、元の作業時間の半分を超えたら移さない」。冒頭の例なら、15分の作業が4分になっても、確認と手直しに8分かかるなら移さない、という判断になります。短縮した時間ではなく、残った時間で見るのが要点です。

基準を書く紙は1枚で足ります。次の項目だけを、試行を始める日に埋めてください。終わってから基準を作ると、必ず結果に合わせた基準になります。

  • 試す期間と、対象にする件数(何日で何件を流すか)
  • 3つの数字と、それぞれ「いくつなら移す」の目標値
  • 目標を下回ったときの扱い(作り直すのか、やめるのか)
  • 判定する日と、判定する人の名前
  • 試行の間に確かめないと決めた項目(先送りする範囲を明示する)

試した条件と本番の条件は、4つの軸でずれる

試行がうまくいったのに本番で崩れるのは、条件が違うからです。ずれは4つの軸に整理できます。データの量、使う人の数、例外の多さ、つなぐ先の数。この4つについて、試行のときの値と本番での値を並べて書き出すだけで、追加で必要になる作業はほぼ見えます。

ずれる軸試行のとき本番運用のとき先に確かめること
データの量と質選んだ30件。読みやすいものが中心月に600件。書式も長さもばらばら直近1週間に届いた分を、選ばずそのまま流したらどうなるか
使う人の数作った担当2名拠点をまたいで20名説明を受けていない人が、手順書だけで最後まで通せるか
例外の多さ例外は無意識に避けて選んでいる全体の1割から3割が例外例外に当たったとき、止まるのか既定の動きで進むのか
つなぐ先の数画面から手で貼り付け顧客の情報、配信、権限の3つつなぎ先が止まったとき、全体がどうなるか
責任の所在試した本人が全件を見ている誰も全件は見ていない誤りが混ざったとき、誰がどの時点で気づくか

この表を埋めていくと、多くの場合はいちばん右の列だけが空欄で残ります。空欄は「確かめていない項目」であり、本番に移した後で初めて表に出てくる項目でもあります。移行の設計とは、実のところこの列を埋める作業のことです。

順番も決まっています。上から順に確かめるのが最も効率がよく、条件のずれは、AIの精度をどれだけ上げても埋まりません。データが違えば結果は違い、使う人が違えば同じ道具が別の道具になります。精度を上げる作業は、条件をそろえた後に意味を持ちます。

例外の割合を、試行のうちに数えておく

4つの軸のうち、本番化の可否を最も強く左右するのが例外です。試行では、うまくいきそうな材料を無意識に選んでいます。読みやすい相談、前例のある相談、論点が1つで完結する相談。選んだ時点で、例外は視界から消えています。そして本番で戻ってきます。

数え方は簡単です。試行の期間中、AIに任せた件を3つに分けて数えるだけでよい。担当者が判断して手を入れた件、AIが判断できずに止まった件、そもそも対象から外した件。正の字で構いません。この3つの合計が全体の3割を超えるなら、移す前に工程の切り方を見直したほうが早く終わります。

数えると、例外の中身も見えてきます。冒頭の例なら、価格に関する質問、他社との比較を求める質問、すでに取引がある相手からの相談。種類が分かれば扱いも分かれます。頻繁に出る例外は工程に組み込む、まれな例外は人へ渡す、扱ってはいけない例外は入口ではじく。例外を減らそうとするのではなく、例外に当たったときの動きを決めるのが移行の設計です

  • 外した件も必ず数える。数えないと、対象範囲が実際より広く見える
  • 例外は件数だけでなく、種類の数も記録する。種類が多いほど工程を分ける必要がある
  • 1件だけ出た例外に合わせて全体を作り替えない。件数を数えてから打ち手を選ぶ
  • 例外の判定を担当者の感覚に任せない。何を例外と呼ぶかを先に書いておく
  • 試行の期間が短いと、月末や期末にだけ出る例外を取りこぼす

使う人が変わると、同じ仕組みが別の仕組みになる

試したのは、たいてい仕組みを作った本人です。作った人は、うまくいかないときの直し方を知っています。指示の言い回しを変える、材料を足す、途中で止めてやり直す。この手当ては数秒で終わるため、本人も手当てをした自覚がありません。結果として、報告にも記録にも残りません

本番では、説明を受けていない人が使います。同じ道具でも、出てくるものはまったく別になります。試行の段階で確かめるべきは、作った本人ではない誰かが、手順書だけを見て最後まで通せるかどうかです。作った人が使えることは、本番に移せる根拠になりません。この1点を確かめないまま広げると、展開した先で「使えない」という声が一斉に上がります。

使う人が増えると、質問の窓口も要ります。20人が使えば、月に何件の質問が来るか。答える人は誰か。答えた内容はどこに残るか。受け先を決めずに広げると、質問は作った本人に全部集まり、その人の本業が止まります。試行の段階では担当2名だったので、この負荷はどこにも表れていません。

実務的な備えは2つです。1つは、よくある質問と回答を最初の10件ぶんだけ先に書いておくこと。20人に配る前に用意すれば、問い合わせの多くはそこで止まります。もう1つは、答える当番を週ごとに回すこと。1人に固定すると、その人が休んだ週に運用が止まります。

つなぐ先の数だけ、止まる場所が増える

試行では、材料を手で貼り付け、出てきた文章を手で写します。本番ではそこがつながります。顧客の情報を持つ仕組み、配信する仕組み、権限を管理する仕組み。つなぐ先が3つあれば、止まりうる場所も3つに増えます。つなぎの数は、そのまま故障しうる箇所の数です

つなぐときに必ず出るのが権限の話です。誰の権限で読み、誰の権限で書くのか。試した人の権限で通していた場合、本番では通りません。個人の権限に紐づいた仕組みは、その人が異動した日に止まります。移行では、業務の役割に権限を付け替える作業が必ず要ります。これは技術の作業ではなく、社内の取り決めの作業です。

もう1つは記録です。いつ、誰の依頼で、何を読み、何を書いたか。この記録が無いと、誤りが出たときに原因を追えません。つなぎを作る作業より、権限と記録を決める作業のほうが時間がかかります。日程を引くときは、ここに2週間から3週間を見ておくと外しません。

順番にも定石があります。3つを同時につながず、1つ足しては1週間動かす。同時につなぐと、止まったときに切り分けられず、全部を疑うことになります。切り分けられない構成にしないことが、無人で動かす仕組みの前提です

費用の見え方が、試行と本番でひっくり返る

試行の費用は、たいてい小さく見えます。無料の枠か、少額の契約で足りるからです。ところが本番に移すと、費用の構成そのものが変わります。使った分に応じた利用料、つなぎ先の契約、記録を残す置き場、そして人の時間。最も大きいのは、たいてい最後の人の時間です

数字を置くと分かりやすくなります。月600件、1件あたりの利用料が数円で済んだとしても、確認と手直しに1件2分かかれば、それだけで月20時間です。時間単価を2,500円とすれば5万円。利用料が月に数千円なら、人の時間のほうが10倍近く大きい。移行の判定で見るべきは利用料ではなく、人が触る時間の総量です

もう1つ見落とされるのが、動かし続けるための費用です。材料の更新、指示文の手入れ、担当が代わったときの教育、年に1回か2回の見直し。これらは試行の1か月には一度も出てきません。本番の費用は、作る費用ではなく続ける費用です。半年後に「思ったより高い」と言われる案件は、ここを数えていません。

見積もりの作法としては、1年ぶんで置くのが実務的です。初期の作業、12か月ぶんの利用料、12か月ぶんの人の時間、年1回の見直し。この4つを足した額と、削減できる時間を金額に直した額を並べる。差が小さければ、対象を広げるか、確認の範囲を狭めるかのどちらかを先に決める必要があります。

AIに判断させない範囲を、移行の前に線引きする

ここが移行の設計で最も効く1本です。どこまでAIに判断させるかを決めていないと、例外が出るたびに現場が個別に判断します。判断の基準が人ごとに違えば、出てくるものも人ごとに違う。試行では担当2名だったので問題になりませんでしたが、20名になった時点で表に出ます。

線引きは3つに分けると実務で使えます。AIが出して人が確認せずに出せるもの、AIが出して人が必ず確認するもの、AIに出させないもの。順番としては3つ目を先に決めます。金額の提示、契約の条件、謝罪、個人の評価に関わる文面。出させない範囲を決めない限り、確認する範囲はいつまでも全件のままです

加えて、根拠を書かせます。どの資料のどこを見て書いたかを、下書きと一緒に出させる。文章そのものを読んで良し悪しを判断すると、文の巧みさに引っ張られます。根拠の欄を見れば、古い資料を参照していたことも、別の商品の説明を混ぜていたことも、その場で分かります。確認にかかる時間も短くなります。

線引きは1枚の表にして、使う人全員が見える場所に置きます。変えるときは日付を入れて履歴を残す。線引きを口頭で伝えると、伝えた範囲でしか守られません。移行の判定では、この表があるかどうかを見ます。表が無い案件は、確認の手間を見積もれないので、費用も出せません。

運用の担い手と権限が決まっていない

試行の間は、作った本人が全部やります。材料を用意し、動かし、結果を見て、直す。本番ではこれが4つの役割に分かれます。日々使う人、材料を保つ人、設定を変える人、止める判断をする人。4つのうち1つでも空いていると、移行の話は必ずそこで止まります

いちばん決まらないのが、設定を変える人です。マーケの側は情報システムの仕事だと思い、情報システムの側は業務の中身が分からないと言う。決め方は単純で、業務の内容に関わる設定はマーケ、つなぎと権限に関わる設定は情報システム、と線を引きます。境目が曖昧な項目は一覧にして、どちらが持つかを1回で決めてしまう。

材料を保つ人も忘れられがちです。参照する資料が古くなれば、出てくるものも古くなります。誰が、どの周期で、何を差し替えるか。冒頭の例なら、価格表と事例集と対応方針の3つです。更新の担当を決めない仕組みは、半年で静かに劣化します。劣化は誤りとして表に出ないので、気づいたときには広く出回っています。

止める権限も先に決めます。止める権限を、作った本人だけが持っている状態は危険です。休みの日に問題が起きたとき、誰も止められません。止める手順を1枚に書き、その手順を実行できる人を2名以上にしておく。これは移行の判定に必ず載せる項目です。

止めたときに誰が困るかを、先に書いておく

移行の判定でほとんど議論されないのに、後から必ず問題になるのがこれです。動かし始めた仕組みは、いずれ止まります。つなぎ先の不調、契約の変更、社内の方針変更。止まったときに、誰の何が止まるのか。ここを先に書いておくと、移すかどうかの判断そのものが変わることがあります。

書き方は3行で足ります。止まったときに影響を受ける相手、その相手が待てる時間、止まっている間の代わりの手。冒頭の例なら、相手は問い合わせをした見込み客、待てる時間は当日中、代わりの手は定型文を人が送る。この3行が埋まらない仕組みは、まだ移す段階に来ていません。

代わりの手が無い仕組みは、本番に移してはいけません。移すときに元のやり方を捨てないでおく、というだけのことですが、実際には移した直後に古い手順書が消され、手作業の当番も解散します。3か月は両方を残し、止まったときに戻れる状態を保つ。この期間を日程に書き込んでおくと、後で議論になりません。

戻し方も決めます。誰が判断して、何を止め、誰に知らせ、どこから手作業に切り替えるか。この手順は一度だけ実際にやってみます。机の上の手順は、やってみるまで動くかどうか分かりません。訓練は30分で終わりますが、実際に止まった日の混乱は数日続きます。

実務仕様:移行判定に載せる項目

ここまでの内容を、判定の場に持ち込む形にまとめます。移行の可否を決める会議に出す資料は、次の8項目で足ります。各項目は1行から3行で書き、判定の場では右の列だけを見ます。

載せる項目書く内容判定で見るところ
成功の基準と結果先に決めた3つの数字と、実際に出た値基準を後から書き換えていないか
例外の割合手を入れた件、止まった件、外した件の数と種類合計が全体の3割を超えていないか
条件のずれ4つの軸について、試行の値と本番の値確かめる欄が空のまま残っていないか
判断させない範囲3つに分けた線引きの表と、根拠を書かせる設定出させない範囲が具体的に書かれているか
担い手と権限4つの役割それぞれの担当者名空いている役割がないか、止める人が2名以上か
費用1年ぶんの利用料と、人が触る時間の総量続けるための費用が入っているか
止めたときの影響影響を受ける相手、待てる時間、代わりの手代わりの手が実際に使える状態か
次に見直す日いつ、誰が、何の数字を見て見直すか日付と担当者名が入っているか

この表の効き目は、埋まらない欄が残ることにあります。埋まらない欄は、まだ決めていない項目です。良し悪しを議論する前に、決めていない項目があるかどうかで判断が付きます。移行の判定は「良いか悪いか」ではなく「決めていない項目がゼロかどうか」で下します

判定の結果は3つに絞ります。移す、移さない、条件を1つ埋めてから再判定する。3つ目を用意しておくのが実務では効きます。多くの案件は、8項目のうち1つか2つが埋まっていないだけで、そこを埋めれば移せます。結論を「保留」にすると、誰も埋めないまま次の会議も保留になります。埋める項目と担当と期限を、その場で決めてください。

社内の合意を得る順番

判定の材料がそろっても、順番を間違えると通りません。よくあるのは、いきなり決裁者に持ち込む形です。決裁者は費用と危険で判断するので、その場で情報システムに確認が回り、確認の結果が戻るまで2週間止まります。戻ってきたときには別の議題が優先されています。

順番は、影響を受ける人から先です。1番目は日々その業務をしている担当者。2番目は情報システム。3番目は個人情報や契約に関わる部門(該当する場合のみ)。4番目に決裁者。決裁者に上げる時点で、反対する人がいない状態を作っておくのが要点です。

話す内容も相手ごとに変えます。担当者には「あなたの作業がどう変わるか」、情報システムには「つなぎ先と権限と記録」、個人情報の部門には「何を保存し、いつ消すか」、決裁者には「基準と結果、続ける費用、止めたときの影響」。全員に同じ資料を配ると、全員が自分に関係のない部分で引っかかります

反対が出たときの扱いも先に決めておきます。反対の理由をその場で論破しようとせず、判定の表に項目として書き足し、次の判定日までに埋める。反対は障害ではなく、埋まっていない欄を教えてくれる情報です。この扱いにしておくと、2回目の説明で通ることがほとんどです。

移行そのものを、5つの段に分ける

判定が通っても、いきなり全体へ広げないことです。段を分けると、崩れたときにどこが原因かが分かります。逆に一度に広げると、原因を切り分けられないまま元に戻すことになります。

STEP1
材料だけを、本番のものに入れ替える

選んだ30件ではなく、直近1週間に実際に届いた分をそのまま流します。件数は増やさず、材料の質だけを本番に近づける。ここで結果が落ちるなら、原因は材料の側にあります。

STEP2
使う人を、作った本人から1人替える

説明を受けていない人に、手順書だけを渡して通してもらいます。詰まった箇所が、そのまま手順書に足りない記述です。口頭で補わず、その場で書き足します。

STEP3
つなぎ先を1つずつ足す

3つ同時につなぐと、止まったときに切り分けられません。1つ足しては1週間動かし、権限と記録が想定どおりかを確かめてから次へ進みます。

STEP4
件数を段階的に増やす

1日10件、30件、全件と上げていきます。まとめて処理したときにだけ現れる制限や、月末に集中する例外は、この段でしか見つかりません。

STEP5
止める訓練を1度やる

動いている状態から意図的に止め、代わりの手に切り替えて戻します。手順が机上のままかどうかは、やってみるまで分かりません。所要は30分ほどです。

5つの段は、合わせて6週間から8週間を見ておきます。急ぐ場合でも段を飛ばさず、各段を短くするほうが安全です。飛ばした段は、必ず本番で戻ってきます。特に4番目と5番目は飛ばされやすく、飛ばした案件は例外なく最初の月末に問題を起こします。

移行がうまくいかない進め方

ここまでの裏返しになりますが、止まる案件には繰り返し現れる形があります。実際によく見かけるものを並べます。自社の進め方が当てはまっていないかを確かめてください。

  • 試す前に、移す条件を決めていない:終わってから基準を作るので、必ず結果に合わせた基準になる
  • うまくいきそうな材料だけで試す:例外の割合が分からず、本番でかかる手間を見積もれない
  • 作った本人だけが使って判断する:使う人が変わったときに崩れることが、最後まで見えない
  • 精度をもう少し上げてから移そうとする:止まっている原因が精度ではないので、いつまでも移らない
  • 費用を利用料だけで見る:人が確認する時間が入っていないため、移した後に採算が合わなくなる
  • 止め方を決めずに動かし始める:問題が起きた日に、止める権限を持つ人が休みだと止められない

最も多いのは4番目です。精度は、移せない理由として最も使いやすく、最も的を外している説明です精度が本当に理由なら、いくつになれば移すのかを答えられるはずです。答えられない場合、止めているのは別の何かです。多くは、担い手が決まっていないか、費用の出どころが決まっていないかのどちらかです。

もう1つ、5番目も見過ごされます。試行の段階では担当者が自分の時間で確認していたため、その時間はどの予算にも計上されていません。本番で20名に広げると、確認の時間は20名ぶんの業務時間として現れます。試行で見えなかった費用は、消えたのではなく、誰かの残業に隠れていただけです

まとめ

小さく試した仕組みが業務に載らないとき、止めているのはAIの性能ではありません。移すかどうかを判断するための材料が、試行の設計に入っていなかったという一点に尽きます。成功の基準は始める前に3つの数字で置き、下回ったときの扱いも同時に決める。試行と本番のずれは、データの量、使う人の数、例外の多さ、つなぐ先の数の4軸で書き出し、確かめる欄を空のままにしない。例外は手を入れた件、止まった件、外した件の3つで数え、合計が3割を超えるなら工程の切り方から見直す。費用は利用料ではなく、人が触る時間の総量と、続けるための費用で見る。そしてAIに出させない範囲を先に決め、根拠を書かせる。運用は日々使う人、材料を保つ人、設定を変える人、止める人の4役に割り、止める権限は2名以上に持たせる。止まったときに困る相手と、待てる時間と、代わりの手を3行で書く。ここまで埋めたら、8項目の表にして判定の場へ出し、担当者、情報システム、関係部門、決裁者の順で合意を取る。移すときは材料、使う人、つなぎ先、件数、止める訓練の5段に分けて進める。まずは手元で止まっている試行を1件選び、8項目の表を書いてみてください。埋まらなかった欄が、そのまま先に決めるべき項目です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次