AIの返事が遅いのはなぜ？｜待ち時間を業務から外す

「社内で使い始めたAIの窓口が、返事に30秒以上かかることがあって、結局みんな使わなくなりました」「速いモデルに替えたら今度は答えの質が落ちて、どちらを取ればいいのか決められません」——導入から半年ほど経った部署からは、この2つが並んで出てきます。人が待てる時間の目安は、実はかなり前から分かっています。1993年に公表された使いやすさの研究では、0.1秒までなら即座に反応したと感じ、1秒までなら考えの流れが途切れず、10秒を超えると画面から意識が離れる、という3つの区切りが示されました。生成AIが相手でも、人の側のこの線は動きません。動かせるのは、待ち時間をどの業務から外すかという、仕事の組み方の側だけです。この記事では、遅さの正体を切り分ける手順から、待ちを業務の外に出す順番までを整理します。

遅いという報告は、原因を1つも示していない

現場から上がってくる「AIの返事が遅い」という一言には、少なくとも4つの別々の現象が混ざっています。混ざったまま対策に入ると、モデルを替える、機材を増やす、諦めて使うのをやめる、のいずれかに落ちます。最初にやるのは対策ではなく、4つのどれが効いているかを切り分ける作業です。

待ち時間の設計では、人の側の目安が先にあります。1993年の使いやすさの研究が示した3つの区切りのうち、生成AIの返事で現実的に狙えるのは3つ目の線です。10秒を超えると、人は画面の前で別のことを始めます。別のことを始めた人が戻ってくるまでの時間は、どこにも記録されません。記録上は12秒でも、業務としては数分止まっています。

つまり測るべき数字は、AIが返すまでの秒数だけではありません。業務としての待ちは、依頼を出してから、その結果を使って次の作業に入るまでの時間です。応答が8秒でも、人が戻ってくるのが5分後なら、業務の待ちは5分です。この差は、後半で扱う「待たせてよい業務」の分け方にそのまま効いてきます。

遅さは4つに分かれる

切り分けの物差しを先に置きます。次の表の4つが、実際に混ざっている現象です。3列目に、その現象が効いているときの見え方を書きました。自分たちがどれに当たっているかは、1件の呼び出しを秒単位で記録するだけで、たいてい判別できます。

遅さの正体	何が起きているか	効いているときの見え方	主な手当て
最初の1文字までが長い	渡した文章を全部読み込んでからでないと1文字目が出ない。この読み込みの手間は長さとともに急に増える	何も表示されない時間が長く、出始めると一気に流れる	渡す文章を短くする。毎回同じ前置きは再利用させる
出そろうまでが長い	答えを1つずつ作っていくため、答えが長いほど時間が伸びる	最初はすぐ出るが、最後まで読めるようになるまで待つ	答えの長さに上限を置く。結論から返させる
順番待ち	呼び出しが集中し、処理される前に行列に並ぶ	同じ処理でも時間帯によって大きくぶれる	集中する時間帯をずらす。同時に投げる本数に上限を置く
こちら側の通信と前後処理	呼び出すまでの経路、材料を集める処理、返ってきた後の整形	AI側の記録上は速いのに、画面では遅い	呼び出しの前後を別々に測り、AI以外の区間を先に削る

4つのうち、最初の1文字までの時間と、出そろうまでの時間は、提供する側の技術資料でも別々の指標として扱われています。実務でもこの2つを分けて記録しておくと、後で手当てを選ぶときに迷いません。1つの秒数だけを記録している限り、原因は永久に分かりません。

工程1 どこからどこまでを1回と数えるかを決める

測り方を決めないまま集めた数字は、後から比べられません。決めるのは3つです。起点はどこか。終点はどこか。そして、失敗してやり直した分を1回に含めるかどうかです。3つ目を別勘定にすると、記録上の数字は速いままで、利用者の体感だけが遅くなります。やり直した分は、利用者が待っている限り同じ1回に含めるのが原則です。

記録は最低3か月残してください。モデルの版が上がったとき、指示文を変えたとき、参照させる資料を増やしたときに、前と比べられる形で残っていないと原因を切り分けられません。渡した文章の長さを残していないと、後で長さと待ち時間の関係を見られません。この列は、後から遡って作ることができない数少ない項目です。

工程2 平均ではなく、遅いほうを見る

平均の秒数は、待ち時間の管理にはほとんど使えません。多くの呼び出しが速く、一部だけが極端に遅いという分布になるためです。2026年5月に公開された推論の待ち時間の設計をまとめた解説でも、平均が問題なく見える状態でも、遅いほうの1%は数倍に伸びていることがあると指摘されています。

見るのは、遅いほうから数えて1割の値と1%の値です。苦情を出しているのは平均の人ではなく、遅いほうの1割に当たった人です。同じ解説では、混み合ってくると遅いほうの値だけが急に伸びる関係が示されており、処理の能力に対する使用率が高くなるほど、この伸びが大きくなるとされています。

実務での使い方は単純です。週に1度、遅いほうの1割の値を並べて前の週と比べます。数字が動いていたら、渡している文章が長くなったのか、呼び出しが増えたのか、モデルの版が変わったのかを順に当たります。平均だけを見ていると、この3つのどれが起きても数字はほとんど動きません。

長い文章を読ませるほど待つ、という関係

最初の1文字までの時間は、渡した文章の長さに強く引きずられます。AIは答えを作り始める前に、渡された文章を全部読み込む必要があるためです。しかもこの読み込みの手間は、長さに比例して増えるのではなく、長くなるほど急に増える性質があります。長い資料をそのまま貼り付ける運用は、最初の沈黙を自分の手で伸ばしています。

手当ては3つの順で効きます。1つ目、渡す前に必要な部分だけを抜く。2つ目、毎回同じ前置きは前に固め、変わる部分を後ろに置く。3つ目、答えの長さに上限を付ける。1つ目は当たり前に見えて最もよく効きます。社内の運用では、参照させたい資料を丸ごと渡している例が本当に多いからです。

2つ目には根拠があります。主要な提供元の公式資料では、文章の先頭から同じ部分が続いている場合、その読み込み結果を再利用する仕組みが用意されています。2026年時点の公式資料によれば、再利用が効き始めるのは1,024トークン程度からで、再利用された部分の単価は通常の10分の1、保持は最後に使ってから30分程度とされています。先頭を1語変えるだけで、その後ろの再利用は全部無効になります。

工程3 待たせてよい業務と、いけない業務を分ける

ここが、この記事でいちばん順番の早い工程です。速くする前に分けます。分ける物差しは1つ、人が画面の前で結果を待っているかどうかです。待っているなら10秒の線が効きます。待っていないなら、30分かかろうと業務は困りません。速さの問題は、前者だけに存在します。

実際に並べてみると、社内で使われているAIの用途の多くは後者です。議事録の要約、問い合わせの分類、資料の下読み、翻訳の下書き、名簿の整理。どれも、依頼した人がその場で結果を見なければならない理由がありません。画面の前で待っている業務だけが、速さの問題です。残りは、待ち時間ではなく締切の問題に変わります。

分けた結果は、業務の一覧として残します。1列目に業務名、2列目に人が待っているかどうか、3列目に許容できる時間、4列目に現在かかっている時間。4列目が3列目を超えている行だけが、手当ての対象です。超えていない行に手を入れても、誰も速くなったとは感じません。一覧を作ると、対象が想像よりずっと少ないことに気づきます。

工程4 待たなくてよい仕事を、夜にまとめて回す

人が待っていない業務は、その場で処理しない形に移せます。主要な提供元は、即時に返さない代わりに割安になる受け口を用意しています。公開されている条件では、料金は通常の半額で、結果は24時間以内に返る形が一般的です。夜間に投げて朝に受け取る運用なら、この条件はそのまま使えます。

移せる仕事の見分け方は簡単です。締切が翌営業日以降で、件数がまとまっていて、1件ずつの結果を人が順に確認するわけではないもの。日次の集計、蓄積した問い合わせの分類、大量の文書の下読みは、ほぼそのまま移せます。逆に、その場の会話や、担当者が次の行動を決めるための確認には使えません。

• 投げた件数と返ってきた件数が合っているかを、毎朝1行で確かめる。まとめ処理は一部が静かに欠けても気づきにくい
• 返ってこなかった分の扱いを先に決める。翌日に回すのか、その場で即時の経路に流すのかを書いておく
• 締切の1日前に投げない。24時間以内という条件は最長の話で、混み合えばその近くまで使う
• 結果を受け取る先を人の受信箱にしない。件数が増えると必ず埋もれる
• 夜にまとめて回す業務と、画面の前で待つ業務を、同じ集計表で並べない。目安にする秒数が違う

移した後に効いてくるのが1つ目です。まとめて投げた中の一部が失敗したとき、翌朝それに気づく仕組みがないと、静かに欠けたまま集計が出ます。まとめ処理に移した業務ほど、結果の件数を数える工程が要ります。投げた件数と返ってきた件数が合っているかを、毎朝1行で見る形にしてください。

工程5 同じ問いが繰り返されるときの手当て

社内の窓口として使っていると、同じ問いが何度も来ます。就業規則の条件、経費の上限、申請の締切。これらは毎回作り直す必要がありません。手当ては2段あります。1段目は、前の章で触れた、文章の先頭の同じ部分を再利用させる仕組み。2段目は、問いの側を照合して、以前と同じ意味の問いには前の答えを返す形です。

2段目には注意が要ります。言い回しが違っても意味が近ければ同じ答えを返す作りにすると、条件が少し違う問いにまで同じ答えが返ります。「40歳以上の場合は」と「40歳未満の場合は」は、言葉の近さでは非常に近く、答えは正反対です。照合で答えを使い回してよいのは、答えが条件で変わらない問いに限るのが実務の線です。

もう1つの手当ては、そもそもAIに聞かせないことです。答えが完全に決まっている問いは、AIを通さず決まった答えを返す作りのほうが、速く、安く、間違えません。繰り返される問いの上位20件を数えて、答えが1つに決まるものを先に外す。この作業だけで、待ち時間の総量が目に見えて減ります。

途中経過を出して体感を変える方法と、その限界

最初の1文字までの時間を短くできないとき、体感だけを変える手があります。答えを少しずつ流して表示する形です。出そろうまでの時間は変わりませんが、人は動いていると分かるので、10秒の線に当たりにくくなります。窓口の作りとしては、まず入れる価値があります。

ただし限界が3つあります。1つ目、最初の1文字までの時間そのものは短くなりません。沈黙が8秒あるなら、8秒は沈黙のままです。2つ目、途中で内部の処理を挟む作りだと、流れが途中で止まって逆に不安を与えます。3つ目、途中まで読めてしまうと、人は最後まで待たずに使い始めます。まだ確定していない内容を読んで判断されると、速くしたことが誤りの原因に変わります。

3つ目への手当ては、表示の側で付けます。確定するまでは作成中と分かる印を出し、確定した時点で外す。それだけです。途中経過は体感を変える道具であって、答えを早く使ってよいという合図ではありません。この区別を画面に出していないと、速さの改善がそのまま確認の抜けに変わります。

工程6 軽いモデルに落とす判断と、落としてはいけない工程

速くする手として大きく効くのは、軽いモデルへの振り分けです。2026年7月に公開された費用の最適化に関する解説では、来る問いのうちおおよそ7割は軽いモデルで足り、2割が中程度、1割が本当に重い問いだという分け方が示されています。全部を重いモデルで処理していると、7割分の時間と費用を使いすぎていることになります。

ただし、振り分けそのものをAIの判断に任せないでください。振り分けは処理の外側で、人が書いた規則で決めます。規則の材料になるのは、依頼の種類、扱う情報の区分、結果が誰に届くか、間違えたときに取り消せるかの4つです。簡単そうだから軽いほうへ、という判断をその場のAIにさせないのが線です。次の表は、工程ごとの振り分けの目安です。

工程	軽いモデルに回してよいか	そう決める理由と、確かめ方
分類・仕分け・タグ付け	回してよい	選択肢が決まっているので誤りが目に見える。前後で同じ100件を通し、一致率を出せば判断できる
下書きの作成・整形	回してよい	人が必ず読んでから出すため、誤りが外に出ない。読む人が変わっていないかだけ確かめる
社外に出る文章の最終稿	回さない	取り返しがつかない。速さより、言い回しと事実の正しさが優先される
数字を扱う集計・計算	回さない	誤りが目に見えず、後工程がそのまま信じる。根拠となった数字の出どころを併記させる
規程・契約の解釈	回さない	条件の取りこぼしが起きる。人が原文に当たる工程を必ず残す

表の下3行は、速さより先に、間違えたときの取り返しのつかなさで決めています。速い側に回してよいのは、人が後で必ず読む工程だけです。読まずに次へ流れる工程を軽いモデルに回すと、速くなった分がそのまま誤りの通り道になります。

速さのために質を落としていないか、人が確かめる範囲を決める

待ち時間の改善で最も危ないのは、効果がすぐ数字に出て、副作用が数字に出ないことです。秒数は当日から下がります。一方、答えの質が落ちたことは、誰かが困るまで分かりません。速くする変更を入れる日に、質を見る工程を一緒に入れるのが原則です。後から足そうとすると、まず足されません。

工程そのものは重くありません。変更の前後で同じ問いを30件通し、答えを並べて人が見ます。見る人は、その変更を提案した人以外にします。見る観点は3つで十分です。抜けている情報がないか、断定が強くなっていないか、数字や固有名詞が変わっていないか。ここで差が出たら、振り分けの規則を1行戻します。

もう1つ、AIの側にも根拠を書かせます。要約や分類の結果だけでなく、どの部分を根拠にしたかを併記させる形です。根拠が書けない答えは、速いかどうか以前に使えません。人が確かめる範囲は、この根拠の欄を見る作業に絞れます。全文を読み直す必要はなく、根拠として挙げられた箇所だけを原文と突き合わせれば済みます。

これをやると、速くなった分が誤りに変わる

速さの改善は、効果が数字で見えるぶん進めやすく、そのぶん副作用が置き去りにされます。次の5つは、実際によく見かける形です。

• 測る前にモデルを替える：原因が渡している文章の長さやこちら側の処理だった場合、費用と質だけが動いて体感は変わらない
• 渡す文章を減らすときに、判断の材料まで削る：最初の沈黙は短くなるが、答えの根拠が薄くなり、後で確かめる手間が増える
• 途中経過を流して、確定の印を付けない：読めてしまうので、確定前の内容が社外向けの文章に入る
• 画面の前で待っていない業務まで速くしようとする：手当ての工数を使い切って、本当に遅い窓口が最後まで残る
• 振り分けの規則をAIに考えさせる：その場の判断で軽いほうへ流れ、どの工程が軽いモデルで処理されたかが後から追えない

2つ目は、善意で起きる典型です。最初の1文字までの時間を短くしようとして、参照させる資料を半分に削る。秒数は確かに下がります。ただし削った側に、判断に必要な条件が入っていたら、返ってくる答えは速いだけの間違いになります。削るのは資料の量ではなく、渡す前に必要な箇所を抜き出す工程を足すという形にしてください。

5つ目は、後から効いてきます。どの問いがどのモデルで処理されたかが記録に残っていないと、質が落ちたという報告が来たときに、原因が振り分けなのか、指示文なのか、版の変更なのかを切り分けられません。工程1で決めた「呼び出した先を区別する」列は、ここで効きます。

順番待ちは、混みだすと急に伸びる

4つの正体のうち、いちばん誤解されやすいのが順番待ちです。処理の能力に少し余裕があるうちは、待ちはほとんどゼロです。ところが能力の限界に近づくと、待ちは比例ではなく急に伸びます。前述の2026年5月の解説でも、遅いほうの値を一定以下に保つには、能力の6割から7割程度で使うのが目安だと示されています。

つまり、能力を使い切る手前で増やすのが正しいということです。8割を超えてから増設を検討すると、その時点で遅いほうの値はすでに数倍になっています。社内の窓口として使うなら、同時に投げる本数の上限と、混み合ったときに順番に並ばせる仕組みを、最初から入れておきます。

混み合う時間帯も見ておいてください。社内利用は、朝一番と昼休み明けと夕方に山ができます。山の時間に重い処理を走らせない、という運用だけでも遅いほうの値は下がります。夜にまとめて回せる仕事を昼に走らせていないか、まずそこを確かめます。

AI以外の区間が、実は半分を占めていることがある

記録上はAIの応答が2秒なのに、利用者の体感は15秒、という食い違いは珍しくありません。差はAIの外側にあります。材料を集める処理、社内の仕組みからの呼び出し、結果の整形、画面への反映。この区間を別々に測っていない限り、AIを速くしても体感は変わりません。

測り方は、呼び出しの前後に時刻を足すだけです。依頼を受けた時刻、材料がそろった時刻、AIに投げた時刻、最初の1文字が返った時刻、最後の1文字が返った時刻、画面に出た時刻。6つの時刻を残せば、どの区間が長いかは一目で分かります。工程1で決めた項目に、前後の2つを足すだけで足ります。

実務でよく出てくるのが、材料を集める区間です。参照させる資料を毎回取りに行く作りだと、そこで数秒を使います。変わらない資料は、呼び出しのたびに取りに行かない。もう1つは結果の整形で、表や書式に直す処理を毎回AIに作らせていると、その分が待ち時間に乗ります。形が決まっているものは、AIの外で組み立てたほうが速く、ぶれません。

人の承認を待つ時間は、この記事の外にある

待ち時間を数えていくと、必ず出てくるのが人の承認の待ちです。AIが3秒で下書きを出しても、承認者が見るのが翌日なら、業務としての待ちは1日です。ただし、この待ちの設計は別の話になります。誰がどこで承認するか、どの型を当てるか、承認が形だけになる条件は何かは、人が承認する仕組みを扱う記事の領分です。

ここで書けるのは1つだけです。承認の待ちと、AIの返事の待ちを同じ表で数えないこと。混ぜると、AIを速くした効果が人の待ちに埋もれて評価できなくなり、逆に人の承認を減らす話が速くするためという理由で進んでしまいます。目的が違うので、別の欄に分けて数えます。

分けたうえで、順番だけ決めておきます。先に手を入れるのは、人の待ちが短い業務のほうです。1日待つ業務で応答を8秒から3秒にしても、業務の待ちは1日のままです。人の承認の待ちが長い業務は、速さの改善ではなく承認の設計の対象として、別の一覧に並べてください。

よくある質問

速いモデルに替えれば、待ち時間の問題は解決しますか

4つの正体のうち、効くのは出そろうまでの時間と、一部の順番待ちだけです。渡している文章が長いことが原因なら、モデルを替えても最初の沈黙はあまり短くなりません。こちら側の前後処理が長い場合は、まったく変わりません。替える前に、どの区間が長いかを測ってください。順番としては、測る、分ける、移す、が先で、替えるのは最後です。

何秒までなら許容範囲だと決めればよいですか

業務ごとに違うので、一律には決められません。決め方の順番はあります。人が画面の前で待つ業務だけを抜き出し、その業務で人が次の行動に移るまでに許される時間を書き、いま何秒かかっているかを並べます。差が出ている行だけが対象です。目安として、画面の前で待つ用途では10秒の線を1つの基準に置くと、判断がぶれません。

途中経過を流して表示すれば、遅さは問題でなくなりますか

体感は変わりますが、最初の1文字までの沈黙は残ります。また、途中まで読めることで、確定前の内容が使われる危険が増えます。表示の側で確定したかどうかを示す印を出し、確定前の文章は次の工程に渡さない、という運用を併せて決めてください。印のない流し表示は、速さと引き換えに確認を1つ失います。

夜にまとめて回す形は、どの業務から移せますか

締切が翌営業日以降で、件数がまとまっていて、1件ずつ人が順に確認するわけではない業務です。日次の集計、蓄積した問い合わせの分類、大量の文書の下読みが当たります。移した後は、投げた件数と返ってきた件数が合っているかを毎朝確かめる工程を必ず付けます。欠けたまま集計が出るほうが、遅いことより困ります。

待ち時間の記録は、どれくらいの期間残せばよいですか

最低でも3か月です。モデルの版が上がったとき、指示文を変えたとき、渡す資料を増やしたときに、前と比べられる形で残っていないと原因を切り分けられません。残す項目は、開始時刻、最初の1文字の時刻、最後の1文字の時刻、渡した文章の長さ、答えの長さ、呼び出した先の6つです。

まとめ

返事が遅いという報告は、原因の名前ではありません。最初の1文字までが長いのか、出そろうまでが長いのか、順番待ちなのか、AIの外側が長いのか。ここを分けないまま軽いモデルに替えると、費用と答えの質だけが動いて、体感は変わらないままです。手順は6つでした。1回の測り方を決め、遅いほうの1割を見て、人が画面の前で待つ業務だけを抜き出し、待たなくてよい仕事を夜にまとめて回し、繰り返される問いを外し、規則で軽いモデルに振り分ける。そして速くした日に、答えの質を見る工程を一緒に入れる。今週やることは1つです。社内で使っているAIの用途を10個書き出して、人が画面の前で待っているものに印を付けてください。印の付かなかった用途は、今日から速さの問題ではなくなります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。