AIは何人が同時に使うと遅くなる？｜配る前に確かめる負荷

マイクロソフトが自社の生成AIサービス向けに公開している資料（2026年8月20日付・サイト上の更新は同年9月11日）には、決められた使用量の水準を超えた場合について、応答の待ち時間が大幅に増える可能性があり、場合によっては水準内で動かしたときの2倍以上になることがある、と書かれています。同じ資料には、やり取りを続ける機能の同時の本数が、既定で10、契約の階層が1段上がって25、というように階層ごとの数字で並んでいます。つまり、AIが遅くなるかどうかは、使う人の感覚ではなく、同じ時刻に何回・どれだけ投げられたかという数で先に決まっています。全社に配ってから「なんだか重い」という声が上がるのは、その数を配る前に見積もっていなかったからです。この記事では、遅くなる・詰まるという壊れ方の正体から、配る前に立てる想定、確かめ方、合格の線の決め方までを順に整理します。

遅くなるという壊れ方は、止まる壊れ方と別物である

止まったときは分かりやすい形で知らせが来ます。画面にはっきりとした表示が出て、問い合わせが来て、誰かが動きます。ところが遅いときには、その知らせが来ません。答えは返ってくるからです。返ってくるまでに40秒かかっても、それは仕組みのうえでは成功した扱いになります。誰も困っていないことになっているのに、現場では「今日は重いね」と言われている、という食い違いが起きます。

この壊れ方が厄介なのは、症状が人によって違うことです。同じ時刻に同じ道具を使っていても、先に投げた人には3秒で返り、少し遅れて投げた人には拒まれてやり直しがかかる。だから聞き取りをしても証言が割れます。「遅いと言っている人がいる」「私は問題ない」という両方が同時に正しく、誰の体験が正しいかを議論している間に、遅かった人のほうが先に使うのをやめます。使われなくなった理由は、この時点では記録のどこにも残りません。

だから、止まる備えと遅くなる備えは、決めることが違います。止まる備えで決めるのは、気づき方と、止まっている間の代わりのやり方です。遅くなる備えで決めるのは、配る前に、どれだけの量までなら耐えるのかという数と、その数を超えたときに何を先に落とすかという順番です。前者は起きてから動く話、後者は起きる前に決めておく話で、担当も時期も別になります。この記事で扱うのは後者だけです。

1日の合計では足りているのに、詰まる

社内で見積もりを立てるとき、多くの会社が月または日の合計で考えます。ところが、実際に拒まれるかどうかを判定している単位は分です。先の資料では、利用できる枠が1分あたりのトークン数と、1分あたりの要求数という2本立てで割り当てられる、と説明されています。量の側と回数の側が別々に数えられていて、どちらか一方に先に当たった時点で、その先の要求は拒まれます。

2本立てだということは、使い方によって先に当たる側が変わるということです。短い質問を思いついたときに投げる使い方は、1回あたりの量が小さいので回数の側に先に当たります。長い資料を丸ごと読ませて要約させる使い方は、回数が少なくても量の側に先に当たります。同じ人数でも、何をさせるかによって詰まる場所が変わるので、人数だけを数えても足りません。

ここから、見積もりの立て方が決まります。出すべき数字は「月にどれだけ使うか」ではなく、いちばん混む1分に、何回・どれだけ投げるかです。月の合計は費用を見るための数字で、詰まるかどうかを見るための数字ではありません。この2つを同じ表の中で扱おうとすると、どちらの判断にも使えない数字ができあがります。費用の見積もりは別に立ててください。

拒まれる仕組みは、1分ではなく数秒の窓で判定されている

回数の上限には、見落とされやすい前提があります。同社の手引きには、回数の制限は要求が1分間にわたって均等に分散されることを想定していると書かれています。平均の流れが保たれない場合、1分で測った合計が制限に達していなくても、要求が拒まれることがある、とも明記されています。

実装として何をしているかも書かれています。通常は1秒または10秒という一定期間で、入ってきた要求の速さを評価する。その期間に入ってきた数が、設定された1分あたりの上限から予想される数を超えた場合、新しい要求は次の評価の期間まで拒まれる。例として、1分あたり600件の枠は1秒あたり10件として監視される、という説明が置かれています。つまり朝9時の号砲で一斉に押すと、1分の合計が枠の半分でも、最初の1秒で超えます。

量の側にも、同じくらい効く前提があります。量は、答えが返ってきてから数えるのではなく、要求を受け取った時点の推定で数えられます。推定には、指示文の文字数に加えて、出力の上限として指定した値と、候補を何通り作るかの設定が含まれます。実際の答えが200文字でも、上限を大きく指定してあれば、その大きいほうの値が枠から引かれます。社内の道具の設定を誰も見直していないと、ここで静かに枠を食い続けます。

「同時に何人まで」には、契約上の数字が実在する

同時利用の上限は、感覚の問題ではなく、契約の階層ごとに決まった数として公開されている場合があります。先の資料では、やり取りを続ける機能について、同時の本数の上限が階層ごとに一覧で示されています。階層のない既定で10、階層1で25、階層2で50、階層3で200、階層4で300、階層5で500、という並びです。

この種の数字は、道具ごと・契約ごとに違います。だから配る前にやることは決まっています。自社が今どの階層にいるのか、その階層の数字はいくつなのか、そして自社が想定している同時の人数がその数に対して何割なのかを、紙に書き出すことです。桁が1つ違っていれば、配った初日に分かります。逆に言えば、この3つを調べていない状態で「たぶん大丈夫」と判断しているなら、それは見積もりではありません。

もう一つ、共有の単位にも注意が要ります。同じ資料には、2026年5月7日以降、枠が契約単位で追跡され、同じモデルの配置は共通の入れ物を分け合う、という変更が書かれています。部門ごとに別々の入口を作っても、元をたどれば同じ入れ物から取り合っている、という形になりえます。部門ごとに配るときは、入口が分かれていることと、枠が分かれていることを混同しないでください。

人数よりも、1人が投げる量のほうが効くことがある

「何人まで大丈夫か」という問いの立て方には限界があります。100人が短い質問を1回ずつ投げるより、5人が100ページの資料を読ませるほうが重い、ということが普通に起きるからです。数えるべきは人ではなく、投げられる量と回数で、人数はそれを推し量るための途中の数字にすぎません。

この前提に立つと、配るときに伝えることが変わります。同社の手引きは、要求そのものを軽くするやり方として、出力の上限を場面に見合う最小の値にすること、候補を複数作らせる設定は必要がなければ1にすること、指示文を可能な範囲で短くすることを挙げています。候補を1つ増やすごとに、枠に対する数え方が掛け算で増える、とも書かれています。ここは現場の使い方ではなく、配る側の設定で決まる部分です。

現場に伝える側の話もあります。長い資料をそのまま投げる使い方は、本人にとっては1回の操作ですが、枠の側から見ると重い1回です。禁止する必要はありませんが、混む時間帯には重い使い方を避けてほしい、という一文を配布の案内に入れておくだけで、山の高さは変わります。守られないことを前提に、機械の側でも上限を持たせておくと確実です。

共用の場所を使う以上、自社以外の混み具合にも揺られる

従量課金で使う置き方は、複数の利用者が同じ資源の入れ物を分け合う形になっていることがあります。同社の手引きには、需要が容量の限界に近づくと、その配置に対する有効な上限をシステムが一時的に下げることがあると明記されています。自社が設定した枠は1つも変わっていないのに、いつもなら通る要求が拒まれる、という状態です。

これが起きたときに、社内では「設定を誰かが変えたのではないか」という調べ方が始まりがちです。手引きは見分け方も示していて、応答に付いてくる有効な上限の値が、自社が設定している値より低くなっていないかを見ればよい、としています。この状態は保護のための一時的なもので、通常は流量が落ち着けば数時間以内に解消する、とも書かれています。原因を社内に探しに行く前に、外側の値を1つ見る、という順番を決めておくだけで、無駄な調査が減ります。

一定の速さを保証してほしい業務がある場合は、専用の枠を確保する選択肢が用意されています。ただしそれは費用の判断になるので、ここでは踏み込みません。配る前に決めておくべきことは1つだけです。共用のままでよい業務と、遅れが業務の締切に直結する業務を、先に仕分けておくこと。仕分けができていれば、費用の話が出たときに議論が短く済みます。

同時に使う人数は、席数から3段階で見積もる

ここから対策に入ります。最初にやるのは、同時に使う人数の見積もりです。席数をそのまま同時の人数として扱うと、必ず過大になります。順に3つの数を置きます。配る席数、そのうち1日に1回以上使う人の割合、そして山になる1分に重なる人の割合。この3つを掛けた数が、見積もりの出発点です。

実測がない段階では、3つとも仮置きで構いません。要点は、仮置きした数字と、なぜその数にしたかを1枚に残すことです。配った後で実測すると、たいてい3つのうちどれか1つだけが大きく外れています。紙に残していないと、外れたのがどの数字かを特定できず、次も同じ精度でしか見積もれません。1回目の見積もりの価値は、当たることではなく、次に直せる形で残ることにあります。

狙うのは、人数を当てることではなく、桁を外さないことです。同時に5人なのか50人なのか500人なのか。桁が合っていれば、必要な準備の大きさは決まります。逆に、5人と8人の違いを詰めることに時間をかけても、判断はほとんど変わりません。見積もりの精度は、判断が変わる粒度まででよい、という線を先に引いておくと、この工程は半日で終わります。

時間帯の山は、勘ではなく業務の暦から拾える

山は偶然できるものではありません。始業直後、昼休みの明け、週次の定例の直前、月初の締め、四半期末の追い込み。人が同じ時刻に同じことを始める仕組みが、社内の暦にすでに書かれています。この暦を見れば、どこが山になるかは配る前に分かります。分からないのは高さだけです。

加えて、人ではない使い手を数え忘れないでください。定時に走る自動処理、夜間にまとめて流す集計、他の仕組みから自動で呼ばれる連携。これらは人の目に触れないので、想定から漏れます。人の山と機械の山が同じ時刻に重なっていないかを、配る前に1度だけ突き合わせる。重なっていたら、動かせるほうをずらします。

ずらす効果は、思ったより大きく出ます。自動処理の開始時刻を15分だけ後ろにずらす、部門ごとに定例の開始を10分ずつずらす、といった変更でも、判定が数秒の窓で行われている以上、山の高さは確実に下がります。設備を増やす前に、時刻をずらせないかを先に見る。これは費用が一切かからない対策なので、最初に検討する価値があります。

1回の重さを、入れる量・出す量・呼び出しの回数に分けて数える

見積もりを数字にするために、使い方を型に分けます。分ける軸は3つです。入れる量、出す量、そして1回の作業で何度呼び出すか。3つ目が見落とされやすく、ここで桁が変わります。下書きを作らせて、直させて、要約させる、という一連の流れは、利用者にとっては1つの作業でも、投げられる回数は3回です。

使い方の型	入れる量	出す量	1作業あたりの回数	先に当たりやすい上限
思いついたことを短く聞く	小さい	小さい	1回	回数の側
長い資料を読ませて要約させる	大きい	中くらい	1回から2回	量の側
文面の下書きを作らせて直させる	中くらい	大きい	3回から5回	量の側
社内の資料を探させてから答えさせる	大きい	小さい	2回以上	回数と量の両方
自動処理が定時にまとめて投げる	場合による	場合による	一度に集中	数秒の窓
音声や対話でやり取りを続ける	積み上がる	中くらい	続く間ずっと	同時の本数

表の見方は単純です。自社で配ろうとしている使い方が、どの行に何割ずつ当てはまるかを置きます。割合が最も大きい行が、最初に詰まる場所です。全社に配る場合はたいてい1行目が多数を占め、量ではなく回数の側から詰まります。特定の部署に絞って配る場合は、2行目や4行目が主になり、量の側から詰まります。この違いで、後の確かめ方も変わります。

試す前に、合格の線を決めておく

確かめる作業でいちばん多い失敗は、測ってから合格かどうかを考えることです。数字を見てから線を引くと、出た数字を追認する線になります。線は、業務の側から先に決めます。何秒以内に返れば業務が回るのか、拒まれる割合がどこまでなら許せるのか、拒まれてやり直した結果として最終的に何秒で返ればよいのか。この3つです。

測り方には1つだけ約束を置いてください。平均で見ないことです。平均は、速かった人の数字が遅かった人の数字を薄めます。見るのは、遅いほうから数えて上位5%あたりの値です。使われなくなるかどうかを決めているのは、いちばん遅かった体験をした人なので、平均が良くなっても意味がありません。

業務の型	見る数字	線の決め方
人が画面の前で答えを待つ	遅いほうから上位5%の待ち時間	会話や作業の流れが途切れない範囲。今の手作業にかかる時間から逆算する
下書きを作らせて後から直す	1件あたりの所要時間	担当者が席を離れずに待てる範囲。超えるなら、できたら知らせる形に変える
夜間にまとめて流す処理	決めた時刻までに終わるか	後続の業務の開始時刻から逆算し、遅れてよい余裕の分数も決める
問い合わせの一次対応に使う	拒まれた割合とやり直し後の所要時間	人が引き取るまでの時間から決める。拒まれたことに気づけるかも同時に見る

線を決めたら、超えたときにどうするかもその場で書きます。線を超えたら配る範囲を狭める、時刻をずらす、枠を増やす、重い使い方だけ別の入口に分ける。超えたときの手が決まっていない線は、測っても何も動かさないので、引いていないのと同じです。

確かめ方は、3つの段に分けて進める

いきなり全社の想定で試すと、何が原因で遅くなったのかが分かりません。段を分けて、1段ごとに変える条件を1つに絞ります。先の資料も、レート制限に関わる問題を減らすやり方として、作業量の急激な変更を避けて徐々に増やすこと、そしてさまざまな負荷の増え方を試すことを挙げています。増やし方そのものが試験の対象だ、という考え方です。

もう一つ、場所の注意があります。試す入口と本番の入口が違うと、枠も違うことがあります。試した環境と本番の環境で、枠の設定値が同じかどうかを先に確かめてください。ここが違ったまま合格にした結果、配った初日に詰まる、というのは実際によくある崩れ方です。

詰まりかけの合図を、どこから取るか

配った後は、詰まりきる前に気づけるかどうかが分かれ目になります。先の手引きによれば、呼び出しの応答には1分あたりに許される要求数とトークン数、残りの要求数とトークン数、制限が戻るまでの時間、そして拒まれたときの推奨の待ち時間が含まれています。残量を見ていれば、上限に当たる前に手前で気づけます。

社内で見る数字は3つに絞ります。拒まれた割合、遅いほうから上位5%の待ち時間、そして有効な上限が自社の設定値より下がっていないか。最後の1つを見ていないと、外側の絞りを自社の不具合と誤認して、直す必要のないところを直しにいきます。手引きも、容量に関わる拒まれ方を枠の不足と取り違えて誤った手を打つ例が多い、と注意しています。

ただし、数字を出す場所を決めただけでは合図になりません。線を下回ったときに、誰の手元へ届くのかを先に決めておくことが要ります。届け先が決まっていない通知は、置き場所だけが増えて誰も見ません。届け先は、枠を増やす判断ができる人か、配る範囲を狭める判断ができる人にします。見るだけの人に届けても、次の動きが出ないからです。

詰まったときに、何を落として何を守るか

上限に当たったとき、最初にやることはやり直しの作法を正すことです。手引きには、失敗した要求も1分あたりの制限に数え続けられること、そして間隔を空けずに送り直すと絞りはむしろ悪化することが明記されています。待たずに押し直すほど、事態は悪くなります。

正しいやり直しの形も示されています。最初の失敗の後は短くばらつきのある時間だけ待つ、失敗するたびに待ち時間を倍にする、全部の利用者が同じ瞬間に押し直さないようにばらつきを入れる、そして際限なく繰り返さないように回数の上限を決める。この作法は道具の側に組み込む部分で、現場の心がけではありません。社内の仕組みを作るときに、ここを必ず確認してください。

そのうえで、順番をつけます。手引きは、すぐの応答が要らない場面では要求を待ち行列に入れて決めた速さで処理する、という形も勧めています。夜間の集計や一括の下書きは待たせてよく、画面の前で人が待っている操作は待たせない。何を落として何を守るかを決めるのは、機械ではなく業務の側です。この順番を先に書いておけば、混み合った日に現場で相談する時間が要らなくなります。

測らずに配ると、実際に何が起きるか

ここまでの裏返しとして、見積もりも確認もせずに全社へ配ったときに起きることを並べます。いずれも、止まったという記録が1件も残らないまま進むのが共通点です。

• 朝の最初の1時間だけ極端に遅くなる：業務の暦に山があることを見ていないため、始業直後に集中する。合計は枠に余裕があるので、請求書を見ても原因が分からない
• 拒まれたことが利用者に伝わらない：画面には何も出ず、答えが返ってこないだけに見える。現場は押し直し、押し直した分がさらに枠を食う
• 重い使い方をする少数が、全体を詰まらせる：長い資料を読ませる数人と、短い質問を投げる全社が同じ枠を分け合っている。誰が原因かを名指しする空気だけが残る
• 部門ごとに入口を分けたのに改善しない：入口は分かれても枠が共通の入れ物のままで、取り合いの構図が変わっていない
• 遅いという声が上がらないまま使われなくなる：不便は報告されず、人は静かに元の手作業へ戻る。半年後の利用状況の記録に、理由のない減少としてだけ現れる

最後の項目が、いちばん損失が大きく、いちばん気づきにくい形です。遅いという体験は、苦情ではなく離脱として現れます。だから配った後の利用状況を見るときは、使っている人数の増減だけでなく、待ち時間の分布を並べて見てください。使われなくなった月と、待ち時間が伸びた月が一致していれば、原因は研修でも周知でもありません。

どこまで機械に任せ、どこから人が決めるか

この領域には、機械のほうが確実に速い作業が多くあります。測った記録の集計、待ち時間の分布の作成、山になっている時刻の抽出、拒まれた要求の条件の並べ直し、試験の手順書の下書き。人がやると半日かかるものが数分で形になりますし、見落としも減ります。ここは任せてよい部分です。

一方で、人が決める場所もはっきりしています。合格の線をどこに置くか、混んだときに何を落として何を守るか、山をずらすために業務の時刻を動かしてよいか、専用の枠を確保するか。どれも、業務の痛みの大きさと社内の事情が材料になる判断で、その材料は測定の結果のどこにも入っていません。とくに、遅くなった原因の見立てをAIに出させて、それだけを根拠に手を打つのは避けてください。

• 合格の線と、線を超えたときの手は人が決める。測定の結果から自動で決めさせない
• 原因の候補をAIに出させたときは、どの記録のどの範囲を見て言っているのかを必ず書かせ、人が元の記録で確かめる
• 拒まれた要求を自動でやり直す仕組みは入れてよいが、やり直しの回数の上限と、諦めたときの見せ方は人が決める
• 配る範囲を広げる判断は、測った数字と業務の締切の両方を人が突き合わせてから出す

人が必ず確かめる範囲も、先に決めておきます。測った条件が本番と同じか、線を超えた日があったか、超えた日に何を落としたかの3つです。それ以外は記録に残っていれば後から追えるので、毎回見る必要はありません。この3つに絞れば、月に一度15分で回ります。

よくある質問

何人まで大丈夫かを、一言で言える数字はありますか

ありません。上限は道具ごと・契約の階層ごとに違い、しかも人数ではなく1分あたりの回数と量で決まっているからです。代わりに答えられるのは、自社の使い方で1回あたり何回・どれだけ投げるかを実測し、それを想定の人数で掛けた数が、契約している枠に対して何割かという形です。この形にすれば、人数が変わったときにも同じ計算で答えが出ます。

遅いという声が出たとき、最初に何を見ればよいですか

外側の値を先に見ます。拒まれた割合と、有効な上限が自社の設定値より下がっていないか。この2つが正常なら、社内の使い方か仕組みの側を見ます。順番を逆にすると、外側の一時的な絞りだったものを社内の不具合として調べ続けることになり、数日が消えます。

枠を増やせば解決しますか

原因によります。1分あたりの合計が足りていないなら効きますが、数秒の山に集中していることが原因なら、枠を増やしても山の高さは変わらないので効き方が鈍くなります。まず、合計が足りていないのか、山が高いのかを分けてください。山が高い場合は、時刻をずらす、待ち行列に入れる、重い使い方を別の入口に回すほうが効きます。

試験のために本番と同じ環境を用意できません

同じ環境でなくても、1回あたりの重さの実測と、山のかたちを変えた比較はできます。大事なのは、試した環境と本番の環境で枠の設定値が違うことを自覚しておくことです。試験の記録に、そのときの設定値を必ず書き添えてください。書いてあれば、本番で違う結果が出たときに、環境の差なのか使い方の差なのかを切り分けられます。

まとめ

AIが遅くなるかどうかは、いちばん混む1分に、何回・どれだけ投げられるかで決まっています。判定は1分ではなく数秒の窓で行われ、量は要求を受け取った時点の推定で数えられ、同時に使える本数には契約上の数字が実在します。だから配る前にやることは、席数から同時の人数を3段階で見積もり、業務の暦から山の時刻を拾い、1回の重さを入れる量・出す量・呼び出しの回数に分けて数え、合格の線を先に決めてから、段を分けて確かめることです。そのうえで、詰まりかけの合図の届け先と、混んだときに何を落として何を守るかを紙に書いておきます。まずは、いま社内でいちばん多い使い方を1つ選んで、1回あたり何秒かかっているかを測るところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。