Not Diamondのモデル振り分けとは？｜固定か振り分けかの基準

「問い合わせのたびに一番高いモデルを呼んでいて、利用料が毎月ふくらんでいる」「安いモデルに替えたいが、どの質問なら替えてよいのか誰も決められない」——社内のAI活用が一巡した企業の、情報システムやAI推進の担当から聞こえてくる声です。こうした悩みに対し、入力ごとに「どのモデルに聞くか」を予測して選ぶのが、米国の Not Diamond のようなモデルの振り分け役です。公式サイトは、振り分けによって費用を下げながら品質を保てると説明しています。ただ、振り分けで得をするかどうかを決めるのは、道具の賢さではありません。本当は、品質の物差しと評価データを、社内で用意できるかどうかで決まります。この記事では、Not Diamond のモデル振り分けとは何かを押さえたうえで、マーケの文章生成・問い合わせ対応・社内検索でモデルを固定するか振り分けるか、費用と品質の基準を誰が作るか、データがどのモデル提供者に渡るかを、比べながら整理します。

Not Diamond は、入力ごとに「どのモデルに聞くか」を予測する振り分け役

Not Diamond は、米国のスタートアップが提供するモデルの振り分けの仕組みです。公式の説明では、アプリに入ってくる問い合わせごとに、候補として登録した複数のLLMのうち、どれが最も高い品質の答えを低い費用で返しそうかを予測します。すべての問い合わせに同じモデルを使う代わりに、簡単なものは安いモデルへ、難しいものは上位のモデルへ回すことで、品質を保ちながら費用を下げる、というのが基本の考え方です。

仕組みの上で押さえておきたいのは、Not Diamond が返すのは「このモデルを使うとよい」という推薦であり、モデルの呼び出しそのものは自社の側で行う点です。公式の入門手順でも、振り分けの依頼でメッセージと候補のモデルを渡し、返ってきた推薦をもとに、各社の開発用の道具でモデルを呼ぶ流れが示されています。推薦ごとに識別の番号が返り、どの問い合わせでどのモデルが選ばれたかを後から追えるようになっています。

振り分け役には、あらかじめ学習済みのものと、自社のデータで作る専用のものがあります。学習済みのものは幅広い分野のデータで鍛えたもので、すぐに使い始められます。専用のものは自社の評価データで学習させ、自社の業務で「良い答え」とは何かを反映した振り分けができるとされています。公式の文書は、業務に特有の品質が重要な本番の用途には、専用の振り分け役を勧めています。

2026年の動き：プロンプトの最適化と、コーディング向けへの重心移動

Not Diamond の公式ブログと公式の文書から、2026年の主な動きを並べます。

時期	内容
2026年1月20日	プロンプトの最適化の一般提供を開始。モデルごとに指示文を自動で書き直し、評価しながら最適な版を選ぶ。同日、SAP が Not Diamond と共同で開発した最適化の機能を自社のAI基盤で公開
2026年5月	公式の文書を改訂。振り分け役を、会話向けの学習済み、コード向けの学習済み、自社専用の三つに整理
2026年6月16日	振り分け役とAIゲートウェイの違いを解説する記事を公開。既存のゲートウェイと組み合わせて使う立場を明確にした
2026年8月4日	コーディングエージェント向けの Not Diamond Code を発表。Claude Code などと組み合わせ、作業の各段階でモデルと推論の深さを選ぶ

この並びから読み取れるのは、公式サイトの前面が、コーディングエージェントの費用削減に移っていることです。トップページの見出しも、コーディングエージェントのための振り分けを掲げています。8月の発表では、Claude Code を使った公開の評価で、Anthropic の最上位の設定に近い品質を保ったまま推論の費用を39〜61%下げたとしていますが、これはコードの課題での結果です。マーケの文章生成や問い合わせ対応のような用途は、会話向けの学習済みの振り分け役と、自社専用の振り分け役で扱う形になります。

社内の文章生成や問い合わせ対応のために入れるなら、この部分の提供と改善が今後も続くかを、契約前に確かめておく必要があります。製品の重心が移ること自体は珍しくありませんが、自社が使う部分が、提供元の主力から外れていないかは、長く使う道具を選ぶうえで大事な確認点です。

ゲートウェイとの違いは、「通す」か「選ぶ」か

AIの呼び出しを一か所に集めるゲートウェイと、振り分け役は混同されがちです。Not Diamond は2026年6月の解説で、ゲートウェイを、誰がどのモデルをどの方針と予算で使えるかを管理する通り道の管理、振り分け役を、どの問い合わせをどのモデルに任せるかを決める判断の層、と整理しています。そのうえで、多くの企業は統制やプライバシーが集まるゲートウェイを自社で持ちたがる一方、振り分けは毎月変わるモデルの状況に合わせて解き直す機械学習の問題なので、専門の事業者に任せる企業が多い、と述べています。

実際の組み合わせ方は、振り分け役が推薦を返し、その推薦に従ってゲートウェイがモデルを呼ぶ形です。公式の説明では、Portkey や TrueFoundry などの既存のゲートウェイと組み合わせられるとしています。つまり、Not Diamond を入れても、鍵の管理や利用の記録、予算の上限は、ゲートウェイや自社の側に残るということです。

ゲートウェイそのものの導入の考え方は別の記事で扱っているので、ここでは繰り返しません。振り分け役の検討で押さえておきたいのは、振り分け役は通り道を増やすのではなく、判断を一つ足すという点です。判断が増えれば、その判断が正しかったかを確かめる仕事も増えます。この記事の残りは、その確かめ方を中心に進めます。

選択肢は三つ：1つに固定、用途ごとに固定、問い合わせごとに振り分け

社内のAI活用で取りうる形は、大きく三つです。全社で一つのモデルに固定する。マーケの文章生成はこのモデル、問い合わせ対応はこのモデル、というように用途ごとに固定する。そして、Not Diamond のような振り分け役を使い、問い合わせごとに選ぶ。複数のモデルを使い分けること自体の一般論は別の記事にゆずり、ここでは振り分け役を入れる場合と入れない場合の違いに絞って比べます。

観点	1つに固定	用途ごとに固定	問い合わせごとに振り分け
費用	上位モデルに寄せると高止まりしやすい	用途ごとに見直せる	簡単な問い合わせを安いモデルへ回せる余地がある
出力のそろい方	最もそろう	用途の中ではそろう	同じ種類の質問でもモデルが変わり、言い回しや形式がぶれうる
品質の物差し	定期の点検で足りる	用途ごとに点検	自社専用にするなら評価データと点数の付け方が必須
データの渡り先	1社	用途の数だけ	候補に入れたモデルの提供者すべてと、振り分け役の提供元
確かめる手間	少ない	中程度	選ばれたモデルの記録と、モデルごとの品質の追跡が要る

表で分かるとおり、振り分けの利点は費用に集中し、引き換えに、出力のそろい方、データの渡り先、確かめる手間の三つで負担が増えます。振り分けで浮く費用が、増える確認の手間を上回る業務だけに使うのが判断の基本です。次の三つの節で、マーケの文章生成、問い合わせ対応、社内検索の順に当てはめていきます。

マーケの文章生成は、固定のほうが管理しやすい

記事の下書き、メールの文面、広告の見出しのようなマーケの文章生成では、品質の大部分が「自社らしい言い回しか」「事実が正しいか」で決まります。こうした基準は点数にしにくく、評価データを作るのに手間がかかります。そのうえ、モデルが変わると、同じ指示でも文体や構成の癖が変わるため、編集する側は、毎回どのモデルの癖かを見分けながら直すことになります。

Not Diamond 自身も、プロンプトの最適化の発表で、あるモデル向けに調整した指示は別のモデルにそのまま移らないことが多く、乗り換えには数週間の書き直しと試験が要りがちだ、と書いています。つまり、文章生成で振り分けをするなら、候補のモデルごとに指示を調整し、それぞれの出力が自社の基準を満たすかを確かめる手間がかかります。同社はこの手間を減らすために、モデルごとに指示文を書き直して評価するプロンプトの最適化を一般提供しています。公式の文書では、正解付きの例を最低25件（試作の設定なら3件）、1回あたり200件まで用意し、移行先のモデルを最大4つまで指定でき、処理は数分から25分ほどで終わるとしています。ただし、正解付きの例を用意し、書き直された指示文を誰が承認するかという仕事は、ここでも使う側に残ります。文章の量が月に数百本程度の部門では、浮く利用料より、この手間のほうが大きくなりがちです。

文章生成で振り分けが意味を持つのは、たとえば商品説明の短文を何千本も作るような、量が多く、型が決まり、合格の条件を書き出せる作業です。逆に、ブランドの言い回しが問われるものや、法務や広報の確認を通すものは、モデルを固定し、確認の手順を一定に保つほうが、事故が少なく管理も楽です。

問い合わせ対応は、振り分けが効きやすい業務

問い合わせ対応は、振り分けの利点が出やすい業務です。件数が多く、その中に「営業時間は」「請求書の再発行は」のような簡単な質問と、契約の条件や障害の切り分けのような難しい質問が混ざっているからです。簡単な質問にまで上位のモデルを使っているなら、安いモデルへ回すことで費用を下げる余地があります。

もう一つの理由は、合格の基準を書きやすいことです。正しい案内先を示したか、決められた回答の範囲を外れていないか、人への引き継ぎが要る質問を引き継いだか、といった基準は、過去の対応記録から点数にできます。Not Diamond の公式の文書には、品質重視、費用重視、応答の速さ重視の三つの方針の切り替えがあり、学習済みの振り分け役では、品質と費用の重みを0から10の段階で調整できると説明されています。ただし、この段階の調整は自社専用の振り分け役では使えないとされています。

問い合わせ対応では、間違った答えのコストが質問の種類によって大きく違います。返品の条件や料金のように、誤ると苦情や損失につながる質問は、振り分けの対象から外して、決まったモデルと決まった回答の範囲で扱うのが安全です。振り分けは、誤っても影響の小さい質問の層から始めます。

社内検索の答えは、振り分けより先に検索の質で決まる

社内の文書を検索して答えを作る仕組みでも、振り分けは使えます。しかし、ここで答えの質を決めるのは、多くの場合、モデルの選び方より、正しい文書を拾えたかどうかです。必要な規程が検索で拾えていなければ、どの上位のモデルを使っても正しい答えは返りません。逆に、正しい文書が拾えていれば、軽いモデルでも十分な答えを書けることがあります。

そのため、社内検索で費用を下げたいなら、順番は検索の精度を上げる、渡す文書の量を絞る、そのうえでモデルの選び方を見直すとなります。振り分け役を先に入れると、答えが悪かったときに、検索の問題なのかモデルの問題なのかを切り分けにくくなります。渡す文書の量を絞るだけで、モデルの利用料が大きく下がることもあります。

もう一つ気をつけたいのは、社内検索に流れるのが社外秘の文書の中身だという点です。振り分けの判断のためにメッセージを渡す設計では、拾った文書の一節も、振り分け役の提供元に届く可能性があるため、後で見るデータの渡り先の確認を、社内検索では特に丁寧に行います。

品質の物差しを誰が作るか

振り分けを入れるかどうかの最大の分かれ目は、品質の物差しを社内で作れるかどうかです。Not Diamond の自社専用の振り分け役は自社の評価データで学習しますが、その評価データの点数は使う側が付けます。公式の文書は、評価の方法や指標、道具は自由に選べるとしています。言い換えると、何を良い答えとするかは、まるごと使う側に委ねられているということです。

物差しを作るのは、業務の持ち主です。問い合わせ対応なら窓口の責任者、マーケの文章ならコンテンツの責任者が、合格の条件を言葉にします。情報システムやAI推進の担当は、それを点数の付け方に落とし込み、評価を回す仕組みを用意します。物差しを情報システムだけで作ると、費用は下がっても現場が納得しない答えが増えるという結果になりがちです。

点数を別のAIに付けさせる方法もあります。Not Diamond のプロンプトの最適化では、AIに採点させる方式を選べ、採点に使うモデルと採点の指示を指定できると説明されています。手間は減りますが、採点するAIの癖が物差しに混ざります。最初は人が付けた点数と突き合わせ、ずれが小さいことを確かめてから任せます。AIの採点を、そのまま合格の判断にしないという線を引いておきます。

評価データの用意：入力・答え・点数の三つをそろえる

公式の文書によると、自社専用の振り分け役を学習させるのに必要なのは三つです。実際の利用を代表する入力の一覧、候補のモデルそれぞれがその入力に返した答え、そしてその答えに付けた点数です。最低15件から学習でき、1回の学習で送れるのは5メガバイトまたは1万件までとされています。最低件数で学習はできても、業務の種類が偏った少ないデータでは、振り分けの判断も偏ります。

公式の学習の例は英語のデータで、学習の依頼でも言語に英語を指定しています。日本語の問い合わせでどこまで同じように振り分けられるかは、公開情報では確かめられませんでした。日本語の評価データで試し、固定の場合と比べてから決めることが、導入の前提になります。

• 評価データの入力と答えは、学習のために振り分け役の提供元へ送ることになる。社外秘や個人情報を含む入力は、伏せてから使う
• 業務の中身が変われば評価データも古くなる。公式の文書にも、データを追加して学び直す手順が用意されている

費用の基準：何と何を比べるか

Not Diamond の公式の料金ページでは、従量の料金として、振り分けた量100万トークンあたり0.05ドルを示しています。大企業向けには、量に応じた割引、組織全体の分析、SAML による SSO、プライバシーに配慮した配置などを用意するとしています。振り分け自体の料金は、モデルの利用料に比べれば小さいことが多いですが、比べるべきはそこではありません。

費用の比較は、モデルの利用料、振り分けの料金、評価データを作る人の手間、出力を確かめる人の手間の合計で行います。公式サイトは振り分けで費用を下げられると説明し、コーディングエージェント向けの発表では2割以上の削減をうたっていますが、これは提供元が示した条件での数字です。自社の業務で同じ削減が出るとは限りません。

基準を作るのは、利用料の予算を持つ部門と、業務の持ち主の二者です。たとえば「品質の点数が固定の場合から下がらない範囲で、費用を3割下げる」のように、品質の下限と費用の目標を、一つの文で書くと、振り分けの方針を品質重視にするか費用重視にするかが決めやすくなります。品質の下限を書かずに費用だけを目標にすると、振り分けは安いモデルへ寄り続けます。

振り分けで出力がぶれるときの検証

振り分けを入れると、同じ種類の質問でも、日によって違うモデルが答えるようになります。その結果、答えの長さ、敬語の使い方、表の有無といった形式がぶれ、利用者から「前と答え方が違う」という声が出ることがあります。これは振り分けの失敗ではなく、仕組みの性質です。問題は、形式のぶれと、中身の誤りを見分けられるかです。

検証の材料になるのが、推薦ごとに返る識別の番号です。どの問い合わせにどのモデルが選ばれたかを記録しておけば、苦情や誤りが出たとき、特定のモデルに偏っているかを調べられます。週に一度、選ばれたモデルの割合と、モデルごとの品質の点数を並べて見る習慣をつけます。割合が急に変わったときは、モデル側の更新や、問い合わせの中身の変化を疑います。

形式のぶれは、出力の形を決まった型に整える処理を後ろに置くことで、かなり抑えられます。中身の誤りは、試験用に取り分けた評価データを月に一度流し、固定の場合と比べて点数が下がっていないかで確かめます。点数が下がったときに備え、振り分けを止めて固定に戻せる切り替えを、最初から用意しておくことが、ぶれに振り回されないための条件です。

データがどのモデル提供者に渡るか

振り分けを入れると、データの流れは二段になります。会話向けの振り分けでは、どのモデルを使うかを決めるために、メッセージを Not Diamond に渡して推薦を受けます。そのあと、推薦されたモデルの提供者にメッセージを送って答えを得ます。つまり、問い合わせの中身は、振り分け役の提供元と、選ばれたモデルの提供者の両方に渡ることになります。Not Diamond は SOC2 と ISO 27001 への準拠を公表しています。

コーディング向けの Not Diamond Code は、作業の中身ではなく、そこから取り出した匿名の付随情報だけを提供元に送り、実際の呼び出しは利用者の端末から既存のゲートウェイや提供者へ直接行う、と説明しています。同じ会社の製品でも、使う部分によってデータの流れが違うということです。マーケや問い合わせ対応で使う会話向けの振り分けで、どこまでのデータが渡るのか、保存されるのか、学習に使われるのかは、契約前に書面で確かめます。

もう一つ管理が要るのは、候補のモデルの一覧です。振り分けの候補に入れたモデルの提供者は、すべてデータの渡り先になりえます。安いからという理由で候補を足すと、規程で認めていない提供者にデータが流れることがあります。候補の一覧は、データの持ち出しを認めた提供者の一覧と同じ人が管理すると決めておきます。

AIに判断させない線：振り分けは答えの正しさを保証しない

振り分け役が予測するのは、どのモデルなら点数が高くなりそうか、です。その答えが正しいか、自社の方針に合っているかまでは保証しません。上位のモデルが選ばれたからといって答えが正しいとは限らず、安いモデルが選ばれたから間違っているとも限りません。選ばれたモデルの格を、答えの信頼の根拠にしないことが基本です。

人が確認する範囲は、モデルの選び方とは別に、業務の側で先に決めます。料金や契約の条件、個人の情報、社外に公開する文章は、どのモデルが答えても人が確認する。社内向けの要約や下書きは、抜き取りの点検にとどめる。この線は、振り分けを入れる前と後で変えません。振り分けで変わるのは費用と答えの形であって、確認の責任ではないからです。

AIに根拠を書かせることも有効です。問い合わせ対応なら、答えのもとにした規程や記事の場所を必ず示させる。根拠が示せない答えは、人に引き継ぐ。こうしておけば、どのモデルが選ばれても、確認する人が見るべき点は変わりません。確認の手順を、選ばれたモデルに依存させないことで、振り分けの導入が現場の負担を増やさずに済みます。

やってしまいがちな入れ方

振り分けを入れてうまくいかない例には、共通の型があります。

• 品質の下限を決めず、費用重視の方針のまま本番に入れる
• 評価データを作らず、学習済みの振り分け役の判断をそのまま信じる
• 候補のモデルを、規程で認めていない提供者まで広げる
• 選ばれたモデルの記録を残さず、苦情が出てから原因を追えない
• 文章生成で、モデルごとの指示の調整をしないまま振り分ける
• 固定に戻す切り替えを用意していない

どれも、振り分けの判断を道具に任せきりにしたことから起きます。とくに多いのは、最初の試験で費用が下がったことに満足し、品質の点検をやめてしまう例です。モデルは頻繁に更新され、振り分けの前提も変わります。試験で得た結果は、その時点のモデルの組み合わせでの結果にすぎないと考え、点検を続けます。

反対に、うまくいく例は範囲を狭く始めています。問い合わせ対応の中の、誤っても影響の小さい質問の層だけで振り分けを試し、固定の場合と並べて一か月比べる。費用と品質の両方の数字がそろったら、対象を一段広げる。広げるたびに、評価データにその層の質問を足していきます。

導入前に確かめる項目

最後に、Not Diamond のモデル振り分けを社内に入れる前に確かめる項目を、チェックリストにまとめます。情報システム、AI推進、業務の持ち主が同じ場で確認し、答えられない項目が残る間は本番に進めません。

• 振り分けを使う業務と、使わない業務を分けて書いたか
• 業務ごとの合格の条件と品質の下限を、業務の持ち主が書いたか
• 評価データの入力・答え・点数をそろえ、試験用に一部を取り分けたか
• 日本語の評価データで、固定の場合と比べたか
• 候補のモデルの一覧が、データの持ち出しを認めた提供者の一覧と一致しているか
• 振り分けのためにどのデータが Not Diamond に渡り、保存や学習に使われるかを書面で確かめたか
• 選ばれたモデルの記録を残し、週に一度見る担当を決めたか
• 固定に戻す切り替えと、その判断をする人を決めたか
• 会話向けの振り分けの提供が今後も続くか、提供元に確かめたか

このうち、最後の項目は見落とされがちです。公式サイトの重心がコーディング向けに移っている今、自社が使う部分の位置づけを確かめることは、導入の判断そのものにかかわります。

まとめ

Not Diamond は、入力ごとにどのモデルに聞くかを予測し、推薦を返す振り分け役です。振り分けで費用を下げられる余地はありますが、得をするかどうかは、品質の物差しと評価データを社内で用意できるか、出力のぶれを検証できるか、データの渡り先を管理できるかで決まります。マーケの文章生成は固定、問い合わせ対応は簡単な質問の層から振り分けを試し、社内検索は検索の質を先に上げる。物差しは業務の持ち主が作り、候補のモデルはデータの持ち出しを認めた提供者に限る。振り分けの判断は道具に任せても、答えを確かめる責任は人に残す、という線を守れば、振り分けは費用を見直す手段として無理なく使えます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。