アンサンブルで答えのぶれを抑える｜複数のAIに同じ問いを

「同じ質問を3回投げたら、3回とも違う答えが返ってきました。どれを採ればいいのか決められません」「3つのAIに同じことを聞いて、答えが一致したのでそのまま採用しました」——生成AIを業務に入れた会社から届く声のうち、この2つは同じ紙の裏表です。前者は答えのぶれに困り、後者はぶれが消えたことを採用の根拠にしている。ただし、答えが揃ったことは、その答えが正しいことの証明にはなりません。本当は、複数に投げるのは正しさを保証するためではなく、ぶれの大きさを測り、危ないところを見つけるための段取りです。この記事では、機械学習の側で長く使われてきた合議のやり方と、生成AIを複数走らせる運用を分けたうえで、効く場面と効かない場面を対にして整理します。

同じ問いを3回投げると答えが変わる。これは不具合ではない

最初に、現象の側を押さえておきます。生成AIが同じ問いに違う答えを返すのは、壊れているからでも設定が悪いからでもありません。次に来る言葉を確率的に選びながら文章を作る仕組みで動いているため、実行のたびに通る道筋が変わりうるからです。振れ幅を調整する設定があり、これを上げると多様な答えが出やすくなり、下げると同じ答えに寄りやすくなります。

業務で困るのは、この振れ幅の意味が仕事によって変わる点です。案内文の言い回しが毎回違っても、実務上は問題になりません。ところが、問い合わせを種類ごとに分ける、金額を抜き出す、送ってよいかを判断する、といった仕事では、答えが変われば後工程がまるごと変わります。ぶれてよい仕事と、ぶれてはいけない仕事を先に仕分けるのが出発点になります。

そして、ぶれてはいけない仕事だと分かったら、次にやることはぶれを消すことではありません。ぶれの大きさを測ることです。同じ問いを5回ずつ、30件ほどの実例で投げて、答えが何通りに割れるかを数える。ぶれの大きさを知らないまま対策を選ぶと、要らない仕組みに費用を払うことになります。3割の実例で割れるのか、1件も割れないのかで、打つべき手はまったく違います。

アンサンブルとは、ひとつの答えを1回の実行に頼らないこと

アンサンブルは、複数の予測や答えを組み合わせて、単独より良い結果を得ようとする考え方の総称です。語源は音楽の用語で、複数のものが集まって一つになる、という意味だと説明されています。機械学習の文脈では、単独ではそれほど精度が高くない仕組みを複数束ねて、全体として精度を上げる手法群を指します。

呼び名や手法はいくつもありますが、骨格はどれも同じ3つの部品でできています。1つ目は、複数の答えを作ること。2つ目は、その複数を1つにまとめること。3つ目は、まとめきれなかったものを別扱いにすること。解説記事で詳しく書かれるのは1つ目と2つ目ですが、実務で効き目を左右するのは3つ目です。

3つ目を用意しないと、答えが割れたときに無理やり多数決で1つを選び、割れたという事実そのものが消えます。割れたのは、その問いが難しいか、材料が足りないか、問いの書き方があいまいだったかのどれかです。割れたことは失敗ではなく、いちばん価値のある情報だと考えると、この仕組みの設計は自然に決まります。

機械学習の側の合議は、学習の段階で束ねる

まず機械学習の側から見ます。ここでのアンサンブルは、単独では高い精度を持たない仕組み、いわゆる弱学習器を複数組み合わせて、全体の予測性能を上げる手法群を指します。弱学習器の代表例として挙げられるのは決定木で、簡単に作れるが精度はそこまで高くない、という位置づけのものです。

なぜ束ねると良くなるのかを理解するには、外し方に2種類あることを押さえる必要があります。1つは、同じ狙いで作っても結果が揺れてしまう性質。もう1つは、そもそも狙いそのものから外れている性質です。前者はばらつき、後者はかたよりと呼ばれ、解説記事では推定値のばらつきと、推定値と実測値の差という言い方で説明されています。

この2つは減らし方が違います。ばらつきは、独立に作ったものを何本も並べて平均を取ると小さくなる。かたよりは、外した分に注目して次を作る、という順番の作業で詰めていく。手法が3つに分かれているのは、この2つの外し方のどちらを狙うかが違うからです。名前を覚えるより、この分岐を覚えるほうが実務では役に立ちます。

3つのやり方は、外し方のどちらを狙うかで分かれる

代表的な3つを並べます。名前はよく出てくるものですが、社内で議論するときに必要なのは、並列に束ねるのか、順番に積むのか、上にもう一段乗せるのか、という形の違いです。

やり方	作り方	まとめ方	主に減らせる外し方	気をつけること
バギング	材料を選び直しながら、同じ形の学習を並行して何本も作る	分類は多数決、数値の予測は平均	ばらつき	1本ずつの精度が低すぎると、束ねても伸びない
ブースティング	前の段が外した分に重みを付けて、次の段を順番に作る	段ごとの結果を重みを付けて足す	かたより	学習に使った材料へ寄りすぎることがある
スタッキング	種類の違う学習を複数作り、その予測値を材料にしてもう一段学習させる	上の段の学習が決める	組み合わせ方による	計算量が増え、途中の説明が難しくなる

補足を2つ。バギングという呼び名は、材料を選び直して束ねるという英語の言い回しを縮めたもので、決定木とこのやり方を組み合わせたものがランダムフォレストとして知られています。スタッキングは、交差検証で作った予測値を新しい材料として使う、という手順が紹介されており、3つのなかでは最も手間がかかる形です。

3つに共通する弱点も1つ押さえておきます。束ねるほど、なぜその答えになったのかの説明が難しくなる点です。解説記事でも、複数の仕組みを統合することによる説明のしやすさの低下が、計算の費用の増加や過学習の危険と並ぶ欠点として挙げられています。金融での株価や為替の予測、医療での疾患の予測といった活用例が紹介される一方で、社内や顧客に理由を説明する必要がある業務では、精度がわずかに落ちても単独の仕組みを選ぶ判断があり得ます。

BtoBの実務で自社が直接この3つを作る場面は多くありません。ただ、外部に分析を委託したり、分類の仕組みを導入したりするときに、提案書にこれらの名前が出てきます。そのときにどの外し方を減らす狙いで選んだのかを聞けると、提案の中身が精度の数字だけでない形で見えるようになります。

なぜ複数だと当たりやすくなるのか。条件は外し方が違うこと

複数を束ねると当たりやすくなる、という説明は直感的に受け入れやすいのですが、成り立つ条件があります。分かりやすい喩えで言えば、5人に別々に見積もらせて平均を取ると、1人の見積もりより実際に近づくことが多い。ただしそれは、5人がそれぞれ違う見方をしている場合の話です。5人が同じ資料しか見ていなければ、5人そろって同じ方向に外します。

この条件が、アンサンブルの効き目を決める中心にあります。ある解説では、相関の高いモデルを単に並べても効果は薄く、異なるアプローチを持つ手法の組み合わせが効果的だと明記されています。決定木の系統と深層学習の系統のように、作りの違うものを混ぜる例が挙げられていました。

ここから実務の指針が1つ出ます。数を増やすことより、外し方をばらけさせることのほうが効く。3つに増やすか5つに増やすかで悩む前に、いま並べようとしている3つが、同じ提供元の同じ系統ではないかを確かめる。同じ系統を5つ並べるくらいなら、作りの違う2つを並べるほうが結果は良くなります。

生成AIの側の運用は、使うときに複数回投げる

次に生成AIの側です。ここで語られるアンサンブルは、学習の段階の話ではありません。すでに出来上がっている仕組みに対して、使うときに同じ問いを複数回投げる、あるいは複数の異なる仕組みに投げて、返ってきた答えを突き合わせる運用を指します。学習の中身には手を触れず、使い方だけで揺れを扱うのが特徴です。

代表的なものとして紹介されているのが、自己整合性と呼ばれるやり方です。同じ問いに対して複数の異なる推論の道筋をたどらせて答えの候補を作り、最も一貫している、あるいは多数派の結論を選ぶ。振れ幅の設定を高めにして多様性を出し、多数決で最終の答えを決める、という手順です。2022年に提案されたとされ、同じ問いを5回から20回といった回数で投げる例が紹介されています。

有効だとされている場面には共通点があります。数学的な推論、コードの生成、論理のパズル、検索と組み合わせた仕組み、医療や法務の領域。いずれも、答えが1つに定まっていて、そこに至る道筋が複数ありうる仕事です。逆に言えば、答えが1つに定まらない仕事では、多数決という集め方そのものが成立しません。

この2つを混ぜて説明すると、投資の判断を間違える

学習の段階の合議と、使うときの多数決を分けて書いてきたのには理由があります。費用のかかり方が正反対だからです。学習の段階で束ねる形は、作るときに計算の費用と時間がかかり、出来上がったあとは1回分の費用で使えます。使うときに複数回投げる形は、作るときの費用はかかりませんが、使うたびに回数分の費用がかかります。

この違いは、そのまま導入の判断を変えます。月に100万件を処理する業務で、1件あたりの費用が3倍になる形は現実的ではありません。一方、月に200件しか動かない業務なら、3倍になっても金額としては小さく、確認の手間が減るほうが効きます。処理する件数を先に置かないと、同じ手法が正解にも不正解にもなります。

• アンサンブル学習：学習の段階で複数の仕組みを束ね、1つの予測器として仕上げる考え方の総称
• 弱学習器：単独では精度がそれほど高くない、簡単に作れる仕組み。決定木などが代表例
• ばらつき：同じ狙いで作っても結果が揺れる性質。独立に作ったものを並列に束ねると抑えられる
• かたより：狙いそのものから外れている性質。外した分に重みを付けて順番に積むと詰められる
• 多数決：複数の答えのうち最も多く出たものを採る集め方。答えが1つに定まる仕事でのみ成立する

社内の会話でずれが起きやすいのもここです。同じアンサンブルという言葉でも、分析の担当者は学習の話をしていて、業務の担当者は使うときの話をしている、ということが普通に起きます。学習のときの話ですか、使うときの話ですか、と一言確かめるだけで、噛み合わない会議がひとつ減ります。

集め方は3つある。多数決だけではない

複数の答えを1つにまとめる方法は、多数決だけではありません。実務では3つの選択肢があり、どれを選ぶかで必要な準備も、人が関わる量も変わります。仕事の性質に合わないものを選ぶと、仕組みは動いているのに現場が使わない、という状態になります。

集め方	やること	向いている仕事	落とし穴
多数決	同じ問いを複数回投げ、最も多く出た答えを採る	種類分け、可否の判断、金額や日付の抜き出し	答えが1つに定まらない仕事では成立しない
重みを付けて集める	相手ごとに信頼の重みを決めて足し合わせる	過去の当たり外れの記録が残っている仕事	重みの根拠が古いまま更新されず、実態と離れる
突き合わせて差分だけ人が見る	答えを並べ、一致した部分は通し、割れた部分だけ人へ回す	文章の作成、要約、方針の案出し、資料の点検	割れる件数が多いと、人の確認が回らなくなる

実務でいちばん出番が多いのは3つ目です。理由は、答えが1つに定まらない仕事のほうが業務には多く、そこでは多数決が使えないからです。3つ目の形にすると、複数投げの目的が変わります。正しい答えを選ぶための仕組みではなく、危ないところを見つけて人の目に乗せるための仕組みになります。

目的が変わると、成果の測り方も変わります。多数決なら当たった割合を見ますが、差分を人が見る形では、割れた件のうち何件が実際に直す価値のあるものだったかを見ます。この割合が低いなら、ばらけさせすぎているか、そもそもぶれの少ない仕事に持ち込んでいます。

効く場面は、ぶれが大きく、外れの代償が大きい仕事

複数投げが効くのは、2つの条件が同時に成り立つときだけです。1つ目は、答えのぶれが実際に大きいこと。2つ目は、外れたときの代償が大きいこと。ぶれが小さい仕事に持ち込むと、同じ答えが3つ並ぶだけで費用が3倍になります。ぶれが大きくても代償が小さいなら、人が後から直せば済みます。

マーケの領域での具体例を1つ。問い合わせの本文から、興味を持たれている商材の種類、急ぎの度合い、決裁の段階の3点を抜き出す仕事です。文面の書き方に癖があるため、同じ内容でも書き方が違うと抜き出す結果が変わります。そして取り違えると初動の担当と速度が変わるので、代償も小さくない。2つの条件がそろっている典型です。

情報システムの領域でも1つ。外部から届いた注意喚起の文書が、自社が使っている仕組みに関係するかどうかの一次仕分けです。文書の書き方が発信元ごとに違うのでぶれが出やすく、関係ありを見逃すと事故につながります。この仕事では、多数決ではなく、1つでも関係ありと答えたら人へ回す、という集め方が向きます。

効かない場面は3つ。費用と、揃って外すことと、答えが定まらないこと

効かない場面も対で書きます。1つ目は費用です。使うときの多数決は、投げた回数だけ費用と時間が増えます。ある解説でも、複数の推論の道筋を作るために消費する量と呼び出しの回数が増え、計算の資源と費用が増える傾向があると指摘されており、だからこそ重要な問いに絞って使うのが一般的だと説明されています。

2つ目は、同じ癖の相手を並べたときです。作りの似た仕組みを3つ並べても、外し方まで似ているので、揃った答えがそのまま揃った間違いになります。ここが最も危ないのは、揃ったという事実が確認を省く理由に使われるからです。揃ったことを根拠に確認を省く運用にすると、間違いが確認なしで通る道ができます。

3つ目は、答えが1つに定まらない仕事です。案内文の良し悪し、施策の方針、資料の構成。これらは正解が1つではないので、多数決の対象になりません。この種の仕事に複数投げを入れるなら、集め方は必ず3つ目の形、つまり並べて違いを見せ、選ぶのは人にします。まとめさせた時点で、複数投げの価値は消えます。

「揃ったから正しい」ではない。ここを運用の決めごとにする

この記事でいちばん伝えたい一点です。複数の答えが揃うのは、その答えが正しいからか、並べた相手が同じ癖を持っているからか、そのどちらかです。そして、手元に返ってきた答えを眺めているだけでは、この2つは区別できません。区別できないものを根拠にして確認を省くと、静かに事故が積み上がります。

区別する方法はあります。答え合わせのできる問いを何十件か用意して、揃ったときの当たり具合と、割れたときの当たり具合を分けて数えることです。揃ったときの当たり具合が、1回だけ投げたときと大差ないなら、その組み合わせは効いていません。揃ったときにどれだけ当たるかを測ってから、揃ったら通すという運用を始める。順番を逆にしないことです。

測らずに始めた場合に残るのは、確認の工程を減らした仕組みだけです。以前は人が全件見ていたところを、揃った分は素通りさせるようにした。外れが素通りする速度を上げただけという結果になりかねません。測る作業は数十件で足りるので、始める前に必ず通します。

揃い方をばらけさせるために動かせる4つの軸

効き目は外し方の違いで決まる、と書きました。では実務で何を動かせばばらけるのか。費用のかからない順に4つあります。どれか1つではなく、2つを組み合わせると効きが安定します。

• 作りの違う仕組みを混ぜる。同じ提供元の同じ系統だけを並べても、外し方は似たままになる
• 問いの書き方を変える。同じ内容を、順番と語彙を変えた2通りで投げる
• 渡す材料を変える。全文を渡す形と、要点だけを渡す形を並べる
• 答えさせ方を変える。理由を先に書かせる形と、結論だけを短く出させる形を並べる

4つのうち、費用がかからない割に効くのは2つ目と4つ目です。同じ仕組みでも、聞き方と答えさせ方を変えると通る道筋が変わるので、外し方がばらけます。複数の提供元と契約する前に、まず問いの書き方を2通り用意して試すほうが、投じる金額に対する効果は大きくなります。

注意も1つ。ばらけさせすぎると、割れる件数が増えて人の確認が回らなくなります。ばらけさせる度合いは、精度の理屈からではなく、人が1日に何件まで割れた件を見られるかから逆算して決めるのが実務的です。回らない仕組みは、2週間で誰も見なくなります。

費用と時間は、始める前に倍率と時間で置く

見積もりの形はごく単純です。1件あたりの処理の費用と時間に、投げる回数を掛ける。3回投げるなら3倍です。ここに、答えを突き合わせる処理と、割れた件を人が見る時間が乗ります。多くの検討で抜け落ちるのが、最後の1つです。

数字を置いてみます。月に1,000件を処理する業務で、割れる割合が2割、1件の確認に10分かかるとします。割れるのは月200件なので、確認だけで2,000分、およそ33時間が新しく発生します。費用の主役は呼び出しの回数ではなく、割れた件を見る人の時間になることが多い。この時間を誰の予定に入れるかを決めていない導入は、初月で止まります。

だから導入の判断は、精度が上がるかどうかでは行いません。増えた確認時間に見合うだけの損失を防げるかで行います。1件の外れが数千円の損で済む業務に、月33時間の確認を積むのは割に合いません。逆に、1件の外れが数十万円になる業務なら、確認時間は安く見えます。判断の材料は、精度ではなく金額です。

実務仕様：どの仕事にいくつ投げ、割れた件を誰が見るか

ここまでを、そのまま実行できる4工程にまとめます。順番には意味があり、入れ替えると測る前に仕組みを作ることになります。

工程1を飛ばす例が最も多く、そして最も損をします。ぶれていない仕事に複数投げを入れると、同じ答えが並ぶだけで費用が回数分に増えます。測る作業は半日で終わるので、飛ばす理由がありません。測った結果、複数投げが不要だと分かるのも、立派な成果です。

工程4が実質的な本体です。割れた件を置く場所と、見る人と、期限がないと、割れた事実は記録されずに消えます。消えると、どの種類の問いで割れやすいのかも分からないままになり、問いの書き方を直す機会も失われます。割れた件の一覧は、次に直すべき場所を教えてくれる材料でもあります。

BtoBの法人商材で、教科書と変わるところ

一般的な解説は、大量に処理する前提で費用を心配して書かれていることが多く、法人向けの業務にそのまま当てはめると加減が変わります。1つ目は件数です。月に数百件しか動かない業務では、回数を3倍にしても総額は小さく収まります。件数が少ない領域では、費用を理由に諦める必要はありません。制約になるのは、人の確認時間のほうです。

2つ目は、答え合わせが遅いことです。商談になったか、受注に至ったかが分かるのは数か月後なので、揃ったときの当たり具合を測るのに時間がかかります。対処は単純で、答え合わせがすぐできる小さな問いから測り始めます。会社名の表記の統一、業種の分類、決裁の段階の判定など、人が見れば数分で正誤の付くものです。

3つ目は、判断の材料が複数の資料に散っていることです。1社について、問い合わせの文面、過去の商談の記録、公開されている情報が別々にある。ここで、渡す材料を変える軸が効きます。全文を渡した場合と要点だけを渡した場合で答えが変われば、その差自体が、どの資料が判断を左右しているかを教えてくれます。材料の抜けを見つける使い方です。

失敗の型と、使うのをやめる条件

実際に起きる失敗を並べます。どれも、複数に投げているという事実そのものが安心材料になってしまうところから始まります。手間をかけた分だけ結果を信じたくなる、という向きが働くためです。

• 数を増やせば当たると考える。外し方が同じ相手を並べても、揃って外れるだけで何も改善しない
• 揃った答えを確認なしで通す。揃ったときの当たり具合を測る前に、確認を省く運用を始めない
• 割れた件の行き先を決めない。決めないと割れた事実が消え、どれか1つが自動で採られる
• 答えが1つに定まらない仕事に多数決を持ち込む。案内文の良し悪しは多数決の対象にならない
• 学習の段階の話と使うときの話を混ぜて費用を見積もる。かかり方が正反対なので額が合わない
• ぶれを測らずに始める。ぶれていない仕事に入れると、費用だけが回数分に増える

使うのをやめる条件も先に書いておきます。1つ目は、測った結果、揃ったときと1回だけ投げたときで当たり具合が変わらなかったとき。この場合、並べた相手の外し方が似ているので、まず組み合わせを変えます。それでも変わらないなら、その仕事に複数投げは効きません。

2つ目は、割れた件を見る人を確保できないとき。3つ目は、1件の外れによる損が、確認1件にかかる費用より小さいときです。外れの損より確認の費用が高い仕事では、外れたまま進めて後で直すほうが安く済みます。この計算を避けて精度の話だけを続けると、費用が積み上がったまま止められなくなります。

まとめ

同じ問いに違う答えが返ってくるのは不具合ではなく、確率的に言葉を選ぶ仕組みの性質でした。だから最初の作業は、ぶれを消すことではなく、ぶれの大きさを測ることです。そのうえで複数に投げるかどうかを決めます。アンサンブルという言葉は、学習の段階で複数を束ねる合議と、使うときに同じ問いを複数回投げる運用の両方に使われますが、この2つは費用のかかり方が正反対なので、混ぜたまま議論すると投資の判断を間違えます。

効き目を決めるのは数ではなく、外し方が互いに違うことでした。相関の高いものを並べても効果が薄いという指摘は、実務では、同じ提供元の同じ系統を並べても意味がない、という形で現れます。動かせるのは、仕組みの作り、問いの書き方、渡す材料、答えさせ方の4つ。このうち問いの書き方と答えさせ方は費用がかからないので、契約を増やす前にここから試します。

そして着地は1点だけです。揃ったから正しい、ではありません。揃ったときの当たり具合を数十件で測り、測ってから揃ったら通す運用を始める。割れた件は消さずに、誰がいつまでに見るかを決めて残す。複数に投げる目的は、正しい答えを自動で選ぶことではなく、危ないところを人の目に乗せることです。この置き方にしておけば、費用が増えた分は確認の質という形で返ってきます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。