Label StudioでAIを採点する方法|業務の担当者が評価する

「社内のAIの回答を、結局は開発の担当者が数十件ずつ目で見て『良さそう』と言っているだけになっている」「業務の担当者に採点を頼みたいが、表計算に回答を貼って配るやり方は三回目で誰も返してくれなくなった」——生成AIを業務に入れた会社の、運用の段階でよく出てくる声です。Label Studio は、米国の HumanSignal が提供するデータへの印付けと評価の基盤で、オープンソースの Community 版と商用の Enterprise 版があります。2026年には、エージェントの出力を人が評価するための仕組みや、評価の画面をコーディング用のAIに作らせる機能を相次いで発表しました。人の評価が続かない原因は、採点者のやる気ではなく、採点の場と基準と時間の取り決めがないことです。この記事では、公式ブログ・料金ページ・公式のリリース記録で確かめられる範囲で、Label Studio を使って業務の担当者がAIを採点する仕組みを社内に立てる方法と、AIの採点との分担、版の選び方、定着のさせ方を整理します。
カメ先生AIの評価は、自動の採点に任せれば人はいらないと思われがちなんだ。でも本当は、自動の採点が正しいかどうかを決めるのも人で、その人は業務を一番知っている担当者なんだよ。
カメ子開発の担当者が見るのでは足りない、ということですか。
カメ先生開発の担当者は、回答の形が崩れていないかは分かる。でも、その回答が業務として正しいか、顧客に出してよいかは、業務の担当者でないと判断できない。だから業務の担当者が無理なく採点できる場を用意するのが要になるんだ。
カメ子採点の場の作り方が、評価の質を決めるんですね。
- Label Studio は HumanSignal のオープンソースの印付け基盤。2026年1月にエージェントの途中の工程まで人が評価できる仕組みを、6月に評価画面をコーディング用のAIで作る Interfaces(Enterprise のベータ)を発表した
- 採点者は業務の担当者。AIの採点は件数をさばく役、人の採点はAIの採点を較正し、境界の判断をする役に分ける
- 権限・監査の記録・SSO・AIによる採点は主に Enterprise 版の機能。データの置き場所と版の境目を先に決め、週次の小さな採点会で定着させる
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
Label Studio とは:オープンソースの印付け基盤と、商用の Enterprise 版
Label Studio は、文章・画像・音声・動画などのデータに人が印を付けるための基盤として広く使われてきたオープンソースのソフトウェアです。提供元の HumanSignal は、無償で自社の環境に入れられる Community 版のほかに、小規模なチーム向けのクラウド版と、大企業向けの Enterprise 版を用意しています。公式のリリース記録では、2026年3月に 1.23.0、9月に安全面を強化した 1.23.1 と 1.23.2 が出ており、開発は続いています。
もともとは機械学習の教師データを作る道具でしたが、生成AIの普及に合わせて、AIの出力を人が評価する道具としての使い方に軸足を広げています。社内の生成AIの回答、要約、エージェントの作業記録を取り込み、業務の担当者が決まった観点で採点し、その結果を集計する、という流れを一つの場所で回せるのが特徴です。
教師データの印付けの体制や、一致率の測り方、評価データに求められる条件といった一般論は、別の記事で扱っています。ここでは、すでにAIを業務に入れた会社が、人の評価を運用として続けるための仕組みとして Label Studio を社内に立てるかどうかに絞って考えます。
2025年から2026年の動き:買収、評価の仕組み、Interfaces
HumanSignal は 2025年11月5日、Erud AI を買収して多様な形式のデータを扱う作業の提供を始めると発表しました。Label Studio の基盤と品質管理の流れに、実際の作業を担う人手を組み合わせる狙いです。HumanSignal は買う側であり、Label Studio そのものが他社に買われたという報道は確認できません。
2026年1月14日には、エージェントや多様な形式のAIを評価するための新しい仕組みを発表しました。公式ブログによれば、エージェントの実行を道具の呼び出し、途中の判断を含めて一歩ずつ表示し、採点者は最終結果だけでなく途中の特定の工程に評価を付けられます。評価する工程に応じて印や基準を変えられる、とも説明されています。何をしたかだけでなく、どうやったかを評価するという打ち出しです。
さらに6月10日には、印付けや評価の画面をコーディング用のAIに作らせる Interfaces を、Enterprise 版のベータとして発表しました。組み込みの専用エージェントに必要な画面を説明して作らせるか、Claude Code・Codex・Cursor などの手元のAIで作って取り込む形です。評価の画面づくりの手間は下がったが、画面が正しいかを確かめる手間は残る点は、後の章で触れます。
なぜ人の採点を社内に立てるのか:AIの採点だけでは決まらないこと
評価をすべてAIの採点に任せられれば、人の手はかかりません。実際、Label Studio の料金ページでも、Enterprise 版の機能として、指示文を設定してモデルの出力をAIに評価させる仕組みが挙げられています。しかし、AIの採点は「何を正しいとするか」の基準を持っているわけではなく、人が書いた基準を当てはめているだけです。
業務の正しさは、文章の上手さとは別のところにあります。社内規程に照らして答えてはいけない内容に触れていないか、顧客との約束に読める言い回しになっていないか、現場の例外処理を踏まえているか。こうした判断は、業務の担当者が実物を見て初めて下せるもので、AIの採点はその判断を真似ることはできても、新しい基準を作ることはできません。
もう一つの理由は説明責任です。AIの出力に問題があったとき、「AIの採点で合格だった」では社内も顧客も納得しません。誰が、どの基準で、いつ確認したかが残っていることが、AIを業務に使い続ける条件になります。人の採点の記録は、その証拠として残すものです。
採点者を誰にするか:業務の担当者の時間を先に確保する
採点者は、そのAIの出力を受け取る業務の担当者から選びます。問い合わせ対応のAIなら現場のサポート担当、契約書の要約なら法務、提案書の下書きなら営業企画です。開発の担当者や外部の作業者は、形式の崩れは見られても、業務の正しさは判定できません。
問題は、業務の担当者ほど忙しいことです。採点を「手が空いたときにお願い」にすると、必ず止まります。週に何時間、誰が採点するかを、上長の了承を取って業務の予定に入れるところから始めます。最初は一人あたり週30分から1時間、一回に20件程度を目安にすると、続けやすい量に収まります。
採点者は二人以上にします。一人だけだと、その人の癖が基準になってしまいます。Enterprise 版では、特定の確認者を割り当てる、意見が割れた件を自動で別の人に回す、採点者ごとの傾向を見る、といった機能が料金ページに挙がっています。意見が割れた件こそ、基準を直す材料になるので、割れた件を集めて話し合う時間も予定に含めておきます。
AIの採点と人の採点の分担
人だけで全件を採点するのは現実的ではありません。現実的なのは、AIの採点で件数をさばき、人はAIの採点が信用できるかを確かめる役と、AIが迷う境界の件を判断する役に回る分担です。
| 役割 | AIの採点 | 人の採点 |
|---|---|---|
| 件数 | 全件、または大きな抜き取り | 毎週20〜50件程度の抜き取り |
| 見るもの | 形式、明らかな誤り、禁止表現の有無 | 業務としての正しさ、顧客に出してよいか |
| 基準 | 人が書いた基準を当てはめる | 基準そのものを決め、直す |
| 食い違ったとき | 判定を保留し、人に回す | どちらが正しいかを決め、基準に反映する |
| 記録に残すもの | 判定と、根拠にした箇所 | 判定、理由、基準のどこを変えたか |
要になるのは、AIの採点に判定の根拠となる箇所を書かせ、人はそれを見て同意か不同意かを付ける運用です。人とAIの判定が一致する割合を毎週見て、下がってきたら基準かAIへの指示を直します。一致率の一般的な考え方は別の記事に譲りますが、少なくとも「AIの採点に合格しても、人が見る抜き取りはゼロにしない」ことだけは最初に決めておきます。
版による違いにも触れておきます。料金ページでは、指示文を設定してAIに出力を評価させる機能や、AIによる下書きの印付けは Enterprise 版の機能として挙げられ、外部の機械学習の仕組みとの接続はどの版でも使えるとされています。Community 版でAIの採点を使うなら、採点役のAIを自社で用意して接続することになり、その分の開発と保守がかかります。どちらの場合も、AIの採点に使う指示文は採点の基準と同じ場所で管理し、基準を直したら指示文も直す、という対応関係を崩さないようにします。
採点画面の作り方:標準の設定と Interfaces
Label Studio では、採点の画面をあらかじめ用意された部品を組み合わせて作るのが従来の方法でした。質問と回答を並べて表示し、その下に観点ごとの選択肢と自由記述の欄を置く、という程度の画面なら、この方法で十分に作れます。
Enterprise 版の Interfaces は、もっと複雑な画面が必要な場合の選択肢です。公式ブログによれば、作られる画面は実際のプログラムのコードで、従来の部品の組み合わせでは難しい配置や条件による表示の切り替えができます。組み込みのエージェントは本番の環境から切り離された場所で動き、画面は版の管理で変更を追って戻せ、作る権限はワークスペースやプロジェクトの単位で絞れるとされています。
ただし、AIが作った画面が、採点者に必要な情報を漏れなく見せているかは人が確かめる必要があります。回答の根拠になった資料が表示されていない、会話の前半が省略されている、といった画面では、正しい採点はできません。新しい画面は、採点者の代表が実データで数件試してから使い始めるのが安全です。
公式ブログによれば、Interfaces にはエージェントの評価、何往復も続く会話、文書への印付けなどのひな形が用意されています。手元のAIで作る経路では、開発の環境に専用の開発キットと、AIに作り方を教える追加の手順書を入れる必要があるとされています。社員の端末や開発の環境に新しい部品を入れることになるため、情報システムの確認の対象になる点も忘れないようにします。画面づくりを誰に任せ、誰が承認して本番の採点に使うかを、作る前に決めておくと、版の管理や権限の機能も生きてきます。
採点基準の書き方:観点を分け、工程ごとに変える
採点の基準は、「良い・悪い」の一つの物差しにしないことが大切です。業務の正しさ、社外に出してよいか、言葉づかい、根拠の示し方、のように観点を分け、それぞれに三段階程度の選択肢と、判断に迷ったときの例を添えます。
エージェントの評価では、工程ごとに観点を変えます。公式ブログが示すとおり、評価する工程によって印や基準を変えられるため、道具を選ぶ工程では「選んだ道具が妥当か」、最終の回答では「業務として正しいか」と、問うことを分けられます。最終結果が正しくても、途中で触れてはいけないデータを開いていた、という問題は工程ごとに見ないと見つかりません。
基準は一度で完成しません。採点者の意見が割れた件を集め、どの言葉の解釈が分かれたかを話し合い、基準の文に例を足していきます。基準の文を直した日付と理由を残しておくと、後から採点の結果を比べるときに、基準が変わったせいか、AIが変わったせいかを区別できます。
エージェントの途中を採点する:道具の呼び出しと途中の判断
エージェントの評価が、一問一答のAIの評価と違うのは、最終の回答に至るまでに何度も道具を呼び出し、途中で判断を重ねる点です。1月に発表された評価の仕組みは、エージェントの実行を道具の呼び出しや途中の判断を含めて一歩ずつ表示し、採点者が特定の工程に評価を付けられると説明されています。文章・画面の写し・作業の記録・付随する情報を一つの画面にまとめて見られることも挙げられています。
これを使うには、エージェントの側で、どの工程で何を呼び出し、何を受け取ったかを記録として残しておくことが前提になります。最終の回答しか残していないエージェントは、途中を採点しようがありません。評価の仕組みを入れる前に、開発の担当者と一緒に、残す記録の項目と保存の期間を決めておく必要があります。
採点者にすべての工程を見せる必要はありません。業務の担当者が判断できるのは、どの資料を開いたか、どの相手に何を送ろうとしたか、といった業務の言葉で表せる工程です。道具の呼び出しの細かな引数は開発の担当者、業務として妥当かは業務の担当者と、見る工程を分けておくと、採点者の負担を増やさずに途中の問題を拾えます。公式ブログが示す問い合わせ対応の例でも、会話の全体を見せたうえで要所を強調し、決まった印と採点者のメモを付ける形が紹介されています。
Community版と Enterprise版の境目
無償の Community 版で始めるか、最初から Enterprise 版にするかは、扱うデータと関わる人数で決まります。公式の料金ページから読み取れる主な違いを整理すると、次のようになります。
| 観点 | Community 版 | Enterprise 版 |
|---|---|---|
| 提供の形 | オープンソース。自社の環境に入れる | クラウドまたは自社の環境 |
| 権限 | 細かな役割の管理は限られる | 役割に応じた権限、作業領域ごとの管理 |
| ログイン | 個別の利用者の管理 | SAML などによるシングルサインオン |
| 記録 | 限られる | 操作の記録(監査に使える履歴) |
| 品質の管理 | 基本的な確認 | 確認者の割り当て、割れた件の再割り当て、採点者ごとの分析 |
| AIによる採点 | 外部のモデルとの接続は可能 | 指示文を設定してAIに出力を評価させる機能 |
| 画面づくり | 用意された部品の組み合わせ | Interfaces(ベータ)、埋め込みできる画面 |
目安としては、個人情報や顧客の情報を含む出力を、複数の部門の採点者が扱うなら Enterprise 版が必要になります。誰がどの件を見たかを後から示せないと、社内の監査に耐えません。逆に、公開情報だけを使う社内向けの試行で、採点者が数人なら、Community 版で運用の形を固めてから移る判断も十分にありえます。
データを社外に出さない置き方
Community 版は自社の環境に入れて動かすため、採点するデータを社外に出さずに済みます。その代わり、保守は自社の仕事になります。2026年9月の 1.23.1 では、データベースの版の要件が上がり、社内の接続先への通信を絞る既定値が加わりました。1.23.2 では秘密の鍵のファイルの扱いが厳しくなり、上げ方によっては鍵の入れ替えが必要とされています。安全面の更新を追い、版を上げる担当者を決めておくことが、自社で動かす前提条件です。リリース記録によれば、1.23.1 では手元や社内の網にある機械学習の仕組みへの接続も既定で止まるようになったため、Community 版で採点役のAIを社内につなぐ場合は、更新のたびに接続の設定を見直す必要があります。
Enterprise 版はクラウドでも自社の環境でも使えると説明されています。クラウドを選ぶ場合は、採点するデータがどの地域に置かれるか、契約上どう扱われるかを、契約前に確かめます。料金ページでは、Enterprise 版が第三者の監査報告を備えたクラウドまたは自社の環境で提供されると示されています。
見落としやすいのが、AIの採点と画面づくりの経路です。AIの採点に外部のモデルを使えば、採点する出力はそのモデルの提供元に送られます。Interfaces を手元のコーディング用のAIで作る場合も、画面を作るために見本のデータをAIに渡すと、そのデータは外部に出ることになります。見本には実データではなく、伏せ字にした例や作った例を使う規則を決めておきます。
定着させる回し方:週次の小さな採点会
人の評価が止まるのは、仕組みを作った直後ではなく、二か月目から三か月目です。最初の熱が冷めたときに続く形を、最初から決めておきます。
前の週の出力から、決まった件数を偶然に任せて抜き取り、採点の画面に入れておく。用意の手間を採点者にかけない。
週30分から1時間、予定に入れた時間で採点する。間に合わなかった件は翌週に持ち越さず、件数を減らす。
全員の採点が終わったら、意見が割れた件だけを並べて話し合う。結論は基準の文に例として足す。
合格率だけでなく、どんな誤りが減り、何が残っているかを、業務の責任者に報告する。AIの改修の優先順位はここで決める。
回し方の要は、採点の結果がAIの改修に反映されたことを、採点者に必ず返すことです。自分の採点で何が変わったかが見えないと、採点は雑用になります。改修の記録に「この採点の指摘で直した」と書き、採点会の冒頭で伝えるだけでも、続き方が変わります。
採点を業務の画面に寄せる:振り分けと引き上げ
採点が続かない理由の一つは、採点のためだけに別の道具を開かなければならないことです。1月の発表では、評価の画面を社内の製品や業務の一覧画面、作業の流れの中に埋め込めること、社内のデザインに合わせられることが挙げられています。採点者が普段使っている画面の中で採点できれば、採点は特別な作業ではなくなります。ただし、埋め込める画面は Enterprise 版の機能として料金ページに挙がっている点に注意が必要です。
本番で動いているAIの出力を採点に回す場合は、振り分けの規則が要になります。公式ブログは、本番での評価に向けて、振り分けと上位の確認者への引き上げ、採点者間の一致の確認、分析、作業者の管理、監査の履歴を Enterprise 版の流れとして挙げています。社内では、顧客からの苦情につながった件、AIの採点が低かった件、新しい種類の質問を優先して人に回し、それ以外は偶然に任せた抜き取りにする、という二本立てが現実的です。
- 引き上げ先の確認者は、業務の責任者か法務など、判断の権限を持つ人にする
- 引き上げた件は、結論が出るまでAIの回答の使い方を止めるかどうかを、あらかじめ決めておく
- 振り分けの規則そのものも、月に一度は見直す。偏った抜き取りは、評価の結果をゆがめる
最初の一か月の進め方
立ち上げで欲張ると、基準も画面も固まらないまま採点者が疲れてしまいます。最初の一か月は、対象のAIを一つに絞り、採点者を二人か三人に限って、基準と回し方を固めることに使います。
- 一週目:対象のAIの過去の出力から30〜50件を選び、業務の担当者二人がそれぞれ自由に「困る回答」に印を付ける
- 二週目:印の理由を並べて、観点を三つか四つにまとめ、採点の基準の初版を書く
- 三週目:採点の画面に基準を載せ、同じ20件を二人で採点して、意見が割れた件を話し合う
- 四週目:AIの採点を同じ20件に当て、人の採点とどこで食い違うかを確かめ、続けるかどうかを決める
一か月目の終わりに決めるべきなのは、このAIを業務に使い続けてよいと言える合格の線を、業務の責任者が言葉で書けるかです。書けないなら、基準がまだ足りないということで、版を上げたり人数を増やしたりする前に、基準づくりを続けます。書けたら、対象のAIを増やすか、採点者を増やすかを順に決めていきます。
定着しない典型と、やめ方・費用の増え方
- 採点の依頼を、表計算の配布と回収で回し続ける
- AIの採点で合格した件は、人が一件も見ない
- 採点の基準を開発の担当者だけで書き、業務の担当者には採点だけを頼む
- 採点の結果を集計するだけで、AIの改修に反映しない
- 実データを見本にして、手元のAIに採点画面を作らせる
費用は、版と人数で増えます。料金ページでは、小規模なチーム向けのクラウド版が月額99ドルから、利用者を一人足すごとに月額49ドル(最大12人)と示され、Enterprise 版は個別の見積もりです。Community 版は利用料がかかりませんが、自社で動かす基盤と保守の工数がかかります。最も大きな費用は、ソフトウェアではなく業務の担当者の採点の時間で、ここを見積もらずに始めると途中で止まります。
やめ方も先に決めます。採点の結果と基準の文は、取り出せる形で自社の手元にも保存しておきます。そうしておけば、別の評価の道具に移るときも、採点の積み重ねを失いません。半年ごとに、採点がAIの改修に何件つながったかを数えると、続けるかやめるかを数字で判断できます。
よくある質問
Community 版だけで本番の評価を回せますか。
公開情報だけを扱い、採点者が少人数なら回せます。ただし、操作の記録やシングルサインオン、確認者の割り当てといった機能は主に Enterprise 版にあるため、顧客の情報を扱う業務や、監査で採点の経緯を示す必要がある業務では不足します。まず Community 版で基準と回し方を固め、扱うデータが広がる段階で移る判断が現実的です。なお料金ページでは、Community 版の支援は Slack の共同体と GitHub の課題の欄を通じたものとされており、障害時に頼れる窓口の有無も判断の材料になります。
AIの採点だけで合否を決めてはいけませんか。
AIの採点は、人が書いた基準を当てはめているにすぎません。基準そのものが業務に合っているか、AIの当てはめ方がずれていないかは、人の抜き取りでしか確かめられません。合否の最終判断と基準の変更は人が持ち、AIには根拠の箇所を示させる、という線を崩さないことをおすすめします。
採点者の負担を減らす方法はありますか。
一回の件数を減らし、見る観点を絞るのが一番効きます。また、採点の画面に回答の根拠になった資料や会話の前後を表示しておくと、採点者が別の画面を探す手間が減ります。画面を作り込むより先に、採点者に何が見えていないと困るかを聞くことから始めてください。
手元で評価データを作る道具との違いは何ですか。
Kiln のように、手元で評価の問題集や採点役のAIを作り込む道具は、一人か少人数で評価を設計する場面に向いています。Label Studio が得意なのは、複数の採点者に件を配り、権限と記録の下で人の採点を回し続ける場面です。設計は手元の道具で、継続的な人の採点は Label Studio で、と組み合わせる考え方もあります。どちらを使う場合も、基準の持ち主が業務の担当者であることは変わりません。
社内で作ったAIと、他社のAI製品の両方を採点できますか。
出力を取り込める形にできれば、どちらも同じ画面で採点できます。むしろ、同じ基準で比べられることが、社内に評価の場を持つ利点です。ただし他社製品の出力を取り込む場合は、その製品の利用規約で出力の保存や分析が認められているかを確かめてください。
まとめ
社内のAIやエージェントの出力を、業務の担当者が採点する仕組みは、採点の場と基準と時間の取り決めがなければ続きません。Label Studio は、オープンソースの Community 版と商用の Enterprise 版を持つ印付けの基盤で、2026年にはエージェントの途中の工程まで人が評価できる仕組みと、評価画面をAIで作る Interfaces を加えました。進め方は、採点者を業務の担当者から選んで時間を確保する、AIの採点に件数をさばかせて人は較正と境界の判断を持つ、観点を分けた基準を工程ごとに書く、扱うデータと人数で版を選ぶ、データと見本の経路を確かめる、週次の小さな採点会で回す、の順です。AIの採点で合格しても人の抜き取りをゼロにせず、採点の結果がAIの改修に届いたことを採点者に返すこと。それが、人の評価を一過性の試行で終わらせない一番の方法です。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
