Kilnで評価データを現場が作る方法|合格の線を手元で引く

「AIの評価は開発の人がやるもので、現場は使ってみた感想を伝えればいい」「評価データを作るには、専門の技術者が何週間もかかる」——AIの導入を進めるマーケやカスタマーサポートの部門で、よく耳にする思い込みです。けれども、AIの答えが顧客に出してよい水準かどうかを一番よく知っているのは、毎日その文面を読み、顧客に送っている現場の担当者です。評価は開発側の専門作業ではありません。本当は、現場が合格の線を書き、開発側がそれに向けて直すための共通の物差しです。この記事では、評価、プロンプトの最適化、追加学習、合成データを一つにまとめた手元で動く作業台 Kiln を題材に、現場の担当者が評価データと合格の線を作り、開発側やベンダーに渡す体制を、ある部門の場面に沿って整理します。画面の操作手順は扱いません。
カメ先生AIの評価というと、点数を出す仕組みを作る技術者の仕事だと思われがちなんだ。でも本当は、何をもって合格とするかを決めるのが一番難しくて、そこは現場にしか分からない。
カメ子仕組みを作ることと、合格の線を決めることは、別の仕事なんですね。
カメ先生そう。Kiln のような道具は、その二つを同じ場所でつなぐためのものなんだ。現場が付けた採点を、開発側がそのまま試験として使えるようにする。
カメ子現場の採点が、そのまま開発側の試験問題になる、ということですか。
- Kiln は評価・最適化・追加学習・合成データを1つのデータでつなぐ作業台で、手元のパソコンで動き、データは手元の JSON の形で残る。ライブラリは MIT、デスクトップ版は独自の利用許諾契約
- 現場が持つのは合格の線の文章、人の採点、課題の登録。開発側が持つのはモデル・プロンプト・道具の変更。採点役のAIと人の採点の一致を確かめるまで、AIの点数で合否を決めない
- 手元で動いても、外部のモデルを呼べば入力は提供元へ、補助の有料機能を使えば Kiln の運営元のサーバーへ出る。追加学習は評価で差が確かめられてから
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
Kiln とは:評価から追加学習までを、手元の一つの作業台で
Kiln は、米国のチェスターフィールド・ラボラトリーズという会社が開発する、AIの機能を作って改善するための作業台です。公式の説明では、評価、プロンプトの最適化、社内の資料を渡して答えさせる検索連動の仕組み、追加学習、合成データの生成、エージェントと道具を、一つの作業の流れとして扱えるとしています。GitHub の公開リポジトリには約5,200の星が付いており、開発は毎日のように続いています。
特徴は、利用者を技術者に限っていないことです。公式の説明では、デスクトップのアプリは、製品の企画担当、業務の専門家、品質の確認担当が、コードを書かずにAIの出力を採点したり、データを足したりできるとしています。同じ作業の単位を、技術者は Python のライブラリから本番の仕組みに組み込めます。現場がアプリで作った評価データを、開発側が同じファイルのまま使えることが、この製品の要になっています。
ライセンスは二つに分かれています。GitHub の原文では、Python のライブラリと REST のサーバーは MIT のライセンスで、デスクトップのアプリは無料で使えるものの、独自の利用許諾契約の下にあります。公式の説明はアプリを「ソースを公開している」と表現していますが、契約では、アプリを第三者に配ったり共有したりするには運営元の書面の同意が要るとされています。社内で使うのと、社外に配るのとでは扱いが違う点に注意が要ります。
2026年の動き:1.0 の安定版、評価の第2版、評価づくりの支援
2026年の公開履歴を追うと、評価の機能に力を入れていることが分かります。4月22日の版で、アプリ内の対話型の支援と、Git を使った自動の同期が入り、チームで同じ作業を並行して進められるようになりました。5月11日には、6,562回の変更を経て 1.0 に到達し、機能の追加ではなく安定性の節目だと位置付けています。
8月20日の版では、評価の仕組みを第2版に改めました。AIに採点させる方法に加えて、コードで判定する評価、道具の呼び出しの評価、決まった文字の並びで判定する評価、会話の往復の回数を数える評価などが加わり、公式は、AIに採点させるより速く安く済むとしています。何でもAIに採点させるのではなく、規則で判定できるものは規則で判定するという方向が、製品の側からも示された形です。
9月29日の 1.2.0 では、評価づくりの支援機能が第2版になりました。評価したいことを文章で説明すると、合成の評価データの生成と、人の採点と採点役のAIの一致の調整までを案内するとしています。同じ版で、何往復もの会話の形の作業にも対応し、評価では合成の利用者が対話相手のAIと会話して、確かめたい振る舞いを引き出すとしています。評価を作る手間は、この半年でかなり下がってきたと言えます。一方で、手間が下がるほど、合格の線を誰が決めたかがあいまいになりやすい点は、後で扱います。
誤解:評価は開発側の仕事で、現場は感想を言えばよい
AIの機能を社内に入れるとき、現場の役割は「使ってみて、気になる点を伝える」ことだと考えられがちです。しかし感想は、次の版で直ったかどうかを確かめる材料になりません。「前より良くなった気がする」「この前の答えは変だった」という声は、どの入力で、何が、どの程度悪かったのかが残らないからです。
Kiln の公式の企画担当向けの説明は、この点をはっきり書いています。AIの答えは毎回揺れるので、開発側は要件の文書や雑談の伝言に向けて調整することはできない、評価こそが要件の文書の代わりになる、という考え方です。現場の担当者がやるべきことは、感想を伝えることではなく、合格と不合格を分ける線を、試せる形で残すことになります。
逆に、開発側だけで評価を作ると何が起きるかも見ておきます。技術者は、答えが資料に沿っているか、書式が崩れていないかは見られますが、顧客に送ってよい言い回しか、自社の方針に沿った案内かは判断できません。開発側が作った評価で合格しても、現場では使えないという食い違いが、評価を現場が持たない体制でよく起きることです。
場面の前提:サポートの返信の下書きをAIに作らせる
ここからは、ある BtoB のソフトウェア会社のカスタマーサポート部門を例に、場面ごとに進め方を見ていきます。この部門では、問い合わせのメールに対する返信の下書きをAIに作らせ、担当者が直して送る運用を始めようとしています。AIの仕組みは社内の開発部門と外部のベンダーが作り、サポート部門は使う側という立場です。
よくある進め方は、ベンダーが仕組みを作り、サポートの担当者が数日試して、問題がなければ本番に出すというものです。ところが、試した担当者によって評価がばらつき、本番の後になって「返金の案内が規程と違う」「契約の種類によって違う手続きを一律に案内している」といった問題が見つかります。試す人の感覚が合否を決めていて、合格の線が誰の手元にも無いのが原因です。
そこで、サポート部門の担当者が Kiln のアプリを使い、合格の線と評価データを自分たちで作って、開発部門とベンダーに渡す体制に切り替えます。以下の六つの場面は、その流れを順に追ったものです。マーケ部門でメールの文面やウェビナーの案内文をAIに作らせる場合も、同じ流れで考えられます。
場面1:合格の線を、まず文章で書く
最初にやるのは、ツールに触ることではなく、合格の線を文章で書くことです。返信の下書きなら、たとえば「返金の可否は契約の種類ごとの規程に沿っている」「担当者が確かめていない約束をしていない」「謝罪は一度だけで、言い訳を並べない」といった項目です。一つの項目に一つの観点だけを書くと、後で評価に直しやすくなります。
Kiln の評価の説明でも、大きな評価を一つ作るより、小さな評価をたくさん作ることを勧めています。採点の形も、5段階の星、合格か不合格、合格・不合格・重大の三つから選べます。返金の規程のように誤りが許されない項目は、合格・不合格・重大の三つで採点し、重大が一件でも出たら本番に出さない、と決めておくのが現実的です。言い回しの好ましさのような項目は、5段階で採点して平均を見ます。
この段階で、AIに合格の線を書かせないことが大事です。評価づくりの支援機能は、評価したいことの説明から項目を提案してくれますが、提案はあくまで下書きです。合格の線の最終版は、部門の責任者が承認し、誰がいつ決めたかを残すようにします。線を決めた人が分からない評価は、後で点数が下がったときに、線を直すべきか、AIを直すべきかが判断できなくなるからです。
場面2:見つかった問題を「課題」として登録する
試しに使い始めると、具体的な問題が見つかります。Kiln の評価の説明は、最初は、すでに見つかった問題を評価にする「課題」のひな形から始めることを勧めています。企画担当向けの説明でも、問題が起きた入力、出力、使ったモデル、何が悪かったかの説明を付けて課題を作り、それを評価に変えて合成のデータで同じ問題を大量に再現させる流れを示しています。
サポート部門の例でいえば、「年契約の顧客に、月契約の解約手続きを案内した」という問題が見つかったら、その問い合わせの文面とAIの下書きを付けて課題として登録します。問題を、起きた入力ごと残すことで、開発側が同じ条件で再現できるようになります。表計算の一覧に「解約の案内が違った」と書くだけの報告との違いは、ここにあります。
課題として登録した問題は、直った後も評価として残し続けます。プロンプトを一か所直すと、別の問題がいつの間にか戻ってくることがあるからです。課題の評価がたまっていくと、それ自体が部門の品質の記録になります。どの課題を重大として扱うかは、サポートの責任者が決めます。
場面3:合成データを作らせる、そのまま信じない
問題を一件ずつ集めるだけでは、評価に使う件数が足りません。そこで合成データを使います。Kiln の評価の説明では、合成データを使う場合、一つの評価につき少なくとも160件のデータを目安にし、難しい仕事や主観の入る仕事ではさらに多く要るとしています。7月16日の版では、想定する場面の偏りを減らすために、作るデータの計画を先に立てる方式も加わりました。
ただし、合成データは本物の問い合わせではありません。AIが作った問い合わせは、文面がきれいすぎたり、実際には来ない組み合わせが混ざったりします。合成データを評価に入れる前に、現場の担当者が一定数を読み、実際の問い合わせとしてあり得るかを確かめることが欠かせません。あり得ないものは除き、足りない場面は実例を足して作り直させます。
もう一つ気を付けるのは、合成データの元にする実例の扱いです。実際の問い合わせを元にすれば、顧客の名前や契約の内容がデータに入り込みます。元にする実例は、個人や会社が特定できる部分を伏せてから使い、伏せ方の決まりを部門で文書にしておきます。合成データの生成に外部のモデルを使う場合は、その実例が提供元に送られる点も忘れないようにします。
- AIが作った合成データを一件も読まずに、そのまま評価に入れる
- 実際の問い合わせを、顧客名や契約番号を残したまま合成の元にする
- 評価に使うデータと、プロンプトの改善や追加学習に使うデータを同じ組にする
- 合格の線の文章を、評価づくりの支援機能が出した提案のまま承認する
場面4:人の採点を「お手本の組」にまとめる
Kiln の評価では、データをいくつかの組に分けて使います。最終の品質を測るための試験の組、人の採点を付けて採点役のAIの出来を測るためのお手本の組、そしてプロンプトの自動の最適化などに使う学習用と検証用の組です。人が採点を付ける必要があるのはお手本の組だけで、試験の組には付けなくてよいとしています。公式は、採点は業務の専門家に任せられるなら任せることを勧めています。
ここが、現場の担当者の出番です。お手本の組の採点には、決まりがあります。公式の説明では、お手本の組が10件未満だと、採点役のAIとの一致を確かな数字で示せないとしています。また、合格ばかり、不合格ばかりの組では一致の数字が出ないため、合格と不合格、星の高低が混ざるように集める必要があります。現場の担当者は、わざと悪い下書きも含めて採点します。
採点の負担は、思われているほど大きくありません。一件ずつ入力と出力を見て、星か合否を付け、気になる点を一言書き添えます。書き添えた一言は、後で採点役のAIの基準を直すときの材料になります。採点した人の名前と日付を残し、担当者によるばらつきが大きい項目は、部門で基準を話し合って揃えることで、お手本の組が部門の共通の物差しになります。
場面5:採点役のAIと人の採点が一致しているかを確かめる
お手本の組ができたら、採点役のAIに同じ組を採点させ、人の採点とどれだけ一致するかを確かめます。Kiln は複数の採点の方法を並べて比べられ、一致の度合いを順位の相関や誤差の大きさで示します。公式は、同点が多い合否や星の採点でも扱いやすく、少ない件数でも使える順位の一致の指標(ケンドールの順位相関)を勧めています。
ここで大事なのは、一致を確かめる前の採点役のAIの点数で、合否を決めないことです。公式も、どの値なら良いという普遍の基準は無く、仕事の難しさによると書いています。どこまで一致すれば採点役のAIに任せるかは、項目ごとに部門で決めます。返金の規程のような重大な項目は、一致が高くても抜き取りで人が見続けます。
規則で判定できる項目は、AIに採点させないのも一つの手です。8月の版から、コードや決まった文字の並びで判定する評価が使えるようになり、公式は、規則で書ける目標なら規則で判定するほうが速く、費用もかからず、毎回同じ結果になるとしています。たとえば「返信の末尾に問い合わせ番号を書く」は規則で、「謝罪が過剰でない」はAIの採点で、と分けると、AIに任せる範囲が狭くなり、確かめる手間も減ります。
場面6:開発側とベンダーに、評価ごと渡す
評価がそろったら、開発部門とベンダーに渡します。Kiln のデータは手元の JSON のファイルとして保存され、Git の仕組みで同期できます。公式は、Git を知らない人でもアプリが自動で同期するとしています。開発側は、現場が作ったのと同じ作業の単位を Python のライブラリから読み込み、プロンプトやモデルを変えて評価を回せます。
渡すときに決めておくのは、どの評価を合格の条件にするかです。重大の項目で一件も不合格を出さないこと、課題の評価がすべて合格のままであることのように、本番に出す条件を評価の言葉で書いて、開発側やベンダーとの取り決めにします。条件を満たさない版は、ベンダーの報告がどうであれ本番に出しません。
渡してから本番に出すまでの流れは、次の四つの段階で取り決めておくと、現場と開発側の間で手戻りが起きにくくなります。
合格の線の文章、課題の評価、お手本の組の採点、試験の組を、同期した作業の単位のまま開発部門とベンダーに渡す。口頭の補足は文章にして同じ場所に置く。
開発側がプロンプト、モデル、道具を変え、試験の組で評価を回す。試験の組には手を加えず、足りない場面があれば現場に追加を依頼する。
評価の数字だけでなく、重大の項目で落ちた答えを現場の担当者が実際に読み、採点役のAIの判定が妥当だったかを確かめる。
本番に出す条件を満たしたことを確かめたうえで、サポートの責任者が承認する。承認した版と評価の結果を記録に残す。
Kiln には、複数のモデルとプロンプトの組み合わせを、すべての評価で並べて比べ、1回あたりの費用も示す比較の画面があります。どのモデルを使うかは開発側が提案しますが、品質と費用のどちらを取るかを最後に決めるのは、評価を持つ現場と、予算を持つ責任者です。比較の結果は、開発側の報告書ではなく、評価の結果そのものを見て判断します。
現場と開発の持ち分:誰が何を決めるか
ここまでの場面を、現場と開発側の持ち分として整理すると次のようになります。線を引く目的は、責任を押し付け合うことではなく、決める人が分からない項目を無くすことです。
| 決めること | 現場(業務の担当者・責任者) | 開発部門・ベンダー |
|---|---|---|
| 合格の線 | 項目の文章を書き、責任者が承認する | 評価に直せない書き方を指摘する |
| 評価データ | 実例を集め、合成データを読んで取捨する | 件数と組の分け方の不足を指摘する |
| 人の採点 | お手本の組を採点し、基準を揃える | 採点しやすい件数と形に整える |
| 採点役のAI | 任せてよい一致の水準を項目ごとに決める | 採点の方法を作り、一致の数字を出す |
| モデル・プロンプト・道具 | 比較の結果から品質と費用の折り合いを決める | 変更を作り、評価を回して報告する |
| 本番に出す条件 | 評価の言葉で条件を書き、取り決めにする | 条件を満たした版だけを出す |
表の中で、現場の持ち分が思ったより多いと感じるかもしれません。しかし、どれも業務の知識が無ければ決められないものです。逆に、モデルの選び方や道具のつなぎ方は、現場が決める必要はありません。現場は「何が合格か」を持ち、開発側は「どう合格させるか」を持つという分け方が、Kiln のような作業台を入れる前提になります。
手元で動く=何が外に出ないか、何は外に出るか
Kiln の公式の説明では、プロンプト、出力、採点、追加学習の作業は、手元のファイルとして保存されます。外部のAIを使う場合も、呼び出しは手元のパソコンから選んだ提供元へ直接送られ、間に Kiln の運営元のサーバーは入らないとしています。Ollama のような手元で動くモデルの実行環境につなげば、通信を切った状態でも評価から追加学習まで行えるとしています。
ただし、外に出るものもあります。一つ目は、外部のモデルを呼んだときの入力と出力です。下書きの作成も、合成データの生成も、採点役のAIの採点も、外部のモデルを使えばその提供元に送られます。二つ目は、補助の有料機能です。公式の料金の説明では、対話型の支援、評価の自動の生成、最適化の機能は運営元のサーバーで動き、これらを使う場合だけ、運営元がデータを見ることになるとしています。三つ目は、アプリの画面の操作の統計で、公式はデータの中身や鍵、作業の名前は集めないとしています。
加えて、追加学習を外部の事業者で行う場合は、学習の作業を送った時点でデータがその事業者に渡ります。公式は、データの置き場所に決まりがあるなら、データを書き出して自社の環境で学習させればよいとしています。どの機能を使うと、どこに何が出るかを一覧にして、情シスの審査を受けてから現場に配るのが安全です。手元で動くことは、外に出る道がゼロであることを意味しません。
- デスクトップのアプリの利用許諾契約は、医療や金融など特定の業界の規制に合わせて作られていないとし、該当する法令の対象となる使い方を認めていない。業界によっては、契約の原文を法務部門が確かめる
- 契約上、運営元に保守や支援の義務は無いとされている。社内の標準にするなら、有償の企業向けの契約の内容を確かめる
追加学習に進む前の線
Kiln は、60を超えるモデルの追加学習を、コードを書かずに外部の事業者や Google の Vertex に送れるとしています。大きいモデルの答え方を小さいモデルに写し取る使い方も案内しており、合成データで学習用のデータを作る機能もあります。ここまで道具がそろうと、評価ができた次の一歩として、すぐ追加学習に進みたくなります。
しかし、追加学習に進むのは、評価で差が確かめられてからです。公式の説明でも、学習用・検証用の組と、試験の組を分けておくことを求めており、同じデータで調整して同じデータで測ることを防ぐためだとしています。評価に使った組を学習に回せば、評価の点数は上がっても、本当の改善かどうかが分からなくなるからです。現場が作った試験の組は、学習に使わない組として守ります。
進む前に確かめる順番は、まずプロンプトの改善と、渡す資料の工夫で評価がどこまで上がるかです。それでも重大の項目が残り、その原因が答え方の型にあると分かったときに、追加学習を検討します。追加学習したモデルは、元のモデルが更新されるたびにやり直しが要ることもあります。費用と手間を考え、追加学習に進むかどうかは、評価の結果を見て、現場の責任者と開発側が一緒に決めることにします。
費用の増え方:無料の範囲と、有料の機能が動く場所
公式の料金の説明では、個人向けは無料で、ライブラリ、デスクトップのアプリ、Git で同期する手元のデータ、回数に制限のある補助機能が使えます。チーム向けは申し込み制で、補助機能の上位版、エージェントの自動の最適化、メールでの支援が加わります。企業向けは個別の見積もりで、社内の統合認証、年間の契約と調達の手続きの支援、品質の保証の取り決め、専任の技術者の支援が加わるとしています。
ただ、費用の中心になるのは使用料ではありません。外部のモデルを呼ぶ費用は、提供元に直接払います。下書きの作成、合成データの生成、採点役のAIの採点のたびに呼び出しが発生するので、評価を回す回数と件数が増えるほど、外部のモデルの費用が積み上がることになります。規則で判定できる項目を規則に回すと、この費用は下げられます。
もう一つの費用は、人の時間です。合格の線を書く時間、合成データを読む時間、お手本の組を採点する時間は、現場の担当者の業務時間から出ます。評価を作るのは一度ではなく、モデルや規程が変わるたびに見直します。月に何時間を評価に充てるかを、部門の計画にあらかじめ入れておかないと、評価は最初の一回で止まってしまいます。
やめ方と、渡す前の確認項目
Kiln をやめるときに残るものは、手元の JSON のファイルです。公式は、データの形は公開された JSON で、データの持ち主は利用者だとしています。データベースや独自の形式に閉じ込められないので、別の評価の仕組みに移す場合も、合格の線の文章、課題、お手本の組の採点は、そのまま持ち出せるはずです。やめる前提でも、合格の線とお手本の組は、部門の資産として社内の共有の場所にも残しておきます。
やめる合図は、評価が回らなくなったとき、利用許諾契約の条件が社内の規程と合わなくなったとき、外部のモデルの費用が評価の効果に見合わなくなったときなどです。デスクトップのアプリの契約は、運営元が条件を変える権利を持つとしているので、契約の改定を年に一度は確かめます。開発側やベンダーに評価を渡す前には、次の項目を部門で確かめます。
- 合格の線の各項目に、承認した人と日付が残っている
- 重大として扱う項目と、本番に出す条件が文章で決まっている
- 合成データを現場の担当者が読み、あり得ないものを除いた
- お手本の組が10件以上あり、合格と不合格が混ざっている
- 採点役のAIに任せる項目と、人が見続ける項目が分かれている
- 試験の組を、学習や最適化に使わないことを開発側と取り決めた
- どの機能を使うと、どこに何が出るかを情シスが確かめた
まとめ
Kiln は、評価、プロンプトの最適化、追加学習、合成データを一つのデータでつなぐ手元で動く作業台で、2026年には 1.0 の安定版、評価の第2版、評価づくりの支援の第2版と、評価の機能を厚くしてきました。この道具の価値は、技術者だけでなく、業務の担当者が合格の線を書き、採点し、課題を登録できることにあります。現場は何が合格かを持ち、開発側はどう合格させるかを持つ。採点役のAIは人の採点との一致を確かめてから使い、重大な項目は人が見続け、AIに合格の線を決めさせない。外部のモデルや有料の補助機能を使えば何が外に出るかを先に確かめ、試験の組を学習に回さず、評価の結果を根拠にして、本番に出すかどうかと追加学習に進むかどうかを決めてください。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
