AI研修の効果はどう測ればよい？｜受講後の業務で確かめる

「研修後のアンケートで満足度が九割を超えたので、効果はあったと報告した」「受講者数は目標に届いたが、現場でAIが使われているのかは誰も知らない」。AI研修を担当した人から、こうした声が上がります。どちらも研修の実施はうまくいっていて、担当者の努力に問題があるわけではありません。ただ、満足度と受講者数が示すのは、研修が気持ちよく受けられ、多くの人に届いたことまでです。効果の証明に足りないのは集計の工夫ではありません。本当は、受講した人の業務が、研修の前と後でどう変わったかを確かめる仕組みが欠けているのです。この記事では、研修評価の古典的な枠組みをAI研修に当てはめ、段階ごとに何をいつ測るか、基準値と研修以外の要因をどう扱うか、経営や人事にどう報告するかを整理します。

満足度と受講者数だけの報告で、何が分からないままになるか

AI研修の報告でよく見るのは、受講者数、修了率、満足度の平均点の三つを並べた形です。どれも研修を運営した記録としては正しい数字ですが、経営や現場の管理職が知りたいのは、研修の後に業務のやり方が変わったのかという一点です。三つの数字は、その問いに答えていません。

満足度が高いのは、講師の説明が分かりやすかった、演習が楽しかった、という受講体験の良さを表します。しかし、分かりやすい研修ほど「分かったつもり」で終わることもあり、満足度と業務での利用は必ずしも一緒に動きません。受講者数も同じで、全社員が受講しても、翌月に業務でAIを使った人が一割なら、研修は業務を変えられていないことになります。

この状態が続くと、次の年の予算の議論で困ります。「満足度は高かったので続けたい」という説明では、研修の中身を変えるべきか、対象者を絞るべきか、別の施策に予算を回すべきかを判断できません。効果を測らない研修は、良くする手がかりも持てないという点が、いちばん大きな損失です。

原因①：研修の目的が「受講後の業務」の形で書かれていない

効果が測れない一つ目の原因は、研修を企画した時点で、目的が「AIの基礎を理解する」「活用の意識を高める」といった抽象的な言葉で書かれていることです。この書き方では、何がどう変われば目的を達したのかが決まっていないので、測るものも決まりません。

目的は、受講した後の業務の形で書き直します。たとえば「営業部の受講者が、商談の議事録の下書きをAIで作り、自分で確かめてから顧客の記録に残すようになる」「マーケの受講者が、記事の構成案をAIで作り、事実確認の手順を経て使うようになる」というように、誰が、どの業務で、何をするようになるかを一文にします。こう書くと、測るもの、つまりその業務でAIを使った回数や、下書きにかかった時間が自然に決まります。

カークパトリックの枠組みの公式の解説でも、この枠組みを使うときは、最後の段階である成果から考え始めることが重要だとしています。組織として何を得たいのかを先に決め、そのためにどんな行動が要るか、その行動に何を学ぶ必要があるか、と逆にたどります。研修の中身の項目を決めるやり方は別の記事で扱っているので、ここでは、目的を測れる形で書くところだけを押さえます。

原因②：受講前の基準値を取っていない

二つ目の原因は、研修の前の状態を記録していないことです。研修の3か月後に「議事録の下書きに30分かかっている」と分かっても、研修の前が何分だったか分からなければ、短くなったのか長くなったのかも言えません。効果とは、前と後の差であり、前の値が無ければ差は計算できません。

基準値は、研修の申し込みの時点で取るのがいちばん手間がかかりません。受講の申し込みの画面に、対象の業務にかかっている時間、その業務でAIを使っている頻度、困っていることの三つを聞く設問を足しておきます。加えて、社内でAIの利用記録が取れるなら、受講者の研修前1か月分の利用の回数を控えておきます。

注意したいのは、本人の申告による時間は、実際より長くも短くも答えられやすいことです。できれば、対象の業務の中から数件を選び、実際にかかった時間を記録してもらうほうが確かです。受講者全員に頼むのが難しければ、部署ごとに数人を選び、研修の前と後で同じ作業の時間を記録してもらうだけでも、報告の説得力は大きく変わります。

基準値を取るときは、後で同じ測り方を繰り返せるように、設問の文面と測り方をそのまま保存しておきます。担当者が替わって3か月後の測定の設問を作り直すと、聞き方が少し変わっただけで答えの傾向が変わり、前と後を比べられなくなります。測った日付、対象にした業務、実測に協力した人の名前も一緒に残し、3か月後に同じ人に頼めるようにしておきます。

原因③：研修以外の変化と混ざって見分けがつかない

三つ目の原因は、研修と同じ時期に、別の変化が起きていることです。AI研修は、社内向けのAIツールの配布、利用の規程の公開、業務の手順の見直しと同じ時期に行われることが多く、研修の後にAIの利用が増えても、それが研修のおかげなのか、ツールが配られたからなのかは、そのままでは区別できません。

業務の繁閑も見分けにくさの原因になります。年度末の忙しい時期に3か月後の測定が重なると、作業の時間は研修と関係なく長くなります。決算の時期、繁忙期、大型の案件の締め切りなど、対象の部署の業務の波を、測る時期を決める前に確かめておきます。

日本の人事部の用語解説でも、成果の段階の測定について、成果には研修以外の要素も影響するため難しいと説明されています。完全に切り分けるのは現実的ではないので、目指すのは、どの要因が同時に起きていたかを報告に書き添え、読む人が判断できるようにすることです。切り分けの具体的な書き方は、後の節で扱います。

研修評価の古典：カークパトリックの4段階とAI研修への当てはめ

研修の効果を段階に分けて測る枠組みとして広く知られているのが、カークパトリックの4段階です。公式の解説によれば、1950年代にドナルド・カークパトリック博士が、反応・学習・行動・成果の4つの段階を示しました。発表の年は資料によって書き方が異なりますが、4つの段階の中身は共通しています。次の表は、公式の定義の要点と、AI研修に当てはめたときに測るものを並べたものです。

段階	公式の定義の要点	AI研修で測るもの	測る時期の目安
反応	受講者が研修を好ましく、自分の仕事に関係があると感じたか	業務で使えそうか、使う場面が思い浮かぶか	受講の直後
学習	必要な知識・技能・自信などを身につけたか	自社の実物に近い課題で、指示を出し、出力を確かめられるか	受講の直後
行動	職場で重要な行動を実際に取っているか	対象の業務でAIを使っているか（利用記録・上長の観察・作業記録）	1か月後
成果	組織として狙った結果が起きたか	対象の業務の時間・品質・件数の変化	3か月後

表で大切なのは、段階が上がるほど、測る手間が増え、研修以外の要因も混ざりやすくなることです。反応と学習は受講の場で測れますが、行動と成果は職場に戻った後の話なので、上長や現場の協力が要ります。この手間を理由に、多くの研修の報告が反応と学習で止まっています。

日本の人事部の解説では、行動の段階は1か月や1年など一定の期間がたった後に、本人と上司に聞いて確かめると説明されています。AIの道具は数か月で機能が変わることもあるので、AI研修では1か月後と3か月後の二回に分けて測る置き方が扱いやすいでしょう。

段階1と2：受講直後に聞くことと、確かめること

受講直後の段階1、つまり反応の測定は、満足度を聞くだけで終わらせないことが大切です。「研修に満足しましたか」ではなく、「明日からの業務で、今日の内容を使う場面が思い浮かびますか」「使う場面を一つ書いてください」と聞きます。使う場面を具体的に書けない受講者は、職場に戻っても使わない可能性が高いので、後の段階で追う対象の目安になります。

段階2、つまり学習の測定は、知識を問う小テストより、実物に近い課題で確かめるほうがAI研修には向いています。たとえば、自社の過去の議事録を匿名にした素材を渡し、要点をまとめる指示を出してもらい、出てきた下書きの誤りを三つ見つけてもらう、といった課題です。指示を出せるかと、出力の誤りを見つけられるかの両方を見ると、業務で使える状態に近いかが分かります。

直後の測定の自由記述は、受講者が多いと読むのに時間がかかります。ここでAIの出番があります。自由記述をAIに渡し、「使う場面」「不安な点」「分からなかった点」に分類させ、それぞれの代表的な記述を原文のまま抜き出させます。分類の結果は担当者が読み、分類の誤りを直してから集計します。

小テストや課題の点数は、受講者の個人の評価に使わないと先に伝えておきます。点数が人事評価に響くと思われると、分からない点を正直に書かなくなり、次の研修を良くする材料が取れなくなります。

段階3：1か月後の業務での利用を三つの目で見る

行動の段階では、受講者が職場に戻った後、対象の業務でAIを実際に使っているかを確かめます。一つの材料だけで判断すると偏るので、利用記録・上長の観察・受講者の作業記録の三つの目で見ます。

一つ目の利用記録は、社内向けのAIツールの管理画面から取れる、受講者ごとの利用の回数や使った日数です。研修の前の1か月と、後の1か月を比べます。ただし、回数だけでは、どの業務で使ったのかは分かりません。利用率の数え方の細部は、社内のAIの利用率の読み方の記事で扱っているので、ここでは研修の前と後の比較に使うことだけを押さえます。

二つ目の上長の観察は、受講者の上長に、対象の業務でAIを使っている場面を見たか、成果物の質に変化があったかを三つほどの設問で聞くものです。三つ目の作業記録の提出は、受講者に、対象の業務でAIを使った作業を一件選び、どんな指示を出し、出力のどこを直したかを短く書いて出してもらうものです。直した箇所を書けるかどうかは、AIの出力をそのまま使わずに確かめているかの手がかりになります。

三つの材料が食い違うこともあります。利用記録では回数が多いのに作業記録が出てこない場合は、対象の業務ではなく、別の用途で使っている可能性があります。食い違いは、次の研修で扱う題材を見直す手がかりとして記録しておきます。

段階4：3か月後に業務の時間と品質の変化を見る

成果の段階では、対象の業務の時間、品質、件数が、研修の前と比べてどう変わったかを見ます。原因②で取った基準値と、同じ測り方で3か月後にもう一度測ります。測り方を前と後で変えないことが条件で、前は本人の申告、後は実測というように混ぜると、比べる意味がなくなります。

時間だけを見るのは危ういことにも注意します。AIで議事録の下書きが速くなっても、確かめる手間を省いて誤りが増えていれば、成果とは言えません。品質の物差しとして、上長が差し戻した回数、誤りが見つかった件数、顧客や社内からの指摘の件数などを、時間と一緒に並べます。時間が短くなり、差し戻しが増えていなければ、成果と読めます。

3か月後の測定を、受講者全員に行うのは負担が大きいので、段階3で三つの材料がそろって「使っている」と確かめられた受講者と、使っていない受講者から数人ずつ選んで比べる方法もあります。使っている人の業務だけが変わっていれば、研修の中身が業務の変化につながった可能性が高まります。使っている人と使っていない人の差を並べると、研修以外の要因の影響も読みやすくなります。

測る時期の置き方：申し込み時・直後・1か月後・3か月後

段階ごとの測り方が決まったら、いつ何を測るかを一枚の予定表にします。研修を実施してから測り方を考えると、基準値を取り逃がします。次の4つの時点を、研修の日程を決めるときに一緒に決めておきます。

予定表には、それぞれの時点で誰が材料を集め、誰が結果を読むかを書き添えます。1か月後の上長への設問は、人事や研修の担当者だけでは集まりにくいので、部署の管理職に協力を頼むことを研修の前に合意しておきます。材料を集める担当が決まっていないと、1か月後の測定は多くの場合、忙しさにまぎれて抜け落ちます。

研修を何回かに分けて行う場合は、回ごとに時点がずれます。表計算で、受講者ごとに受講日と、1か月後・3か月後の日付を自動で出す列を作っておくと、案内の送り忘れを防げます。

研修以外の要因を切り分ける書き方

原因③で挙げたように、研修の効果を完全に切り分けるのは現実的ではありません。そこで報告では、同じ時期に起きた変化を並べて書き、どこまでが研修の影響と言えるかの見立てを添える形にします。ツールの配布、利用の規程の公開、業務の手順の変更、業務の繁閑の四つは、毎回確かめる項目として決めておきます。

切り分けに役立つのは、比べる相手を持つことです。研修を複数の回に分けて行うなら、先に受講した部署と、まだ受講していない部署を、同じ時期に比べられます。両方に同じツールが配られていて、受講した部署だけ利用が増えていれば、研修の影響と読みやすくなります。ただし、部署ごとに業務の中身が違うので、差のすべてを研修の効果とは言い切れません。

書き方の例を挙げます。「研修の1か月後、受講者の利用日数は研修前の約二倍になった。同じ月に全社にAIツールが配布されたが、未受講の部署の増え方は受講した部署より小さかった。そのため、増加の一部は研修の影響と考えられるが、配布の影響も含まれる」。このように、言えることと言えないことを分けて書くと、報告を読む人が過大にも過小にも受け取らずに済みます。

こうした書き方をするには、研修の期間中に起きた変化を、その都度書き留めておく必要があります。研修の担当者が、情報システムの部署や各部署の管理職から、ツールの配布日、規程の公開日、手順の変更、繁忙の時期を聞いて一覧にしておきます。3か月後に思い出そうとしても、日付があいまいになり、どの変化がどの測定に重なったのかを確かめられなくなるからです。

経営や人事への報告の形

報告は、4つの段階を上から順に並べるのではなく、読む人が知りたい順に並べます。経営が知りたいのは成果、つまり業務が変わったか、人事が知りたいのは行動、つまり研修が定着したか、研修の担当者が知りたいのは反応と学習、つまり中身を直すべきかです。一枚目に成果と行動、二枚目以降に反応と学習を置くと、経営の会議でも読まれます。

一枚目には、次の四つを書きます。研修の目的を業務の形で書いた一文、対象の業務の時間と品質の前と後、1か月後に業務で使っている受講者の割合、同じ時期に起きた他の変化です。受講者数と満足度は、二枚目以降に回します。導入全体の費用と効果の試算や稟議の書き方は別の記事で扱っているので、研修の報告では研修の段階ごとの結果に絞ります。

報告の最後には、次の研修で何を変えるかの案を一つか二つ書きます。たとえば「使う場面を書けなかった受講者が多い部署では、次回は演習の題材をその部署の業務に替える」といった形です。ただし、変えるかどうかを決めるのは報告を読んだ人です。案は判断の材料として出し、決定は会議の場に委ねます。

どの数字にも、母数を添えます。1か月後の上長への設問に答えたのが受講者の上長の半分だけなら、残りの半分の受講者の様子は分かっていません。回答が集まるのは、協力的な管理職の部署に偏りがちで、そうした部署ほど受講者もAIを使っている傾向が出やすくなります。何人中の何人の結果なのかを数字の横に書き、回答の少ない部署は結果から読み取れる範囲が狭いことを明記します。

助成金を使う研修では、記録の要件も確かめる

研修の費用に国の助成金を使う場合は、効果の測定とは別に、支給の申請のための記録が求められます。厚生労働省の人材開発支援助成金では、申請の書類の様式が、計画の届を出した日によって分かれており、令和8年8月3日以降に届を出した場合の様式も公開されています。どの様式を使うかは、自社が計画の届を出した日で確かめます。

申請の手続きを解説する資料では、訓練の実施状況を示す報告書、出勤の記録、賃金の記録、経費の領収書などが必要になり、その多くは訓練の実施中から記録しておく必要があると説明されています。受講の記録や修了の状況が確認の資料になる場合もあります。研修の受講を記録する仕組みの整え方は、学習管理の仕組みの記事で扱っています。

注意したいのは、助成金の申請のための記録と、効果の測定の記録は、目的が違うことです。申請の記録は訓練を実施したことを示すもので、業務が変わったかどうかは示しません。両方を別々に集めると手間が倍になるので、受講の出欠や時間の記録を、効果の測定の予定表と同じ表で管理すると二重の作業を減らせます。対象になるか、どの書類が要るかの判断は、最新の公式の資料と窓口で確かめます。

AIに任せる範囲と、人が決める範囲

効果の測定の作業のうち、AIが手伝えるのは、数が多く手で読むと時間のかかる作業です。受講後のアンケートの自由記述の分類、利用記録の受講者ごと・月ごとの集計、報告の文章の下書きの三つが中心です。どの作業でも、分類や集計の根拠をAIに書かせ、担当者が元の記録と照らし合わせることを条件にします。

一方で、効果があったかどうかの判断、研修の内容を変えるかどうかの判断は、人が持ちます。AIは与えられた数字から、もっともらしい説明を作るのが得意ですが、同じ時期に起きた他の変化や、部署ごとの事情を知りません。次のような使い方は避けます。

• アンケートと利用記録をAIに渡し、「研修の効果はあったか」と判断させて、その答えを報告の結論にする
• 自由記述の分類をAIに任せ、分類の誤りを確かめずに件数だけを報告する
• 受講者の名前が入った記録を、社内の規程を確かめずに社外のAIに渡す
• 課題の点数や利用の回数をAIで並べ、受講者個人の評価の材料にする
• 報告の下書きの中の数字を、元の記録と照らし合わせずにそのまま経営に出す

AIに判断させない、根拠を書かせる、人が確認する範囲を先に決める、の三つを、測定の予定表の最初に書いておきます。効果の判断は、数字と現場の事情の両方を知る人がするという線が、報告の信頼を支えます。

測り始めてからよく起きる失敗

効果の測定の仕組みを作っても、運用の途中で崩れることがあります。よくあるのは、1か月後の上長への設問の回答が集まらないことです。忙しい管理職に長い設問を送ると、回答は後回しにされます。設問は三つまで、回答は選ぶだけで済む形にし、部署の定例の会議の場で答えてもらうと、集まりやすくなります。

もう一つは、測ること自体が受講者の行動を変えてしまうことです。利用の回数が見られていると分かると、意味のない使い方で回数を増やす人が出ます。利用記録は研修の前と後の比較に使うもので、個人の評価には使わないと、研修の最初に伝えておきます。

• 1か月後と3か月後の測定の案内は、受講の日に予告しておくと回答が集まりやすい
• 作業記録の提出は、社外の情報や個人の情報を伏せた形で出してもらう
• AIの道具が研修の後に大きく変わった場合は、その日付を報告に書き添える

最後に、効果が出なかった結果も報告に残すことが大切です。使われなかった部署、変わらなかった業務は、研修の中身か、対象の選び方か、職場の環境のどこかに原因があるという手がかりです。良い結果だけを報告すると、次の研修も同じ設計のまま繰り返されます。

よくある質問

受講前の基準値を取り忘れた場合は、もう効果は測れませんか？

完全な比較は難しくなりますが、代わりの方法はあります。利用記録が残っていれば、研修前の期間の記録を後から取り出せます。業務の時間は、まだ受講していない部署や、次の回の受講予定者の今の状態を測り、比べる相手にする方法があります。ただし、報告には基準値を後から取ったことを必ず書き添えます。

短い研修でも、4つの段階すべてを測るべきですか？

一時間ほどの説明会で、業務の成果まで測ろうとすると、手間のほうが大きくなります。短い研修では、反応と学習を直後に測り、行動は1か月後の利用記録の比較だけにする、というように段階を絞っても構いません。大切なのは、測らない段階を決めた理由を書いておくことです。成果まで測るのは、特定の業務の変化を狙った研修に絞ります。

外部の研修会社に効果の測定も任せられますか？

受講直後のアンケートや理解度の課題は、研修会社が用意してくれることが多いです。ただ、1か月後と3か月後の職場での行動と成果は、社内の利用記録や上長の協力が必要なので、社外だけでは測れません。発注の前に、どの段階までを研修会社が担い、どこから社内で測るかを決めておくと、役割の抜けを防げます。

効果が出なかったとき、研修の中身と職場の環境のどちらが原因か分かりますか？

段階ごとの結果を並べると、ある程度は見当がつきます。学習の段階で課題ができていたのに、行動の段階で使われていなければ、中身より職場の環境、たとえば使ってよい範囲が決まっていない、上長が使うことを勧めていない、といった原因が疑われます。学習の段階でつまずいているなら、中身の見直しが先です。

まとめ

AI研修の効果を満足度と受講者数だけで報告すると、研修が業務を変えたかどうかは分からないままになります。原因は、目的が受講後の業務の形で書かれていないこと、受講前の基準値を取っていないこと、研修以外の変化と混ざることの三つです。対策として、1950年代にカークパトリックが示した反応・学習・行動・成果の4段階をAI研修に当てはめ、申し込みのときに基準値を取り、受講の直後に使う場面と実物に近い課題を、1か月後に利用記録・上長の観察・作業記録の三つの目で行動を、3か月後に業務の時間と品質の変化を測ります。報告では、同じ時期に起きた変化を並べ、言えることと言えないことを分けて書き、一枚目に成果と行動を置きます。助成金を使う研修では、申請の記録の要件を公式の資料で確かめます。AIに任せるのは自由記述の分類、利用記録の集計、報告の下書きまでで、効果の判断と研修の内容を変えるかどうかは人が決めます。まずは次の研修の目的を「誰が、どの業務で、何をするようになるか」の一文に書き直し、申し込みの画面に基準値を聞く設問を三つ足すところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。