CodeSignalは受講率でなく実務で測る|AIリテラシーの見方

CodeSignalは受講率でなく実務で測る|AIリテラシーの見方

「全社のAI研修は受講率が九割を超えたのに、現場の仕事が変わった気がしない」「生成AIの利用回数は増えているが、それが上手に使えているという意味なのか分からない」——AI研修を任された人事・研修担当や、AI推進の事務局が半年ほどたって必ず口にする二つの悩みです。受講率や利用回数は、研修を届けたことと道具を開いたことの記録にすぎません。本当に知りたいのは、仕事の場面でAIをどう使い、出てきた答えをどう判断したかであり、それは受講の記録からは読み取れません。この記事では、米国の CodeSignal が提供する「AIリテラシー試験」を題材に、AIを組み込んだ実務シナリオの試験で社員の活用力を測るとは何か、自己申告・受講率・利用ログとどう違うか、何が測れて何が測れないか、結果を育成に使うか人事評価に使うかの線、採点を人が見る範囲、受験データの扱い、費用とやめ方を、公式の発表で確かめられる範囲で整理します。研修の作り方や操作の手順は扱いません。


カメ先生カメ先生

AIリテラシーは、研修を受けた人の割合や、AIを使った回数で測れると思われがちなんだ。でも本当は、それは「触れた量」の記録で、仕事の中で使いこなせたかどうかとは別のものなんだよ。


カメ子カメ子

たくさん使っている人が、上手に使えているとは限らない、ということですか。


カメ先生カメ先生

そう。答えをそのまま貼り付けているだけかもしれないし、使うべきでない場面で使っているかもしれない。だから CodeSignal のような試験は、時間を区切った実務の場面でAIを使わせて、選び方と判断を見ようとしている。ただ、試験で見えるのは試験の場面の中の振る舞いだけでね。結果をどこまで信じて、何に使うかは会社が決めることなんだ。


カメ子カメ子

試験の点数は答えではなくて、確かめる材料の一つなんですね。


この記事のポイント
  • CodeSignal のAIリテラシー試験は、AIツールを組み込んだ時間制限付きの実務シナリオで、使いこなし・道具の選び方と出力の吟味・AIを使わない場面の見極めを測る。2026年7月に職種別へ広げた
  • 受講率・自己申告・利用ログは「触れた量」の記録。試験は「試験の場面での振る舞い」の記録。どちらも自社の業務での成果そのものではないので、組み合わせて読む
  • 結果は育成の材料に使い、人事評価や処遇には直結させない線を先に決める。採点基準の中身、人が見る範囲、受験データが社外のどこに置かれるかを導入前に確かめる

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

目次

CodeSignalのAIリテラシー試験とは:AIを組み込んだ実務の場面で測る

CodeSignal は米国サンフランシスコの会社で、もともとはエンジニアの採用で使われるプログラミングの試験で知られています。公式の発表の会社紹介では、採用の試験、AIによる面接、スキルの育成、人員計画までを扱う基盤と説明しています。その中で、技術職以外の社員にも受けさせることを想定しているのが、今回取り上げる「AIリテラシー試験」です。

2026年7月14日の発表によれば、この試験はAIツールを組み込んだ、時間制限付きのシナリオ形式の課題で構成されています。受験者は実務を模した場面の中でAIを実際に使い、その途中の選択と最終的な成果物が、あらかじめ決められた採点基準に照らして評価されます。AIの用語や仕組みを選択式で問う知識テストではなく、仕事の場面でAIを使わせて、その使い方を見るというのが、この試験の基本の考え方です。製品ページの案内では、AIリテラシーの試験はおおむね20〜30分で終わるとされています。

同社は発表の中で、面接や研修の修了、本人の自己申告では見落とされがちな強みと弱みを浮かび上がらせることができる、と説明しています。最高経営責任者のティグラン・スロヤン氏は「受講の完了だけでは足りない」と述べ、問われているのはAIを使うかどうかではなく、仕事をよりよくするためにどれだけうまく使えるかだ、という立場を示しています。ただし、これは提供元の主張です。ここから先は、その主張を自社の文脈でどう検算するかを中心に見ていきます。

2025年から2026年の動き:AI関連の試験群から、職種別の拡大へ

CodeSignal がAIの力を測る試験を前面に出したのは、2025年4月2日の発表からです。このとき同社は、AIリテラシー、プロンプトの設計、AI研究者向けの三つの試験をまとめて打ち出し、採用担当と人材育成の責任者に向けて、職種や技術の水準を問わず使えると説明しました。当時のAIリテラシー試験は対話型の模擬課題で、例として「作業に合ったモデルを選ぶ」「経費を分析するためのプロンプトを書く」といった課題が挙げられていました。

2026年7月14日の発表では、これを職種ごとの試験の一覧へ広げたことが中心です。発表では、営業や財務から製品のデザイン、エンジニアリングまでの職種にまたがる一覧になったと説明し、提供中の例として、採用の日程調整を担う担当、セールスエンジニア、UXデザイナー、役員秘書、カスタマーサクセスの担当を挙げています。新しい職種の試験は順次追加するとしており、自社の職種に合う試験がいま用意されているかは、一覧で個別に確かめる必要があります。

発表では背景として、世界の企業のおよそ三分の二が社員にAIの研修を提供していること、AIの技能を求める仕事が市場全体の約8倍の速さで増えていることを、それぞれ外部の調査を引いて示しています。研修はすでに広く行き渡り、次は「研修が効いたかをどう測るか」に関心が移っている、というのが同社の見立てです。なお、同社が買収された、あるいは事業を終えるといった公式の発表や報道は、執筆時点で確認できませんでした。

誤解:受講率と利用回数が上がれば、AI活用力も上がっている

社内でAIの活用度を報告するとき、最もよく使われるのは研修の受講率と、生成AIの利用者数・利用回数です。どちらも集めやすく、経営への報告で数字が右肩上がりに見えるため、つい「活用が進んでいる」と読みたくなります。しかし、受講率は研修を届けた記録、利用回数は道具を開いた記録であって、仕事の質が上がったかどうかは何も語っていません。

利用回数が多い人の中には、AIの答えを確かめずにそのまま資料に貼っている人も、社外に出してはいけない情報を入力している人も含まれます。逆に、回数は少ないが、使う場面を絞って確実に時間を減らしている人もいます。回数だけを追うと、前者を高く、後者を低く数えてしまう危うさがあります。AIを使わない判断ができることも活用力の一部だ、という視点は、利用ログからは抜け落ちます。

CodeSignal の試験が「AIを使わない場面の見極め」を測る力の一つに入れているのは、この抜け落ちを補う狙いだと読めます。とはいえ、試験に置き換えれば解決するわけでもありません。試験もまた、試験という限られた場面での振る舞いを写したものにすぎないからです。ここを押さえずに導入すると、受講率という数字を試験の点数という別の数字に付け替えただけで終わります。

試験が見ようとしている三つの力

2026年7月の発表では、試験が見る力を三つに分けて説明しています。一つ目は「実務での使いこなし」で、AIの概念を問う選択式の問題ではなく、現実の業務に近い課題をAIと一緒に片付けられるかを見ます。二つ目は「道具の選び方」で、作業に合ったAIのモデルを選ぶこと、出てきた出力を批判的に吟味すること、責任ある使い方をすることが含まれます。三つ目は「AIを使わない場面の見極め」で、AIの限界から人の判断が必要になる場面に気づけるかを見ます。

製品ページでは、AIリテラシー試験で見る技能として、生成AIでできることの理解、生成AIの使いこなし、生成AIの限界の理解、プロンプトの設計といった項目が並んでいます。三つ目の「使わない場面」を測る力に含めている点は、マーケティングや営業のように、事実の確認や顧客への約束が絡む職種にとって意味があります。AIの出力をそのまま顧客に出してしまう失敗は、知識の不足より判断の不足から起きることが多いからです。

一方で、三つの力が同じ重さで点数に入っているのか、どの課題がどの力に当たるのかといった配点の詳細は、公開の発表では確認できませんでした。導入を検討するなら、提供元に採点基準の項目と、それぞれの力が結果の報告にどう表示されるかを見せてもらい、自社が知りたいことと試験が測っていることが重なっているかを、受験前に確かめておくべきです。

比較:自己申告・受講率・利用ログ・実務シナリオの試験

AI活用力を測る手段は、試験だけではありません。社内でよく使われる四つの手段を並べると、それぞれが何を写していて、どこで外れるかが見えてきます。スキルの自己申告の集め方や、そのずれの扱いは別の記事で扱っているので、ここでは試験と並べたときの違いに絞ります。

手段写しているもの集める手間外れやすいところ
研修の受講率・修了率研修を届けた範囲小さい理解したか、仕事で使ったかは分からない
本人の自己申告本人の自信の度合い小さい得意な人ほど低く、不慣れな人ほど高く書くずれが出る
生成AIの利用ログ道具を開いた頻度と量中くらい(管理者の権限が要る)回数の多さが上手さとは限らない。監視と受け取られやすい
実務シナリオの試験試験の場面での選び方と判断大きい(受験時間と費用)自社の業務・データ・規程の中での判断は写らない

表から分かるのは、どの手段も単独では「仕事の成果」を写していないことです。試験は四つの中で唯一、AIを使う途中の判断を見ようとしていますが、そのぶん受験の時間と費用がかかり、全員に頻繁に受けさせるのは現実的ではありません。実務では、受講率と利用ログで広く浅く状況をつかみ、試験は研修の前後や対象を絞った部署で深く見る、という組み合わせが無理のない線です。

組み合わせるときは、数字同士が食い違ったときにどう読むかを先に決めておくことが大切です。たとえば利用ログでは上位なのに試験の「使わない場面の見極め」が低い部署があれば、それは活用の進みではなく、確認の手順が抜けている兆しかもしれません。どちらの数字を正とするかではなく、食い違いを現場への聞き取りのきっかけに使う、という扱いにしておくと、数字の取り合いになりません。

試験で測れないこと:自社の業務・データ・規程の中での判断

試験のシナリオは、提供元が用意した架空の業務です。どれだけよく作られていても、自社の顧客、自社の製品、自社の社内規程の中での判断は入っていません。たとえば「社外秘の資料を生成AIに入れてよいか」という判断は、会社ごとに許されている道具と範囲が違うため、一般的なシナリオでは正解を決められません。

また、時間制限のある試験は、短い時間で一人で片付ける課題に向いています。数週間かけて関係者と調整しながら進める企画や、AIの出力を上司や法務に確認してもらう流れは、試験の形に収めにくい部分です。マーケティングの現場で起きるAIの失敗の多くは、出力の確認を誰に回すか、どこで止めるかという段取りの中で起きますが、そこは試験で見えにくいところです。

さらに、試験の結果は受けた日の状態です。AIの道具は数か月単位で変わり、試験の中で使われるAIの道具と、社内で許可されている道具が同じとは限りません。製品ページでは、試験の中で使う大規模言語モデルを選べると案内されていますが、社内の道具とそろえられるかどうかは、提供元に確かめる項目です。試験の点数を「この人は仕事でAIを使いこなせる」という証明として扱わないことが、最初に共有しておくべき前提です。

職種ごとのシナリオは、自社の仕事に合っているか

2026年7月の拡大で示された職種の例は、採用の日程調整、セールスエンジニア、UXデザイナー、役員秘書、カスタマーサクセスです。いずれも米国の企業の職務の分け方を前提にしたものと考えられます。日本のBtoB企業では、一人が営業企画とマーケティングと資料作りを兼ねていることも多く、職種名が同じでも、仕事の中身が一致するとは限りません。

そこで、導入前に少人数で試しに受けてみて、シナリオの中の作業が自社のその職種の仕事に本当に当たるかを、現場の管理職に見てもらうのが確実です。見るべきは、課題の題材が自社の業務に近いか、扱う情報の種類が自社と似ているか、時間配分が実務の感覚と合っているか、の三点です。現場の管理職が「これはうちの仕事ではない」と感じる試験の結果は、社内で信頼されません。

言語の問題もあります。公開の発表では、日本語での受験や、日本語の業務文書を題材にしたシナリオに対応しているかは確認できませんでした。英語の課題文を読み解く力が点数に混ざると、AIの活用力ではなく英語の読解力を測ることになります。受験の言語と、題材の言語は、見積もりの前に提供元に確かめておきたい項目です。

結果を育成に使うか、人事評価に使うか

CodeSignal は試験の使い道として、候補者の評価、社員のAI準備度の基準づくり、育成の機会の発見、AIへの投資の効果測定を挙げています。採用の選考と社員の育成の両方に使える、という位置づけです。ただ、社員に受けさせる場合に最初に決めなければならないのは、結果を育成の材料にとどめるのか、人事評価や処遇に反映させるのかという線です。

育成に使う場合、結果は「どの力がまだ弱いか」を本人と上司が知り、次に何を学ぶかを決める材料になります。部署ごとの傾向を見て、研修の中身を組み替える使い方もできます。この使い方なら、点数が多少ぶれても害は小さく、本人も弱点をさらけ出すことに抵抗が少なくなります。測る目的が育成なら、個人の点数より部署や職種ごとの傾向のほうが役に立つことが多いのも、この使い方の特徴です。

人事評価に使う場合は、話がまったく変わります。点数が昇格や賞与に響くとなれば、受験者は試験で良い点を取ることを最優先にし、試験対策が広がります。試験の場面での振る舞いと実務での振る舞いの差が、評価の対象になってしまうのです。まずは育成の目的に限定して使い、評価への反映は、少なくとも社内で一巡させて点数と実務の関係を確かめてから議論する、という順序が無難です。

人事評価に直結させると何が起きるか

試験の結果を人事評価に直結させたときに起きやすいことを、あらかじめ並べておきます。導入の稟議で「評価にも使えるのでは」という意見が出たとき、この一覧で線を引く材料にしてください。

  • 受験が「試される場」になり、弱点を正直に出さなくなる。育成のための診断として機能しなくなる
  • 試験の形式に慣れた人ほど点数が上がり、実務での使いこなしとの差が広がる
  • 英語の課題文や時間制限など、AIの活用力と関係のない要素が評価に混ざる
  • 職種のシナリオが合わない部署の社員が、不利な評価を受けたと感じて不満が出る
  • 点数の低い社員にAIの利用を控えさせる、といった逆効果の運用が生まれる
  • 受験の結果が個人の成績として長く残り、異動や配置の判断にまで使われ始める

とくに最後の点は見落とされがちです。結果を一度人事の記録に入れると、いつまで保存し、誰が見られるかの線が曖昧なまま、別の用途に流用されやすくなります。評価に使わないと決めた場合でも、その決定を受験者に伝え、結果の閲覧範囲と保存期間を社内の規程として書いておくことが、試験への協力を得る前提になります。

研修の前後で測るときの設計

試験が最も生きるのは、AI研修の前後で同じ力を測り、研修の効果を確かめる使い方です。研修そのものの作り方は別の記事で扱っているので、ここでは「測る側」の段取りだけを示します。大切なのは、測ってから研修を決めるのであって、研修を決めてから測るのではないという順序です。

STEP1
測りたい職種と力を一つずつ決める

全社員を一度に測らず、効果を知りたい職種を一つ選ぶ。三つの力のうち、その職種で特に知りたい力(たとえば営業なら「使わない場面の見極め」)を決めておく。

STEP2
少人数で試し受験し、シナリオの妥当性を見る

現場の管理職を含む数名で受け、課題が自社の仕事に当たるか、言語と時間配分に無理がないかを確かめる。合わなければ、この段階で試験を変えるか見送る。

STEP3
研修前に対象者が受験する

結果は個人ではなく、職種や部署の傾向として集計する。個人の結果は本人と上司だけが見る、という範囲を先に決めて伝える。

STEP4
研修を実施する

試験の結果で弱かった力に合わせて研修の中身を調整する。試験の課題そのものを教える試験対策にはしない。

STEP5
研修後、時間を置いて再び受験する

研修の直後ではなく、一〜三か月ほど実務で使ってから受ける。直後の点数は記憶を測っているにすぎないことがある。

STEP6
点数の変化を、業務の指標と突き合わせる

点数が上がった部署で、作業時間の短縮や手戻りの減少といった業務の変化が起きているかを確かめる。点数だけが上がっている場合は、試験に慣れただけの可能性を疑う。

この流れの中で、最後の突き合わせを省くと、研修の効果ではなく試験に慣れた効果を測ることになります。同じ試験を二度受ければ、二度目は形式に慣れているぶん点数が上がりやすいからです。可能なら、研修を受けない比較の集団を小さく残しておくと、点数の上がり幅のうち、どこまでが研修の効果なのかを読みやすくなります。

採点の仕組みと、人が見る範囲

発表によれば、受験者の選択と成果物は構造化された採点基準に照らして評価されます。また、各試験は社内の産業・組織心理学者のチームが、実際の職務の作業に対応しているか、信頼性と公平性があるかを確かめており、独立した偏りの監査も含むと説明されています。一方で、その採点が自動で行われているのか、AIが採点しているのか、人が見ているのかは、公開の発表には書かれていませんでした。

社員の力をAIに採点させること自体が悪いわけではありません。ただ、自由記述やプロンプトの良し悪しのように判断が分かれる部分を、根拠を示さないまま点数にされると、本人も上司も結果を受け止められません。導入前には、採点の根拠が受験者と管理者に見える形で返ってくるか、どの課題のどの判断で点数が決まったかを確かめられるかを、提供元に確認しておくべきです。

そのうえで、社内で人が見る範囲を決めておきます。たとえば、点数が極端に低い人や、前回から大きく下がった人の結果は、そのまま本人に返す前に研修担当が中身を確認する。試験の結果をもとに研修の対象を決めるときは、点数だけで機械的に振り分けず、上司の所見と合わせて人が決める。AIに判断させるのは採点の下ごしらえまでで、育成の方針を決めるのは人、という線を規程に書いておくと、運用がぶれません。

受験データの扱い:社外に出る個人の成績

試験を社員に受けさせるということは、社員一人ひとりの成績が、米国の提供元の基盤に置かれるということです。同社の信頼性に関する案内では、受験者の氏名、メールアドレス、IPアドレスを収集し、基盤は AWS の上で運用していると説明しています。製品ページでは、結果が主要な採用管理の仕組み(ATS)に自動で同期されるとも案内されています。

社員の成績は、本人にとって知られたくない情報になり得ます。個人情報保護法の観点では、外国にある事業者に個人データを預ける形になるため、委託として扱うのか、どの国のどの事業者に置かれるのか、本人への説明をどうするかを、法務や個人情報の担当と事前に整理しておく必要があります。試験の中で受験者がAIに入力した文章や、AIとのやり取りの記録がどこまで保存されるかも、確かめる項目です。

学習への利用については、同社の別の製品であるAI面接の案内で、顧客のデータをモデルの学習に使わないと説明しています。ただ、これがAIリテラシー試験にも同じように当てはまるかは、公開の発表からは確認できませんでした。契約の前に、受験データと受験中の入力が学習に使われないこと、保存期間、解約時の削除の方法を書面で確かめるのが確実です。試験の中で使うモデルを選べるという案内もあるので、社内で許可しているモデルと同じものを選べるかも合わせて聞いておくとよいでしょう。

自前の試験を作るか、提供元の試験を買うか

実務シナリオの試験は、社内で作ることもできます。自社の業務の題材を使い、社内で許可している生成AIを使わせて、研修担当と現場の管理職が採点する形です。自前で作る利点は、自社の業務・データ・規程の中での判断を、そのまま題材にできることです。前に挙げた「試験で測れないこと」の多くを、自前の試験なら測れます。

一方で、自前の試験には、採点のぶれと、作り続ける手間という弱点があります。採点者によって点数が変わる、問題が社内に出回って答えが共有される、AIの道具が変わるたびに課題を作り直す、といった問題は、少人数の研修担当では支えきれないことが多いでしょう。提供元の試験は、心理学の専門家による妥当性の確認や偏りの監査を前面に出しており、測定の品質を外から持ち込める点が強みです。

実務的には、全社で同じ物差しを当てたい基礎の部分は提供元の試験で測り、自社固有の判断は部署ごとの短い実技課題で補う、という組み合わせが現実的です。どちらか一方に寄せるのではなく、外の試験で比べられる部分と、内の課題でしか見えない部分を分けて持つことで、試験の点数に社内の判断をすべて背負わせずに済みます。

費用の考え方と、やめ方

CodeSignal のAIリテラシー試験の単価は、執筆時点で確認した公開の発表や製品ページには示されていませんでした。採用の試験と同じく、契約は個別の見積もりになると考えるのが自然で、導入の判断では受験者の数、受験の回数、対象の職種の数で費用がどう増えるかを、見積もりの段階で確かめる必要があります。研修の前後で二回受けさせるなら、受験の回数は対象者の倍になることを忘れずに見込んでおきます。

費用には、提供元に払う金額のほかに、社員の受験時間も含まれます。一回20〜30分でも、数百人が二回受ければ、まとまった業務時間になります。受験の時間を業務として認めるのか、本人の自己研鑽として扱うのかも、事前に決めておかないと現場の協力が得られません。対象を絞った部署から始め、効果が見えてから広げる順序が、費用の面でも無理がありません。

やめ方も、始める前に決めておきます。解約したときに過去の結果をどの形式で手元に残せるか、提供元の基盤から受験データを消してもらえるか、採用管理の仕組みに同期した結果をどう扱うかを確認します。社内では、試験をやめた後も過去の点数が人事の記録に残り続けることがないよう、結果の保存期間と廃棄の手順を社内の規程に書いておくことが、受験した社員への約束になります。

導入前の確認リストと、ミニ用語解説

ここまでの論点を、稟議や提供元との打ち合わせで使える形にまとめます。一つでも答えが曖昧な項目があれば、全社展開の前に少人数の試行で確かめてください。

  • 測る目的は育成か、評価か。評価に使わないなら、その決定を受験者に伝える文面があるか
  • 自社の対象職種に合う試験が一覧にあるか。現場の管理職が試し受験して、自社の仕事に当たると判断したか
  • 日本語で受験できるか。課題の題材の言語は何か
  • 三つの力がどう点数に入るか、採点の根拠が受験者と管理者に見えるか
  • 採点が自動か、AIか、人か。人が見る範囲を社内でどう決めたか
  • 受験データの保存場所・保存期間・学習への利用の有無・解約時の削除を書面で確かめたか
  • 試験の中で使うAIのモデルを、社内で許可しているものとそろえられるか
  • 研修前後の点数の変化を、業務の指標と突き合わせる段取りがあるか
  • 受験の時間を業務として扱うか、費用の上限をどこに置くか
  • AIリテラシー:ここでは、AIの知識の量ではなく、仕事の中でAIを使い、その出力を判断し、使うべきでない場面を見分ける力の意味で使っている
  • 実務シナリオの試験:業務を模した課題を時間を区切って解かせ、途中の選択と成果物を見る形式の試験
  • 採点基準:どの行動や成果物に何点を与えるかを、あらかじめ項目ごとに決めた物差し。中身が見えないと結果の説明ができない
  • 偏りの監査:属性によって点数が不当に上下していないかを、提供元とは別の立場で確かめる手続き。監査の範囲と時期は提供元に確認する

まとめ

受講率と利用回数は、AI研修を届けた量と道具を開いた量の記録であり、仕事の中でAIを使いこなせているかは写していません。CodeSignal のAIリテラシー試験は、AIを組み込んだ時間制限付きの実務シナリオで、使いこなし、道具の選び方と出力の吟味、AIを使わない場面の見極めを測ろうとするもので、2026年7月に職種別へ広がりました。ただし、試験が写すのも試験の場面での振る舞いであり、自社の業務・データ・規程の中での判断までは測れません。導入するなら、まず結果を育成の材料にとどめて人事評価には直結させない線を決め、少人数の試し受験でシナリオが自社の仕事に合うかを確かめ、研修の前後で測った点数を業務の指標と突き合わせてください。採点の根拠と人が見る範囲、受験データの置き場所と学習への利用、解約時の削除まで確かめておけば、試験の点数は「AIに判断させた結果」ではなく、人が育成を決めるための確かな材料の一つになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

運営会社:株式会社デボノ

目次