Sessionboardの採点がずれる原因|登壇応募とAIの線

Sessionboardの採点がずれる原因|登壇応募とAIの線

「ユーザー会の登壇応募が毎年増えて、審査委員が全部を読み切れない」「AIに採点させれば公平になるのでは、と上から言われたが、本当にそうなのか分からない」——自社カンファレンスやユーザー会の企画を持つマーケ担当から、この一年で急に増えた相談です。よくある誤解は、AIに採点させれば審査の好みや疲れが消え、選考が公平になるというものです。実際には、AIの点数は、人が渡した採点基準の書き方と重みをそのまま映すだけです。基準があいまいなら、ずれ方が一定になるだけで、ずれは消えません。この記事では、登壇者管理の製品 Sessionboard が2026年に公開した採点のエージェントと MCP の仕組みを題材に、登壇応募のAI採点がずれる原因と、採点基準・理由・人の上書き・権限の区切り方を整理します。


カメ先生カメ先生

AIの採点は、人の好みを消してくれる中立な審査員だと思われがちなんだ。でも本当は、こちらが書いた基準と重みを、疲れずに同じ調子で当てはめ続ける道具にすぎないんだよ。


カメ子カメ子

基準が偏っていたら、偏った点数が五百件ぶん、きれいにそろって出てくるということですか。


カメ先生カメ先生

そう。しかもそろって見えるぶん、正しそうに見えてしまう。だから先に人が基準を文章にして、AIの点数は並べ替えの材料に限り、採否は委員会が決める。そこを最初に決めておくのが大事なんだ。


カメ子カメ子

点数の使い道を決めるのが、AIを入れる前の仕事なんですね。


この記事のポイント
  • Sessionboard は2026年6月、応募を採点基準で点数化し理由を書くエージェントを公開した。人の点数とは分けて並び、委員会がいつでも上書きでき、操作は記録に残る
  • 採点がずれる主な原因は、基準が言葉のまま渡されていること、過去の登壇実績が重く効くこと、AIと人の点数の混ぜ方が決まっていないこと。採否をAIに判断させない
  • 外のAIからつなぐ MCP は本人の権限で動くが、10月31日にイベント単位の権限が組織全体に届く不具合が直った。権限の区切りと、応募者の情報の行き先は導入前に確かめる

ウェビナーの集客を、思いつきの告知から「設計」へ

「開催しても人が集まらない」「集まっても商談につながらない」——BtoBウェビナーの集客を設計から見直すための無料ガイドです。

目次

誤解:「AIに採点させれば、登壇者選びは公平になる」

登壇応募の審査がつらいのは、量が多いからです。委員が五人で応募が数百件あれば、一人あたりの読む量は増え、読む順番や疲れで点数の甘さが変わります。だから、AIが同じ基準で全件を採点してくれるなら公平になるはずだ、と考えたくなります。Sessionboard の公式ブログも、委員会に足りないのは判断力ではなく処理量だと書き、AIは好みを持たず疲れず、最初に読んだ応募に引きずられないと説明しています。

ただし、ここでいう公平とは「同じ物差しを全件に当てる」という意味です。物差しそのものが自社の狙いに合っているかは、AIは判断しません。たとえば「登壇実績」に重みを置けば、毎年同じ顔ぶれが上位に来やすくなり、初登壇の顧客の現場の話は下に沈みます。ユーザー会の目的が新しい顧客の声を集めることなら、その採点は一貫して目的から外れていることになります。

つまり、AIの採点で解決するのは読み切れない量の問題であって、何を選ぶべきかという問いではありません。何を良い登壇とするかを決めるのは、最後まで主催者の仕事です。この前提を置いたうえで、製品が何をしてくれて、どこで点数がずれるのかを見ていきます。

Sessionboardとは:登壇応募から当日の運営までを一つの記録で回す製品

Sessionboard は、カンファレンスやユーザー会、ウェビナー、表彰の企画運営のうち、登壇応募の受付・審査・アジェンダ作り・登壇者とのやりとりを中心に扱う米国の製品です。公式サイトでは、応募の受付と採点、審査の回の設計、部屋ごとのアジェンダ、登壇者用の専用ページ、ポスター発表、来場者向けアプリまでを一つの記録の上で扱うと説明しています。録画の文字起こしや切り抜き、登壇者の名簿管理、研修コースへの転用といった周辺の機能も持っています。

想定している利用者は、学会や業界団体の年次大会、展示会の講演枠、企業のユーザー会やパートナー向けイベントなどです。参加登録の仕組みは既存の製品をそのまま使う前提で、Cvent や HubSpot などとの連携を公式に並べています。日本語の紹介記事はほとんど見当たらず、国内の販売代理店も調べた範囲では確認できませんでした。海外の大型イベントの運営会社や、外資系の本社が主催するイベント経由で、日本の担当者が初めて触れることが多い製品だと考えられます。

調べた範囲では、他社に買収された、あるいは事業を終えたという報道はなく、提携の発表が見つかるだけでした。公式サイトの変更履歴は2026年11月に入っても更新が続いており、製品としては活発に手が入っている段階です。裏を返せば、仕様が月単位で変わるため、この記事の内容も導入時点の公式情報で確かめ直す必要があります。

2026年の変化:採点・催促・整文のエージェントと、外のAIから届く窓口

Sessionboard は2026年6月、製品に組み込んだAIエージェントを4回の連載で順に公開しました。6月9日に登壇者対応、6月15日に応募の採点、6月17日に紹介文と録画の整文を担うエージェントを発表し、6月23日にまとめて実演する構成でした。現在の製品ページでは、採点役(連載では「レビュアー」、いまは「スクリーナー」と呼ばれています)、催促役、アジェンダ案を作る役、整文役、そしてイベントについて自然文で答える役が並んでいます。

もう一つの変化は、社員が普段使っている生成AIから Sessionboard を操作できるようになったことです。公式は、Claude、ChatGPT、Microsoft Copilot、Gemini、Slack のアプリから、提供元がホストする MCP サーバーに OAuth でつなぎ、セッションや登壇者、応募、レポートについて質問したり、記録を更新したりできると説明しています。さらに10月20日には、一つのイベントについて自然文で質問し、出典つきの答えを返す窓口と、それを外のAIから呼ぶ道具 ask_event が段階的に提供され始めました。

この二つは性質が違います。製品の中のエージェントは、主催者が画面上で有効にし、仕事を割り当てて動かすものです。外のAIからつなぐ窓口は、社員が自分の権限で個別に接続するものです。前者は審査の進め方の問題、後者は権限とデータの出口の問題として、分けて判断したほうが整理しやすくなります。

採点役のエージェントは何をして、何をしないか

公式ブログによれば、採点役のエージェントは、関連性・独自性・明快さ・登壇実績・トラックとの合致など、チームが決めた基準で応募を一件ずつ採点し、届いた時点で順位を付けます。点数だけでなく、なぜその順位になったか、どの基準で高く、どこで足りなかったかの理由が各応募に付きます。委員会には、上位の応募、詳しく見るべき中間帯、基準に届かない応募に分けた候補一覧が届く、と説明されています。

採点の主体は「ペルソナ」と呼ばれる架空の審査員です。名前、職業的な背景、口調、得意分野、採点の重みを主催者が設定でき、製品ページでは1つのイベントで同時に使えるのは3つまでとしています。AIの点数と要約は審査の回の中で人の審査員の点数の横に並び、委員会は同意できないものをいつでも上書きでき、エージェントには処理した応募の実行履歴が残ります。公式の説明では、採否を決めるのは委員会で、AIは置き換えではなく支援です。

項目エージェントがすること人が決めること
採点基準渡された基準と重みで全件を同じように採点基準の言葉と重み、何を良い登壇とするか
理由各応募の点数の理由を書く理由が応募文の内容と合っているかの確認
順位上位・中間帯・基準未満に並べる中間帯の扱い、足切りに使うかどうか
上書き人の点数の横に並べ、記録を残すどの応募で上書きしたかと、その理由
採否しない委員会が決め、応募者に伝える

一方で、公式の説明だけでは分からないこともあります。日本語の応募文をどの程度の精度で採点できるかは、調べた範囲では公表されていません。AIの点数と人の点数を最終的にどう合算するかも、ブログは「分けて並べる」、製品ページの見出しは「ペルソナと人の点数を平均」と書き分けており、自社の審査の回でどちらの扱いになるかは設定画面で確かめる必要があります。

課題1:AIの点数が、委員の感覚と合わない

AI採点を試した主催者が最初にぶつかるのは、「上位に来た応募が、委員が読んでもぴんとこない」という違和感です。応募文がよく整っていて、求められた項目をすべて埋めている応募は、内容が平凡でも基準の言葉に沿っているため点数が出やすくなります。逆に、現場の生々しい失敗談のように、書き方は粗いが聞き手には刺さる応募は、明快さの基準で点を落としがちです。

ユーザー会の場合、この違和感はさらに大きくなります。主催者が本当に欲しいのは、製品の使い方を自分の言葉で語れる顧客や、導入でつまずいた経験を共有してくれる担当者です。ところが応募文の完成度を基準に採点すると、広報部門が書き慣れた大企業の応募や、パートナー企業の売り込みに近い応募が上位に集まることがあります。点数の高さと、来場者が聞きたい話は一致するとは限りません。

この違和感を「AIの精度が低い」と片づけると、原因を見誤ります。多くの場合、AIは渡された基準を忠実に当てはめています。ずれているのは基準と目的の対応のほうで、そこを直さない限り、ペルソナを増やしても、別のAIに替えても、同じ方向にずれた点数が出続けます。

課題2:理由が書いてあっても、確かめる人がいない

Sessionboard の採点には理由が付きます。これは大きな利点ですが、理由があること自体が安心材料になり、中身が読まれなくなるという落とし穴があります。数百件の応募に一件ずつ数行の理由が付けば、それを全部読むのは応募文を読むのと同じくらいの手間です。結果として、委員は点数と順位だけを見て、理由は開かないまま審査が進みがちです。

理由は、AIが点数を付けたあとに文章として生成したものです。読みやすい理由が付いていても、応募文に書かれていない実績を前提にしていないか、別の応募と取り違えていないかは、人が応募文と突き合わせないと分かりません。特に過去の登壇者や過去のイベントとの比較を使う設定では、名寄せの誤りが理由の中に紛れ込む余地があります。

ですから、理由を読む範囲を最初に決めておくことが現実的です。全件ではなく、中間帯の応募、AIと人の点数が大きく離れた応募、落とす予定の常連登壇者の応募、の三つだけは必ず理由と原文を照らす、というように線を引きます。公式ブログも、AIと人の点数が食い違うところで最も実りのある議論が起きると書いており、食い違いを読む場所として使うのが本来の使い方です。

課題3:AIの点数と人の点数が、いつの間にか混ざる

三つ目の課題は、審査の途中でAIの点数と人の点数の区別があいまいになることです。製品ページには「ペルソナと人の点数を平均」という見出しがあり、設定によってはAIのペルソナが審査員の一人として平均に入る運用が考えられます。そうなると、最終的な順位の何割がAIの判断で決まったのかを、後から説明しにくくなります。

社外の応募者を審査するイベントでは、この説明のしやすさが重要です。落選した顧客やパートナーから「どういう基準で選んだのか」と聞かれたとき、AIが付けた点数が順位に直接効いていたのか、委員の判断の参考にとどめたのかで、答え方も信頼の保ち方も変わります。学会や業界団体の大会であれば、なおさら審査の透明性が問われます。

変更履歴を見ると、審査の完了を外部に知らせる通知には人の審査だけが含まれ、AIの審査は含まれないと明記されています。製品の内部でもAIと人の審査は別の種類として扱われているわけです。運用でもこの区別を崩さず、AIの点数は「並べ替えの参考」、人の点数は「採否の根拠」と役割を分けておくと、後から説明できる審査になります。

原因:採点基準が「言葉」のまま渡されている

三つの課題に共通する原因は、採点基準が短い言葉のままAIに渡されていることです。「独自性」「明快さ」「聴衆にとっての価値」といった言葉は、委員の頭の中ではそれぞれ具体的な場面と結びついていますが、AIにはその場面が伝わりません。AIは言葉の一般的な意味で採点するため、主催者が暗黙に持っていた期待とずれていきます。

もう一つの原因は、重みの初期値と過去データです。公式のAI採点のページは、独自性・専門性・聴衆への価値などに重みを付けられること、過去のデータや過去の登壇者、イベントの基準値と比べて採点できることを売りにしています。便利な半面、過去の選考の傾向を基準にすれば、過去の偏りもそのまま引き継ぐことになります。毎年同じ企業の登壇が多かったイベントでは、その傾向が「高評価の型」として学ばれるおそれがあります。

さらに、ペルソナの設定そのものも原因になりえます。架空の審査員に「製品戦略の専門家」「事業部長」といった背景を与えると、その人物像らしい観点で採点が傾きます。人物像は分かりやすい半面、どの観点に何点の重みがあるのかが見えにくくなります。人物像より先に、採点表の観点と重みを文章で固めるのが順番です。

対策1:採点の物差しを、人が先に文章で書く

最初の対策は、AIに渡す前に、各観点を「何点ならどういう応募か」まで文章にしておくことです。たとえば「聴衆への価値」なら、五点は来場者が翌週から自社で試せる手順や数字が含まれている、三点は事例の紹介にとどまる、一点は製品の宣伝が中心、のように段階ごとに書きます。段階の説明があれば、AIの理由と人の判断を同じ物差しで照らせるようになります。

次に、イベントの目的と重みを対応させます。新しい顧客の声を集めたいユーザー会なら、登壇実績の重みは下げ、現場の具体性の重みを上げます。業界での存在感を高めたい年次大会なら、実績や専門性の重みを上げてもよいでしょう。どちらが正しいかではなく、目的に合わせて重みを決め、その理由を企画書に残しておくことが、後で順位を説明するときの土台になります。

文章にした採点表は、AIに渡す前に過去の応募の一部で試します。前回のイベントで委員が採った応募と落とした応募を十件ずつほど用意し、AIの順位と委員の判断がどこで食い違うかを見ます。食い違いの多くは採点表の書き方で直せるので、書き直してから本番の応募に使うと、課題1の違和感をかなり減らせます。

対策2:AIの点数の使い道を、足切り以外に限る

二つ目の対策は、AIの点数を何に使うかを先に決めることです。いちばん避けたいのは、AIが基準未満とした応募を、人が一度も読まずに落とす使い方です。公式ブログも、基準に届かない応募は「優先度を下げる」と書いており、落とすとは書いていません。読む順番を後ろにするのと、読まずに落とすのとでは、意味がまったく違います。

  • AIの点数が一定以下の応募を、委員が開かずに不採用にする
  • AIのペルソナを人の審査員と同じ重みで平均に入れ、その順位をそのまま採否にする
  • AIが書いた理由を、落選の連絡文に貼り付けて応募者に送る
  • 常連の登壇者や取引先の応募だけ、AIの点数を見ずに別枠で通す

現実的なのは、AIの点数を「委員に配る順番」と「詳しく読む応募の目印」に使う方法です。全件を誰かが一度は読むことを前提に、上位から読んで基準を体にしみこませ、中間帯に時間をかけ、基準未満の応募は短時間で確認する、という配分にします。こうすれば、処理量を減らしつつ、採否の判断はすべて人が下したと言える審査になります。

  • 応募の受付ページに、審査の一部でAIによる採点を参考にすることを明記しておくと、応募者からの問い合わせに答えやすくなります
  • 落選の連絡でAIの理由を使う場合も、委員が内容を確かめ、自社の言葉に書き直してから送ります

対策3:上書きと記録を、誰がいつ見るかまで決める

三つ目の対策は、上書きの記録を活かす段取りです。製品ページによれば、エージェントがセッションに行った操作はそのセッションの活動記録にエージェント名つきで残り、各エージェントには実行履歴があり、変更は履歴から確かめて元に戻せます。AI採点の公式ページも、人はいつでもAIの点数を上書きでき、審査の操作は記録されると説明しています。

ただ、記録は見る人がいなければ意味を持ちません。審査が終わった時点で、企画の責任者が、AIの順位と最終的な採否が食い違った応募を一覧にして見返す時間を取ります。食い違いが特定の観点に偏っていれば、次回の採点表を直す材料になります。上書きの多さは失敗ではなく、物差しを育てるためのデータだと位置づけておくと、委員も遠慮なく上書きできます。

もう一つ、エージェントを動かせる人を絞ることも大切です。製品ページでは、エージェントは既定でオフで、有効にしたうえで審査の回やアジェンダの下書きなど割り当てた範囲だけで動き、有効にした人ができること以上のことはしないとされています。つまり、誰が有効にするかで動ける範囲が決まります。審査の回の設定権限を持つ人を企画責任者と事務局の数名に限っておけば、意図しない回でAIが採点を始める事態を防げます。

MCPの権限をイベント単位で区切れるか:10月31日の修正が示したこと

社員が手元の Claude や ChatGPT から Sessionboard につなぐ場合、公式は、AIが見られるのは接続した本人の権限の範囲で、書き込みは接続時に付与した範囲に限られ、書き込み前に確認が入ると説明しています。書き込みの権限は接続時に外しておくことができ、書き込み系の道具はすべて破壊的な操作として扱われるため、Claude や ChatGPT は実行前に確認を求めます。更新の際は記録の最終更新時刻を照らし、他の人の変更を上書きしそうなときは拒否する作りです。

注目したいのは、10月31日の変更履歴です。組織全体の役割ではなく、特定のイベントだけで「AIアシスタントの接続」の権限を持つ利用者が OAuth で接続した場合、その接続から組織内のすべてのイベントに届いてしまう不具合があり、修正されたと記されています。同じ日に、イベント単位の集計が、条件の書き方によっては組織内の他のイベントの件数まで数えていた不具合も直っています。

確かめること公式の説明自社で決めること
誰が接続できるか役割に接続の権限があり、組織のAI機能がオンのときだけ同意画面に組織が出る接続の権限を持たせる人とイベント
何を読めるか接続した本人の権限と付与した範囲外部の協力会社の担当者に接続を許すか
書き込み接続時に付与した範囲だけ。実行前に確認書き込み権限は外して始めるか
地域米国・欧州・中東でサーバーが分かれ、接続先の地域だけを見るどの地域の組織で運用するか
不具合の扱い変更履歴で修正を公表修正前に接続した人の再接続と、ログの見直し

この修正は、仕組みの考え方が正しくても、実装の不具合で権限の区切りが崩れることがある、という当たり前の事実を示しています。自社のユーザー会と取引先向けの非公開イベントを同じ組織で運用しているなら、イベント単位で権限を分けているつもりでも、修正以前に接続した社員の接続は一度切って、つなぎ直してもらうのが安全です。変更履歴を定期的に読む担当を決めておくことも、この種の製品では運用の一部になります。

応募者の情報はどこへ行くか:AIの提供元とサーバーの場所

登壇応募には、氏名、所属、役職、経歴、顔写真、連絡先、過去の登壇歴といった個人情報が含まれます。2026年11月2日に更新された Sessionboard のプライバシー通知は、AI機能を Anthropic、Google Cloud AI、OpenAI などの第三者を通じて提供し、入力と出力、個人情報がそれらの提供元に共有され処理されると説明しています。サーバーはアイルランドと米国にあるとしています。

料金ページでは、顧客のデータでAIを学習させないこと、再委託先の一覧を公開していることを掲げています。一方で、プライバシー通知でのAI処理のオプトアウトは、問い合わせによる方法として書かれています。日本の企業が国内の顧客やパートナーの応募情報を扱う場合、外国にある事業者に個人データを渡すことになるため、個人情報保護法の外国にある第三者への提供や委託の整理を、法務と一緒に確かめておく必要があります。

実務では、応募の受付ページの個人情報の取り扱いに、海外の製品で受け付け、審査の補助にAIを使うことを書き、どの項目をAIの採点に渡すかを絞ります。顔写真や連絡先は採点に不要なので、採点の対象項目から外すのが自然です。変更履歴によれば、参加者の名前や審査のやりとりを一つの欄にまとめる集計の列は個人データとして扱われ、個人情報を隠す設定で伏せられるとされています。個人情報を隠す設定を組織として有効にするかどうかも、導入時の決めごとに入れておきます。

費用の増え方と、試す順番・止め方

料金ページを見ると、プランごとに月あたりのAIクレジットの量が決まっており、上位のプランではAIエージェントが追加オプションとして並んでいます。応募の件数が多いイベントほど、採点や要約、自然文の質問でクレジットを使うことになります。初年度は応募数が少なくても、ユーザー会が育つと採点の件数が増え、費用は応募数とAIへの質問の回数に比例して増えていくと考えておくのが無難です。正確な単価は営業への確認が必要です。

試す順番は、点数が採否に直結しない場面から始めるのが安全です。

STEP1
過去の応募で採点表を試す

前回の応募のうち採否が決まっているものを使い、文章にした採点表でAIの順位と委員の判断を比べ、食い違いの原因を採点表に戻します。

STEP2
本番では並べ替えだけに使う

新しい応募ではAIの点数を委員に配る順番と中間帯の目印にだけ使い、全件を人が一度は読みます。平均への算入は行いません。

STEP3
外のAIは読み取りだけで開く

事務局の数名に限り、書き込み権限を外した接続で、応募状況の確認や集計の質問から始めます。

STEP4
振り返りで広げるか決める

上書きの記録と問い合わせの有無を見て、次回のイベントで使う範囲を広げるか、元に戻すかを企画責任者が決めます。

止め方も三段で用意します。エージェントは画面上のスイッチで個別に止められ、外のAIの接続は組織のAI機能を切るか、接続の権限を外せば同意画面に組織が出なくなります。製品そのものをやめる場合は、応募・審査・登壇者の記録をどの形式で持ち出せるか、削除をどう依頼するかを、契約前に確かめておくことが欠かせません。

よくある質問

AIの点数だけで足切りしても問題ありませんか

おすすめしません。公式も、AIは委員会の置き換えではなく支援で、採否は委員会が決めると説明しています。足切りに使うと、採点表の偏りがそのまま落選に直結し、後から理由を説明できなくなります。読む順番を決める材料にとどめるのが無難です。

日本語の応募でも採点できますか

調べた範囲では、日本語の応募文での採点精度は公表されていません。導入前に、過去の日本語の応募で委員の判断との一致を確かめるのが確実です。英語と日本語の応募が混ざるイベントでは、言語ごとに点数の傾向が違わないかも見ておきます。

社員が自分の Claude からつなぐのを禁止すべきですか

一律に禁止するより、接続の権限を持つ人を絞り、書き込み権限を外して始める方法が現実的です。接続は本人の権限で動き、書き込み前に確認が入る作りですが、10月末に権限の区切りの不具合が直ったばかりなので、修正前に接続した人はつなぎ直してもらいます。

応募者にAIで審査していることを伝える必要はありますか

法的な要否は個別に法務と確認すべきですが、応募の受付ページと個人情報の取り扱いに書いておくほうが、落選者からの問い合わせにも答えやすくなります。審査の補助として使い、採否は人が決めることまで書いておくと誤解を防げます。

まとめ

Sessionboard の採点のエージェントは、応募を基準どおりに採点し、理由を書き、人の点数の横に並べ、上書きと記録を残す作りになっています。処理量の問題には確かに効きますが、点数がずれる原因の多くは、採点基準が言葉のまま渡されていること、過去の傾向が重く効くこと、AIと人の点数の混ぜ方が決まっていないことにあります。採点表を段階ごとの文章にし、AIの点数は並べ替えの材料に限り、採否と理由の確認は人が行う。外のAIからの接続は権限をイベント単位で区切り、変更履歴を追い、応募者の情報が海外のAIの提供元に渡ることを前提に取り扱いを決める。この順番で線を引けば、自社カンファレンスやユーザー会の審査にAIを入れても、選んだ理由を自分たちの言葉で説明できる審査を保てます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

ウェビナーの集客を、思いつきの告知から「設計」へ

「開催しても人が集まらない」「集まっても商談につながらない」——BtoBウェビナーの集客を設計から見直すための無料ガイドです。

運営会社:株式会社デボノ

目次