手書きの小テストの答案を読み取って採点と集計を行い、生徒がつまずいた設問を教室ごとに一覧にする

処理の起点を決める

30分おきに動く定時の処理を起点にします。 講師は授業の後に答案をまとめてスキャンし、教室の投入フォルダに保存するだけです。Python のスクリプトを本部のサーバーで定時に動かし、投入フォルダにまだ処理していないPDFがあるかを見ます。

授業の直後に即時で採点する必要はありません。 答案を返すのは次の授業なので、30分おきで間に合います。まとめて処理するほうが、確認一覧を講師が一度に片付けられます。

処理が終わったPDFは処理済みフォルダへ移します。移すのは、全ページの読み取りが終わって成績表に書き込めたときだけです。 途中で止まったPDFは投入フォルダに残り、次の回にやり直されます。投入フォルダに残っている数が、そのまま未処理の数になります。

入力データを集める

質を決めるのは、許容する表記の一覧です。 英単語の大文字と小文字、「1/2」と「½」、数字の後の単位の有無。一覧に無い書き方は不正解になります。 一覧が薄いと、講師が「これは正解にしてよい」と直す欄が毎回同じように出てきます。その直しの記録が、一覧に足す候補になります。

生徒番号は、手書きではなくマーク欄で取ります。 名前を手書きで読むと、読み違いで別の生徒の成績に入ります。解答用紙の上部に0〜9のマークを4桁分並べ、生徒に塗らせたマークを選択マークとして読み取ります。

データの取得方法を決める

信頼度は、フィールドと単語の両方を見ます。 公式の案内では、カスタム モデルのフィールドの信頼度は値の位置についての確からしさを表し、文字の読み取りの確からしさは単語の信頼度で表されるとされています。両方を見て、欄としての信頼度を決めます。 位置は合っていても文字が崩れている欄は、フィールドの信頼度だけでは拾えません。

空欄にも信頼度が付きます。 公式の案内では、値の無い欄は NULL と信頼度が返り、高い信頼度は「値が無い」という予測が正しい可能性が高いこと、低い信頼度は値を見落としている可能性があることを示すとされています。これが、無答と読めなかったを分ける材料です。

文書の種類の信頼度が低いときは、書式の違う用紙を疑います。 学年違いの解答用紙が混ざっている、古い版の用紙を使っている、といった場合です。

記号で答える設問は、手書きの文字ではなく選択マークで取ります。 「ア〜エから選べ」の設問で生徒に記号を書かせると、「ア」と「マ」、「エ」と「工」の読み違いが起きます。解答用紙にア〜エの丸を印刷して塗らせれば、選択マークとその信頼度で読めます。 2つ以上塗られている欄は、選択マークの数で機械的に見分け、low_confidence として講師へ回します。

AIへ渡す前に整形する

1. ページの分割 … 複合機のPDFを1ページ1枚に分けます。1ページが1人の答案です
2. 白紙ページの除去 … 両面スキャンで出る裏面の白紙を除きます
3. 書式番号の確認 … 解答用紙の右上に印刷した書式番号を読み、モデルを選びます。読めない場合は教室と日付から時間割を引きます
4. 向きの確認 … 上下逆に入った答案を回転します
5. 形式とサイズの確認 … PDFまたは画像（JPEG、PNG、BMP、TIFF、HEIF）で、有料（S0）レベルでは500MBまで、画像の寸法は50×50から10,000×10,000ピクセルの間です
6. 解像度の確認 … 読み取れる文字の高さの下限は、1024×768の画像で12ピクセル（150dpiで約8ポイント）です。複合機の設定は200dpi以上にそろえます
7. パスワードの確認 … パスワード付きのPDFは、提出前にロックを解除する必要があります

6番目を教室ごとに確かめてください。 複合機の既定の設定のまま低い解像度でスキャンすると、細い鉛筆の字が下限に近くなります。解像度が足りないだけの答案は、信頼度が一斉に下がり、講師の確認一覧が埋まります。

2番目も軽く見ないでください。 裏面の白紙が答案として読まれると、全欄が blank の答案が1枚増え、存在しない生徒の0点が出るか、生徒番号が読めずに確認一覧に並びます。白紙かどうかは、読み取り結果で文字がほとんど検出されないことと、書式番号が読めないことの両方で判断します。

AIに処理させる

Document Intelligence にさせるのは、欄ごとの値と信頼度を返すことだけです。 採点はしません。

基準の値は、最初は低めに置き、講師の直しの記録を見て上げます。 基準を高くしすぎると確認一覧が増え、低くしすぎると読み違いがそのまま採点に入ります。最初の1か月は、講師が直した欄の信頼度の分布を見て決めます。

Azure OpenAI にさせるのは、週に一度の誤答の傾向のまとめだけです。 設問ごとの正答率と、誤答の上位（同じ誤答が何人から出たか）を渡し、つまずきの傾向を1〜2文でまとめさせます。

1行目が、最も起きやすい失敗です。 読み取りの結果をAIに渡して「採点して」と頼むと、「徳川家康」の「徳」の一画が欠けた答えも正解にします。それが正解かどうかは、塾の採点の基準で決まることで、AIが決めることではありません。 漢字の書き取りでは、一画の欠けを不正解にする基準が普通です。

指示内容を固定する

誤答の傾向のまとめ（週に一度、設問ごとに呼ぶ）：

あなたは学習塾の教務部で、小テストの結果を教室へ返すための
まとめを作る担当です。渡した数字と誤答の文字列だけを根拠にしてください。

【渡すもの】
学年と教科：{grade_subject}
設問：{question_text}
正答：{answer}
教室ごとの正答率と無答率：{rates_by_classroom}
誤答の上位（誤答の文字列と人数）：{top_wrong_answers}

【まとめ方】
- この設問で多かった誤答の型を、1〜2文でまとめてください。
  例：「繰り上がりを足し忘れた答え（38）が最も多い」
- 誤答の型を言うときは、誤答の上位にある文字列を必ず1つ以上引用してください。
- 無答率が正答率より目立つ場合は、そのことを書いてください。
- 教室ごとの正答率に大きな差がある場合は、差があることだけを書いてください。

【厳守事項】
- 誤答の上位に無い誤答を、あるものとして書かないでください。
- 誤答の原因（教え方、生徒の理解度）を推測して書かないでください。
- 教室や講師の良し悪しを書かないでください。
- 数字を丸めたり、計算し直したりしないでください。渡した数字をそのまま使ってください。
- 誤答の人数が5人未満の場合は、傾向を書かず、pattern を空にしてください。

「原因を推測しない」を明記しないと、AIはもっともらしい理由を書きます。 「繰り上がりの指導が不足している可能性があります」と書けば、それを読んだ教室長は講師の指導の問題として受け取ります。原因を確かめるのは教務部と教室の対話で、まとめの文ではありません。

「5人未満なら書かない」も同じ理由です。 1〜2人の誤答から傾向を言うと、たまたまの書き誤りが教室全体のつまずきに見えます。

Document Intelligence 側には、プロンプトはありません。 何をどこから読むかは、解答用紙の見本に付けたラベルで決まります。見本のラベル付けが、この構成でのプロンプトにあたります。 書式ごとに少なくとも5枚の見本を用意し、生徒番号のマーク欄と20問の解答欄に、それぞれラベルを付けます。

出力形式を固定する

答案1枚ごとに、次の形で成績表の手前の台帳に書きます。

{
  "sheet_id": "",
  "form_no": "",
  "classroom": "",
  "student_no": "",
  "student_no_status": "read | low_confidence",
  "answers": [
    { "q": 1, "value": "", "state": "read | blank | low_confidence",
      "field_conf": 0.0, "word_conf": 0.0, "result": "correct | wrong | pending" }
  ],
  "score": null,
  "needs_review": true
}

1つ目の理由は、state と result を別の層に置けることです。 state は読み取りの状態、result は採点の結果です。low_confidence の欄の result は必ず pending にし、講師が確かめるまで点数を出しません。 score は、pending が1つも無くなった時点で初めて入ります。

2つ目は、信頼度を2つ残すことです。 field_conf と word_conf を分けて残すと、後から基準を見直すときに、位置の問題か、字の問題かを分けて見られます。

週に一度の誤答の傾向は、次の形で受け取ります。 Azure OpenAI の構造化出力を使い、形を固定します。構造化出力では、スキーマの全ての項目を必須にし、additionalProperties を false にする必要があります。

{
  "question_id": "",
  "pattern": "",
  "quoted_wrong_answers": [""],
  "blank_notable": false,
  "classroom_gap": false
}

quoted_wrong_answers を必須にしているのは、まとめの根拠を機械で確かめるためです。 引用された文字列が誤答の上位に実在するかを Python で照合し、実在しないものが1つでもあれば、そのまとめを捨てて空欄で出します。

システムへ連携する

成績表に書き込むのは、確定した答案だけです。 needs_review が true のものは、講師が確認一覧で確定するまで成績表に入りません。未確定の点数が保護者面談の資料に出ることを防ぎます。

正答表は、この構成から書き換えません。 講師が「これも正解にしてよい」と直した記録は、許容する表記の一覧に足す候補として教務部へ送り、足すかどうかは教務部が決めます。

人が確認する

講師が見るのは、low_confidence の欄だけです。 答案をまるごと見直すことはしません。

1. 確認一覧を開く … 教室ごとのシートに、生徒番号、設問番号、読み取り結果、切り抜き画像が並びます
2. 欄ごとに確定する … 読み取り結果が合っていればそのまま、違っていれば正しい値に直します。正解か不正解かではなく、何と書いてあるかを確定します
3. 生徒番号が読めなかった答案を割り当てる … 名簿から選びます
4. 許容する表記の候補を送る … 「この書き方も正解にすべき」と思ったものに印を付けます

2番目の「何と書いてあるか」を確定するという線を守ってください。 講師が確認一覧で正誤を決めると、同じ書き方でも教室によって正解と不正解が分かれます。講師が確定するのは読み取りの値で、正誤は正答表が決めます。 正答表に異論があれば、4番目で教務部へ送ります。

目標は、4,800枚をならして1枚0.5分です。 スキャンの操作と確認一覧の処理を合わせた時間です。確認一覧が1教室あたり週に数十欄を超えるときは、その教室の複合機の設定か、解答用紙の書式の版が合っていません。

例外に対処する

6行目は、この構成で拾えない例外です。 解答欄の外に書かれた答えは、テンプレートの外なので読まれず、欄は blank になります。答案を返したときに生徒が気づけるよう、個票に「無答」の設問番号を出します。 講師が直した記録は保存・ログに残ります。

記録を残す

• 答案のPDFと、1ページごとの画像
• Document Intelligence が返したJSONの全文と、使ったモデルの ID（書式ごと）
• 欄ごとの state、field_conf、word_conf と、そのとき使った基準の値
• 講師が確定・修正した欄の記録 … 読み取り結果と、講師が確定した値
• 採点に使った正答表と許容する表記の一覧の版
• 週ごとの設問別の正答率、誤答の上位、誤答の傾向のまとめ
• 許容する表記の候補と、教務部の採否

4つ目が、基準の値を見直す材料です。 講師が直した欄の信頼度がどのあたりに集まっているかを見ると、read の基準をどこまで下げてよいかが分かります。

5つ目で正答表の版を残すのは、正答表が後から直るためです。 正答表の誤りが見つかったとき、その版で採点した答案の範囲が分かれば、採点し直しは機械的に済みます。