害虫防除の会社が食品工場で手書きするトラップの点検表を読み取り、トラップごとの捕獲数の推移をそろえて、顧客への月次報告の下書きに回す

処理の起点を決める

点検表の画像がフォルダに保存されたことを起点にします。 技術者が巡回の終わりにスマートフォンで撮るか、事務所に戻ってスキャンします。巡回の当日に撮ってもらえれば、その日のうちに推移の表ができ、(a)の報告の遅れが縮みます。

ファイル名には、顧客のコード、巡回の日付、区画を入れます。撮った人に入れてもらうのではなく、撮影用のアプリやフォルダの選択で自動的に付く形にします。 ファイル名の打ち間違いで、別の顧客の台帳と照合されるのを防ぐためです。

処理が終わったものは処理済みのフォルダへ移し、移すのは成功したときだけにします。 顧客ごとに、その月の巡回で戻るはずの区画の数が台帳から分かるので、区画の点検表がそろったかどうかも、報告書の前に確かめられます。

入力データを集める

質を決めるのは、トラップ台帳です。 移設や新設を台帳に反映していないと、点検表の番号が「台帳に無い」と出続けます。台帳を更新する責任者を決め、点検表の備考に移設と書かれたら、その月のうちに台帳を直します。

管理の水準は、顧客ごとの取り決めです。 同じ1匹でも、包装の工程の近くのトラップと、倉庫の外周のトラップでは重みが違います。構成は水準の数字と比べるだけで、水準そのものは技術者と顧客が決めます。

データの取得方法を決める

読み取りは、Python から Form Parser のプロセッサを呼ぶだけです。返ってくる Document から、表と上の欄と信頼度を取り出します。

公式の説明では、text が認識されたテキストの唯一の元で、ほかの欄は startIndex と endIndex でその位置を指すとされています。表のセルの文字は、この位置から原文を引いて取り出します。 表は headerRows と bodyRows に分かれ、行や列をまたぐセルの無い表だけが対象とされています。

チェック欄は、セルの文字の中の ✓ と ☐ で見分けます。 表の外にあるチェックボックスは別の扱い（formFields の valueType が filled_checkbox か unfilled_checkbox）になるとされているので、点検表の雛形では、状態の欄を表の中の列に置いておきます。

トラップ台帳は、顧客ごとの表計算を毎朝読み込みます。照合はトラップ番号と区画の組で行います。 番号だけで引くと、区画ごとに1番から振っている顧客で取り違えます。

AIへ渡す前に整形する

1. 画像の向きと傾き … スマートフォンで撮った画像の傾きを、紙の四隅で補正します
2. 解像度 … 公式の説明では、スキャンは最低200dpi、300dpi以上で一般に最良の結果とされています。撮影の解像度はこれに相当する大きさにします
3. ファイルの形式 … PDF、JPEG、PNG などで保存します。複数枚をまとめたPDFは区画ごとに分けます
4. 雛形の判定 … 上の欄の顧客のコードから、どの雛形（虫の種類の列の並び）かを決めます
5. 重複の検知 … 同じ顧客・同じ日付・同じ区画が二度入ったら、新しい方だけを使います
6. 区画のそろいの確認 … 顧客の台帳にある区画の数と、その月に届いた点検表の数を比べます

4番目が、この題材に固有の前処理です。 虫の種類の列は顧客ごとに違うので、雛形が決まらないと、生成AIに渡す「項目の一覧」も決まりません。 顧客のコードが読めない点検表は、ファイル名の顧客のコードで補い、それも無ければ人に回します。

AIに処理させる

生成AIにさせるのは、読み取りの段で2つ、報告の段で1つです。

値の決まり、照合、比較はプログラムの側で行います。

1行目がいちばん起きやすい失敗です。 捕獲数の列に数字が並んでいると、空欄を0とみなしたくなります。0とした瞬間、(b)の書き忘れが消え、見ていないトラップが「異常なし」として顧客に届きます。

指示内容を固定する

読み取りの段の指示です。

あなたは害虫防除の会社で、トラップの点検表の読み取り結果を台帳の形にそろえる担当です。
OCRが返した表と上の欄だけを見てください。推測で埋めないでください。

【台帳の項目】
trap_no（トラップ番号）、location（設置場所）、trap_type（トラップの種類）、
雛形の虫の種類の列：{species_columns}
status_replace（交換）、status_damaged（破損）、status_moved（移動）、
status_missing（紛失）、note（備考）

【厳守事項】
- 各列がどの項目に当たるかを column_map に書いてください。
  決められない列は unknown にしてください。
- 行ごとに、セルの文字をそのまま写してください。
  「0」「×」「多数」「30+」などは書かれたとおりに写し、数字に直さないでください。
- 空いているセルは空のまま写してください。0 にしないでください。
- 読めないセルは空にし、そのセルを unreadable_cells に入れてください。
- 状態の列は、✓ があれば "checked"、☐ だけなら "unchecked"、
  どちらも無ければ空にしてください。
- 虫の種類は、雛形の列の名前のまま扱ってください。
  備考に別の虫の名前が書かれていても、列を作らずに備考に写してください。
- トラップ番号は書かれた文字のまま写してください。似た番号に直さないでください。

【OCRの表】{tables}
【上の欄】{form_fields}

報告の段の指示です。

あなたは害虫防除の会社の報告担当です。次の【推移の表】と【照合の結果】だけを使って、
月次報告書の「今月の点検結果」の下書きを書いてください。

【厳守事項】
- 書くのは、表と結果から言える事実だけです。
  例：「包装室のトラップ No.12 で、チョウバエが前月の2匹から9匹になりました」
- 原因、発生源、対策、薬剤の使用は書かないでください。
- 「危険」「問題なし」などの評価の言葉を使わないでください。
- 管理の水準を超えたトラップは、照合の結果の言葉のまま書いてください。
- 未点検のトラップと、捕獲数を数えていない「多数」の欄は、必ず書いてください。

【推移の表】{trend}
【照合の結果】{checks}

報告の段で「未点検と多数を必ず書く」を明記しているのは、下書きがきれいにまとまりたがるからです。 何も言わなければ、増えたトラップの話だけを書き、見ていないトラップや数えていない欄を省きます。 顧客にとっては、そちらのほうが知っておくべき事実です。

出力形式を固定する

読み取りの段は、次の形のJSONで受け取ります。

{
  "sheet_id": "",
  "customer_code": "",
  "area": "",
  "inspection_date": "",
  "technician": "",
  "column_map": [
    { "column_index": 0, "field": "" }
  ],
  "rows": [
    { "row_index": 0, "trap_no": "", "location": "", "trap_type": "",
      "counts": [ { "species": "", "text": "" } ],
      "status_replace": "checked | unchecked | none",
      "status_damaged": "checked | unchecked | none",
      "status_moved": "checked | unchecked | none",
      "status_missing": "checked | unchecked | none",
      "note": "" }
  ],
  "unreadable_cells": [
    { "row_index": 0, "field": "" }
  ]
}

捕獲数を文字列で受けるのは、意図してのことです。 数値の型で受けると、「×」「多数」「30+」が数値にできず落ちるか、どこかで0に丸められます。文字のまま受け、次の決まりでプログラムが値に分けます。

決まりは、次のような短い処理で足ります（要点だけ）。

def count_value(text, unreadable):
    t = text.strip().replace("０", "0")
    if unreadable:
        return ("unreadable", None)
    if t == "":
        return ("blank", None)          # 0 にしない
    if t in ("×", "x", "X"):
        return ("not_inspected", None)
    if t.isdigit():
        return ("count", int(t))
    return ("uncounted", t)             # 「多数」「30+」は文字のまま残す

空欄を最初に分けておくのが要点です。 数字に変換できるかを先に試すと、空欄や「×」が例外として捨てられ、集計の段で0と同じ扱いになりがちです。

OpenAI API の構造化出力は、JSON スキーマに strict: true を付けて使い、すべての項目を required にし、オブジェクトには additionalProperties: false を必ず設定するとされています。 省略してよい項目は、null との組み合わせの型で表すとされています。この形なら、生成AIが項目を落としたり、雛形に無い項目を足したりすることを防げます。

後段の照合は、この出力に対して決まりで行います。

システムへ連携する

トラップ台帳へは書き込みません。 「移動」「紛失」の印が付いたトラップは、台帳の更新の一覧に出すだけで、台帳を直すのは担当の技術者です。 移設先を決めるのは顧客との相談だからです。

推移の表へ書き込むのは、人が確かめた値だけです。 空欄が残っている点検表は、技術者の確認が済むまで推移の表に入れません。

人が確認する

人が見るのは、印の付いた欄と、所見の下書きです。

1. 未点検と台帳に無い番号を先に見る … 点検表の画像と台帳を並べて、移設か書き間違いかを確かめます
2. 空欄を技術者に確かめる … 見たのか、見られなかったのかを聞き、「0」か「×」に直します
3. 数字の欄を確かめる … 信頼度の低い欄を、画像と並べて直します
4. 所見の下書きを技術者が直す … 事実の並びに、現場で見た状況と対策を書き足します
5. 報告書を送る前に通して読む … 未点検と水準超えが所見に書かれているかを確かめます

2番目は、巡回の翌日までに行います。 技術者の記憶が新しいうちなら、空欄の理由はすぐ分かります。1週間たつと、技術者も覚えていません。

目標は、480枚をならして1枚1.5分です。 印の無い点検表は一覧で流し見て数十秒、空欄や台帳の食い違いのある点検表は技術者に確かめるので数分かかります。

例外に対処する

上の2行が大半を占めます。 どちらもAIの精度の問題というより、工場の中で手袋をして書く紙の性質と、書き方の決まりの問題です。 点検表をバインダーに挟んで書く、「0」と「×」を書き分けるほうが、指示を直すより効きます。

記録を残す

• 点検表の画像と、顧客のコード・巡回の日付・区画・技術者
• OCR が返した Document の全文（text、formFields、tables、信頼度）
• 生成AIの出力（列の対応づけ、行の文字、所見の下書き）
• 照合の結果（台帳・未点検・状態・前月比・管理の水準）
• 人が直した欄の記録 … どの点検表の、どのトラップの、どの欄を、何から何に直したか
• 技術者が直した所見の記録 … 下書きと送った文の差
• 顧客に送った報告書と、送った日時

送った報告書と元の点検表がつながっていることが、顧客の監査への備えになります。 顧客の工場が外部の監査を受けるとき、報告書の数字がどの点検表のどの欄から来たかを示せれば、問い合わせに早く答えられます。