漁協の産地市場で手書きされる水揚げ伝票を読み取り、魚種・数量・規格・買受人を水揚げの台帳にそろえて、仕切りの計算の元データを作る

処理の起点を決める

伝票の画像がフォルダに保存されたことを起点にします。 入札・セリが終わるたびに市場の職員が事務所に伝票を持ち込み、販売課の職員がスキャナで読み込みます。市場の職員がタブレットで撮って送る形でも、同じフォルダに入れれば同じ処理に流れます。

1日1回まとめて動かす形にはしません。水揚げの多い日は伝票が順に届くので、届いたものから読み取っておけば、最後の伝票が届いたときには確認だけが残っています。 (a)の夕方から翌朝の集中を、ならすのが狙いです。

ファイル名には、市場の日付と入札・セリの回を入れます。同じ日の伝票を束として扱い、束の合計と突き合わせるためです。 処理が終わったものは処理済みのフォルダへ移し、移すのは成功したときだけにします。

入力データを集める

質を決めるのは、魚種の辞書です。 (b)のように、伝票の魚種は標準の名前で書かれるとは限りません。辞書は、ベテランの職員が見ればわかる書き方を、最初に一覧にするところから始めます。

特定の魚種の一覧には、条件も書きます。 水産庁の説明では、太平洋クロマグロは30kg以上の大型魚、うなぎの稚魚は全長13cm以下が対象とされています。魚種の名前だけで印を付けると、対象でない大きさの行にまで印が付きます。

データの取得方法を決める

読み取りは、Python から Form Parser のプロセッサを呼ぶだけです。返ってくる Document の中から、表と見出しの欄と信頼度を取り出します。

公式の説明では、text が認識されたテキストの元であり、ほかの欄は startIndex と endIndex でそれを指すとされています。表のセルの文字は、この位置から原文を引いて取ります。 また、表は headerRows と bodyRows に分かれ、表のセルは行や列をまたがないとされています。 伝票の見出しが2段になっている場合でも、セルは1つずつに分かれて返ってきます。

伝票の表の見出しの行が読めないこともあります。 見出しの行が薄い印刷だったり、手書きの列の見出しを略していたりすると、headerRows が空になります。その場合も、本体の行の並びは取れるので、列の対応づけは次の段の生成AIに任せます。

表のセルから文字を取り出す処理は、次のような形になります（要点だけ）。

def cell_text(document, cell):
    # セルの layout.textAnchor が指す範囲を、document.text から切り出す
    parts = []
    for seg in cell.layout.text_anchor.text_segments:
        parts.append(document.text[int(seg.start_index):int(seg.end_index)])
    return "".join(parts).strip()

for page in document.pages:
    for table in page.tables:
        header = [[cell_text(document, c) for c in row.cells] for row in table.header_rows]
        body = [[cell_text(document, c) for c in row.cells] for row in table.body_rows]
        conf = [[c.layout.confidence for c in row.cells] for row in table.body_rows]

文字と信頼度を、セルごとに同じ並びで持っておくのが要点です。 後段で「この行の単価の欄は信頼度が低い」と印を付けるには、生成AIが対応づけた列と、OCR が返したセルの位置がずれないことが前提になります。

組合員と買受人のマスタは、販売管理のシステムから毎朝書き出したものを読みます。照合は番号で行い、名前では行いません。 名前で引くと、同じ名字の組合員を取り違えます。

AIへ渡す前に整形する

1. 画像の向き … タブレットで撮った画像の傾きと向きを直します
2. 明るさとコントラスト … 鉛筆の薄い線と水のにじみを読みやすくするため、明るさを整えます
3. 解像度 … 細かい数字が潰れないよう、スキャナは事務所の既定より高い解像度に設定します
4. 1枚1ファイル … 複数枚をまとめて読み込んだものは、ページで分けます
5. 重複の検知 … 同じ日付・同じ回・同じ画像に近いものが二度入ったら、印を付けて止めます
6. 見本との比較 … 伝票の書式が変わったときに気づけるよう、表の列の数がいつもと違うものに印を付けます

3番目を軽く見ないでください。 単価の欄は小さく、桁の区切りの点やカンマが読みにくい欄です。解像度が足りずに読めなかった数字は、書かれていないのか、読めなかったのかの区別がつきません。

AIに処理させる

生成AIにさせるのは2つだけです。 表の列を台帳の項目に対応づけること、辞書で引けなかった魚種の書き方にコード表の候補を出すことです。

数字はプログラムの側で扱います。 生成AIは、セルに書かれた数字の文字を写すだけです。

2行目がいちばん起きやすい失敗です。 単価の欄がにじんでいると、同じ魚種の前の行の単価で埋めたくなります。埋めた瞬間、読めなかったという事実が消え、誤った単価で仕切書が出ます。

指示内容を固定する

あなたは漁協の販売課で、水揚げ伝票の読み取り結果を台帳の形にそろえる担当です。
OCRが返した表だけを見てください。推測で埋めないでください。

【台帳の項目】
shipper_no（組合員の番号）、vessel（船名）、species_text（魚種の書き方）、
grade_text（規格の書き方）、boxes（箱数）、weight_kg（重さ）、
unit_price（単価）、amount（金額）、buyer_no（買受人の番号）

【厳守事項】
- 各列がどの項目に当たるかを column_map に書いてください。
  決められない列は unknown にしてください。
- 行ごとに、セルの文字をそのまま写してください。
  数字を計算しないでください。桁を補わないでください。
- 読めないセルは空にし、そのセルを unreadable_cells に入れてください。
  前後の行の値や、ありそうな値で埋めないでください。
- 箱数と重さの列を取り違えないでください。
  単位（箱、kg）が書かれていれば、それを根拠にしてください。
- 魚種は、伝票の書き方をそのまま species_text に写してください。
  【辞書で引けなかった魚種】に当たる行だけ、コード表から候補を3つまで出し、
  理由を書いてください。候補を確定させないでください。
- 規格は、伝票の書き方をそのまま写してください。解釈しないでください。
- 組合員の番号と買受人の番号は、書かれた文字のまま写してください。
  似た番号に直さないでください。

【OCRの表】{tables}
【見出しの欄】{form_fields}
【辞書で引けなかった魚種】{unmatched_species}
【魚種のコード表】{species_codes}

「箱数と重さの列を取り違えない」を明記しているのは、(c)の型がいちばん多いからです。 どちらも数字だけの列で、見出しが読めないと区別がつきません。単位の文字を根拠にさせ、それでも決められなければ unknown にさせます。

魚種の候補を3つまでに限るのは、人が選ぶ手間を減らすためです。 候補が多すぎると、結局コード表を全部見ることになります。

出力形式を固定する

次の形のJSONで受け取ります。

{
  "slip_id": "",
  "market_date": "",
  "session": "",
  "column_map": [
    { "column_index": 0, "field": "shipper_no | vessel | species_text | grade_text | boxes | weight_kg | unit_price | amount | buyer_no | unknown" }
  ],
  "rows": [
    { "row_index": 0, "shipper_no": "", "vessel": "", "species_text": "",
      "grade_text": "", "boxes": "", "weight_kg": "", "unit_price": "",
      "amount": "", "buyer_no": "" }
  ],
  "unreadable_cells": [
    { "row_index": 0, "field": "" }
  ],
  "species_candidates": [
    { "row_index": 0, "candidates": [ { "code": "", "reason": "" } ] }
  ]
}

数字の欄を文字列で受けるのは、意図してのことです。 数値の型で受けると、読み取った「1,2」のような崩れた文字が、どこかで数値に丸められます。文字のまま受け、プログラムで数字として読めるかを確かめてから数値にします。

Claude の構造化出力では、オブジェクトに additionalProperties: false を設定する必要があり、数値の minimum・maximum や文字列の長さの制約は使えないとされています。 範囲の確認はプログラムで行います。

後段の照合は、この出力に対して規則で行います。

システムへ連携する

販売管理のシステムへは、取り込み用のファイルを渡すだけです。 システムが受け付けるファイルの形式に合わせて列を並べ、取り込みの操作は販売課の職員が行います。 取り込み用のファイルを作る前に、日ごとの合計を伝票の束の合計と突き合わせます。

人が確認する

人が見るのは、印の付いた行と伝票だけです。

1. 伝票の合計が合わないものを先に見る … 行の読み違いか、行の抜けかを伝票の画像で確かめます
2. 数字の欄を確かめる … 信頼度の低い欄と検算の合わない行を、画像と並べて直します
3. 魚種の候補を選ぶ … 選んだ書き方は、確認画面から辞書に足します
4. マスタに無い番号を確かめる … 書き間違いか、マスタの登録漏れかを市場の職員に確かめます
5. 日ごとの合計を突き合わせて取り込む … 伝票の束の合計と合えば、取り込み用のファイルを販売管理のシステムに取り込みます

3番目の辞書への追加が、この構成を育てます。 最初のうちは魚種の候補を選ぶ回数が多くても、同じ書き方は二度目から辞書で引けるようになります。

目標は、2,400枚をならして1枚1分です。 印の無い伝票は一覧で流し見て数秒、印の付いた伝票は画像を見て直すので数分かかります。

特定の魚種の行は、販売課とは別の担当者が見ます。 印の付いた行を一覧で受け取り、漁獲番号などの記載がそろっているか、取引記録に載せる必要があるかを確かめます。この一覧が打ち込みと同時にできるので、(d)の後から探す作業がなくなります。

例外に対処する

上の3行が大半を占めます。 どれもAIの精度の問題というより、濡れた場所で書く伝票の性質と、スキャンの設定の問題です。 鉛筆を濃いものに替える、スキャナの解像度を上げるほうが、指示を直すより効きます。

記録を残す

• 伝票の画像と、市場の日付・入札・セリの回
• OCR が返した Document の全文（text、formFields、tables、信頼度）
• 生成AIの出力（列の対応づけ、行の値、魚種の候補）
• 照合の結果（検算・マスタ・辞書・信頼度・特定の魚種）
• 人が直した欄の記録 … どの伝票の、どの行の、どの欄を、何から何に直したか
• 取り込み用のファイルと、取り込んだ日時・取り込んだ職員

人が直した欄の記録は、問い合わせへの答えになります。 漁業者や買受人から「数量が違う」と言われたとき、伝票の画像・読み取りの結果・直した記録が1か所でつながっていれば、伝票の束を探さずに済みます。

直した記録が多い欄は、書き方の相談の材料になります。 単価の欄の読み違いが続くなら、市場で使う伝票の欄を広げるほうが早く解決します。