金魚の養殖場が出荷のときに手書きする出荷伝票を読み取り、品種・サイズ・匹数をそろえた出荷の台帳と月末の請求書の下書きを作る
金魚の養殖場が出荷のときに手書きする出荷伝票を読み取り、品種・サイズ・匹数・袋数と死着の補償の有無を出荷の台帳に写します。品種の呼び名をそろえ、取引先ごとの月末の請求書の下書きを作ります。
- AIサービス
- AWS Textract/Azure AI/Google Document AI
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/商社/小売
- 対象部門
- 営業/経理
- 対象業務
- データ入力・転記/書類作成
- 主な課題
- 人手が足りない/入力作業が多い/確認ミスが多い
- AIで行う処理
- 読み取り(OCR)
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★☆☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 出荷の担当が、作業場で出荷伝票を手書きする。控えを事務所の箱に入れる
- 事務所の担当が、伝票を1枚ずつ見て、出荷の台帳に取引先・出荷日・品種・サイズ・匹数・袋数を打ち込む
- 死着の補償の印を見て、台帳の補償の欄に印を付ける
- 月末に、台帳を取引先ごとに集計し、単価の表を見ながら請求書を作る
- 補償ありの出荷で死着の連絡があったものは、その分を差し引く
- 請求書を取引先に送る
- 人事務所の担当が、その日の伝票の控えを夕方にまとめてスキャンし、共有フォルダにPDFで保存する
- 自動事務所のPCで毎夕動く Python のスクリプトが、新しいPDFを1枚ずつ Azure AI Document Intelligence のレイアウト モデルに送る
- 自動レイアウト モデルが、伝票の表(行と列、セルの文字)、選択の印、手書きの行かどうか、文字ごとの確信度を返す
- 自動Python が、列の見出しから品種・サイズ・匹数・袋数の列を決め、セルの文字を品種の一覧・サイズの表に当てる
- 自動匹数と袋数の組み合わせを、サイズごとの袋詰めの目安と照らす
- 自動問題の無い行を出荷の台帳に書き、確信度の低いセル・当たらない品種・目安から外れた行を「確認待ち」に分ける
- 人事務所の担当が、確認待ちの行だけを伝票の画像と並べて直す
- 自動月末に、台帳と単価の表から、取引先ごとの請求書の下書きを作る。補償ありの出荷の死着の連絡は、差し引きの候補として並べる
- 人事務所の担当が下書きを確かめ、死着の差し引きを決めて、請求書を送る
各工程の詳しい説明を読む
- 出荷の担当が、作業場で出荷伝票を手書きする。控えを事務所の箱に入れる
- 事務所の担当が、伝票を1枚ずつ見て、出荷の台帳に取引先・出荷日・品種・サイズ・匹数・袋数を打ち込む
- 死着の補償の印を見て、台帳の補償の欄に印を付ける
- 月末に、台帳を取引先ごとに集計し、単価の表を見ながら請求書を作る
- 補償ありの出荷で死着の連絡があったものは、その分を差し引く
- 請求書を取引先に送る
(a)月末に数日かかる。 打ち込みが追いつかず、月末に伝票の束をまとめて打ち込むことになります。請求書が出るのが月初の数日後になり、入金もその分遅れます。
(b)品種の呼び名がばらばら。 出荷の担当は4名いて、それぞれの書き方があります。台帳に書かれたとおりに打ち込むと、同じ品種が別の行に分かれ、単価の表と当たりません。 打ち込む人がその場で直していますが、直し方も人によって違います。
(c)濡れた伝票の字が読みにくい。 作業場は水を使う場所で、伝票が濡れて文字がにじむことがあります。「30」と「80」、「S」と「5」の取り違えは、請求の額に直接響きます。
(d)死着の補償の印の見落とし。 印は伝票の端の小さな欄にあります。見落とすと、補償ありの出荷の死着の連絡を受けても、差し引くべきかが分からなくなります。
(e)出荷の数が後から見えない。 台帳の品種の書き方がそろっていないので、「先月、らんちゅうのMを何匹出したか」を数えるのに、行を1つずつ読み直すことになります。池ごとの在庫の見込みや、来年の繁殖の計画に、出荷の数を使えていません。 記録はあるのに、使える形になっていない状態です。
- 【人】 事務所の担当が、その日の伝票の控えを夕方にまとめてスキャンし、共有フォルダにPDFで保存する
- 【自動】 事務所のPCで毎夕動く Python のスクリプトが、新しいPDFを1枚ずつ Azure AI Document Intelligence のレイアウト モデルに送る
- 【自動】 レイアウト モデルが、伝票の表(行と列、セルの文字)、選択の印、手書きの行かどうか、文字ごとの確信度を返す
- 【自動】 Python が、列の見出しから品種・サイズ・匹数・袋数の列を決め、セルの文字を品種の一覧・サイズの表に当てる
- 【自動】 匹数と袋数の組み合わせを、サイズごとの袋詰めの目安と照らす
- 【自動】 問題の無い行を出荷の台帳に書き、確信度の低いセル・当たらない品種・目安から外れた行を「確認待ち」に分ける
- 【人】 事務所の担当が、確認待ちの行だけを伝票の画像と並べて直す
- 【自動】 月末に、台帳と単価の表から、取引先ごとの請求書の下書きを作る。補償ありの出荷の死着の連絡は、差し引きの候補として並べる
- 【人】 事務所の担当が下書きを確かめ、死着の差し引きを決めて、請求書を送る
7番目で人が見るのは、確認待ちの行だけです。 全部の行を見直す設計にすると、30.0時間はあまり減りません。
8番目の死着の差し引きは、候補を並べるところまでです。 差し引くかどうかは、取引先との取り決めと、連絡の内容を見て人が決めます。連絡が月をまたいで届いたときは、翌月の請求で差し引く候補として持ち越します。
02今回想定するシステム構成
出荷伝票(市販の3枚複写の控え。手書き。濡れていることがある) │ 夕方にまとめてスキャン ▼ 共有フォルダへのPDFの保存 【トリガー】事務所のPCで毎夕動く Python のスクリプト ▼ Azure AI Document Intelligence(レイアウト モデル) │ 表(行・列・見出し・セル)、選択の印、手書きの行、文字ごとの確信度 ▼ Python ── 列の見出しで項目を決める/品種の一覧・サイズの表に当てる/袋詰めの目安と照らす ├──▶ 問題なし → 出荷の台帳 └──▶ 確信度が低い・品種が当たらない・目安から外れる → 確認待ち ▼ 【人が確認待ちだけを直す】 ▼ 月末 Python ── 取引先ごとの請求書の下書き(死着の差し引きの候補つき)
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| OCR | Azure AI Document Intelligence(レイアウト モデル) | Google Document AI(Form Parser)。AWS Textract は日本語の手書きを読めないため対象外 |
| 集計 | Python(列の決定、品種とサイズの当てはめ、袋詰めの目安の照合、請求書の下書き) | Google Apps Script |
| 台帳 | 出荷の台帳(表計算のファイル) | 販売管理の仕組み |
| 保管 | 共有フォルダ(伝票のPDFと読み取りの結果) | クラウドのストレージ |
新しく作るのは、品種の一覧と、袋詰めの目安の表です。 品種の一覧には、正式な品種の名前と、場内で使われている書き方(漢字・ひらがな・カタカナ・略称)を並べます。袋詰めの目安の表には、品種とサイズごとに、1袋に入れる匹数の普段の範囲を入れます。どちらも、出荷の担当4名に聞き取って作ります。
OCR にレイアウト モデルを選ぶのは、伝票の様式が1つに決まっていないからです。 自社で使う市販の伝票のほかに、問屋が指定する伝票で出すことがあります。レイアウト モデルは学習なしで使え、文字・表・選択の印・文書の構造を取り出します。 様式ごとにモデルを学習させる手間がかかりません。
表は、行と列の番号つきで返ります。 表の行の数と列の数、セルごとの行と列の番号、セルをまたぐ数(rowSpan・columnSpan)、そしてそのセルが列の見出しかどうかが返ります。品種・サイズ・匹数・袋数の列は、見出しの文字で決めます。
手書きの日本語にも対応しています。 レイアウト モデルの手書きの対応言語に、日本語が含まれています。手書きの行かどうかも、確信度つきで返ります。
一方で、セルごとの確信度はありません。 レイアウト モデルが返す確信度は、文字(words)ごと、選択の印ごと、手書きの判定ごとです。セルの確かさは、そのセルに含まれる文字の確信度の最も低い値で見ます(第7章)。
03どうやって実装するのか
処理の起点を決める
事務所のPCで、毎夕決まった時刻に Python のスクリプトを動かします。 出荷の担当が伝票の控えを箱に入れ終えるのは夕方で、事務所の担当がそれをスキャンして共有フォルダに保存したあとに動けば足ります。1日1回で十分なのは、伝票の内容を当日中に台帳に入れる必要が無いからです。 請求は月末なので、翌日の昼までに確認待ちが直っていれば間に合います。
スクリプトは、共有フォルダの「受付」にあるPDFを古い順に取り出し、1枚ずつ読み取りに送ります。読み取りの結果と台帳への書き込みが終わったPDFだけを「処理済み」に移します。 途中で止まったPDFは受付に残り、翌日の起動で拾われます。
事務所のPCは、夕方の決まった時刻に電源が入っている必要があります。 省電力の設定で眠っていると、スクリプトが動きません。動かなかった日は受付にPDFが残るだけで、翌日の起動でまとめて拾われるので、1日の取りこぼしが請求に響くことはありません。ただし、月末の最後の日に動かなかったときは、手で起動してから請求の下書きを作ります。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 出荷伝票 | 手書きの伝票の画像(PDF)。スキャンの日時 | 共有フォルダ |
| 読み取りの結果 | 表のセル(行・列・見出しかどうか)、選択の印(状態と確信度)、手書きの行(判定と確信度)、文字ごとの確信度 | Azure AI Document Intelligence |
| 取引先の一覧 | 取引先の番号、名前、略称、死着の補償の取り決め | 表計算のファイル |
| 品種の一覧 | 品種の番号、正式な名前、場内の書き方の一覧 | 新しく作る表 |
| サイズの表 | 品種ごとのサイズの記号と、その書き方のゆれ | 場内の格付けの表 |
| 袋詰めの目安の表 | 品種とサイズごとの1袋の匹数の普段の範囲 | 新しく作る表 |
| 単価の表 | 取引先・品種・サイズごとの単価 | 表計算のファイル |
質を決めるのは、品種の一覧の「書き方の一覧」です。 「らんちゅう」「蘭鋳」「ランチュウ」「らん」「ラン」が同じ品種だと分かっていれば、読み取った文字を機械的に当てられます。一覧が薄いと、確認待ちの行がいつまでも減りません。
取引先の一覧には、死着の補償の取り決めを「便ごと」に持たせます。 自社の車で届けるときは補償なし、運送の便で送るときだけ補償あり、という取引先があるからです。伝票の印と取り決めが食い違ったら、どちらかの誤りなので確認待ちにします。 取り決めを取引先ごとの1つの値で持つと、この食い違いを拾えません。
データの取得方法を決める
読み取りは、レイアウト モデル(prebuilt-layout)を REST API で呼びます。 分析の要求にPDFを Base64 で渡すと、応答は202で、結果の取得先が Operation-Location のヘッダーで返ります。Retry-After の秒数を待ってから、結果を取りに行きます。
stringIndexType には unicodeCodePoint を指定します。 文字の位置(offset と length)の数え方で、公式のページでは Python 3 で使う単位とされています。セルの文字と文字ごとの確信度を、位置で突き合わせるときにずれなくなります。
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 表 | tables(行の数・列の数・セル) | 品種・サイズ・匹数・袋数の行 |
| セル | 行と列の番号、columnHeader かどうか、セルの文字の位置(spans) | 見出しで列を決め、値を取り出す |
| 文字 | pages の words(文字と確信度と位置) | セルの確信度を出す |
| 選択の印 | pages の selectionMarks(selected/unselected と確信度) | 死着の補償の有無 |
| 手書きの行 | styles の isHandwritten と確信度 | 印刷の見出しと手書きの値の区別 |
| 段落 | paragraphs | 表の外の取引先・出荷日・便 |
セルの確信度は、こう出します。 セルが持つ文字の位置(spans)に含まれる words を探し、その確信度の最も低い値を、そのセルの確信度とします。「30」の「3」だけが怪しいときに、平均にすると隠れてしまうので、最も低い値を使います。
表の外の項目は、段落から取ります。 伝票の上の取引先・出荷日・便の欄は、表として返らないことが多く、段落の文字として返ります。「御中」「様」の前の文字を取引先の候補にし、取引先の一覧の名前と略称に当てます。 当たらなければ確認待ちです。
死着の補償の印は、選択の印として返ります。 伝票の「死着補償 □あり □なし」のような欄で、状態が selected か unselected かと確信度が返ります。選択の印の位置を、近くの「あり」「なし」の文字の位置と照らして、どちらの印かを決めます。 両方に印がある・どちらにも無いときは確認待ちです。
AIへ渡す前に整形する
- 1枚ずつに分ける … まとめてスキャンしたPDFを1ページずつにします
- 向きと傾きの確認 … レイアウト モデルは回転した表も読めるとされていますが、複写の控えは薄いので、傾きの大きいものはスキャンし直します
- 大きさの確認 … PDFは2,000ページ、有料のレベルで500MBまで。画像の寸法は50×50から10,000×10,000ピクセル
- 文字の大きさ … 抽出できる文字の高さの下限は、1024×768の画像で12ピクセル(150DPIで約8ポイント)。伝票の行は狭く、匹数の数字が小さく書かれがちなので、解像度を上げてスキャンします
- 濡れた伝票 … 乾かしてからスキャンします。にじみは解像度では直りません
- 重複の確認 … 同じ取引先・同じ出荷日・同じ内容の伝票が二度スキャンされていないかを見ます
AIに処理させる
させるのは、伝票の文字・表・選択の印を読み取り、確信度を返すことだけです。 列の決定、品種の当てはめ、目安との照合、請求の計算は、すべて Python の規則で行います。
| 見るもの | 確かめ方 | 判断できないときの扱い |
|---|---|---|
| 列の見出し | 「品種」「品名」「サイズ」「寸」「匹」「尾」「数」「袋」の語で列を決める | 列が決まらなければ伝票ごと確認待ち |
| 品種 | 品種の一覧の書き方に当たるか | 当たらなければ確認待ち。似た品種に寄せない |
| サイズ | 品種ごとのサイズの表に当たるか | 当たらなければ確認待ち |
| 匹数・袋数 | 数字だけか。セルの確信度がしきい値以上か | 低ければ確認待ち |
| 袋詰めの目安 | 匹数÷袋数が、その品種とサイズの普段の範囲に入るか | 外れれば確認待ち |
| 死着の補償 | 選択の印の状態と確信度 | 決まらなければ確認待ち |
袋詰めの目安との照合が、この構成でいちばん効く確かめです。 同じ品種とサイズなら、1袋に入れる匹数はだいたい決まっています。「30匹・2袋」が「80匹・2袋」と読まれると、1袋の匹数が普段の倍以上になり、目安から外れます。 文字の確信度が高いまま読み違えた数字も、ここで拾えます。
| させないこと | 理由 |
|---|---|
| 当たらない品種を似た品種に寄せること | 「東錦」と「江戸錦」のように似た名前の別の品種がある |
| 読めない匹数の補完 | 袋数と目安から逆算して埋めない |
| サイズの推測 | 品種と単価から「たぶんM」と決めない |
| 死着の差し引きの決定 | 取引先との取り決めと連絡の内容で人が決める |
| 単価の判断 | 単価の表から機械的に当てる |
2行目の逆算が、いちばん起きやすい失敗です。 袋数と目安が分かっていれば匹数は推し量れますが、それをすると、目安の照合で拾うはずだった読み違いが消えます。 照合に使う値を、照合の結果で埋めてはいけません。
指示内容を固定する
この構成の読み取りは学習の要らないモデルが行うので、文章の指示は使いません。代わりに、Python の当てはめの規則と、品種の一覧の書き方が、指示の役目を果たします。
【列の決め方】
- 見出しのセル(columnHeader)の文字に次の語が入っていれば、その列とする
品種 … 「品種」「品名」「魚種」
サイズ … 「サイズ」「寸」「規格」
匹数 … 「匹」「尾」「数量」
袋数 … 「袋」
- 見出しが見つからない表は、伝票ごと確認待ち(reason: no_header)
【品種の当てはめ】
- セルの文字から空白と記号を除き、カタカナをひらがなにそろえてから、
品種の一覧の書き方と完全一致で比べる
- 一致が無ければ確認待ち(reason: unknown_breed)
- 一致が2つ以上なら確認待ち(reason: ambiguous_breed)
- 部分一致や似た文字での当てはめはしない
【数の確かめ】
- 匹数・袋数のセルの確信度(含まれる文字の確信度の最小)が 0.8 未満
→ 確認待ち(reason: low_conf_number)
- 匹数・袋数に数字以外の文字が混ざる → 確認待ち(reason: not_number)
- 匹数 ÷ 袋数 が袋詰めの目安の範囲の外 → 確認待ち(reason: packing_out_of_range)
【死着の補償】
- 「あり」に近い選択の印だけが selected → compensation: yes
- 「なし」に近い選択の印だけが selected → compensation: no
- それ以外 → 確認待ち(reason: compensation_unclear)
- 取引先の取り決めが「補償なし」なのに yes → 確認待ち(reason: compensation_conflict)
「部分一致や似た文字での当てはめはしない」を明記するのは、品種の名前が似ているからです。 「東錦」と「江戸錦」、「オランダ獅子頭」と「オランダ」のような略称の重なりがあります。似た品種に寄せると、単価の違う品種で請求することになります。
「カタカナをひらがなにそろえる」のは、書き方の一覧を短くするためです。 「ランチュウ」と「らんちゅう」を両方の書き方として持つ必要がなくなります。漢字の書き方は、そのまま一覧に持ちます。
出力形式を固定する
Python が、伝票ごとに次の形の記録にそろえます。
{
"slip_id": "20261105-07",
"customer": { "raw": "", "customer_no": "", "matched": true },
"ship_date": "2026-11-05",
"delivery": "own_truck | carrier | unknown",
"compensation": "yes | no | unknown",
"lines": [
{
"row": 1,
"breed_raw": "らん",
"breed_code": "",
"size_raw": "M",
"size_code": "",
"count": 0,
"bags": 0,
"cell_conf_min": 0.0,
"per_bag": 0.0,
"reasons": []
}
],
"status": "ok | needs_review"
}
breed_raw と size_raw を残すのは、品種の一覧を育てるためです。 確認待ちで人が品種を選んで直すたびに、その書き方を一覧に足す候補にします。同じ書き方が3回出てきたら、一覧に足します。
per_bag を残すのは、袋詰めの目安の表を見直すためです。 季節によって魚の大きさが変わり、普段の範囲がずれることがあります。確認待ちの多くが目安の外で、直してみると読み違いでなかった、という月は、目安の表のほうを直します。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 共有フォルダ | Python のファイル操作 | 受付のPDFを取り出し、処理済みへ移す |
| Azure AI Document Intelligence | Python から REST API | 分析の要求と、結果の取得 |
| 取引先・品種・サイズ・目安・単価の表 | Python の読み込み | 当てはめと照合 |
| 出荷の台帳 | Python の書き込み | ok の行と、直し終えた行 |
| 確認待ちの一覧 | 表計算のファイル | needs_review の行と理由 |
| 請求書の下書き | 表計算のファイル | 月末に取引先ごとに作る |
出荷の台帳への書き込みは、行の追加だけにします。 すでにある行を書き換えません。確認待ちを直した行も、直したことが分かる印を付けて追加します。 月末の請求の下書きを作り直しても、元の記録が消えないようにするためです。
API のキーは、スクリプトに書かず、PCの環境変数に置きます。
人が確認する
事務所が見るのは、確認待ちの行だけです。
unknown_breedとambiguous_breed… 伝票の画像で品種の欄を見て、品種の一覧から選びます。新しい書き方なら、一覧に足す候補にしますlow_conf_numberとpacking_out_of_range… 匹数と袋数の欄を画像で見ます。読めなければ出荷の担当に確かめますcompensation_unclearとcompensation_conflict… 伝票の印を画像で見て、取引先の取り決めと照らしますno_header… 列の見出しの無い伝票です。問屋の指定の伝票に多いので、その様式の見出しの語を列の決め方に足します- 直した行を記録する … どの欄を、何から何に直したかを残します
確認待ちは、伝票の画像と並べて見られる一覧にします。 一覧の行を選ぶと、その伝票のPDFが開き、読み取った値と直す欄が横に並ぶようにしておくと、1行あたりの時間が大きく変わります。表計算のファイルにPDFへのリンクを入れるだけでも足ります。
1番目で品種を選んだら、その書き方を一覧に足すかをその場で決めます。 足す候補をためておき、週に1回まとめて足す、という運用でも構いません。大事なのは、同じ書き方で何度も確認待ちにならないことです。
目標は、300枚をならして1枚2分です。 確認待ちの行が伝票の3割前後に含まれる、という想定です。
例外に対処する
| 起きること | 対応 |
|---|---|
| 1ファイルに複数の伝票 | 1ページずつに分けて入れ直す |
| 伝票が濡れて文字がにじむ | 乾かしてスキャンし直す。直らなければ人が打ち込む |
| 表が2つに分かれて返る | 同じ伝票の表は、列の見出しが同じなら1つにつなぐ |
| 行がセルをまたいで書かれている | rowSpan・columnSpan を見て、またいだ行は確認待ち |
| 取引先の名前が当たらない | 略称の一覧を見直す。新しい取引先なら一覧に足す |
| 結果の取得で処理中が続く | Retry-After の秒数を待って取り直す。翌日の起動まで受付に残す |
| 同じ伝票が二度スキャンされた | 取引先・出荷日・行の内容で照らし、二重に台帳へ入れない |
| 匹数に「約」「〜」が付いている | 数字以外が混ざるので確認待ち。出荷の担当に実際の数を確かめる |
| 品種の一覧に無い新しい品種や掛け合わせ | 確認待ち。単価の表にも無いので、営業が単価を決めてから一覧に足す |
| 訂正の二重線が引かれた数字 | 消した数字も読まれうる。セルに数字が2つあれば確認待ち |
訂正の二重線は、手書きの伝票で避けられません。 作業場では書き直しの用紙を取りに行けないので、その場で線を引いて隣に書きます。セルに数字の候補が2つ並んだら、機械では決めず、必ず人が見ます。
記録を残す
- 伝票のPDFと、スキャンの日時
- 読み取りの結果の JSON の全文(表、文字、選択の印、手書きの判定)
- 伝票ごとの記録(第7章の出力形式)と、確認待ちの理由
- 人が直した行の記録 … どの欄を、何から何に直したか
- 月末の請求書の下書きの版と、そのとき使った単価の表の版
- 死着の連絡と、差し引いたかどうか
死着の連絡の記録は、取引先ごと・品種ごとに数えられるようにします。 補償の取り決めを見直すときの材料になります。運送の便の種類や季節ごとに死着の割合が違うなら、袋詰めの匹数を減らす、便を変える、といった出荷の側の手も打てます。
人が直した記録は、品種の一覧と袋詰めの目安の表を育てる材料です。 直しの理由の内訳を月ごとに数え、多い理由から手を打ちます。
04実装レベルの3段階
本記事の想定は半自動化です。 1枚6分が2分になります。打ち込みと品種の直しの大半が無くなり、月末の請求書の下書きも台帳から機械的に出ます。 本格構成は、注文の記録が整っている養殖場向けです。 注文が電話とFAXで来ていて記録が残っていないなら、半自動化で止めておくほうが手間に見合います。 半自動化の段階でも、台帳の品種がそろうことの効き目は大きいものです。 品種とサイズごとの出荷の数が月ごとに並ぶので、池ごとの在庫の見込みと照らして、出せる数の見当がつくようになります。 本格構成に進む前に、この数字を営業の打ち合わせで使ってみると、注文の記録を整える必要があるかどうかも見えてきます。
05工数削減シミュレーション
導入後 300件 × 2分 ÷ 60 = 10 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 金魚・メダカなどの観賞魚を養殖し、ペットショップ・問屋・ホームセンターへ出荷している養殖場で、出荷のときに市販の複写式の伝票に品種・サイズ・匹数・袋数を手書きしている場合。月末にその伝票を見ながら、取引先ごとに請求書を作っている場合。品種の呼び名が人によって漢字・ひらがな・略称とばらばらな場合。
- 出荷の内容を受注の画面やタブレットで入力しており、手書きの伝票が無い場合。取引先が数軒で、伝票が月に数十枚の場合。品種とサイズの格付けの表が場内で決まっておらず、同じ魚を人によって違うサイズで書いている場合(読み取りの前に格付けをそろえる必要がある)。なお、死着の補償をするかどうかの判断と、単価の取り決めは、この構成では代替できません。
07最小構成で試す方法
- 先月の伝票の控えから40枚を選ぶ(濡れたもの、問屋の指定の伝票、行の多いもの、死着の補償の印のあるものを入れる)
- Document Intelligence Studio で、レイアウト モデルに1枚ずつ読ませる
- 表の行と列、セルの文字、選択の印が、伝票どおりに返っているかを見る
- 当時の台帳の値と突き合わせる
- 読み違えた匹数のセルについて、含まれる文字の確信度の最も低い値を見る
ここで見るのは2つです。 1つは、表の行と列が伝票の罫線どおりに返るか。もう1つは、読み違えた数字の文字の確信度が低く出ているかです。
| 出てきた内容 | 判断 |
|---|---|
| 表が罫線どおりで、読み違えた数字の確信度が低い | Python の当てはめに進む |
| 読み違えた数字の確信度も高い | 袋詰めの目安の照合を先に作る。確信度だけに頼らない |
| 表の行と列がずれる | 伝票の罫線が薄い。罫線のはっきりした伝票に替えることを検討する |
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| セルの確信度が無い | セルに含まれる文字の確信度の最も低い値で見る |
| 確信度が高いのに数字を読み違えている | 袋詰めの目安と照らす。確信度だけに頼らない |
| 似た品種に寄せてしまう | 完全一致だけで当てる。部分一致をしない |
| 読めない匹数を袋数から逆算して埋める | 補完を禁じる。照合に使う値を照合の結果で埋めない |
| 文字の位置がずれてセルの文字が取れない | stringIndexType を Python 向けの unicodeCodePoint にする |
| 問屋の伝票で列が決まらない | 見出しの語を列の決め方に足す |
| 死着の補償の印がどちらか決まらない | 選択の印と「あり」「なし」の文字の位置を照らす |
| 濡れた伝票が読めない | 乾かしてからスキャン。作業場に乾いた置き場所を作る |
| 台帳の行を上書きして元が消える | 行の追加だけにする |
| 袋詰めの目安の外が多すぎる | 季節で魚の大きさが変わる。目安の表を季節ごとに見直す |
| 取引先の名前が略称で当たらない | 取引先の一覧に略称の列を持たせる |
| PCが眠っていてスクリプトが動かない | 省電力の設定を見直す。動かない日は翌日にまとめて拾う |
上の2行が、この構成の失敗のほとんどです。 レイアウト モデルはセルごとの確信度を返さず、文字の確信度が高くても読み違いは起きます。数字の当否を、確信度と袋詰めの目安の2つで見る設計にしてあるかで、請求の誤りの数が決まります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 取引先の名前、出荷の数と品種、単価、死着の補償の取り決めです。個人の情報はほとんど含みませんが、取引先ごとの単価は取引上の秘密です。
- 読み取りに渡すのは伝票だけ … 単価の表と取引先の一覧は Azure に渡さず、照合は Python の側で行います
- リソースの地域を決めておく … Document Intelligence のリソースをどの地域に置くかを決め、伝票の内容がどこで処理されるかを把握しておきます
- 死着の差し引きは人が決める … 取引先との取り決めと連絡の内容で決めます。自動で差し引きません
- API のキーを PC の環境変数に置く … スクリプトのファイルを共有してもキーが渡らないようにします
- 伝票の紙とPDFの保存の期間を決める … 伝票は請求の根拠の書類です。画像を残すなら、紙の控えをいつ処分するかもあわせて決めます
- 事務所のPCが止まったときの代わりを決める … スクリプトが動かない日は受付にPDFがたまるだけで、翌日に動けば拾われます。 月末の前に止まったときだけ、手で打ち込む段取りを決めておきます
誤りが起きた場合のリスクは、取引先への請求の誤りです。 品種の取り違えは単価の違いに、匹数の読み違いは額の違いになります。どちらも、品種の完全一致と袋詰めの目安の照合で止めます。
10まず何から始めるか
1週目:品種の一覧と袋詰めの目安の表を作る
出荷の担当4名に、品種ごとの書き方と、品種とサイズごとの1袋の匹数を聞き取ります。出荷の多い上位10品種から埋めます。
2週目:40枚で試す
第8章の手順で、Studio のレイアウト モデルに伝票を読ませます。表の行と列が罫線どおりに返るか、読み違えた数字の確信度が低いかを最優先で見ます。
3週目:当てはめの規則を作る
列の決め方、品種の当てはめ、袋詰めの目安の照合を Python で書き、2週目の40枚の読み取りの結果に当てます。確認待ちの割合と、その理由の内訳を見ます。
4週目:毎夕の読み取りをつなぐ
共有フォルダの受付から読み取り、出荷の台帳と確認待ちの一覧を作るところまでつなぎます。この時点では請求書の下書きは作らず、台帳と伝票が合っているかを毎日見ます。
2か月目: 月末の請求書の下書きを足し、当時の作り方の請求書と突き合わせます。3か月目以降: 1枚6分が何分になったかを実測します。確認待ちの理由のうち unknown_breed が1割を下回った時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
レイアウト モデルが文字・表・選択の印・文書の構造を取り出すこと。表の行と列の数、rowSpan・columnSpan、セルの行と列の番号、columnHeader かどうか、セルの文字の位置(spans)を返すこと。回転した表を読めること。選択の印が selected/unselected と確信度を返すこと。文字ごとに確信度を返し、手書きの行かどうかを確信度つきで返すこと。入力の大きさの上限(PDFは2,000ページ、有料で500MB)、画像の寸法、文字の高さの下限が1024×768で12ピクセルであること | Microsoft Learn: Document layout analysis | 2026-11-06 |
| レイアウト モデルの手書きの対応言語に日本語が含まれること | Microsoft Learn: Language support for Read and Layout | 2026-11-06 |
分析の要求に Base64 か URL で文書を渡し、応答が202で Operation-Location と Retry-After のヘッダーを返すこと。stringIndexType の unicodeCodePoint が Python 3 で使う単位であること | Microsoft Learn: Document Models - Analyze Document (2024-11-30)&tabs=HTTP) | 2026-11-06 |
死着の補償の扱いと単価は、取引先との取り決めで決めてください。 本記事は上記の公開資料で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3037)についてのご相談はこちらから。
