和菓子の製造工場で毎日手書きする製造日報を読み取り、品目ごとの月次の歩留まりの表と、蒸しの条件が外れた回の一覧を作る
蒸し庫ごとに手書きする製造日報を読み取り、仕込みの回ごとの品名・仕込み量・できた数・ロス・蒸しの温度と時間を表にします。品目ごとに月次の歩留まりを出し、蒸しの条件が品目の標準から外れた回を一覧にします。
- 生成AI
- Azure OpenAI Service/Claude
- AIサービス
- AWS Textract/Azure AI/Google Document AI
- 連携・自動化
- Google Apps Script/Make/n8n/Power Automate/Python
- 対象業界
- 小売/製造
- 対象部門
- 品質管理/生産
- 対象業務
- データ入力・転記/集計・分析
- 主な課題
- データ分析に時間がかかる/入力作業が多い/確認ミスが多い
- AIで行う処理
- 読み取り(OCR)
- 主な効果
- 入力漏れ削減/判断支援/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 作業者が仕込みの回ごとに日報の行を書き、午前と午後の終わりに事務所の箱に入れる
- 夕方、製造部の事務の担当が箱から日報を集める
- 1枚ずつ、品名・仕込み量・できた数・ロス・蒸しの温度と時間を共有の表に打ち込む
- 略して書かれた品名を、品目の一覧を見ながら正式な品名に直す
- ロスの理由を読み、「割れ・形崩れ・蒸しむら・重量外れ・落下・その他」のどれかに読み替える
- 蒸しの温度と時間を品目の標準と見比べ、外れていれば欄に色を付ける
- 月末に品目ごとの仕込み量・できた数・ロスを集計し、歩留まりを出して製造の責任者に渡す
- 人午前と午後の終わりに、作業者が日報を事務所の複合機でスキャンする
- 自動SharePoint の受付フォルダに保存されたことをきっかけに、ワークフローが動く
- 自動レイアウト モデルが日報の上の欄と表を読み、セルごとの文字と単語の信頼度を返す
- 自動表の列を見出しで決め、行ごとに品名・仕込み量・できた数・ロス・蒸しの温度と時間を取り出す
- 自動手書きの品名を、生成AIが今月の品目の一覧のどれかに当てる。ロスの理由も区分にそろえる
- 自動品目の規格の重さから本来できる個数を出し、歩留まりと、数の食い違いを計算する
- 自動蒸しの温度と時間を、品目の標準の範囲と比べる
- 自動読みの信頼度が基準以上で、数と品名に問題が無い行は、月次の表の元になる台帳に書く
- 自動読めなかった行、品名が決まらない行、数が合わない行は、確認の一覧に回す
- 人製造部の事務の担当が確認の一覧だけを見て、原本と見比べて直す
- 自動蒸しの条件が外れた回は、その日のうちに Teams で品質管理の担当に知らせる
- 自動毎週月曜に、品目ごとの歩留まりとロスの内訳の途中経過を製造の責任者に出す
各工程の詳しい説明を読む
- 作業者が仕込みの回ごとに日報の行を書き、午前と午後の終わりに事務所の箱に入れる
- 夕方、製造部の事務の担当が箱から日報を集める
- 1枚ずつ、品名・仕込み量・できた数・ロス・蒸しの温度と時間を共有の表に打ち込む
- 略して書かれた品名を、品目の一覧を見ながら正式な品名に直す
- ロスの理由を読み、「割れ・形崩れ・蒸しむら・重量外れ・落下・その他」のどれかに読み替える
- 蒸しの温度と時間を品目の標準と見比べ、外れていれば欄に色を付ける
- 月末に品目ごとの仕込み量・できた数・ロスを集計し、歩留まりを出して製造の責任者に渡す
(a)品名の読み替えで集計が割れる。 「酒まん」と「酒饅」が同じ品目かは、担当者が一覧を見て決めます。季節の品目が入れ替わった週は時間がかかり、先月の品目との取り違えも起きます。
(b)数字の読み違いが歩留まりを動かす。 仕込み量の「18.5」と「13.5」、できた数の「480」と「430」は、手書きでは紛れます。仕込み量を5kg読み違えると、その回の歩留まりは数十ポイント動きます。 月末にまとめて見ると、どの回の数字が怪しいかを日報まで戻って探すことになります。
(c)蒸しの外れに気づくのが遅い。 標準と見比べるのは打ち込みの後で、終わらない日は翌日に回ります。 気づいたときには、その回の製品は出荷されています。
(d)歩留まりを見るのが月末になる。 原料の値段が上がり目減りを数字で見たいのに、集計は月末の作業です。
- 【人】 午前と午後の終わりに、作業者が日報を事務所の複合機でスキャンする
- 【自動】 SharePoint の受付フォルダに保存されたことをきっかけに、ワークフローが動く
- 【自動】 レイアウト モデルが日報の上の欄と表を読み、セルごとの文字と単語の信頼度を返す
- 【自動】 表の列を見出しで決め、行ごとに品名・仕込み量・できた数・ロス・蒸しの温度と時間を取り出す
- 【自動】 手書きの品名を、生成AIが今月の品目の一覧のどれかに当てる。ロスの理由も区分にそろえる
- 【自動】 品目の規格の重さから本来できる個数を出し、歩留まりと、数の食い違いを計算する
- 【自動】 蒸しの温度と時間を、品目の標準の範囲と比べる
- 【自動】 読みの信頼度が基準以上で、数と品名に問題が無い行は、月次の表の元になる台帳に書く
- 【自動】 読めなかった行、品名が決まらない行、数が合わない行は、確認の一覧に回す
- 【人】 製造部の事務の担当が確認の一覧だけを見て、原本と見比べて直す
- 【自動】 蒸しの条件が外れた回は、その日のうちに Teams で品質管理の担当に知らせる
- 【自動】 毎週月曜に、品目ごとの歩留まりとロスの内訳の途中経過を製造の責任者に出す
10番目で人が見るのは確認の一覧だけです。 読みの信頼度が高く、品名が1つに決まり、数も合っている行は、人が開かずに台帳に入ります。このため human_check は「条件付き」です。 全件を見直すと、打ち込みが見直しに変わるだけです。
11番目をその日のうちにするのは、出荷の前に気づくためです。
02今回想定するシステム構成
製造日報(紙) │ 午前・午後の終わりに作業者がスキャン ▼【トリガー】SharePoint の受付フォルダへの保存 Power Automate ▼ Azure AI Document Intelligence(レイアウト モデル) │ 上の欄と表、セル、単語の信頼度、手書きの判定 ▼ Azure Functions(Python)── 列の決定、数の計算、標準との比較 ├──▶ Azure OpenAI ── 品名を今月の品目に当てる/ロスの理由を区分にそろえる ▼ 判定(台帳へ / 確認の一覧へ) ├──▶ SharePoint のリスト(仕込みの回ごとの台帳、月次の歩留まりの表) └──▶ Teams(確認の一覧、蒸しの外れの知らせ、週ごとの途中経過)
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| OCR | Azure AI Document Intelligence(レイアウト モデル。表のセル、単語の信頼度、手書きの判定) | Google Document AI(Form Parser)。AWS Textract は日本語の手書きを読めないため対象外 |
| 生成AI | Azure OpenAI(Microsoft Foundry。品名を品目の一覧に当てる、ロスの理由を区分にそろえる。構造化出力) | Claude API |
| 集計 | Python(Azure Functions。列の決定、歩留まりの計算、数の食い違い、標準との比較、月次の集計) | Google Apps Script |
| 連携 | Power Automate(保存の検知、Document Intelligence のコネクタの呼び出し、リストへの書き込み、通知) | Make、n8n |
| 台帳 | SharePoint のリスト(仕込みの回ごとの台帳、月次の歩留まりの表、品目の一覧) | 製造管理システム |
| 保管 | SharePoint のドキュメント ライブラリ(日報の画像と読み取りの結果) | Azure Blob Storage |
読み取りの中心は、学習の要らないレイアウト モデルです。 文字、表、選択の印、文書の構造を取り出すモデルで、日本語は印字の文字にも手書きの文字にも対応しています。 日報の様式は1種類ですが、季節の品目が入れ替わるたびに品名の欄に書かれる語が変わります。欄の位置で値を取る学習型のモデルより、表をそのまま読むモデルのほうが、品目の入れ替わりに強いという判断です。
表は、セルごとに行と列の番号と、見出しかどうかが返ります。 公式の説明では、各セルは位置の座標とともに columnHeader として認識されたかどうかを持ち、行と列の番号を持ちます。セルの文字は、文書全体の文字列の中の位置(offset と length)で示されます。
Power Automate のコネクタから、レイアウト モデルを呼べます。 「Analyze Document for Prebuilt or Custom models (v4.x API)」というアクションで、モデルの ID に prebuilt-layout を渡します。このコネクタは Power Automate では Standard の区分です。
品目の一覧は、いまの共有の表をリストに移すだけです。 最初の準備は、品目の一覧に「1個あたりの規格の重さ」「蒸しの温度と時間の標準の範囲」「現場での呼び名」の列を持たせることです。
03どうやって実装するのか
処理の起点を決める
SharePoint の受付フォルダに日報の画像が保存されたことを起点にします。 事務所の複合機のスキャンの宛先をこのフォルダにし、作業者が午前と午後の終わりにスキャンします。夕方に箱から集める工程を無くし、蒸しの外れをその日のうちに知らせるためです。
1枚1ファイルでスキャンします。 複合機の設定で「1ページごとに1ファイル」にしておきます。
処理が終わったファイルは、日付ごとの処理済みフォルダへ移します。 移すのは台帳への書き込みか、確認の一覧への登録が終わったときだけです。受付フォルダに残っている数が、そのまま処理できていない数になります。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 製造日報の画像 | 日付、蒸し庫の番号、担当者、仕込みの回ごとの品名・仕込み量・できた数・ロスの数と理由・蒸しの温度と時間 | 受付フォルダ |
| 読み取りの結果 | 上の欄の文字、表のセル(行・列の番号、見出しかどうか)、単語の信頼度、手書きの判定 | Azure AI Document Intelligence |
| 今月の品目の一覧 | 品目コード、正式な品名、現場での呼び名、1個あたりの規格の重さ、蒸しの温度と時間の標準の範囲、提供の期間 | SharePoint のリスト |
| ロスの理由の区分 | 区分の名前と、よく使われる書き方の例 | 製造部の一覧 |
| 蒸し庫の一覧 | 蒸し庫の番号、その蒸し庫で作る品目 | SharePoint のリスト |
質を決めるのは、品目の一覧です。 規格の重さが無ければ、本来できる個数が出せず、歩留まりの分母がありません。現場での呼び名の列があれば、生成AIに渡す候補を絞れます。 呼び名は最初から全部そろえる必要はなく、確認の一覧で人が決めた結果を足していきます。
提供の期間の列は、季節の品目のためにあります。 先月で終わった品目を候補から外せば、先月の「栗蒸」と今月の「栗きんとん蒸し」を取り違える余地が減ります。
データの取得方法を決める
Power Automate から prebuilt-layout を指定して解析を呼びます。返ってくる analyzeResult の tables に表が、pages に単語と信頼度が、styles に手書きの判定が入ります。
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 日付・蒸し庫の番号・担当者 | 上の欄の文字(paragraphs と lines) | 台帳の行の特定 |
| 表の見出しの行 | tables のセルのうち columnHeader のもの | 列の意味の決定 |
| 仕込みの回ごとの値 | tables の本体のセル(rowIndex・columnIndex) | 品名・数・温度・時間 |
| 単語の信頼度 | pages の words の confidence | セルごとの読みの確からしさ |
| 手書きの判定 | styles の isHandwritten | 印字の見出しと手書きの値の区別 |
レイアウト モデルの表のセルそのものには、信頼度が返りません。 そこで、セルの文字の位置(offset と length)に重なる単語を集め、その中でいちばん低い信頼度をセルの信頼度とします。 コネクタの説明では、日本語のように単語を空白で区切らない言語では1文字ずつが1つの単語として返ります。「18.5」なら4文字それぞれに信頼度が付くので、「8」の1文字だけが怪しい、という状態を拾えます。
列は位置ではなく見出しの文字で決めます。 様式を直して列の順番が変わっても、処理を直さずに済みます。
AIへ渡す前に整形する
- 形式の確認 … レイアウト モデルは PDF と画像(JPEG/JPG、PNG、BMP、TIFF、HEIF)を受けます
- 画像の寸法の確認 … 50×50 から 10,000×10,000 ピクセルの間である必要があります
- 文字の高さの確認 … 1024×768 の画像で12ピクセルが下限で、150dpi で約8ポイントの文字に当たります。複合機の解像度を200dpi以上にします
- 向きと様式の確認 … 上の欄に「製造日報」の印字があるか、表の見出しの行が読めたかを見ます。見出しが読めない日報は、列を決められないので人に回します
- 数字の整え … 全角の数字、「kg」「個」「℃」「分」の単位、「約」「〜」を外し、数として読めるかを確かめます
- 重複の確認 … 同じ日付・蒸し庫・午前午後の日報が既にあれば、再スキャンとして印を付けます
5番目で「約」や「〜」を外したときは、外したことを記録します。 「約18」と書かれた仕込み量を18として扱うと、作業者が量っていない数を量った数として集計に入れることになります。歩留まりには入れますが、その回には「概数」の印を付けます。
AIに処理させる
読み取りはレイアウト モデル、計算と比較は Python、生成AIは品名とロスの理由をそろえるだけです。
| 工程 | 担当 | 中身 |
|---|---|---|
| 日報の欄と表を読む | Document Intelligence | 文字、表のセル、単語の信頼度、手書きの判定 |
| 列を決め、行を取り出す | Python | 見出しの文字で列を決め、仕込みの回ごとの値にする |
| 品名を品目に当てる | Azure OpenAI | 手書きの品名を、今月の品目の一覧のどれかに当てる |
| ロスの理由をそろえる | Azure OpenAI | 作業者の書き方を、ロスの理由の区分のどれかに当てる |
| 歩留まりを出す | Python | 本来できる個数、歩留まり、数の食い違い |
| 標準と比べる | Python | 蒸しの温度と時間が品目の標準の範囲に入っているか |
| 台帳と一覧に書く | Power Automate | 判定に合わせて台帳か確認の一覧へ |
計算と判定は次の規則で行います。
| 見るもの | 規則 | 合わないとき |
|---|---|---|
| 本来できる個数 | 仕込み量(kg)× 1,000 ÷ 1個あたりの規格の重さ(g) | 規格の重さが無ければ確認の一覧へ(no_unit_weight) |
| 数の食い違い | できた数+ロスが、本来できる個数から許容の幅に入っているか | 確認の一覧へ(count_gap) |
| 歩留まり | できた数 ÷ 本来できる個数。品目ごとのいつもの範囲に入っているか | 確認の一覧へ(yield_out_of_range) |
| 蒸しの条件 | 温度と時間が品目の標準の範囲に入っているか | 知らせる(steam_out_of_range)。台帳にも入れる |
| 読みの信頼度 | 仕込み量・できた数・ロス・温度・時間のセルが基準以上か | 確認の一覧へ(low_confidence) |
数の食い違いは、歩留まりとは別に見ます。 できた数とロスを足しても本来できる個数に届かないとき、差は計量の誤差か、数え漏れか、読み違いのどれかです。歩留まりだけを見ると、ロスを書き忘れた回が「歩留まりの悪い回」に見えます。 差が大きい回は、歩留まりの表に入れる前に人に回します。
蒸しの条件の外れは、台帳にも入れます。 外れていても、その回の数字は実際の製造の記録です。入れずに止めると、外れた回だけが月次の表から消え、歩留まりがよく見えてしまいます。
| させないこと | 理由 |
|---|---|
| 読めない数の補完 | 前の回や同じ品目の平均で埋めると、読み違いが隠れる |
| 歩留まりが落ちた原因の推定 | 原料のロット、蒸し庫、作業者の手順など、調べるのは製造の責任者 |
| 蒸しの条件の良し悪しの判断 | 標準の範囲との比較だけ。範囲を決めるのは品質管理の担当 |
| 作業者ごとの比較 | 日報は製造の記録として使う。人の評価には使わない |
1行目がいちばん起きやすい失敗です。 同じ品目は毎日ほぼ同じ量を仕込むので、読めない仕込み量を前日の値で埋めれば、たいていは当たります。しかし、当たらなかった1回が、その月の歩留まりの表で原因の分からない外れになります。 照らす材料には使いますが、埋めることには使いません。
指示内容を固定する
生成AIに渡すのは、日報の品名とロスの理由の欄の文字、今月の品目の一覧(品目コード・正式な品名・現場での呼び名)、ロスの理由の区分だけです。仕込み量や温度の数字は渡しません。
あなたは和菓子の製造工場の製造部で、製造日報の品名とロスの理由をそろえる担当です。
日報の品名を今月の品目の一覧のどれかに当て、ロスの理由を区分の一覧のどれかに当ててください。
【日報の品名(原文)】
{item_text}
【日報のロスの理由(原文)】
{loss_text}
【今月の品目の一覧(品目コード、正式な品名、現場での呼び名)】
{item_master}
【ロスの理由の区分(区分の名前と、よく使われる書き方の例)】
{loss_categories}
【厳守事項】
- 品目は一覧の中からだけ選んでください。一覧に無い品目を作らないでください。
- 品名が一覧の2つ以上に同じくらい当てはまるとき、またはどれにも当てはまらないときは、
item_code を "unmatched" にし、candidates に候補の品目コードを並べてください。
- 季節の品目と通年の品目で名前が似ているときは、一覧の提供の期間を見て選んでください。
期間が合わない品目を選ばないでください。
- ロスの理由に複数の理由が書かれていれば、理由ごとに分けて返してください。
例: 「割れ5 へこみ2」は、割れ5と形崩れ2に分けます。
- ロスの数が書かれていれば、そのまま count に写してください。
書かれていなければ null にしてください。数を推定しないでください。
- どの区分にも当てはまらないロスの理由は、category を "other" にしてください。
- 歩留まり、原因、対策は書かないでください。
- item_original と loss_original には、判断に使った原文の文字をそのまま写してください。
「期間が合わない品目を選ばない」を明記しないと、先月の品目に当てます。 一覧に先月の品目が残っていると、生成AIは呼び名の似ているほうを選びます。一覧そのものから提供の期間外の品目を外しておき、指示にも書きます。 二重に絞るのは、月の替わり目の数日は、前の月の品目を作り終える日があるからです。
「数を推定しない」も外せません。 「割れ」とだけ書かれて数が無いとき、本来できる個数からできた数を引けば、数は出せます。しかし、その差は数の食い違いを見つけるための材料で、作業者が数えたロスではありません。
出力形式を固定する
生成AIの出力は、構造化出力でJSONの形を固定します。 Azure OpenAI の構造化出力は、Chat Completions では response_format に json_schema と strict: true を、Responses API では text.format にスキーマを渡します。すべての項目を required にし、additionalProperties を false にする必要があり、任意の項目は null との組み合わせで表します。 文字列の pattern、数値の minimum・maximum、配列の minItems・maxItems は使えないので、範囲の確かめは Python で行います。
{
"item": {
"item_code": "unmatched",
"item_original": "",
"candidates": [""]
},
"losses": [
{ "category": "crack | shape | uneven_steam | weight | drop | other",
"count": 0, "loss_original": "" }
]
}
仕込みの回1行の結果は、次の形で台帳と確認の一覧へ渡します。
{
"log_id": "S03-2026-11-04-AM",
"date": "2026-11-04",
"steamer_no": "S03",
"half": "AM",
"row_no": 2,
"item_code": "",
"batch_kg": "",
"batch_kg_approx": false,
"unit_weight_g": 0,
"expected_pcs": 0,
"good_pcs": 0,
"loss_pcs": 0,
"losses": [],
"yield_pct": 0,
"steam_temp_c": "",
"steam_min": "",
"checks": ["count_gap"],
"route": "ledger | review"
}
仕込み量と温度と時間を文字列で持つのは、読み取った形を崩さないためです。 数値にすると「18.50」と「18.5」の区別や、空欄と0の区別が消えます。計算には数に直した値を使い、記録には読み取った文字のまま残します。
route | 条件 |
|---|---|
ledger | checks に確認が要る値が無く、品目が unmatched でない |
review | low_confidence・count_gap・yield_out_of_range・no_unit_weight のどれかがある、または品目が unmatched |
steam_out_of_range は route を変えません。 蒸しの外れは知らせる対象だからです。外れた回でも、読みと数が合っていれば台帳に入れ、別に品質管理の担当へ知らせます。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| SharePoint の受付フォルダ | Power Automate のトリガー | 日報の画像の保存を検知する |
| Azure AI Document Intelligence | Power Automate のコネクタ(v4.x の解析、prebuilt-layout) | 表のセル、単語の信頼度、手書きの判定を返す |
| Azure Functions | Power Automate から呼ぶ | 列の決定、セルの信頼度、歩留まりの計算、標準との比較 |
| Azure OpenAI | Azure Functions から呼ぶ | 品名とロスの理由をそろえる |
| SharePoint のリスト | Power Automate の書き込み | 仕込みの回ごとの台帳、月次の歩留まりの表 |
| Teams | Power Automate の通知 | 確認の一覧、蒸しの外れの知らせ、週ごとの途中経過 |
月次の歩留まりの表は、台帳から作り直す形にします。 表の値を毎回足し込む形にすると、確認の一覧で後から直した行を反映できません。月の途中でも、台帳の ledger の行だけから品目ごとに集計し直します。
人が確認する
人が見るのは review の行だけです。 確認の一覧には、checks の値と、信頼度の低いセル、日報の画像の該当の行を並べます。
low_confidenceとcount_gapを先に見る … 多くは仕込み量かできた数の1文字の読み違いです。原本の該当のセルを拡大して見ますunmatchedの品名を当てる … 候補から選び、決めた呼び名を品目の一覧の「現場での呼び名」に足しますyield_out_of_rangeを見る … 読みが正しければ、そのまま台帳に入れます。外れていること自体は製造の責任者が見る情報ですno_unit_weightを直す … 品目の一覧に規格の重さを入れてもらいます- 直した内容を記録する … どのセルを、何から何に直したかを残します
目標は、300枚をならして1枚1.2分です。 季節の品目が入れ替わった月の最初の週は、unmatched が増えるのが普通です。2週目に減っていれば、呼び名の足し込みが効いています。
例外に対処する
| 起きること | 対応 |
|---|---|
| 逆さま・斜めのスキャン | 表の見出しが読めない。スキャンし直す |
| 文字が小さく読めない | 1024×768 で12ピクセルが下限。複合機の解像度を上げる |
| 表の罫線の外に書かれた追記 | 表のセルに入らない。上の欄と余白の文字を確認の一覧に添える |
| 仕込み量が空欄 | 本来できる個数が出せない。count_gap として人へ |
| 「約」「〜」の付いた数 | 数として扱い、batch_kg_approx を true にする |
| 今月の品目の一覧が未更新 | 季節の品目が全部 unmatched になる。月初の更新を先に確かめる |
| 同じ日報が二度スキャンされる | 日付・蒸し庫・午前午後で照合し、二重に台帳に入れない |
| 解析が失敗する | 受付フォルダに残す。処理済みへ移すのは成功時だけ |
下から3行目は、月の替わり目に必ず一度は起きます。 unmatched が一度に10行を超えたら、一覧の更新を疑います。
記録を残す
- 日報の画像と、スキャンした日時・複合機
- Document Intelligence が返したJSONの全文(モデルの ID と API の版を付ける)
- 生成AIに渡した品名とロスの理由の原文と、返ってきた結果
- 計算の結果(
checks、本来できる個数、歩留まり)と、そのとき使った品目の一覧の版 - 人が直した記録 … どのセルを、何から何に直したか
- 蒸しの外れを知らせた日時と、知らせた先
4つ目で品目の一覧の版を残すのは、規格の重さが後から変わるためです。 1個の重さを30gから32gに変えた月は、同じ仕込み量でも本来できる個数が変わります。どの版の重さで計算したかが残っていないと、月をまたいだ歩留まりの比較が成り立ちません。
04実装レベルの3段階
半自動化で、1枚5分が1.2分になります。 この段階が本記事の想定です。打ち込みは無くなり、残るのは review の行の確認と、unmatched の品名を当てる作業です。 本格構成は、原料のロットの記録が紙でない工場向けです。 どのロットで歩留まりが落ちたかまで見えますが、日報にロットの欄を足すので作業者の書く量が増えます。
05工数削減シミュレーション
導入後 300件 × 1.2分 ÷ 60 = 6 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 饅頭・蒸し羊羹・ういろうなどの蒸し物を複数の蒸し庫で作り、作業者が蒸し庫ごとに紙の製造日報を書いている和菓子の工場。日報の数字を事務の担当が夜に表へ打ち直しており、品目ごとの歩留まりを月末にしか見られていない場合。季節の品目が毎月入れ替わり、品名の略し方が作業者ごとに違う場合。
- 製造の記録をタブレットや製造管理のシステムに直接入力しており、紙の日報が無い場合。蒸し庫が1〜2台で、打ち直しが1日数分で終わる場合。日報に表の枠が無く、作業者が余白に自由に書いている場合。なお、歩留まりが落ちた原因の特定、配合や蒸しの条件の変更、製品を出荷してよいかの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月の日報から30枚を選ぶ(蒸し庫・午前午後・作業者が偏らないように。字の癖の強いものも入れる)
- Document Intelligence Studio のレイアウトで、30枚を読ませる
- 表のセルの値を、当時打ち込んだ値と突き合わせる
- 仕込み量・できた数・温度・時間の読み違いの数を数える
- 品名の欄だけを手元の生成AIの画面に貼り、今月の品目の一覧と一緒に「どの品目か」を答えさせる
30枚は必ずやってください。 手書きの数字が表のセルとして読めるのかを、先に確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 表のセルが行と列のとおりに取れ、数字の読み違いが少ない | Power Automate とのつなぎに進む |
| 表の行がずれる、セルが結合される | 日報の罫線を濃くし、行の高さを広げる。 様式の問題 |
| 品名の当て方が人によって違う | 品目の一覧の呼び名の列を先に作る。構成は有効 |
2行目が出ることは珍しくありません。 薄い罫線や狭い行では、文字が罫線にかかって表の構造が崩れます。様式を直すほうが効きます。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 表のセルに信頼度が無い | セルの文字の位置に重なる単語の信頼度の最小をセルの信頼度にする |
| 仕込み量の1文字を読み違える | 数の食い違いで挟む。 できた数+ロスと本来できる個数を比べる |
| 読めない数を前日の値で埋める | 埋めずに review に回す |
| 先月の季節の品目に当ててしまう | 提供の期間で一覧から外し、指示にも書く |
| 同じ品目が別々に集計される | unmatched を人が決め、呼び名を一覧に足す |
| ロスの書き忘れが歩留まりの悪さに見える | 歩留まりとは別に、数の食い違いを見る |
| 蒸しの外れた回を台帳から外す | 外さずに台帳に入れ、別に知らせる |
| 表の行がずれる | 罫線を濃くし、行の高さを広げる |
上の2行が、この構成の失敗のほとんどです。 1文字ずつの信頼度と数の食い違いの2つで挟みます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 品目、仕込み量、できた数、ロスの数と理由、蒸しの温度と時間、そして作業者の名前です。品目ごとの規格の重さと蒸しの条件は、配合と並んで店の味を決める情報で、外に出したくないものです。
- 生成AIに数字と名前を渡さない … 生成AIに渡すのは品名とロスの理由の欄の文字と、品目の一覧の品目コード・正式な品名・呼び名だけです。規格の重さ、蒸しの標準、担当者の名前は渡しません
- 日報を人の評価に使わない … 日報は製造の記録です。作業者ごとのロスの数を並べて比べる使い方を始めると、日報にロスを書かなくなります。 書かれないロスは、この構成では歩留まりの悪さとしてしか見えません
- 蒸しの外れた製品の扱いを自動で決めない … 出すのは外れた回の知らせまでです。製品をどう扱うかは、手引書と自社の衛生管理計画に沿って品質管理の担当と製造の責任者が決めます
- 衛生管理の記録の原本を決める … 蒸しの温度と時間の欄は、衛生管理の実施状況の記録を兼ねています。手引書で推奨された期間の保存が求められるので、紙の日報、スキャンした画像、台帳のどれを原本とするかを先に決めます。 読み取ったままの値を原本にしないでください
- リソースを置くリージョンを決める … 日報の画像を国内に置く方針なら、Document Intelligence と Azure OpenAI のリソースのリージョンと、データがどこで処理されるかを導入時に確かめます
誤りが起きた場合のリスクは、読み違いが歩留まりの表に入って判断を誤ることと、蒸しの外れを見逃すことの2つです。 前者は信頼度と数の食い違いで、後者は外れた回を台帳から外さずに別の経路で知らせることで防ぎます。
10まず何から始めるか
1週目:品目の一覧の列をそろえる
品目の一覧に1個あたりの規格の重さ・蒸しの温度と時間の標準の範囲・現場での呼び名・提供の期間の列を持たせます。通年の品目から埋め、季節の品目は今月の分だけ入れます。
2週目:30枚で試す
Document Intelligence Studio のレイアウトで30枚を読ませ、表のセルの値を当時の打ち込みと突き合わせます。仕込み量とできた数の読み違いの数を最優先で数えます。
3週目:日報の様式を見直す
罫線が薄い、行が狭いなら直します。ロスの理由の区分を製造部と品質管理の担当で決め、よく使われる書き方の例を集めます。
4週目:スキャンから台帳までをつなぐ
Power Automate で受付フォルダを見張り、読み取りと歩留まりの計算を行い、台帳と確認の一覧に書くところまで作ります。この時点では生成AIを使わず、品名は人が当てます。
2か月目: 品名とロスの理由をそろえる生成AIを足し、蒸しの外れの知らせを品質管理の担当に出します。3か月目以降: 月次の歩留まりの表を製造の責任者に出し、1枚5分が何分になったかを実測します。季節の品目が入れ替わった月でも review が2割を下回った時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
レイアウト モデルが文字・表・選択の印・文書の構造を取り出すこと。入力が PDF と画像(JPEG/JPG、PNG、BMP、TIFF、HEIF)であること。画像が 50×50 から 10,000×10,000 ピクセル、文字の高さの下限が 1024×768 の画像で12ピクセル(150dpi で約8ポイント)であること。表のセルが行と列の番号、columnHeader かどうか、文字の位置(offset と length)を持つこと。styles に手書きの判定が含まれること | Microsoft Learn: Document layout analysis | 2026-11-04 |
| レイアウト モデルが日本語の印字と手書きの文字に対応すること | Microsoft Learn: Language support for Read and Layout | 2026-11-04 |
Power Automate のコネクタに「Analyze Document for Prebuilt or Custom models (v4.x API)」があり、モデルの ID に prebuilt-layout を渡せること。Power Automate での区分が Standard であること。日本語のように空白で区切らない言語では1文字ずつが1つの単語として返ること | Microsoft Learn: Azure AI Document Intelligence (form recognizer) connector | 2026-11-04 |
Azure OpenAI の構造化出力が Chat Completions の response_format(json_schema、strict: true)と Responses API の text.format で使えること。すべての項目を required にし、additionalProperties を false にすること。任意の項目を null との組み合わせで表すこと。pattern・minimum・maximum・minItems・maxItems に対応しないこと | Microsoft Learn: Structured outputs (Azure OpenAI) | 2026-11-04 |
| 食品等の取扱いに従事する者が50人未満の事業場や菓子の製造販売などの小規模な営業者等が、業界団体が作成し厚生労働省が内容を確認した手引書を参考に、記録様式を利用して実施状況を記録し、推奨された期間保存すること | 厚生労働省: HACCPの考え方を取り入れた衛生管理 | 2026-11-04 |
蒸しの条件の標準の範囲と、外れた製品の扱いは、品質管理の担当と製造の責任者で決めてください。 本記事は公開仕様で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2798)についてのご相談はこちらから。
