水道工事店が職人の手書きの作業報告書を読み取り、現場ごとの原価台帳と請求の下書きを作る
職人が現場ごとに手書きする作業報告書を読み取り、現場・作業の内容・使った部材・作業の時間を現場ごとの原価台帳に写します。あわせて、価格表に沿った請求の下書きを作ります。
- 生成AI
- Azure OpenAI Service/Claude/Gemini
- AIサービス
- AWS Textract/Azure AI/Google Document AI
- 連携・自動化
- Google Apps Script/Make/n8n/Power Automate/Python
- 対象業界
- 不動産/建設
- 対象部門
- 営業/経理
- 対象業務
- データ入力・転記/書類作成
- 主な課題
- 入力作業が多い/属人化している/確認ミスが多い
- AIで行う処理
- 読み取り(OCR)
- 主な効果
- 入力漏れ削減/属人化解消/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 職人が現場で作業報告書を手書きし、サインをもらう
- 職人が事務所に戻り、報告書を出す(直行直帰の日はまとめて翌日以降)
- 事務所の担当者が報告書を見て、工事の管理ソフトに現場・作業の内容・作業の時間を打ち込む
- 使った部材を1行ずつ読み、部材の台帳で品番を探して、数量とともに打ち込む
- 価格表を見て、作業の内容と部材から請求の明細を作る
- 分からない書き方の部材は、職人に電話して確かめる
- 元請けの指定の様式なら、報告書の写しを請求書に添える
- 人職人が報告書を手書きし、サインをもらった後、スマートフォンで撮って共有フォルダに上げる
- 自動保存をきっかけに、画像をOCRのカスタムモデルに送る
- 自動OCRが現場名・作業の内容・部材の行(品名・数量)・時刻・人数・サインの有無を、確信度つきで返す
- 自動部材の行ごとに、過去に確定した「書き方と品番の対応」を引き、見つかったものは品番を付ける
- 自動見つからなかった行は、生成AIが部材の台帳から品番の候補を3つまで挙げる
- 自動プログラムが、作業の時間と人数、品番と数量、価格表から、原価と請求の明細の下書きを作る
- 人事務所の担当者が、候補から品番を選び、確信度の低い欄を画像と見比べて直す
- 自動担当者が選んだ品番を、その職人の書き方とともに対応表に足す
- 人担当者が請求の下書きを確かめ、工事の管理ソフトで確定する
各工程の詳しい説明を読む
- 職人が現場で作業報告書を手書きし、サインをもらう
- 職人が事務所に戻り、報告書を出す(直行直帰の日はまとめて翌日以降)
- 事務所の担当者が報告書を見て、工事の管理ソフトに現場・作業の内容・作業の時間を打ち込む
- 使った部材を1行ずつ読み、部材の台帳で品番を探して、数量とともに打ち込む
- 価格表を見て、作業の内容と部材から請求の明細を作る
- 分からない書き方の部材は、職人に電話して確かめる
- 元請けの指定の様式なら、報告書の写しを請求書に添える
(a)部材の書き方が職人ごとに違う。 「エルボ20」「L-20」「HIエルボ」、さらに略記や記号。同じ部材が職人の数だけの書き方で届きます。 事務所の担当者は、長年の経験で「この職人のこの書き方はこの品番」と覚えています。
(b)分からない部材は電話で確かめている。 6番目の電話は、職人が次の現場にいる昼間にかけることになり、つながらなければ翌日に持ち越します。 その間、原価も請求も止まります。
(c)使った部材の請求漏れが起きる。 報告書の隅に小さく書かれた「シールテープ」「パッキン」を見落とすと、部材費が請求から抜けます。 1件あたりは小さな金額でも、月400件では積み重なります。
(d)担当者が替わると回らない。 部材の書き方と品番の対応は、事務所の担当者の頭の中にあります。その担当者が休むと、部材の打ち込みが止まります。
(e)元請けの締めに追われる。 管理会社は月末で締め、翌月の初めに報告書の写しつきの請求書を求めます。月末に戻ってきた報告書の打ち込みが締めに間に合わないと、その現場の請求は1か月先送りになります。 工事店にとっては、入金がそのまま1か月遅れるということです。
- 【人】 職人が報告書を手書きし、サインをもらった後、スマートフォンで撮って共有フォルダに上げる
- 【自動】 保存をきっかけに、画像をOCRのカスタムモデルに送る
- 【自動】 OCRが現場名・作業の内容・部材の行(品名・数量)・時刻・人数・サインの有無を、確信度つきで返す
- 【自動】 部材の行ごとに、過去に確定した「書き方と品番の対応」を引き、見つかったものは品番を付ける
- 【自動】 見つからなかった行は、生成AIが部材の台帳から品番の候補を3つまで挙げる
- 【自動】 プログラムが、作業の時間と人数、品番と数量、価格表から、原価と請求の明細の下書きを作る
- 【人】 事務所の担当者が、候補から品番を選び、確信度の低い欄を画像と見比べて直す
- 【自動】 担当者が選んだ品番を、その職人の書き方とともに対応表に足す
- 【人】 担当者が請求の下書きを確かめ、工事の管理ソフトで確定する
7番目が、この設計の分かれ目です。 生成AIが挙げるのは候補で、品番を決めるのは担当者です。 候補の1つ目をそのまま採る設計にすると、似た品名の違う口径の部材が請求に入ります。
8番目で、この仕組みは月ごとに軽くなります。 一度選んだ「この職人のこの書き方はこの品番」が対応表に残り、次からは4番目で品番が付きます。 生成AIに回る行は、月を追うごとに減ります。
02今回想定するシステム構成
作業報告書(手書き・自社の様式と元請けの様式) │ 職人がスマートフォンで撮影 ▼【トリガー】共有フォルダへの画像の保存 Power Automate ▼ Azure AI Document Intelligence(カスタムニューラルモデル) │ 現場名・作業の内容・部材の行・時刻・人数・サイン+確信度 ▼ Python ── 書き方と品番の対応表を引く │ 見つからない行だけ ↓ ▼ Claude API ── 部材の台帳から品番の候補を3つまで(根拠つき) ▼ Python ── 原価(部材費+労務費)と請求の明細の下書き ▼ 【人が品番を選び、確信度の低い欄を直す】 ├──▶ 対応表に追加 └──▶ 工事の管理ソフトで原価台帳と請求書を確定
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| OCR | Azure AI Document Intelligence(カスタムニューラルモデル) | Google Document AI(Form Parser)。AWS Textract は日本語の手書きを読めないため対象外 |
| 生成AI | Claude API(部材の書き方に合う品番の候補を部材の台帳から挙げる) | Azure OpenAI(Microsoft Foundry)、Gemini API |
| 集計 | Python(対応表の照合、原価と請求の明細の計算) | Google Apps Script |
| 連携 | Power Automate(保存の検知、読み取りと生成AIの呼び出し、結果の受け渡し) | Make、n8n |
| 台帳 | 工事の管理ソフト(現場の台帳・原価・請求書) | 共有のスプレッドシート |
OCRにカスタムニューラルモデルを選ぶのは、様式が1つではないからです。 ニューラルモデルは、同じ情報を持ちながらページの構成が違う書類に対応するとされ、請求書や発注書のような半構造化の書類が例に挙がっています。自社の様式と元請けの8社の様式を、1つのモデルで学習させます。 様式が決まった1種類なら、カスタムテンプレートモデルで足ります。
日本語の手書きに対応していることも確かめてあります。 カスタムニューラルモデルの手書きの対応言語に、日本語が含まれています。
対応表を生成AIより前に置くのが、この構成の順番の要です。 一度人が確定した書き方は、次からプログラムが表を引くだけで品番が付きます。生成AIは「まだ誰も確定していない書き方」だけを受け持ち、 毎回同じ書き方に候補を出し直すことはしません。費用も、結果の揺れも、この順番で抑えます。
生成AIに渡すのは、OCRが読んだ文字と部材の台帳の一部だけです。 報告書の画像は渡しません。職人が撮った写真をそのまま生成AIに読ませると、OCRの確信度という根拠が無くなります。
03どうやって実装するのか
処理の起点を決める
職人が報告書をスマートフォンで撮り、共有フォルダに上げたことを起点にします。 紙を事務所に持ち帰るのを待たないので、直行直帰の日でも、その日のうちに処理が始まります。 紙の報告書は、これまでどおり後で事務所に出します。
共有フォルダは職人ごとに分け、ファイル名に日付と現場の番号を入れる決まりにします。Power Automate の SharePoint のトリガーは「ファイルが作成されたとき(プロパティのみ)」を使い、「ファイル コンテンツの取得」で中身を取ります。
同じ報告書を2回上げることがあります。 撮り直したときです。現場の番号が同じものは後から上がったほうを使い、前のものは処理済みに移します。
1日に1回まとめて処理するのではなく、上がるたびに1枚ずつ処理します。 職人の作業が終わる時刻はばらばらで、夕方に集中もしません。上がった順に下書きができていれば、事務所は翌朝を待たずに品番を選び始められ、月末の締めの前にたまる報告書が減ります。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 報告書の画像 | スマートフォンで撮った画像(JPEG・HEIF など) | 共有フォルダ |
| 読み取り結果 | 項目ごとの値と確信度、部材の表の行・セルの確信度、サインの有無 | Azure AI Document Intelligence |
| 書き方と品番の対応表 | 職人、書き方、品番、確定した日、確定した担当者 | 事務所で育てる表 |
| 部材の台帳 | 品番、品名、口径・寸法、材質、単位、原価 | 工事の管理ソフト |
| 価格表 | 作業の種類ごとの工賃、部材の売価、出張費 | 工事の管理ソフト |
| 現場の台帳 | 現場の番号、元請け、お客様、受付の内容 | 工事の管理ソフト |
質を決めるのは、書き方と品番の対応表です。 最初は空ですが、担当者が品番を選ぶたびに1行ずつ増えます。この表が育つほど、生成AIに回る行が減り、候補の当たりも良くなります。 立ち上げのときに、ベテランの担当者が覚えている対応を100行ほど入れておくと、最初の月から効きます。
データの取得方法を決める
読み取りは、自社と元請けの様式で学習させたカスタムニューラルモデルを呼びます。 学習は Document Intelligence Studio で、報告書の画像に次のラベルを付けて行います。
| 取るもの | ラベルの種類 | 何に使うか |
|---|---|---|
| 現場名・現場の番号 | キーと値 | 現場の台帳との照合 |
| 作業の内容 | キーと値(複数行の自由記述) | 請求の明細の工賃の種類 |
| 部材の行(品名・数量・単位) | 表(表形式のフィールド) | 部材費と請求の部材の明細 |
| 作業の開始・終了の時刻、人数 | キーと値 | 労務費 |
| 立会いのサイン | 署名 | サインの無い報告書の検出 |
部材は表形式のフィールドとして学習させます。 ニューラルモデルの 2024-11-30 の版では、表形式のフィールドに表全体・行・セルの確信度が付きます。公式のガイドでは、表全体から行、行からセルへと上から順に確かめることが勧められています。部材の表で行の確信度が低ければ、その行だけを担当者に回します。
学習用の画像は、様式ごとに5枚以上用意します。 ニューラルモデルは1つのモデルで様式の違いをまとめて扱うことが勧められており、違いのある様式ごとに5枚以上のラベル付きの例を入れます。 ラベルの名前は、書類の言語(日本語)で付けます。
学習には時間の枠があります。 2024-11-30 の版では、ニューラルモデルの学習に10時間分の無料の枠があり、それを超えると課金されます。1回の学習は最低30分として計算されます。 様式が増えるたびに学習し直すので、元請けの様式が増える予定は前もって把握しておきます。
学習は東日本(Japan East)のリージョンで行えます。 ニューラルモデルの学習ができるリージョンは限られていますが、Japan East が含まれています。
AIへ渡す前に整形する
- 形式とサイズ … PDFと画像(JPEG・PNG・BMP・TIFF・HEIF)が対象で、有料(S0)で500MBまでです。スマートフォンの HEIF の写真もそのまま送れます
- 画像の寸法 … 50×50から10,000×10,000ピクセルの間である必要があります。最近のスマートフォンの写真は長い辺がこれを超えることがあるので、縮小します
- 文字の大きさ … 文字の高さの下限は、1024×768の画像で12ピクセルです。報告書の全体が写るように引いて撮ると、部材の欄の小さい字がこれを下回ります
- 傾きと影 … 斜めに撮った写真、手や影がかかった写真は、確信度が下がります。撮り方の決まりを職人に配ります
- 2ページの報告書 … 部材が多くて2枚目に続く報告書は、2枚を1つのPDFにまとめて送ります。 ニューラルモデルはページの境目で分かれた値を認識しないので、1行が2枚にまたがらないよう書き方を決めます
- 現場の番号の照合 … ファイル名の現場の番号が現場の台帳にあるかを確かめます
2番目と3番目は、逆向きの注意です。 写真が大きすぎれば縮め、引きすぎて字が小さければ寄って撮り直します。「報告書の枠が画面いっぱいに入るように撮る」という1つの決まりで、両方を防げます。
AIに処理させる
OCRに読ませるのは、報告書の欄の値です。生成AIにさせるのは、対応表に無い部材の書き方について、部材の台帳から品番の候補を挙げることだけです。
| 処理 | 担当 | やり方 |
|---|---|---|
| 欄の値の読み取り | OCR | ラベルを付けた欄の値と確信度 |
| 部材の書き方と品番の対応 | プログラム | 対応表で職人と書き方から引く |
| 対応表に無い部材の品番の候補 | 生成AI | 部材の台帳から3つまで、根拠つきで挙げる |
| 品番の決定 | 人 | 候補から選ぶか、台帳から探す |
| 原価と請求の金額 | プログラム | 品番の原価・売価、時間×人数×工賃 |
生成AIに渡す部材の台帳は、絞ってから渡します。 1,500品目を全部渡すのではなく、書き方に含まれる語(「エルボ」「チーズ」「20」など)で台帳を検索し、上位50品目ほどを渡します。
| させないこと | 理由 |
|---|---|
| 品番の決定 | 口径や材質が1つ違えば、原価も売価も違う |
| 台帳に無い品番を作る | 候補は台帳の中からだけ。無ければ「該当なし」 |
| 数量の補正 | 「2」が読めなければ読めないまま。推測で埋めない |
| 作業の内容からの部材の推測 | 「水栓交換」と書いてあっても、書かれていない部材を足さない |
| 金額の計算 | 価格表と台帳からプログラムが計算する |
工賃の区分は、作業の内容の文からは決めません。 「パッキン交換」「水栓交換」のような工賃の区分は、受付のときに現場の台帳に登録した依頼の内容から引きます。 現場で作業が増えたとき(パッキンの交換のつもりが水栓ごとの交換になったなど)は、作業の内容の欄の文を請求の下書きにそのまま載せ、区分の変更は担当者が決めます。 労務費は、終了の時刻から開始の時刻を引いた時間に人数を掛け、社内の時間あたりの単価を掛けてプログラムが出します。
4行目が、いちばん起きやすい失敗です。 「台所水栓交換」とあれば、水栓本体と止水栓のパッキンを使ったはずだと推し量り、書かれていない部材を候補に足すことがあります。 書き忘れの部材を拾うのは大事ですが、それは人が職人に確かめることで、AIが足した部材を請求に載せることは、使っていない部材の請求になりえます。
指示内容を固定する
あなたは水道工事店の事務所で、職人が書いた部材の名前を、
部材の台帳の品番に結び付ける担当です。
【やること】
職人が書いた部材の名前(OCRで読み取った文字)について、
下の部材の台帳の候補の中から、当てはまる品番を3つまで挙げてください。
【厳守事項】
- 品番は、下の候補の一覧にあるものだけを挙げてください。
一覧に無い品番を作らないでください。
- 当てはまるものが無ければ、candidates を空にして no_match としてください。
無理に近いものを挙げないでください。
- 口径・寸法(13、20、25 など)が書かれているときは、口径が違う品番を
候補に入れないでください。口径が書かれていないときは、その旨を
reason に書いてください。
- 数量は扱いません。数量を変えたり補ったりしないでください。
- 作業の内容から、書かれていない部材を推測して足さないでください。
- 各候補に、書き方のどの部分が台帳のどの項目と合ったかを reason に
短く書いてください。
- 候補は当てはまりの強い順に並べてください。
【職人】{worker_id}
【この職人の過去の書き方の例(確定済み)】{worker_examples}
【読み取った部材の名前】{material_text}
【OCRの確信度】{confidence}
【部材の台帳の候補(品番・品名・口径・材質・単位)】{catalog_candidates}
「一覧に無い品番を作らない」を最初に置くのは、生成AIがそれらしい品番を作れてしまうからです。 品番は台帳の中にしか無く、台帳に無い品番は、原価も売価も引けない架空の部材です。 プログラムでも、返ってきた品番が台帳にあるかを確かめます。
「この職人の過去の書き方の例」を渡すのが、この構成の工夫です。 同じ「L」でも、ある職人はエルボ、別の職人は長さの意味で書きます。職人ごとの確定済みの例を数件渡すと、その職人の癖に合った候補が上に来ます。
出力形式を固定する
Claude API の構造化出力(output_config.format に json_schema)で、次の形で受け取ります。
{
"material_text": "HIエルボ20",
"status": "candidates | no_match",
"size_written": true,
"candidates": [
{ "item_code": "", "item_name": "", "reason": "" }
]
}
スキーマには制約があります。 すべての object で additionalProperties を false にする必要があり、数値の範囲や文字列の長さの制約は使えません。 配列の minItems も0か1しか指定できないので、「候補は3つまで」はスキーマではなくプログラムで確かめます。 4つ以上返ってきたら、上から3つだけを使います。
報告書1枚ぶんの結果は、プログラムが次の形にまとめます。
{
"report_id": "",
"site_no": { "value": "", "confidence": 0, "site_match": "matched | not_found" },
"work_description": { "value": "", "confidence": 0 },
"start_time": { "value": "", "confidence": 0 },
"end_time": { "value": "", "confidence": 0 },
"workers": { "value": null, "confidence": 0 },
"signature": "present | absent",
"materials": [
{ "text": "", "qty": null, "unit": "", "row_confidence": 0,
"item_code": "", "source": "mapping_table | ai_candidate | manual",
"status": "fixed | needs_choice | needs_review" }
],
"cost_draft": { "material": null, "labor": null },
"invoice_draft": [ { "line": "", "qty": null, "unit_price": null } ]
}
source で、品番がどこから来たかを残します。 対応表から付いたもの、生成AIの候補から人が選んだもの、人が台帳から探したもの。請求に誤りがあったとき、どの経路の品番が誤っていたかが分かります。
status が fixed の行だけが、原価と請求の下書きに入ります。 needs_choice は候補から選ぶ行、needs_review は確信度が低く画像と見比べる行です。
JSONで受けるのは、部材の1行が原価台帳の1行と請求の明細の1行の両方に対応するからです。 自由文で返されると、どの候補がどの行のものかを読み解く処理が要ります。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 共有フォルダ | Power Automate のトリガー | 報告書の画像の保存を検知する |
| Azure AI Document Intelligence | API呼び出し | カスタムニューラルモデルで読み取る |
| Claude API | API呼び出し | 対応表に無い部材の品番の候補 |
| 工事の管理ソフト | 台帳・価格表の読み取り、下書きの取り込み | 確定は担当者が行う |
| 書き方と品番の対応表 | 共有のスプレッドシート | 担当者が選んだ品番を追記する |
工事の管理ソフトへは、原価と請求の下書きを取り込むだけです。 請求書を確定して元請けやお客様に出すのは事務所の担当です。読み取りの誤りや候補の取り違えが、確認を経ずに請求書まで進む経路は作りません。
人が確認する
人が見るのは、needs_choice と needs_review の行、それに請求の下書きです。
needs_choiceの行で品番を選ぶ … 候補から選ぶか、無ければ台帳から探します。口径を必ず確かめますneeds_reviewの行を画像と見比べる … 数量や時刻の確信度が低い行です- サインの無い報告書を職人に確かめる … 立会いが無かった理由を記録します
- 請求の下書きを確かめて確定する … 値引きや追加の工事は、ここで担当者が判断します
目安は、400枚をならして1枚3分です。 部材の行がすべて fixed になった報告書は、請求の下書きを流し見て1分足らずで終わり、品番を選ぶ行が多い報告書は5分を超えます。選ぶ行が多い報告書が特定の職人に偏るなら、その職人の書き方を対応表に厚く入れます。
立ち上げの最初の1か月は、fixed の行も見ます。 対応表から品番が付いた行に誤りが無いかを確かめ、誤りがあれば対応表のその行を直します。 2か月目からは、fixed は件数を流し見るだけにします。
例外に対処する
| 起きること | 対応 |
|---|---|
| 新しい元請けの様式の報告書 | 確信度が下がる。5枚以上集まったらラベルを付けて学習し直す |
| 部材の行が2枚目にまたがる | ページの境目で分かれた値は認識されない。1行を2枚に分けて書かない決まりにする |
| 写真が斜め・影がある | 確信度が下がる。撮り直しを職人に頼む |
| 画像が10,000ピクセルを超える | 縮小してから送る |
| 生成AIの候補が台帳に無い品番 | プログラムで弾き、needs_choice で人が台帳から探す |
対応表に無く、候補も no_match | 職人に確かめる。台帳に部材が無ければ台帳の登録を先に |
| 現場の番号が現場の台帳に無い | 受付の登録漏れを疑い、事務所で確かめる |
| 同じ報告書を2回上げた | 現場の番号が同じなら後のものを使う |
| 読み取りが応答しない | フォルダに残し、次の回で処理する |
上から2行目は、書き方の決まりで防ぎます。 部材の多い現場で、表の最後の行が2枚目にずれ込むことがあります。モデルの学習で直るものではないので、報告書の様式の側で部材の欄を広げるか、書き方を決めます。
記録を残す
- 報告書の画像と、上げた日時・職人・現場の番号
- 読み取りの結果のJSON全文(値・確信度・表の行とセルの確信度)
- 生成AIに渡した部材の名前と台帳の候補、返ってきた候補
- 担当者が選んだ品番と、選んだ担当者・日時
- 書き方と品番の対応表の変更の履歴
- 確定した原価と請求の明細
生成AIの入出力も残すのは、候補の当たり方を後から測るためです。 選ばれた品番が候補の何番目にあったかを数えれば、指示や台帳の絞り方を直すべきかが分かります。
4つ目と5つ目が、この仕組みの財産です。 対応表は、ベテランの担当者が頭の中に持っていた知識を、職人ごとの書き方の一覧として外に出したものです。担当者が替わっても、この表が残ります。
04実装レベルの3段階
最小構成では件数がさばけません。 文字を手で打つので、月400件には使えません。候補が当たるかを確かめるための段階です。 半自動化で、1件9分が3分になり、この段階が本記事の想定です。 打ち込みと台帳の検索が無くなり、残るのは候補から品番を選ぶ作業と、請求の下書きの確定です。対応表が育つほど、品番を選ぶ行が減ります。 本格構成は、取り込みと添付の手間を減らす段階です。 工数の差は小さく、元請けの数が多い会社ほど効きます。 月末の締めに間に合わない報告書が減ることが、この段階のいちばんの効果です。 半自動化を1か月回すと、生成AIに回る行の多い職人と、確信度の低い様式が分かります。 そこを対応表と学習データに反映してから本格構成に進みます。
05工数削減シミュレーション
導入後 400件 × 3分 ÷ 60 = 20 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 水漏れの修理、水栓・便器・給湯管の交換などの小口の工事を毎月数百件こなす水道工事店・設備工事店。職人が現場ごとに紙の作業報告書を手書きし、事務所がそれを見て使った部材を部材の台帳から探し、原価と請求書を手で作っている場合。管理会社やハウスメーカーから受ける工事で、元請けごとに報告書の様式が違う場合。
- 職人がタブレットの業務アプリで作業の内容と部材を直接入力している場合。大きな新築の配管工事が中心で、現場の数が月に数件の場合。部材の台帳が無く、使った部材を品番で管理していない場合(先に台帳を作る必要があります)。なお、請求の金額の確定と、値引きや追加の工事の扱いの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月の報告書から30枚を選ぶ(元請けの様式のものを10枚、部材の多いものを5枚含める)
- その30枚について、工事の管理ソフトで確定した部材の品番と数量を書き出しておく
- ベテランの担当者に、よく出る書き方と品番の対応を50行ほど書き出してもらう
- 部材の欄の文字を手で打ち、部材の台帳の該当しそうな品目とあわせて手元の生成AIサービスに貼り、品番の候補を挙げさせる
- 候補の1つ目が、確定した品番と合った割合を数える
読み取りより先に、品番の候補の当たり方を確かめます。 この構成の効果のほとんどは②の部材の作業から来るので、ここで当たらなければ、読み取りを自動にしても工数は減りません。
| 出てきた内容 | 判断 |
|---|---|
| 候補の上位3つに、ほぼ確定した品番が入っていた | 読み取りのモデルの学習に進む |
| 口径の違う品番が上位に来た | 口径の扱いを指示に足せば直る。構成は有効 |
| 台帳の品名と書き方の差が大きく、候補が外れる | 対応表を先に厚くする。 生成AIより対応表が効く段階 |
3行目は、珍しくありません。 その場合は、対応表を育てる運用を先に始め、生成AIは対応表で拾えない行の補助と位置づけます。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 生成AIが台帳に無い品番を作る | 指示で禁じ、返ってきた品番が台帳にあるかをプログラムで確かめる |
| 口径の違う部材が候補の1つ目に来る | 口径を指示に明記し、選ぶときに人が必ず確かめる |
| 作業の内容から書かれていない部材が足される | 指示で禁じる。書き忘れは職人に確かめる |
| 候補の1つ目を自動で採ってしまう | 品番は人が選ぶ。 対応表に載るのは人が選んだものだけ |
| 新しい元請けの様式で確信度が下がる | 5枚以上集めてラベルを付け、学習し直す |
| 部材の行が2枚目にまたがって欠ける | 1行を2枚に分けない書き方を決める |
| 写真が大きすぎて送れない | 10,000ピクセル以下に縮める |
| 引いて撮って字が小さすぎる | 報告書の枠が画面いっぱいに入るように撮る |
| 生成AIに渡す台帳が多すぎる | 書き方の語で台帳を絞り、上位50品目ほどを渡す |
| 対応表に誤りが残る | 最初の1か月は fixed の行も見て直す |
| 職人が辞めた・入った | 新しい職人は対応表が空。最初の数週間は生成AIに回る行が増える前提で見る |
| 部材の台帳の品番が改廃された | 対応表の品番が台帳に無くなる。台帳の改廃のたびに対応表を照合する |
上の4行は、生成AIに任せる範囲を広げすぎたときに起きます。 どれも「それらしい品番を、確かめずに使う」失敗です。品番を決めるのは人、という線を最初に引いておけば防げます。
下の4行は、対応表と台帳の手入れの話です。 台帳を全部渡すと遅く高くなり、対応表の誤りや古い品番を放っておくと、誤った品番が毎月繰り返されます。対応表は作って終わりではなく、職人と台帳の変化に合わせて手入れするものです。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: お客様の氏名・住所(現場名として書かれる)、立会いのサイン、作業の内容、職人の名前と作業の時間です。個人の家の工事では、報告書に家の中の様子が書かれることもあります。
- 生成AIには部材の名前と台帳の候補だけを渡す … 報告書の画像も、現場名・お客様の名前も渡しません。品番の候補を挙げるのに、どこの家の工事かは要りません
- データの保持を確かめる … Claude API の構造化出力は、公式のページでゼロデータ保持の対象とされています(Covered Models を除く)。利用する契約とモデルの条件を確かめておきます
- 職人の写真の扱いを決める … 職人のスマートフォンに報告書の写真が残ります。上げた後に端末から消すか、会社の管理するアプリの中だけで撮るかを決めておきます
- 作業の時間を職人の評価に使わない … 読み取った作業の時間は労務費の計算のためのものです。職人ごとの作業の速さを比べる用途に使うかどうかは、職人と話し合って決めます
- 請求は人が確定する … 元請けやお客様への請求の誤りは、取引の信頼にひびきます
- 元請けの様式の写しの扱いを確かめる … 元請けの指定の様式は、元請けとの取り決めで使っている書式です。学習のためにその様式の報告書を Document Intelligence に上げてよいか、取引の契約で禁じられていないかを確かめておきます
誤りが起きた場合のリスクは、違う部材を請求すること、使った部材を請求し漏らすことの2つです。 前者は品番を人が選ぶことで、後者は部材の行を表として読むことで防ぎます。
10まず何から始めるか
1週目:対応表の種を作る
ベテランの担当者に、よく出る部材の書き方と品番の対応を書き出してもらいます。職人ごとに分けて、100行ほどを目安にします。あわせて、部材の台帳に口径・材質の列がそろっているかを確かめます。
2週目:30枚で候補の当たり方を試す
先月の報告書から30枚を選び、部材の名前を生成AIに貼って候補を挙げさせます。口径の違う候補が上に来ないかを最優先で見ます。
3週目:読み取りのモデルを学習させる
自社の様式と元請けの様式から、それぞれ5枚以上の報告書にラベルを付け、Document Intelligence Studio でニューラルモデルを学習させます。部材の表の行の確信度を見ます。
4週目:写真の保存から下書きまでをつなぐ
Power Automate で共有フォルダを見張り、読み取り・対応表・生成AIの候補・原価と請求の下書きまでを一覧に出します。この時点では工事の管理ソフトに取り込みません。
2か月目: 下書きを工事の管理ソフトに取り込み、担当者が選んだ品番を対応表に足す運用を始めます。3か月目以降: 1件9分が何分になったかと、生成AIに回る行の割合を毎月数えます。生成AIに回る行が全体の1割を切った時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
| カスタムニューラルモデルが構造化・半構造化の書類に向き、同じ情報でページの構成が違う書類に対応すること。キーと値・選択の印・表形式のフィールド・署名に対応し、2024-11-30 の版で表・行・セルの確信度が付くこと。様式の違いごとに5件以上のラベル付きの例を入れ、ラベルの名前は書類の言語で付けること。ページの境目で分かれた値を認識しないこと。学習のリージョンに Japan East が含まれること。2024-11-30 の版で10時間の無料の学習の枠があり、1回の学習は最低30分で計算されること。入力の形式・サイズ・画像の寸法・文字の高さの下限 | Microsoft Learn: Custom neural document model | 2026-11-02 |
| カスタムニューラルモデルの手書きの対応言語に日本語が含まれること | Microsoft Learn: Language support for custom models | 2026-11-02 |
| 表の確信度は表全体・行・セルの順に上から確かめることが勧められること。確信度で自動で受け入れるか人の確認に回すかを決められること | Microsoft Learn: Interpret and improve model accuracy and confidence scores | 2026-11-02 |
構造化出力が output_config.format に json_schema を指定して使えること。additionalProperties は false が必須で、数値の範囲・文字列の長さの制約は非対応、minItems は0か1のみであること。ゼロデータ保持の対象(Covered Models を除く)で、スキーマだけが最後の利用から24時間キャッシュされること | Claude: Structured outputs | 2026-11-02 |
請求の金額と品番は、自社で確かめて確定してください。 本記事は上記の公開資料で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2476)についてのご相談はこちらから。
