Media > AI活用ユースケース > 営業 > 水道工事店が職人の手書きの作業報告書を読み取り、現場ごとの原価台帳と請求の下書きを作る

水道工事店が職人の手書きの作業報告書を読み取り、現場ごとの原価台帳と請求の下書きを作る

実装ステータス:構成例 技術的に実現可能な構成として設計したもの。自社未検証

職人が現場ごとに手書きする作業報告書を読み取り、現場・作業の内容・使った部材・作業の時間を現場ごとの原価台帳に写します。あわせて、価格表に沿った請求の下書きを作ります。

サマリー
生成AI
Azure OpenAI Service/Claude/Gemini
AIサービス
AWS Textract/Azure AI/Google Document AI
連携・自動化
Google Apps Script/Make/n8n/Power Automate/Python
対象業界
不動産/建設
対象部門
営業/経理
対象業務
データ入力・転記/書類作成
主な課題
入力作業が多い/属人化している/確認ミスが多い
AIで行う処理
読み取り(OCR)
主な効果
入力漏れ削減/属人化解消/工数削減
導入難易度
★★★☆☆
実装レベル
半自動化
費用感
API連携(中)
人間の確認
条件付き
現在工数
60h/月
AI導入後
20h/月
想定削減
67%
年間削減
480h
モデル条件による試算値です。実在企業の実績ではありません。

01導入前 / 導入後の業務フロー

導入前(Before)
  1. 職人が現場で作業報告書を手書きし、サインをもらう
  2. 職人が事務所に戻り、報告書を出す(直行直帰の日はまとめて翌日以降)
  3. 事務所の担当者が報告書を見て、工事の管理ソフトに現場・作業の内容・作業の時間を打ち込む
  4. 使った部材を1行ずつ読み、部材の台帳で品番を探して、数量とともに打ち込む
  5. 価格表を見て、作業の内容と部材から請求の明細を作る
  6. 分からない書き方の部材は、職人に電話して確かめる
  7. 元請けの指定の様式なら、報告書の写しを請求書に添える
導入後(After)
  1. 人職人が報告書を手書きし、サインをもらった後、スマートフォンで撮って共有フォルダに上げる
  2. 自動保存をきっかけに、画像をOCRのカスタムモデルに送る
  3. 自動OCRが現場名・作業の内容・部材の行(品名・数量)・時刻・人数・サインの有無を、確信度つきで返す
  4. 自動部材の行ごとに、過去に確定した「書き方と品番の対応」を引き、見つかったものは品番を付ける
  5. 自動見つからなかった行は、生成AIが部材の台帳から品番の候補を3つまで挙げる
  6. 自動プログラムが、作業の時間と人数、品番と数量、価格表から、原価と請求の明細の下書きを作る
  7. 人事務所の担当者が、候補から品番を選び、確信度の低い欄を画像と見比べて直す
  8. 自動担当者が選んだ品番を、その職人の書き方とともに対応表に足す
  9. 人担当者が請求の下書きを確かめ、工事の管理ソフトで確定する
各工程の詳しい説明を読む
  1. 職人が現場で作業報告書を手書きし、サインをもらう
  2. 職人が事務所に戻り、報告書を出す(直行直帰の日はまとめて翌日以降)
  3. 事務所の担当者が報告書を見て、工事の管理ソフトに現場・作業の内容・作業の時間を打ち込む
  4. 使った部材を1行ずつ読み、部材の台帳で品番を探して、数量とともに打ち込む
  5. 価格表を見て、作業の内容と部材から請求の明細を作る
  6. 分からない書き方の部材は、職人に電話して確かめる
  7. 元請けの指定の様式なら、報告書の写しを請求書に添える

(a)部材の書き方が職人ごとに違う。 「エルボ20」「L-20」「HIエルボ」、さらに略記や記号。同じ部材が職人の数だけの書き方で届きます。 事務所の担当者は、長年の経験で「この職人のこの書き方はこの品番」と覚えています。

(b)分からない部材は電話で確かめている。 6番目の電話は、職人が次の現場にいる昼間にかけることになり、つながらなければ翌日に持ち越します。 その間、原価も請求も止まります。

(c)使った部材の請求漏れが起きる。 報告書の隅に小さく書かれた「シールテープ」「パッキン」を見落とすと、部材費が請求から抜けます。 1件あたりは小さな金額でも、月400件では積み重なります。

(d)担当者が替わると回らない。 部材の書き方と品番の対応は、事務所の担当者の頭の中にあります。その担当者が休むと、部材の打ち込みが止まります。

(e)元請けの締めに追われる。 管理会社は月末で締め、翌月の初めに報告書の写しつきの請求書を求めます。月末に戻ってきた報告書の打ち込みが締めに間に合わないと、その現場の請求は1か月先送りになります。 工事店にとっては、入金がそのまま1か月遅れるということです。

  1. 【人】 職人が報告書を手書きし、サインをもらった後、スマートフォンで撮って共有フォルダに上げる
  2. 【自動】 保存をきっかけに、画像をOCRのカスタムモデルに送る
  3. 【自動】 OCRが現場名・作業の内容・部材の行(品名・数量)・時刻・人数・サインの有無を、確信度つきで返す
  4. 【自動】 部材の行ごとに、過去に確定した「書き方と品番の対応」を引き、見つかったものは品番を付ける
  5. 【自動】 見つからなかった行は、生成AIが部材の台帳から品番の候補を3つまで挙げる
  6. 【自動】 プログラムが、作業の時間と人数、品番と数量、価格表から、原価と請求の明細の下書きを作る
  7. 【人】 事務所の担当者が、候補から品番を選び、確信度の低い欄を画像と見比べて直す
  8. 【自動】 担当者が選んだ品番を、その職人の書き方とともに対応表に足す
  9. 【人】 担当者が請求の下書きを確かめ、工事の管理ソフトで確定する

7番目が、この設計の分かれ目です。 生成AIが挙げるのは候補で、品番を決めるのは担当者です。 候補の1つ目をそのまま採る設計にすると、似た品名の違う口径の部材が請求に入ります。

8番目で、この仕組みは月ごとに軽くなります。 一度選んだ「この職人のこの書き方はこの品番」が対応表に残り、次からは4番目で品番が付きます。 生成AIに回る行は、月を追うごとに減ります。

02今回想定するシステム構成

構成図
作業報告書(手書き・自社の様式と元請けの様式)
   │  職人がスマートフォンで撮影
   ▼【トリガー】共有フォルダへの画像の保存
Power Automate
   ▼
Azure AI Document Intelligence(カスタムニューラルモデル)
   │   現場名・作業の内容・部材の行・時刻・人数・サイン+確信度
   ▼
Python ── 書き方と品番の対応表を引く
   │      見つからない行だけ ↓
   ▼
Claude API ── 部材の台帳から品番の候補を3つまで(根拠つき)
   ▼
Python ── 原価(部材費+労務費)と請求の明細の下書き
   ▼
【人が品番を選び、確信度の低い欄を直す】
   ├──▶ 対応表に追加
   └──▶ 工事の管理ソフトで原価台帳と請求書を確定
役割想定する製品代替候補
OCRAzure AI Document Intelligence(カスタムニューラルモデル)Google Document AI(Form Parser)。AWS Textract は日本語の手書きを読めないため対象外
生成AIClaude API(部材の書き方に合う品番の候補を部材の台帳から挙げる)Azure OpenAI(Microsoft Foundry)、Gemini API
集計Python(対応表の照合、原価と請求の明細の計算)Google Apps Script
連携Power Automate(保存の検知、読み取りと生成AIの呼び出し、結果の受け渡し)Make、n8n
台帳工事の管理ソフト(現場の台帳・原価・請求書)共有のスプレッドシート

OCRにカスタムニューラルモデルを選ぶのは、様式が1つではないからです。 ニューラルモデルは、同じ情報を持ちながらページの構成が違う書類に対応するとされ、請求書や発注書のような半構造化の書類が例に挙がっています。自社の様式と元請けの8社の様式を、1つのモデルで学習させます。 様式が決まった1種類なら、カスタムテンプレートモデルで足ります。

日本語の手書きに対応していることも確かめてあります。 カスタムニューラルモデルの手書きの対応言語に、日本語が含まれています。

対応表を生成AIより前に置くのが、この構成の順番の要です。 一度人が確定した書き方は、次からプログラムが表を引くだけで品番が付きます。生成AIは「まだ誰も確定していない書き方」だけを受け持ち、 毎回同じ書き方に候補を出し直すことはしません。費用も、結果の揺れも、この順番で抑えます。

生成AIに渡すのは、OCRが読んだ文字と部材の台帳の一部だけです。 報告書の画像は渡しません。職人が撮った写真をそのまま生成AIに読ませると、OCRの確信度という根拠が無くなります。

03どうやって実装するのか

Step1

処理の起点を決める

職人が報告書をスマートフォンで撮り、共有フォルダに上げたことを起点にします。 紙を事務所に持ち帰るのを待たないので、直行直帰の日でも、その日のうちに処理が始まります。 紙の報告書は、これまでどおり後で事務所に出します。

共有フォルダは職人ごとに分け、ファイル名に日付と現場の番号を入れる決まりにします。Power Automate の SharePoint のトリガーは「ファイルが作成されたとき(プロパティのみ)」を使い、「ファイル コンテンツの取得」で中身を取ります。

同じ報告書を2回上げることがあります。 撮り直したときです。現場の番号が同じものは後から上がったほうを使い、前のものは処理済みに移します。

1日に1回まとめて処理するのではなく、上がるたびに1枚ずつ処理します。 職人の作業が終わる時刻はばらばらで、夕方に集中もしません。上がった順に下書きができていれば、事務所は翌朝を待たずに品番を選び始められ、月末の締めの前にたまる報告書が減ります。

Step2

入力データを集める

データ中身取得元
報告書の画像スマートフォンで撮った画像(JPEG・HEIF など)共有フォルダ
読み取り結果項目ごとの値と確信度、部材の表の行・セルの確信度、サインの有無Azure AI Document Intelligence
書き方と品番の対応表職人、書き方、品番、確定した日、確定した担当者事務所で育てる表
部材の台帳品番、品名、口径・寸法、材質、単位、原価工事の管理ソフト
価格表作業の種類ごとの工賃、部材の売価、出張費工事の管理ソフト
現場の台帳現場の番号、元請け、お客様、受付の内容工事の管理ソフト

質を決めるのは、書き方と品番の対応表です。 最初は空ですが、担当者が品番を選ぶたびに1行ずつ増えます。この表が育つほど、生成AIに回る行が減り、候補の当たりも良くなります。 立ち上げのときに、ベテランの担当者が覚えている対応を100行ほど入れておくと、最初の月から効きます。

Step3

データの取得方法を決める

読み取りは、自社と元請けの様式で学習させたカスタムニューラルモデルを呼びます。 学習は Document Intelligence Studio で、報告書の画像に次のラベルを付けて行います。

取るものラベルの種類何に使うか
現場名・現場の番号キーと値現場の台帳との照合
作業の内容キーと値(複数行の自由記述)請求の明細の工賃の種類
部材の行(品名・数量・単位)表(表形式のフィールド)部材費と請求の部材の明細
作業の開始・終了の時刻、人数キーと値労務費
立会いのサイン署名サインの無い報告書の検出

部材は表形式のフィールドとして学習させます。 ニューラルモデルの 2024-11-30 の版では、表形式のフィールドに表全体・行・セルの確信度が付きます。公式のガイドでは、表全体から行、行からセルへと上から順に確かめることが勧められています。部材の表で行の確信度が低ければ、その行だけを担当者に回します。

学習用の画像は、様式ごとに5枚以上用意します。 ニューラルモデルは1つのモデルで様式の違いをまとめて扱うことが勧められており、違いのある様式ごとに5枚以上のラベル付きの例を入れます。 ラベルの名前は、書類の言語(日本語)で付けます。

学習には時間の枠があります。 2024-11-30 の版では、ニューラルモデルの学習に10時間分の無料の枠があり、それを超えると課金されます。1回の学習は最低30分として計算されます。 様式が増えるたびに学習し直すので、元請けの様式が増える予定は前もって把握しておきます。

学習は東日本(Japan East)のリージョンで行えます。 ニューラルモデルの学習ができるリージョンは限られていますが、Japan East が含まれています。

Step4

AIへ渡す前に整形する

  1. 形式とサイズ … PDFと画像(JPEG・PNG・BMP・TIFF・HEIF)が対象で、有料(S0)で500MBまでです。スマートフォンの HEIF の写真もそのまま送れます
  2. 画像の寸法 … 50×50から10,000×10,000ピクセルの間である必要があります。最近のスマートフォンの写真は長い辺がこれを超えることがあるので、縮小します
  3. 文字の大きさ … 文字の高さの下限は、1024×768の画像で12ピクセルです。報告書の全体が写るように引いて撮ると、部材の欄の小さい字がこれを下回ります
  4. 傾きと影 … 斜めに撮った写真、手や影がかかった写真は、確信度が下がります。撮り方の決まりを職人に配ります
  5. 2ページの報告書 … 部材が多くて2枚目に続く報告書は、2枚を1つのPDFにまとめて送ります。 ニューラルモデルはページの境目で分かれた値を認識しないので、1行が2枚にまたがらないよう書き方を決めます
  6. 現場の番号の照合 … ファイル名の現場の番号が現場の台帳にあるかを確かめます

2番目と3番目は、逆向きの注意です。 写真が大きすぎれば縮め、引きすぎて字が小さければ寄って撮り直します。「報告書の枠が画面いっぱいに入るように撮る」という1つの決まりで、両方を防げます。

Step5

AIに処理させる

OCRに読ませるのは、報告書の欄の値です。生成AIにさせるのは、対応表に無い部材の書き方について、部材の台帳から品番の候補を挙げることだけです。

処理担当やり方
欄の値の読み取りOCRラベルを付けた欄の値と確信度
部材の書き方と品番の対応プログラム対応表で職人と書き方から引く
対応表に無い部材の品番の候補生成AI部材の台帳から3つまで、根拠つきで挙げる
品番の決定人候補から選ぶか、台帳から探す
原価と請求の金額プログラム品番の原価・売価、時間×人数×工賃

生成AIに渡す部材の台帳は、絞ってから渡します。 1,500品目を全部渡すのではなく、書き方に含まれる語(「エルボ」「チーズ」「20」など)で台帳を検索し、上位50品目ほどを渡します。

させないこと理由
品番の決定口径や材質が1つ違えば、原価も売価も違う
台帳に無い品番を作る候補は台帳の中からだけ。無ければ「該当なし」
数量の補正「2」が読めなければ読めないまま。推測で埋めない
作業の内容からの部材の推測「水栓交換」と書いてあっても、書かれていない部材を足さない
金額の計算価格表と台帳からプログラムが計算する

工賃の区分は、作業の内容の文からは決めません。 「パッキン交換」「水栓交換」のような工賃の区分は、受付のときに現場の台帳に登録した依頼の内容から引きます。 現場で作業が増えたとき(パッキンの交換のつもりが水栓ごとの交換になったなど)は、作業の内容の欄の文を請求の下書きにそのまま載せ、区分の変更は担当者が決めます。 労務費は、終了の時刻から開始の時刻を引いた時間に人数を掛け、社内の時間あたりの単価を掛けてプログラムが出します。

4行目が、いちばん起きやすい失敗です。 「台所水栓交換」とあれば、水栓本体と止水栓のパッキンを使ったはずだと推し量り、書かれていない部材を候補に足すことがあります。 書き忘れの部材を拾うのは大事ですが、それは人が職人に確かめることで、AIが足した部材を請求に載せることは、使っていない部材の請求になりえます。

Step6

指示内容を固定する

あなたは水道工事店の事務所で、職人が書いた部材の名前を、
部材の台帳の品番に結び付ける担当です。

【やること】
職人が書いた部材の名前(OCRで読み取った文字)について、
下の部材の台帳の候補の中から、当てはまる品番を3つまで挙げてください。

【厳守事項】
- 品番は、下の候補の一覧にあるものだけを挙げてください。
  一覧に無い品番を作らないでください。
- 当てはまるものが無ければ、candidates を空にして no_match としてください。
  無理に近いものを挙げないでください。
- 口径・寸法(13、20、25 など)が書かれているときは、口径が違う品番を
  候補に入れないでください。口径が書かれていないときは、その旨を
  reason に書いてください。
- 数量は扱いません。数量を変えたり補ったりしないでください。
- 作業の内容から、書かれていない部材を推測して足さないでください。
- 各候補に、書き方のどの部分が台帳のどの項目と合ったかを reason に
  短く書いてください。
- 候補は当てはまりの強い順に並べてください。

【職人】{worker_id}
【この職人の過去の書き方の例(確定済み)】{worker_examples}
【読み取った部材の名前】{material_text}
【OCRの確信度】{confidence}
【部材の台帳の候補(品番・品名・口径・材質・単位)】{catalog_candidates}

「一覧に無い品番を作らない」を最初に置くのは、生成AIがそれらしい品番を作れてしまうからです。 品番は台帳の中にしか無く、台帳に無い品番は、原価も売価も引けない架空の部材です。 プログラムでも、返ってきた品番が台帳にあるかを確かめます。

「この職人の過去の書き方の例」を渡すのが、この構成の工夫です。 同じ「L」でも、ある職人はエルボ、別の職人は長さの意味で書きます。職人ごとの確定済みの例を数件渡すと、その職人の癖に合った候補が上に来ます。

Step7

出力形式を固定する

Claude API の構造化出力(output_config.format に json_schema)で、次の形で受け取ります。

{
  "material_text": "HIエルボ20",
  "status": "candidates | no_match",
  "size_written": true,
  "candidates": [
    { "item_code": "", "item_name": "", "reason": "" }
  ]
}

スキーマには制約があります。 すべての object で additionalProperties を false にする必要があり、数値の範囲や文字列の長さの制約は使えません。 配列の minItems も0か1しか指定できないので、「候補は3つまで」はスキーマではなくプログラムで確かめます。 4つ以上返ってきたら、上から3つだけを使います。

報告書1枚ぶんの結果は、プログラムが次の形にまとめます。

{
  "report_id": "",
  "site_no": { "value": "", "confidence": 0, "site_match": "matched | not_found" },
  "work_description": { "value": "", "confidence": 0 },
  "start_time": { "value": "", "confidence": 0 },
  "end_time": { "value": "", "confidence": 0 },
  "workers": { "value": null, "confidence": 0 },
  "signature": "present | absent",
  "materials": [
    { "text": "", "qty": null, "unit": "", "row_confidence": 0,
      "item_code": "", "source": "mapping_table | ai_candidate | manual",
      "status": "fixed | needs_choice | needs_review" }
  ],
  "cost_draft": { "material": null, "labor": null },
  "invoice_draft": [ { "line": "", "qty": null, "unit_price": null } ]
}

source で、品番がどこから来たかを残します。 対応表から付いたもの、生成AIの候補から人が選んだもの、人が台帳から探したもの。請求に誤りがあったとき、どの経路の品番が誤っていたかが分かります。

status が fixed の行だけが、原価と請求の下書きに入ります。 needs_choice は候補から選ぶ行、needs_review は確信度が低く画像と見比べる行です。

JSONで受けるのは、部材の1行が原価台帳の1行と請求の明細の1行の両方に対応するからです。 自由文で返されると、どの候補がどの行のものかを読み解く処理が要ります。

Step8

システムへ連携する

つなぎ先方式内容
共有フォルダPower Automate のトリガー報告書の画像の保存を検知する
Azure AI Document IntelligenceAPI呼び出しカスタムニューラルモデルで読み取る
Claude APIAPI呼び出し対応表に無い部材の品番の候補
工事の管理ソフト台帳・価格表の読み取り、下書きの取り込み確定は担当者が行う
書き方と品番の対応表共有のスプレッドシート担当者が選んだ品番を追記する

工事の管理ソフトへは、原価と請求の下書きを取り込むだけです。 請求書を確定して元請けやお客様に出すのは事務所の担当です。読み取りの誤りや候補の取り違えが、確認を経ずに請求書まで進む経路は作りません。

Step9

人が確認する

人が見るのは、needs_choice と needs_review の行、それに請求の下書きです。

  1. needs_choice の行で品番を選ぶ … 候補から選ぶか、無ければ台帳から探します。口径を必ず確かめます
  2. needs_review の行を画像と見比べる … 数量や時刻の確信度が低い行です
  3. サインの無い報告書を職人に確かめる … 立会いが無かった理由を記録します
  4. 請求の下書きを確かめて確定する … 値引きや追加の工事は、ここで担当者が判断します

目安は、400枚をならして1枚3分です。 部材の行がすべて fixed になった報告書は、請求の下書きを流し見て1分足らずで終わり、品番を選ぶ行が多い報告書は5分を超えます。選ぶ行が多い報告書が特定の職人に偏るなら、その職人の書き方を対応表に厚く入れます。

立ち上げの最初の1か月は、fixed の行も見ます。 対応表から品番が付いた行に誤りが無いかを確かめ、誤りがあれば対応表のその行を直します。 2か月目からは、fixed は件数を流し見るだけにします。

Step10

例外に対処する

起きること対応
新しい元請けの様式の報告書確信度が下がる。5枚以上集まったらラベルを付けて学習し直す
部材の行が2枚目にまたがるページの境目で分かれた値は認識されない。1行を2枚に分けて書かない決まりにする
写真が斜め・影がある確信度が下がる。撮り直しを職人に頼む
画像が10,000ピクセルを超える縮小してから送る
生成AIの候補が台帳に無い品番プログラムで弾き、needs_choice で人が台帳から探す
対応表に無く、候補も no_match職人に確かめる。台帳に部材が無ければ台帳の登録を先に
現場の番号が現場の台帳に無い受付の登録漏れを疑い、事務所で確かめる
同じ報告書を2回上げた現場の番号が同じなら後のものを使う
読み取りが応答しないフォルダに残し、次の回で処理する

上から2行目は、書き方の決まりで防ぎます。 部材の多い現場で、表の最後の行が2枚目にずれ込むことがあります。モデルの学習で直るものではないので、報告書の様式の側で部材の欄を広げるか、書き方を決めます。

Step11

記録を残す

  • 報告書の画像と、上げた日時・職人・現場の番号
  • 読み取りの結果のJSON全文(値・確信度・表の行とセルの確信度)
  • 生成AIに渡した部材の名前と台帳の候補、返ってきた候補
  • 担当者が選んだ品番と、選んだ担当者・日時
  • 書き方と品番の対応表の変更の履歴
  • 確定した原価と請求の明細

生成AIの入出力も残すのは、候補の当たり方を後から測るためです。 選ばれた品番が候補の何番目にあったかを数えれば、指示や台帳の絞り方を直すべきかが分かります。

4つ目と5つ目が、この仕組みの財産です。 対応表は、ベテランの担当者が頭の中に持っていた知識を、職人ごとの書き方の一覧として外に出したものです。担当者が替わっても、この表が残ります。

04実装レベルの3段階

最小構成:部材の名前を手で生成AIに貼り、品番の候補を挙げさせる / 品番の候補探し
半自動化:上記+報告書の写真を読み取り、対応表と候補から原価と請求の下書きを作る / 読み取り・品番の候補・下書き
本格構成:上記+工事の管理ソフトへの取り込みと、元請けの様式の写しの自動添付 / 請求書の作成まで

最小構成では件数がさばけません。 文字を手で打つので、月400件には使えません。候補が当たるかを確かめるための段階です。 半自動化で、1件9分が3分になり、この段階が本記事の想定です。 打ち込みと台帳の検索が無くなり、残るのは候補から品番を選ぶ作業と、請求の下書きの確定です。対応表が育つほど、品番を選ぶ行が減ります。 本格構成は、取り込みと添付の手間を減らす段階です。 工数の差は小さく、元請けの数が多い会社ほど効きます。 月末の締めに間に合わない報告書が減ることが、この段階のいちばんの効果です。 半自動化を1か月回すと、生成AIに回る行の多い職人と、確信度の低い様式が分かります。 そこを対応表と学習データに反映してから本格構成に進みます。

05工数削減シミュレーション

前提値(モデル条件)
対象人数
2 名
月間件数
400 件
1件あたり現在時間
9 分
1件あたり導入後時間
3 分
現在  400件 × 9分 ÷ 60 = 60 時間/月
導入後 400件 × 3分 ÷ 60 = 20 時間/月
月間削減時間
40h
削減率
67%
年間削減時間
480h
年間金額換算(時間単価2,800円)
134万円
モデル条件による試算であり、実際の効果は業務内容・運用方法によって異なります。

自社条件で導入効果を整理したい方へ

このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。

AI活用について相談する

06向いている企業・向いていない企業

向いている
  1. 水漏れの修理、水栓・便器・給湯管の交換などの小口の工事を毎月数百件こなす水道工事店・設備工事店。職人が現場ごとに紙の作業報告書を手書きし、事務所がそれを見て使った部材を部材の台帳から探し、原価と請求書を手で作っている場合。管理会社やハウスメーカーから受ける工事で、元請けごとに報告書の様式が違う場合。
向いていない
  1. 職人がタブレットの業務アプリで作業の内容と部材を直接入力している場合。大きな新築の配管工事が中心で、現場の数が月に数件の場合。部材の台帳が無く、使った部材を品番で管理していない場合(先に台帳を作る必要があります)。なお、請求の金額の確定と、値引きや追加の工事の扱いの判断は、この構成では代替できません。

07最小構成で試す方法

  1. 先月の報告書から30枚を選ぶ(元請けの様式のものを10枚、部材の多いものを5枚含める)
  2. その30枚について、工事の管理ソフトで確定した部材の品番と数量を書き出しておく
  3. ベテランの担当者に、よく出る書き方と品番の対応を50行ほど書き出してもらう
  4. 部材の欄の文字を手で打ち、部材の台帳の該当しそうな品目とあわせて手元の生成AIサービスに貼り、品番の候補を挙げさせる
  5. 候補の1つ目が、確定した品番と合った割合を数える

読み取りより先に、品番の候補の当たり方を確かめます。 この構成の効果のほとんどは②の部材の作業から来るので、ここで当たらなければ、読み取りを自動にしても工数は減りません。

出てきた内容判断
候補の上位3つに、ほぼ確定した品番が入っていた読み取りのモデルの学習に進む
口径の違う品番が上位に来た口径の扱いを指示に足せば直る。構成は有効
台帳の品名と書き方の差が大きく、候補が外れる対応表を先に厚くする。 生成AIより対応表が効く段階

3行目は、珍しくありません。 その場合は、対応表を育てる運用を先に始め、生成AIは対応表で拾えない行の補助と位置づけます。

08実装時につまずきやすいポイント

問題対策
生成AIが台帳に無い品番を作る指示で禁じ、返ってきた品番が台帳にあるかをプログラムで確かめる
口径の違う部材が候補の1つ目に来る口径を指示に明記し、選ぶときに人が必ず確かめる
作業の内容から書かれていない部材が足される指示で禁じる。書き忘れは職人に確かめる
候補の1つ目を自動で採ってしまう品番は人が選ぶ。 対応表に載るのは人が選んだものだけ
新しい元請けの様式で確信度が下がる5枚以上集めてラベルを付け、学習し直す
部材の行が2枚目にまたがって欠ける1行を2枚に分けない書き方を決める
写真が大きすぎて送れない10,000ピクセル以下に縮める
引いて撮って字が小さすぎる報告書の枠が画面いっぱいに入るように撮る
生成AIに渡す台帳が多すぎる書き方の語で台帳を絞り、上位50品目ほどを渡す
対応表に誤りが残る最初の1か月は fixed の行も見て直す
職人が辞めた・入った新しい職人は対応表が空。最初の数週間は生成AIに回る行が増える前提で見る
部材の台帳の品番が改廃された対応表の品番が台帳に無くなる。台帳の改廃のたびに対応表を照合する

上の4行は、生成AIに任せる範囲を広げすぎたときに起きます。 どれも「それらしい品番を、確かめずに使う」失敗です。品番を決めるのは人、という線を最初に引いておけば防げます。

下の4行は、対応表と台帳の手入れの話です。 台帳を全部渡すと遅く高くなり、対応表の誤りや古い品番を放っておくと、誤った品番が毎月繰り返されます。対応表は作って終わりではなく、職人と台帳の変化に合わせて手入れするものです。

09セキュリティ・AIガバナンス上の注意点

この構成で扱うデータ: お客様の氏名・住所(現場名として書かれる)、立会いのサイン、作業の内容、職人の名前と作業の時間です。個人の家の工事では、報告書に家の中の様子が書かれることもあります。

  1. 生成AIには部材の名前と台帳の候補だけを渡す … 報告書の画像も、現場名・お客様の名前も渡しません。品番の候補を挙げるのに、どこの家の工事かは要りません
  2. データの保持を確かめる … Claude API の構造化出力は、公式のページでゼロデータ保持の対象とされています(Covered Models を除く)。利用する契約とモデルの条件を確かめておきます
  3. 職人の写真の扱いを決める … 職人のスマートフォンに報告書の写真が残ります。上げた後に端末から消すか、会社の管理するアプリの中だけで撮るかを決めておきます
  4. 作業の時間を職人の評価に使わない … 読み取った作業の時間は労務費の計算のためのものです。職人ごとの作業の速さを比べる用途に使うかどうかは、職人と話し合って決めます
  5. 請求は人が確定する … 元請けやお客様への請求の誤りは、取引の信頼にひびきます
  6. 元請けの様式の写しの扱いを確かめる … 元請けの指定の様式は、元請けとの取り決めで使っている書式です。学習のためにその様式の報告書を Document Intelligence に上げてよいか、取引の契約で禁じられていないかを確かめておきます

誤りが起きた場合のリスクは、違う部材を請求すること、使った部材を請求し漏らすことの2つです。 前者は品番を人が選ぶことで、後者は部材の行を表として読むことで防ぎます。

10まず何から始めるか

1週目:対応表の種を作る

ベテランの担当者に、よく出る部材の書き方と品番の対応を書き出してもらいます。職人ごとに分けて、100行ほどを目安にします。あわせて、部材の台帳に口径・材質の列がそろっているかを確かめます。

2週目:30枚で候補の当たり方を試す

先月の報告書から30枚を選び、部材の名前を生成AIに貼って候補を挙げさせます。口径の違う候補が上に来ないかを最優先で見ます。

3週目:読み取りのモデルを学習させる

自社の様式と元請けの様式から、それぞれ5枚以上の報告書にラベルを付け、Document Intelligence Studio でニューラルモデルを学習させます。部材の表の行の確信度を見ます。

4週目:写真の保存から下書きまでをつなぐ

Power Automate で共有フォルダを見張り、読み取り・対応表・生成AIの候補・原価と請求の下書きまでを一覧に出します。この時点では工事の管理ソフトに取り込みません。

2か月目: 下書きを工事の管理ソフトに取り込み、担当者が選んだ品番を対応表に足す運用を始めます。3か月目以降: 1件9分が何分になったかと、生成AIに回る行の割合を毎月数えます。生成AIに回る行が全体の1割を切った時点で、この構成は完成です。


11関連ユースケース

12この仕組みを理解するための記事

13技術仕様の確認日・参考情報

技術仕様確認日:2026-11-02/最終更新:2026-11-03
確認した内容情報源確認日
カスタムニューラルモデルが構造化・半構造化の書類に向き、同じ情報でページの構成が違う書類に対応すること。キーと値・選択の印・表形式のフィールド・署名に対応し、2024-11-30 の版で表・行・セルの確信度が付くこと。様式の違いごとに5件以上のラベル付きの例を入れ、ラベルの名前は書類の言語で付けること。ページの境目で分かれた値を認識しないこと。学習のリージョンに Japan East が含まれること。2024-11-30 の版で10時間の無料の学習の枠があり、1回の学習は最低30分で計算されること。入力の形式・サイズ・画像の寸法・文字の高さの下限Microsoft Learn: Custom neural document model2026-11-02
カスタムニューラルモデルの手書きの対応言語に日本語が含まれることMicrosoft Learn: Language support for custom models2026-11-02
表の確信度は表全体・行・セルの順に上から確かめることが勧められること。確信度で自動で受け入れるか人の確認に回すかを決められることMicrosoft Learn: Interpret and improve model accuracy and confidence scores2026-11-02
構造化出力が output_config.format に json_schema を指定して使えること。additionalProperties は false が必須で、数値の範囲・文字列の長さの制約は非対応、minItems は0か1のみであること。ゼロデータ保持の対象(Covered Models を除く)で、スキーマだけが最後の利用から24時間キャッシュされることClaude: Structured outputs2026-11-02

請求の金額と品番は、自社で確かめて確定してください。 本記事は上記の公開資料で確認できた範囲だけを扱っています。

実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。

自社の業務に使えるAI活用候補を整理します

このユースケース(UC-2476)についてのご相談はこちらから。

AI活用について相談する
目次