Media > AI活用ユースケース > カスタマーサポート > 薪ストーブ・煙突の施工と保守の会社が、点検で撮った煙突の内部と炉内の写真を Gemini で見て、すす・割れ・劣化の所見の候補を拾い、点検報告書の下書きを作る

薪ストーブ・煙突の施工と保守の会社が、点検で撮った煙突の内部と炉内の写真を Gemini で見て、すす・割れ・劣化の所見の候補を拾い、点検報告書の下書きを作る

実装ステータス:構成例 技術的に実現可能な構成として設計したもの。自社未検証

薪ストーブと煙突の点検で撮った写真を Gemini API に渡し、すすの付き方・割れ・変形やさび・ガスケットのほつれ・異物の候補を、点検項目ごとに写真の位置つきで拾います。技術者は候補を確かめて所見を決め、点検報告書の下書きに仕上げます。

サマリー
生成AI
ChatGPT/Claude/Gemini
連携・自動化
Google Apps Script/Python
対象業界
その他/不動産/建設
対象部門
カスタマーサポート/品質管理
対象業務
内容確認・チェック/書類作成
主な課題
属人化している/書類作成に時間がかかる/確認ミスが多い
AIで行う処理
画像認識
主な効果
品質標準化/属人化解消/工数削減
導入難易度
★★☆☆☆
実装レベル
半自動化
費用感
API連携(中)
人間の確認
条件付き
現在工数
90h/月
AI導入後
36h/月
想定削減
60%
年間削減
648h
モデル条件による試算値です。実在企業の実績ではありません。

01導入前 / 導入後の業務フロー

導入前(Before)
  1. 技術者が点検と煙突掃除を行い、部位ごとに写真を撮る(掃除の前と後)
  2. 事務所に戻り、スマートフォンの写真を共有フォルダに移す
  3. 写真を部位ごとに選び、報告書の型に貼る
  4. 前回の報告書を開き、同じ部位の写真と見比べる
  5. 部位ごとに所見を書き、対処(次回の掃除の時期、部品の交換の提案)を書く
  6. 先輩の技術者が読み、所見と提案を確かめて、顧客にPDFで送る
導入後(After)
  1. 人技術者が点検アプリの部位の欄ごとに写真を撮る(掃除の前と後)
  2. 自動事務所に戻って共有フォルダに写真が入ると、連携の仕組みが顧客の台帳と前回の点検の写真を引く
  3. 自動部位ごとに、今回の写真と前回の同じ部位の写真を組にして Gemini API に渡す
  4. 【AI】 点検項目ごとに、候補の種類・写真の中の位置の枠・前回との比べ・写真で判断できるかを返す
  5. 自動連携の仕組みが、枠を写真に描き、候補を点検項目の表に並べて、報告書の下書きを作る
  6. 人技術者が候補を1つずつ確かめ、現地で見たことと合わせて所見を決める(採る・直す・消す)
  7. 人技術者が対処(次回の掃除の時期、部品の交換の提案)を書く
  8. 人先輩の技術者が確かめ、顧客にPDFで送る
各工程の詳しい説明を読む
  1. 技術者が点検と煙突掃除を行い、部位ごとに写真を撮る(掃除の前と後)
  2. 事務所に戻り、スマートフォンの写真を共有フォルダに移す
  3. 写真を部位ごとに選び、報告書の型に貼る
  4. 前回の報告書を開き、同じ部位の写真と見比べる
  5. 部位ごとに所見を書き、対処(次回の掃除の時期、部品の交換の提案)を書く
  6. 先輩の技術者が読み、所見と提案を確かめて、顧客にPDFで送る

(a)3番目と4番目に時間がかかる。 60枚の写真から部位ごとに選ぶだけで時間がかかり、前回の報告書から同じ部位の写真を探して見比べると、さらに時間がかかります。 訪問の多い日は、報告書が数日分たまります。

(b)所見の書きぶりが技術者によって違う。 同じすすの付き方を、ある技術者は「すす多め」、別の技術者は「タール状の付着あり、次回の掃除を早める」と書きます。顧客から見ると、担当が替わると煙突の状態が急に変わったように見えます。

(c)小さな変化を見落とす。 耐火レンガの細い割れ、ガスケットの一部のほつれ、煙突のトップの網に引っかかった落ち葉は、写真には写っていても、報告書を書く時点で見落とすことがあります。 次の点検で大きくなってから気づき、「前回の写真にも写っていた」と分かります。

(d)報告書が届くのが遅れる。 点検から報告書の送付まで1週間以上空くことがあり、顧客はその間、ストーブを使ってよいのか分からないまま待ちます。 使ってはいけない状態のものは技術者が現地で伝えていますが、それ以外の所見は報告書を待つことになります。

  1. 【人】 技術者が点検アプリの部位の欄ごとに写真を撮る(掃除の前と後)
  2. 【自動】 事務所に戻って共有フォルダに写真が入ると、連携の仕組みが顧客の台帳と前回の点検の写真を引く
  3. 【自動】 部位ごとに、今回の写真と前回の同じ部位の写真を組にして Gemini API に渡す
  4. 【AI】 点検項目ごとに、候補の種類・写真の中の位置の枠・前回との比べ・写真で判断できるかを返す
  5. 【自動】 連携の仕組みが、枠を写真に描き、候補を点検項目の表に並べて、報告書の下書きを作る
  6. 【人】 技術者が候補を1つずつ確かめ、現地で見たことと合わせて所見を決める(採る・直す・消す)
  7. 【人】 技術者が対処(次回の掃除の時期、部品の交換の提案)を書く
  8. 【人】 先輩の技術者が確かめ、顧客にPDFで送る

6番目が、この設計の分かれ目です。 AIの候補をそのまま所見にしません。技術者は、現地でブラシを通したときの手応え、レンガを触ったときのぐらつき、顧客から聞いた使い方を知っています。 写真の候補は、それを思い出しながら確かめるための材料です。

7番目の対処を人が書くのは、提案が顧客の費用に直結するからです。 部品の交換を提案するか、次回まで様子を見るかは、ストーブの機種、顧客の使い方、費用の相談を含めて技術者が決めます。 AIには対処を書かせません。

02今回想定するシステム構成

構成図
点検の写真(部位ごと・掃除の前と後)
   │  技術者のスマートフォン → 共有フォルダ
   ▼【トリガー】共有フォルダへの写真の追加(点検ごとのフォルダ)
連携の仕組み(Python)
   ├──▶ 顧客と設置の台帳を引く(ストーブの機種、煙突の構成、前回の点検日)
   ├──▶ 前回の同じ部位の写真を引く
   ▼
Gemini API(Interactions、構造化出力、store=false)
   │   部位ごとに:今回の写真+前回の写真+点検項目
   │   候補の種類/写真の中の枠/前回との比べ/写真で判断できるか
   ▼
連携の仕組み ── 枠を写真に描く、点検項目の表に並べる、報告書の下書き
   ▼
【技術者が候補を確かめて所見を決め、対処を書く】
   ▼
【先輩の技術者が確認】→ 顧客へPDFで送付、台帳に点検日と所見を記録
役割想定する製品代替候補
処理Gemini API(今回と前回の写真から、点検項目ごとの候補を枠つきで返す)Claude API、OpenAI API
連携Python(フォルダの監視、台帳と前回の写真の読み込み、呼び出し、枠の描画、下書きの作成)Google Apps Script
撮影技術者のスマートフォンと、煙道の内部を撮るカメラ-
記録顧客と設置の台帳(共有の表計算)と報告書のファイル保守管理の仕組み

新しく足すのは、Gemini API の有料の枠と、短い連携の仕組みです。 台帳、共有フォルダ、報告書の型は今のものを使います。連携の仕組みは、事務所のパソコンで動く小さなプログラムで足ります。

写真を見る土台は、Gemini API の画像の理解の機能です。 公式の説明では、Gemini のモデルはすべて複数の種類の入力を扱え、画像の説明、画像についての質問への回答、画像の分類、物体の検出と切り分けなどに使えるとされています。対応する画像の形式は PNG、JPEG、WEBP、HEIC、HEIF で、スマートフォンの写真をそのまま渡せます。

1回の呼び出しに複数の画像を入れられます。 公式の説明では、入力の配列に画像を複数並べて1つのプロンプトにでき、1回のリクエストの画像は3,600枚までとされています。今回と前回の同じ部位の写真を組にして渡すのは、この使い方です。

物体の検出では、位置を枠で返させられます。 公式の説明では、座標は画像の大きさに対して 0〜1000 に正規化され、例では box_2d を [ymin, xmin, ymax, xmax] の順で返しています。元の写真の大きさに戻すのは利用者の側の仕事とされているので、連携の仕組みで換算して枠を描きます。

03どうやって実装するのか

Step1

処理の起点を決める

点検ごとのフォルダに写真が入ったことを起点にします。 技術者は訪問のたびに、顧客の番号と点検日の名前のフォルダに写真を入れます。連携の仕組みは、新しいフォルダを見つけたら、写真の枚数がそろうのを少し待ってから動きます。 写真の転送の途中で動くと、部位の一部が欠けたまま候補を出してしまいます。

1日の終わりにまとめて動かすのではなく、フォルダごとに動かします。 技術者が事務所に戻った当日のうちに下書きができていれば、記憶が新しいうちに候補を確かめられます。 翌日以降に回すと、現地で見たことと写真の候補を突き合わせにくくなります。

処理が終わったフォルダには、下書きが最後までできたときだけ印のファイルを置きます。 印の無いフォルダが、まだ下書きのできていない点検です。

Step2

入力データを集める

データ中身取得元
今回の写真部位ごと(煙突のトップ、煙道の内部、接続部、室内の煙突と壁、炉内のレンガ、バッフル板、ガスケット、ガラス)、掃除の前と後点検ごとのフォルダ(ファイル名に部位と前後)
前回の写真前回の点検の同じ部位の写真前回の点検のフォルダ
設置の情報ストーブの機種、煙突の構成(断熱の二重煙突か、曲がりの数)、設置の年顧客と設置の台帳
点検項目の一覧部位ごとに見る項目と、候補の種類の決まった言葉会社で作る一覧
現地のメモ技術者が現地で気づいたこと(ブラシの手応え、顧客から聞いた使い方)点検アプリのメモの欄

質を決めるのは、写真のファイル名に部位と前後が入っていることです。 「IMG_0231.jpg」のままでは、どの写真が煙道の内部で、どれが掃除の前なのかを連携の仕組みが判断できません。点検アプリの部位の欄ごとに撮ると、名前が付く形にします。 部位が分からない写真は、AIに渡す前に技術者が仕分けます。

点検項目の一覧は、所見の言葉をそろえるために持ちます。 すすの付き方なら「粉状」「うろこ状」「光沢のある固まり」のように、会社で使う言葉を決めて、その言葉だけで候補を返させます。 技術者によって「タール」「クレオソート」「ベタベタ」と書き分けていた言葉が、報告書でそろいます。

Step3

データの取得方法を決める

写真は、共有フォルダから点検ごとに読み込みます。 連携の仕組みが、ファイル名から部位と前後を読み、台帳の顧客の番号から前回の点検のフォルダを探して、同じ部位の写真を組にします。

取るものどこから何に使うか
今回の写真点検ごとのフォルダ候補を拾う元
前回の同じ部位の写真前回の点検のフォルダ「前回より増えた・変わらない・前回は無かった」の比べ
機種と煙突の構成台帳点検項目の選び方(機種によってバッフル板の有無が違う)
現地のメモ点検アプリのメモ技術者の確認の材料(AIには渡さない)

現地のメモはAIに渡しません。 メモには「ブラシの通りが重かった」のような、写真に写らない手応えが書かれています。これをAIに渡すと、写真に写っていない候補を、メモを根拠に作り出します。 メモは、技術者が候補を確かめるときに横に並べて読むためのものです。

写真の大きさと送り方を決めておきます。 公式の説明では、画像をリクエストに直接入れる場合は、文字のプロンプト・指示・画像を合わせたリクエスト全体が20MBまでとされ、それを超える場合や同じ画像を繰り返し使う場合は File API でアップロードするよう書かれています。前回と今回の写真を組にすると大きくなるので、連携の仕組みで長い辺を決まった大きさに縮めてから送ります。

Step4

AIへ渡す前に整形する

  1. 部位の仕分けを確かめる … ファイル名に部位と前後が無い写真は、AIに渡さず技術者に返します
  2. 向きを直す … スマートフォンの写真の向きの情報を見て、上下を正しくします。公式の説明でも、画像が正しく回転しているかを確かめるよう勧められています
  3. ぶれと暗さを確かめる … 煙道の内部の写真は暗く、ぶれやすいです。明るさが足りない写真は「写真では判断できない」になりやすいので、技術者に印を付けて返します
  4. 人と家の中の様子を写さない … 室内の写真に家族や生活の様子が写っていれば、該当の部分を切り取るか、写真を外します
  5. 大きさをそろえる … 長い辺を決まった大きさに縮めます。細い割れを見たい炉内のレンガだけは、縮める幅を小さくします
  6. 前回の写真を組にする … 前回の同じ部位の写真が無い(初回の点検、前回は撮っていない)ときは、今回の写真だけで渡し、比べは「前回の写真なし」とします

3番目を軽く見ないでください。 煙道の内部の写真は、カメラの光が届く範囲しか写りません。暗い写真を渡すと、AIは暗い部分を「すすの付着」と読むことがあります。 写っていないことと、黒く写っていることを区別するために、明るさの足りない写真は先に外します。

5番目は、見たいものの大きさで決めます。 公式の説明では、media_resolution のパラメーターが画像1枚に割り当てるトークンの上限を決め、高いほど細かい文字や小さな部分を見分けやすくなる一方、トークンの使用量と待ち時間が増えるとされています。細い割れを見る炉内のレンガとガラスは高めに、煙突のトップの全体の写真は低めに、と部位で変えます。

Step5

AIに処理させる

させるのは、部位ごとに点検項目の候補を拾い、位置の枠と前回との比べを返すことだけです。

点検項目見るもの判断できないときの扱い
すすの付き方粉状/うろこ状/光沢のある固まり、付いている範囲暗い・ぶれている写真は not_judgeable
割れ耐火レンガ、バッフル板、ガラスの線状の割れ・欠け汚れの線と区別できなければ uncertain
変形・さび煙突の継ぎ目、トップ、接続部のへこみ・さび・すき間写真の角度で分からなければ not_judgeable
ガスケットのほつれ扉のガスケットのほつれ、切れ、すき間押したときの密閉は写真では分からない(扱わない)
異物トップの網の落ち葉、鳥の巣の材料、煙道の中の落下物影と区別できなければ uncertain

右端の列が、この構成でいちばん大事な区別です。 not_judgeable は写真の写り方のせいで判断できないということ、uncertain は写ってはいるが種類を決められないということです。前者は次の点検で撮り方を変えるもの、後者は技術者が現地の記憶と合わせて決めるものです。どちらも、AIが「異常なし」と言ったことにはしません。

ガスケットの密閉の具合は扱いません。 煙が漏れないかは現地で確かめるもので、写真に写るのはほつれや切れの見た目だけです。

させないこと理由
使い続けてよいかの判断判断は現地を見た技術者の仕事。顧客の安全に直結する
火災の危険の程度を書く写真だけで評価できない。言い切ると顧客に誤った安心か不安を与える
部品の交換・補修の要否機種・使い方・費用の相談を含めて技術者が決める
すすの量を厚みや重さの数値で書く写真から測れない。「範囲」と「前回との比べ」に限る
写真に写っていない部位について書く候補は写真に写ったものだけ

4行目は、顧客が一番知りたがる数字です。 「すすが何ミリ付いていたか」は顧客から聞かれますが、写真の見た目から厚みは測れません。 測るなら技術者が現地で測り、その値を報告書に書きます。AIには範囲と前回との比べだけを書かせます。

Step6

指示内容を固定する

あなたは、薪ストーブと煙突の保守の会社で、点検の写真から所見の候補を拾う役です。
写真に写っていることだけを根拠にしてください。推測で補わないでください。

【今回渡す部位】{part}(例:炉内の耐火レンガ/掃除の前)
【この部位で見る点検項目】{check_items}
【候補の種類として使う言葉】{vocabulary}
【写真】1枚目以降が今回の写真、最後の1枚が前回の同じ部位の写真です。
        前回の写真が無い場合は「前回の写真なし」と書かれています。

【status の選び方】
- found ........... 候補が写真に写っている
- not_found ....... この写真の写っている範囲では見当たらない
- uncertain ....... 写ってはいるが、種類を決められない
- not_judgeable ... 暗い・ぶれている・角度が悪く、判断できない
迷ったときに not_found を選ばないでください。

【厳守事項】
- 候補の種類は、上の「候補の種類として使う言葉」からだけ選んでください。
- 候補ごとに、写真の中の位置を box_2d として [ymin, xmin, ymax, xmax] の順で、
  0〜1000 に正規化した値で返してください。
- 前回の写真と比べて、increased / same / new / not_comparable のどれかを付けてください。
  前回の写真と撮った角度が違って比べられないときは not_comparable です。
- 暗く写っている部分を、すすの付着と決めつけないでください。
- 使い続けてよいか、火災の危険、部品の交換の要否は書かないでください。
- すすの厚みや量を数値で書かないでください。範囲(一部/半分ほど/全体)で書いてください。
- reason には、何が写っていて候補にしたかを、写真の中の場所で書いてください。

「迷ったときに not_found を選ばない」が、見落としを防ぐ一行です。 何も言わなければ、AIは決めきれない候補を落とし、「見当たらない」と返します。落とされた候補は技術者の目にも入りません。 迷ったものは uncertain で残させ、技術者に見せます。

「暗い部分をすすと決めつけない」は、煙道の写真のための一行です。 カメラの光が届かない奥は黒く写り、すすが多い煙突と、光が届かなかっただけの煙突が、写真では同じに見えます。 区別がつかなければ not_judgeable にさせます。

Step7

出力形式を固定する

構造化出力で、次の形のJSONを受け取ります。 公式の説明では、Interactions の response_format に mime_type を application/json にしてスキーマを渡す形で、enum で文字列を決まった値に絞れます。

{
  "inspection_id": "",
  "part": "firebrick | baffle | glass | gasket | flue_inside | chimney_top | connector | wall_clearance",
  "photo_timing": "before_cleaning | after_cleaning",
  "findings": [
    {
      "item": "soot | crack | deformation_rust | gasket_fray | foreign_object",
      "status": "found | not_found | uncertain | not_judgeable",
      "type": "",
      "extent": "partial | about_half | whole | none",
      "box_2d": [0, 0, 0, 0],
      "photo_index": 0,
      "compared_to_last": "increased | same | new | not_comparable",
      "reason": ""
    }
  ]
}

1つ目の理由は、status と所見を別の層に置けることです。 findings はAIが埋め、所見の文は技術者が候補を確かめてから書きます。AIの候補の記録と、技術者の判断の記録が分かれて残ります。

2つ目は、box_2d で報告書の写真に印を付けられることです。 連携の仕組みが0〜1000の値を元の写真の大きさに戻し、候補の位置に枠を描きます。顧客は報告書の写真のどこを見ればよいかが分かり、技術者はAIがどこを見たかを確かめられます。

3つ目は、値を連携の仕組みの側で確かめられることです。 公式の説明では、スキーマの文字列の長さの制約(minLength・maxLength)は守らせる対象にならず、サーバーで無視されるとされ、必要なら利用者のコードで確かめるよう書かれています。 連携の仕組みで、box_2d が4つの値で0〜1000に収まっているか、type が決まった言葉かを確かめ、外れたものは技術者の確認の一覧の先頭に回します。

status の組み合わせ下書きでの扱い
found が1つ以上点検項目の表に候補として並べ、写真に枠を描く
uncertain が1つ以上「技術者が決める候補」として目立つ色で並べる
not_judgeable が1つ以上「写真では判断できない」として並べ、撮り直しの印を付ける
すべて not_found「写真の範囲では候補なし」と書く(「異常なし」とは書かない)

最後の行は「異常なし」と書きません。 それを書けるのは、現地を見た技術者だけです。

Step8

システムへ連携する

つなぎ先方式内容
共有フォルダ連携の仕組みが監視点検ごとのフォルダの写真を読む
顧客と設置の台帳表の読み取り機種、煙突の構成、前回の点検日
Gemini APIAPI呼び出し(store=false)部位ごとの候補、位置、前回との比べ
報告書の下書き連携の仕組みが作る枠を描いた写真と、点検項目の表
台帳技術者が確定後に記入点検日、所見の要点、次回の掃除の時期

呼び出しでは store=false を指定します。 公式の説明では、Interactions API は既定ですべてのやり取りを保存し、有料の枠では55日、無料の枠では1日保持するとされ、store=false で保存しないようにできます。顧客の家の中の写真を含むので、記録は会社の共有フォルダに一本化します。

台帳へは自動で書き込みません。 AIの候補が台帳に入ると、確かめていない所見が次の点検の前提になります。

Step9

人が確認する

  1. not_judgeable を先に見る … 撮り方の問題です。現地で同じ部位を見た記憶があれば所見を書き、無ければ次の点検で撮り直す印を付けます
  2. found と uncertain を写真の枠で確かめる … 枠の場所を写真で見て、現地のメモと合わせて採るか、直すか、消すかを決めます
  3. 「前回より増えた」を確かめる … 前回と今回の写真を並べ、本当に増えたのか、撮った角度や明るさの違いなのかを見ます
  4. 所見と対処を書く … 採った候補をもとに所見を書き、次回の掃除の時期や部品の提案を書きます
  5. 先輩の技術者が確かめる … 所見と対処の書き方が会社の言葉にそろっているか

3番目を省かないでください。 「前回より増えた」は顧客が一番気にする所見で、掃除の時期を早める提案につながります。 撮った角度が違うだけで増えたように見えることがあり、その確認は写真を並べた人にしかできません。

目標は、1件18分です。 下書きの候補の確認に10分、所見と対処の記入に5分、先輩の確認に3分の想定で、18分を超える点検は、写真の仕分けが崩れているか、not_judgeable が多すぎます。

Step10

例外に対処する

起きること対応
ファイル名に部位が無い写真があるAIに渡さず、技術者が仕分けてから再投入する
写真が暗い・ぶれているnot_judgeable で返させ、次回の撮り方の印を付ける
前回の写真が無い(初回、前回は撮っていない)比べは not_comparable。今回の写真だけで候補を拾う
前回と撮った角度が違うnot_comparable。次回のために撮る位置を決め直す
室内の写真に家族が写っている該当の写真を外すか切り取ってから渡す
リクエストが20MBを超える写真を縮めるか、File API でアップロードして渡す
返ってきた値がスキーマの決まりから外れる連携の仕組みで検知し、技術者の確認の一覧の先頭に回す
API が応答しないフォルダに印を置かず、後で再実行する。印を置くのは成功したときだけ
現地で危険な状態を見つけた報告書を待たず、技術者がその場で顧客に伝える。報告書は後追いで書く

上から2行目が大半を占めます。 煙道の内部の写真は撮りにくく、not_judgeable が多い点検は、カメラの光の当て方か差し込む深さの問題です。 判断の精度を上げようとするより、撮り方を技術者の間でそろえるほうが効きます。

最後の行は、この構成の外に置きます。 使ってはいけない状態のものを見つけたら、技術者がその場で顧客に伝えます。 報告書の下書きの流れに乗せて待たせることはしません。

Step11

記録を残す

  • 点検ごとのフォルダの写真(元の写真と、枠を描いた写真)
  • Gemini API が返したJSONの全文と、呼び出した日時・使ったモデル
  • 技術者が候補を採った・直した・消した記録
  • 確定した報告書のPDFと、送った日時
  • 台帳に記入した所見の要点と、次回の掃除の時期
  • 部位ごとの not_judgeable の発生率

3つ目の記録は、指示と点検項目の一覧の見直しに使います。 同じ部位で uncertain が毎回消されているなら、その部位の候補の言葉が現場の見分け方と合っていません。

最後の行は、撮り方の見直しの材料になります。 特定の技術者や特定の部位だけ not_judgeable が続くなら、カメラの扱いに理由があります。

04実装レベルの3段階

最小構成:部位ごとの写真の組を手で Gemini API に渡し、候補を確かめる / 写真ごとの候補の拾い出し
半自動化:上記+連携の仕組みでフォルダを監視し、前回の写真を引き、枠を描いた報告書の下書きを作る / 写真の整理、候補、前回との比べ、下書き
本格構成:上記+点検アプリと台帳をつなぎ、確定した所見から次回の掃除の時期の案内を顧客に送る準備まで行う / 点検から次回の案内の準備まで

本記事の想定は半自動化です。 月120件で、1件ごとに技術者が候補を確かめるなら、この段階で足ります。削減の大半は、①の写真の選び出しと②の前回との見比べが、下書きの確認に変わることから出ます。 本格構成は、顧客への連絡を自動にしないことを前提にします。 次回の掃除の時期の案内は、技術者が所見を確定してから、案内の下書きを作るところまでにします。送るのは人です。

05工数削減シミュレーション

前提値(モデル条件)
対象人数
5 名
月間件数
120 件
1件あたり現在時間
45 分
1件あたり導入後時間
18 分
現在  120件 × 45分 ÷ 60 = 90 時間/月
導入後 120件 × 18分 ÷ 60 = 36 時間/月
月間削減時間
54h
削減率
60%
年間削減時間
648h
年間金額換算(時間単価3,000円)
194万円
モデル条件による試算であり、実際の効果は業務内容・運用方法によって異なります。

自社条件で導入効果を整理したい方へ

このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。

AI活用について相談する

06向いている企業・向いていない企業

向いている
  1. 薪ストーブの販売・施工に加えて、設置した顧客の煙突掃除と定期の点検を請け負っている会社。点検のたびに煙突の内部や炉内の写真を数十枚撮るが、事務所に戻ってから写真を点検項目ごとに並べ、所見を書く時間が点検そのものより長い場合。技術者によって所見の書きぶりと写真の選び方が違い、前回の点検との比べ方が決まっていない場合。
向いていない
  1. 点検の件数が月に数件で、技術者が現地で報告書を書き上げられる場合。点検の結果をその場で口頭で伝えるだけで、報告書を出していない場合。なお、煙突やストーブを使い続けてよいかの判断、火災の危険の評価、部品の交換や補修の要否、法令や設置の基準に合っているかの判断は、この構成では代替できません。

07最小構成で試す方法

  1. 過去の点検から10件を選ぶ(うち数件は、割れや多いすすなど、所見があったと分かっているものを入れる)
  2. その10件の写真を部位ごとに仕分け、前回の点検の同じ部位の写真と組にする
  3. Google AI Studio か短いスクリプトで、有料の枠の Gemini API に第7章の指示と写真の組を渡す(store=false)
  4. 返ってきた候補を、当時の報告書の所見と突き合わせる
  5. 当時の報告書に無かった候補が出たら、写真を見直して見落としだったかを確かめる

10件は必ずやってください。 連携の仕組みを作る前に、「写真から点検項目の候補を拾えるのか」を確かめます。

出てきた内容判断
当時の所見と同じ候補が、位置つきで出た連携の仕組みを作る段階に進む
暗い部分をすすと決めつけた指示を強め、暗い写真を先に外す。構成は有効
not_judgeable が大半になった撮り方が先。 AIの問題ではない

3行目が出ることは珍しくありません。 失敗ではなく、報告書を書くのに時間がかかっていた理由が1つ分かったということです。 撮り方を技術者の間でそろえてから、同じ部位で撮り直した写真で試してください。

08実装時につまずきやすいポイント

問題対策
暗い部分がすすの候補になる暗い写真を先に外し、指示で決めつけを禁じる
決めきれない候補が落とされる「迷ったら not_found にしない」を書き、uncertain で残す
「候補なし」が「異常なし」と書かれる下書きの言葉を「写真の範囲では候補なし」に固定する
撮った角度の違いで「増えた」になる撮る位置を決め、比べられないときは not_comparable
写真の部位が分からない点検アプリの部位の欄ごとに撮る
すすの厚みを数値で書く数値を禁じ、範囲で書かせる。測るなら技術者が現地で
現地のメモを渡して候補を作り出すメモはAIに渡さず、技術者の確認の横に置く
リクエストが大きすぎる写真を縮める。必要なら File API でアップロード
家族が写った室内の写真を送る前処理で外すか切り取る
使い続けてよいかをAIに書かせたくなる判断は技術者。下書きには書かせない

上の3行が、この構成の失敗のほとんどです。 どれも、写真に写っていないことや決めきれないことを、AIが言い切る方向にずれることから起きます。判断できないものは判断できないと残す、の一点を守れば、候補は技術者の役に立ちます。

09セキュリティ・AIガバナンス上の注意点

この構成で扱うデータ: 顧客の家の煙突とストーブの写真、室内の一部の写真、顧客の番号と設置の情報です。顧客の名前と住所はAIに渡しません。 室内の写真には、家族や生活の様子が写り込むことがあります。

  1. 有料の枠で使い、保存を止める … Gemini API の追加利用規約では、有料のサービスではプロンプトと応答(関連する画像などのファイルを含む)が製品の改善に使われないとされています。一方、無料のサービスでは人が内容を読むことがあるとされています。有料の枠で使い、あわせて store=false を指定します
  2. 顧客の名前と住所を渡さない … 呼び出しに入れるのは写真と部位と点検項目だけです。顧客の番号から名前を引くのは、連携の仕組みの側で報告書を作るときだけにします
  3. 家族の写り込みを外す … 室内の写真は送る前に確かめ、人が写っていれば外すか切り取ります。追加利用規約は API の利用を18歳以上の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。 この構成は会社の技術者だけが使う社内の仕組みで、顧客の子どもが写った写真をAIに渡す必要もありません
  4. 安全の判断を報告書の下書きに書かせない … 使い続けてよいか、火災の危険、部品の交換の要否は、現地を見た技術者が決めます。 AIの候補は、その判断の材料です
  5. 「異常なし」を書くのは技術者だけ … 写真の範囲で候補が無いことと、煙突に問題が無いことは違います。下書きの言葉を固定し、技術者が現地の確認と合わせて書き換えます

誤りが起きた場合のリスクは、写真で見落とした候補が「候補なし」として報告書に載ることと、写真で判断できないものを判断したように書くことの2つです。 前者は uncertain を残す指示と技術者の確認で、後者は not_judgeable の区別と言葉の固定で防ぎます。どちらも現地を見た技術者の確認が最後の砦なので、そこを省く運用にしないでください。

10まず何から始めるか

1週目:点検項目の一覧と、候補の言葉を決める

部位ごとに見る項目と、すすの付き方・割れ・変形やさび・ガスケット・異物の候補の言葉を、技術者5名で決めます。「タール」「クレオソート」「ベタベタ」のような言い方を1つにそろえます。

2週目:10件で試す

過去の点検の写真から10件を選び、部位ごとに仕分けて、前回の写真と組にして Gemini API に渡します。当時の所見と突き合わせ、暗い部分をすすと決めつけていないかを最優先で見ます。

3週目:撮り方をそろえる

点検アプリで部位ごとに撮ると名前が付く形にし、部位ごとの撮る位置と、煙道の内部を撮るときの光の当て方を決めます。室内で家族を写さない決まりもここで作ります。

4週目:フォルダから下書きまでをつなぐ

連携の仕組みで、点検ごとのフォルダを監視し、前回の写真を引き、候補を枠つきで並べた下書きを作るところまで作ります。この時点では、技術者が全部の写真も見ながら、候補の採る・消すを記録します。

2か月目: 採った・消した記録から、点検項目の一覧と指示を見直し、部位ごとの not_judgeable の発生率を見ます。3か月目以降: 撮り方がそろった部位から、写真の全部を見る確認を候補の確認に切り替えます。報告書が訪問の当日か翌日に顧客へ届き、どの技術者の報告書でも前回との比べが部位ごとに書かれるようになった時点で、この構成は完成です。


11関連ユースケース

12この仕組みを理解するための記事

13技術仕様の確認日・参考情報

技術仕様確認日:2026-11-03/最終更新:2026-11-03
確認した内容情報源確認日
Gemini のモデルが画像の説明・質問への回答・分類・物体の検出と切り分けに使えること。対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。入力の配列に複数の画像を並べられ、1回のリクエストの画像が3,600枚までであること。画像を直接入れる場合はリクエスト全体が20MBまでで、超える場合は File API を使うこと。物体の検出の座標が0〜1000に正規化され、例で box_2d を [ymin, xmin, ymax, xmax] で返し、元の大きさへの換算は利用者が行うこと。画像のトークンが両辺384ピクセル以下で258、それより大きい画像は区画ごとに258であること。画像が正しく回転しているかを確かめるよう勧められていることGoogle AI for Developers: Image understanding2026-11-03
media_resolution が画像1枚に割り当てるトークンの上限を決め、高いほど細部を見分けやすい一方でトークンと待ち時間が増えることGoogle AI for Developers: Media resolution2026-11-03
構造化出力を Interactions の response_format(mime_type に application/json とスキーマ)で指定すること。enum で文字列を決まった値に絞れること。minLength・maxLength は守らせる対象にならずサーバーで無視され、必要なら利用者のコードで確かめるよう書かれていることGoogle AI for Developers: Structured output2026-11-03
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しないようにできることGoogle AI for Developers: Interactions API2026-11-03
API の利用は18歳以上が条件で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めないこと。有料のサービスではプロンプト(画像などのファイルを含む)と応答が製品の改善に使われないこと。無料のサービスでは人が内容を読むことがあることGemini API 追加利用規約2026-11-03

点検項目、所見の言葉、使い続けてよいかの判断の基準は、ストーブのメーカーの取扱説明と自社の技術者の取り決めで決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱い、煙突の設置の基準や火災の予防に関する法令・条例には踏み込んでいません。

実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。

自社の業務に使えるAI活用候補を整理します

このユースケース(UC-2585)についてのご相談はこちらから。

AI活用について相談する
目次