薪ストーブ・煙突の施工と保守の会社が、点検で撮った煙突の内部と炉内の写真を Gemini で見て、すす・割れ・劣化の所見の候補を拾い、点検報告書の下書きを作る
薪ストーブと煙突の点検で撮った写真を Gemini API に渡し、すすの付き方・割れ・変形やさび・ガスケットのほつれ・異物の候補を、点検項目ごとに写真の位置つきで拾います。技術者は候補を確かめて所見を決め、点検報告書の下書きに仕上げます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/不動産/建設
- 対象部門
- カスタマーサポート/品質管理
- 対象業務
- 内容確認・チェック/書類作成
- 主な課題
- 属人化している/書類作成に時間がかかる/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 品質標準化/属人化解消/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 技術者が点検と煙突掃除を行い、部位ごとに写真を撮る(掃除の前と後)
- 事務所に戻り、スマートフォンの写真を共有フォルダに移す
- 写真を部位ごとに選び、報告書の型に貼る
- 前回の報告書を開き、同じ部位の写真と見比べる
- 部位ごとに所見を書き、対処(次回の掃除の時期、部品の交換の提案)を書く
- 先輩の技術者が読み、所見と提案を確かめて、顧客にPDFで送る
- 人技術者が点検アプリの部位の欄ごとに写真を撮る(掃除の前と後)
- 自動事務所に戻って共有フォルダに写真が入ると、連携の仕組みが顧客の台帳と前回の点検の写真を引く
- 自動部位ごとに、今回の写真と前回の同じ部位の写真を組にして Gemini API に渡す
- 【AI】 点検項目ごとに、候補の種類・写真の中の位置の枠・前回との比べ・写真で判断できるかを返す
- 自動連携の仕組みが、枠を写真に描き、候補を点検項目の表に並べて、報告書の下書きを作る
- 人技術者が候補を1つずつ確かめ、現地で見たことと合わせて所見を決める(採る・直す・消す)
- 人技術者が対処(次回の掃除の時期、部品の交換の提案)を書く
- 人先輩の技術者が確かめ、顧客にPDFで送る
各工程の詳しい説明を読む
- 技術者が点検と煙突掃除を行い、部位ごとに写真を撮る(掃除の前と後)
- 事務所に戻り、スマートフォンの写真を共有フォルダに移す
- 写真を部位ごとに選び、報告書の型に貼る
- 前回の報告書を開き、同じ部位の写真と見比べる
- 部位ごとに所見を書き、対処(次回の掃除の時期、部品の交換の提案)を書く
- 先輩の技術者が読み、所見と提案を確かめて、顧客にPDFで送る
(a)3番目と4番目に時間がかかる。 60枚の写真から部位ごとに選ぶだけで時間がかかり、前回の報告書から同じ部位の写真を探して見比べると、さらに時間がかかります。 訪問の多い日は、報告書が数日分たまります。
(b)所見の書きぶりが技術者によって違う。 同じすすの付き方を、ある技術者は「すす多め」、別の技術者は「タール状の付着あり、次回の掃除を早める」と書きます。顧客から見ると、担当が替わると煙突の状態が急に変わったように見えます。
(c)小さな変化を見落とす。 耐火レンガの細い割れ、ガスケットの一部のほつれ、煙突のトップの網に引っかかった落ち葉は、写真には写っていても、報告書を書く時点で見落とすことがあります。 次の点検で大きくなってから気づき、「前回の写真にも写っていた」と分かります。
(d)報告書が届くのが遅れる。 点検から報告書の送付まで1週間以上空くことがあり、顧客はその間、ストーブを使ってよいのか分からないまま待ちます。 使ってはいけない状態のものは技術者が現地で伝えていますが、それ以外の所見は報告書を待つことになります。
- 【人】 技術者が点検アプリの部位の欄ごとに写真を撮る(掃除の前と後)
- 【自動】 事務所に戻って共有フォルダに写真が入ると、連携の仕組みが顧客の台帳と前回の点検の写真を引く
- 【自動】 部位ごとに、今回の写真と前回の同じ部位の写真を組にして Gemini API に渡す
- 【AI】 点検項目ごとに、候補の種類・写真の中の位置の枠・前回との比べ・写真で判断できるかを返す
- 【自動】 連携の仕組みが、枠を写真に描き、候補を点検項目の表に並べて、報告書の下書きを作る
- 【人】 技術者が候補を1つずつ確かめ、現地で見たことと合わせて所見を決める(採る・直す・消す)
- 【人】 技術者が対処(次回の掃除の時期、部品の交換の提案)を書く
- 【人】 先輩の技術者が確かめ、顧客にPDFで送る
6番目が、この設計の分かれ目です。 AIの候補をそのまま所見にしません。技術者は、現地でブラシを通したときの手応え、レンガを触ったときのぐらつき、顧客から聞いた使い方を知っています。 写真の候補は、それを思い出しながら確かめるための材料です。
7番目の対処を人が書くのは、提案が顧客の費用に直結するからです。 部品の交換を提案するか、次回まで様子を見るかは、ストーブの機種、顧客の使い方、費用の相談を含めて技術者が決めます。 AIには対処を書かせません。
02今回想定するシステム構成
点検の写真(部位ごと・掃除の前と後) │ 技術者のスマートフォン → 共有フォルダ ▼【トリガー】共有フォルダへの写真の追加(点検ごとのフォルダ) 連携の仕組み(Python) ├──▶ 顧客と設置の台帳を引く(ストーブの機種、煙突の構成、前回の点検日) ├──▶ 前回の同じ部位の写真を引く ▼ Gemini API(Interactions、構造化出力、store=false) │ 部位ごとに:今回の写真+前回の写真+点検項目 │ 候補の種類/写真の中の枠/前回との比べ/写真で判断できるか ▼ 連携の仕組み ── 枠を写真に描く、点検項目の表に並べる、報告書の下書き ▼ 【技術者が候補を確かめて所見を決め、対処を書く】 ▼ 【先輩の技術者が確認】→ 顧客へPDFで送付、台帳に点検日と所見を記録
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(今回と前回の写真から、点検項目ごとの候補を枠つきで返す) | Claude API、OpenAI API |
| 連携 | Python(フォルダの監視、台帳と前回の写真の読み込み、呼び出し、枠の描画、下書きの作成) | Google Apps Script |
| 撮影 | 技術者のスマートフォンと、煙道の内部を撮るカメラ | - |
| 記録 | 顧客と設置の台帳(共有の表計算)と報告書のファイル | 保守管理の仕組み |
新しく足すのは、Gemini API の有料の枠と、短い連携の仕組みです。 台帳、共有フォルダ、報告書の型は今のものを使います。連携の仕組みは、事務所のパソコンで動く小さなプログラムで足ります。
写真を見る土台は、Gemini API の画像の理解の機能です。 公式の説明では、Gemini のモデルはすべて複数の種類の入力を扱え、画像の説明、画像についての質問への回答、画像の分類、物体の検出と切り分けなどに使えるとされています。対応する画像の形式は PNG、JPEG、WEBP、HEIC、HEIF で、スマートフォンの写真をそのまま渡せます。
1回の呼び出しに複数の画像を入れられます。 公式の説明では、入力の配列に画像を複数並べて1つのプロンプトにでき、1回のリクエストの画像は3,600枚までとされています。今回と前回の同じ部位の写真を組にして渡すのは、この使い方です。
物体の検出では、位置を枠で返させられます。 公式の説明では、座標は画像の大きさに対して 0〜1000 に正規化され、例では box_2d を [ymin, xmin, ymax, xmax] の順で返しています。元の写真の大きさに戻すのは利用者の側の仕事とされているので、連携の仕組みで換算して枠を描きます。
03どうやって実装するのか
処理の起点を決める
点検ごとのフォルダに写真が入ったことを起点にします。 技術者は訪問のたびに、顧客の番号と点検日の名前のフォルダに写真を入れます。連携の仕組みは、新しいフォルダを見つけたら、写真の枚数がそろうのを少し待ってから動きます。 写真の転送の途中で動くと、部位の一部が欠けたまま候補を出してしまいます。
1日の終わりにまとめて動かすのではなく、フォルダごとに動かします。 技術者が事務所に戻った当日のうちに下書きができていれば、記憶が新しいうちに候補を確かめられます。 翌日以降に回すと、現地で見たことと写真の候補を突き合わせにくくなります。
処理が終わったフォルダには、下書きが最後までできたときだけ印のファイルを置きます。 印の無いフォルダが、まだ下書きのできていない点検です。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 今回の写真 | 部位ごと(煙突のトップ、煙道の内部、接続部、室内の煙突と壁、炉内のレンガ、バッフル板、ガスケット、ガラス)、掃除の前と後 | 点検ごとのフォルダ(ファイル名に部位と前後) |
| 前回の写真 | 前回の点検の同じ部位の写真 | 前回の点検のフォルダ |
| 設置の情報 | ストーブの機種、煙突の構成(断熱の二重煙突か、曲がりの数)、設置の年 | 顧客と設置の台帳 |
| 点検項目の一覧 | 部位ごとに見る項目と、候補の種類の決まった言葉 | 会社で作る一覧 |
| 現地のメモ | 技術者が現地で気づいたこと(ブラシの手応え、顧客から聞いた使い方) | 点検アプリのメモの欄 |
質を決めるのは、写真のファイル名に部位と前後が入っていることです。 「IMG_0231.jpg」のままでは、どの写真が煙道の内部で、どれが掃除の前なのかを連携の仕組みが判断できません。点検アプリの部位の欄ごとに撮ると、名前が付く形にします。 部位が分からない写真は、AIに渡す前に技術者が仕分けます。
点検項目の一覧は、所見の言葉をそろえるために持ちます。 すすの付き方なら「粉状」「うろこ状」「光沢のある固まり」のように、会社で使う言葉を決めて、その言葉だけで候補を返させます。 技術者によって「タール」「クレオソート」「ベタベタ」と書き分けていた言葉が、報告書でそろいます。
データの取得方法を決める
写真は、共有フォルダから点検ごとに読み込みます。 連携の仕組みが、ファイル名から部位と前後を読み、台帳の顧客の番号から前回の点検のフォルダを探して、同じ部位の写真を組にします。
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 今回の写真 | 点検ごとのフォルダ | 候補を拾う元 |
| 前回の同じ部位の写真 | 前回の点検のフォルダ | 「前回より増えた・変わらない・前回は無かった」の比べ |
| 機種と煙突の構成 | 台帳 | 点検項目の選び方(機種によってバッフル板の有無が違う) |
| 現地のメモ | 点検アプリのメモ | 技術者の確認の材料(AIには渡さない) |
現地のメモはAIに渡しません。 メモには「ブラシの通りが重かった」のような、写真に写らない手応えが書かれています。これをAIに渡すと、写真に写っていない候補を、メモを根拠に作り出します。 メモは、技術者が候補を確かめるときに横に並べて読むためのものです。
写真の大きさと送り方を決めておきます。 公式の説明では、画像をリクエストに直接入れる場合は、文字のプロンプト・指示・画像を合わせたリクエスト全体が20MBまでとされ、それを超える場合や同じ画像を繰り返し使う場合は File API でアップロードするよう書かれています。前回と今回の写真を組にすると大きくなるので、連携の仕組みで長い辺を決まった大きさに縮めてから送ります。
AIへ渡す前に整形する
- 部位の仕分けを確かめる … ファイル名に部位と前後が無い写真は、AIに渡さず技術者に返します
- 向きを直す … スマートフォンの写真の向きの情報を見て、上下を正しくします。公式の説明でも、画像が正しく回転しているかを確かめるよう勧められています
- ぶれと暗さを確かめる … 煙道の内部の写真は暗く、ぶれやすいです。明るさが足りない写真は「写真では判断できない」になりやすいので、技術者に印を付けて返します
- 人と家の中の様子を写さない … 室内の写真に家族や生活の様子が写っていれば、該当の部分を切り取るか、写真を外します
- 大きさをそろえる … 長い辺を決まった大きさに縮めます。細い割れを見たい炉内のレンガだけは、縮める幅を小さくします
- 前回の写真を組にする … 前回の同じ部位の写真が無い(初回の点検、前回は撮っていない)ときは、今回の写真だけで渡し、比べは「前回の写真なし」とします
3番目を軽く見ないでください。 煙道の内部の写真は、カメラの光が届く範囲しか写りません。暗い写真を渡すと、AIは暗い部分を「すすの付着」と読むことがあります。 写っていないことと、黒く写っていることを区別するために、明るさの足りない写真は先に外します。
5番目は、見たいものの大きさで決めます。 公式の説明では、media_resolution のパラメーターが画像1枚に割り当てるトークンの上限を決め、高いほど細かい文字や小さな部分を見分けやすくなる一方、トークンの使用量と待ち時間が増えるとされています。細い割れを見る炉内のレンガとガラスは高めに、煙突のトップの全体の写真は低めに、と部位で変えます。
AIに処理させる
させるのは、部位ごとに点検項目の候補を拾い、位置の枠と前回との比べを返すことだけです。
| 点検項目 | 見るもの | 判断できないときの扱い |
|---|---|---|
| すすの付き方 | 粉状/うろこ状/光沢のある固まり、付いている範囲 | 暗い・ぶれている写真は not_judgeable |
| 割れ | 耐火レンガ、バッフル板、ガラスの線状の割れ・欠け | 汚れの線と区別できなければ uncertain |
| 変形・さび | 煙突の継ぎ目、トップ、接続部のへこみ・さび・すき間 | 写真の角度で分からなければ not_judgeable |
| ガスケットのほつれ | 扉のガスケットのほつれ、切れ、すき間 | 押したときの密閉は写真では分からない(扱わない) |
| 異物 | トップの網の落ち葉、鳥の巣の材料、煙道の中の落下物 | 影と区別できなければ uncertain |
右端の列が、この構成でいちばん大事な区別です。 not_judgeable は写真の写り方のせいで判断できないということ、uncertain は写ってはいるが種類を決められないということです。前者は次の点検で撮り方を変えるもの、後者は技術者が現地の記憶と合わせて決めるものです。どちらも、AIが「異常なし」と言ったことにはしません。
ガスケットの密閉の具合は扱いません。 煙が漏れないかは現地で確かめるもので、写真に写るのはほつれや切れの見た目だけです。
| させないこと | 理由 |
|---|---|
| 使い続けてよいかの判断 | 判断は現地を見た技術者の仕事。顧客の安全に直結する |
| 火災の危険の程度を書く | 写真だけで評価できない。言い切ると顧客に誤った安心か不安を与える |
| 部品の交換・補修の要否 | 機種・使い方・費用の相談を含めて技術者が決める |
| すすの量を厚みや重さの数値で書く | 写真から測れない。「範囲」と「前回との比べ」に限る |
| 写真に写っていない部位について書く | 候補は写真に写ったものだけ |
4行目は、顧客が一番知りたがる数字です。 「すすが何ミリ付いていたか」は顧客から聞かれますが、写真の見た目から厚みは測れません。 測るなら技術者が現地で測り、その値を報告書に書きます。AIには範囲と前回との比べだけを書かせます。
指示内容を固定する
あなたは、薪ストーブと煙突の保守の会社で、点検の写真から所見の候補を拾う役です。
写真に写っていることだけを根拠にしてください。推測で補わないでください。
【今回渡す部位】{part}(例:炉内の耐火レンガ/掃除の前)
【この部位で見る点検項目】{check_items}
【候補の種類として使う言葉】{vocabulary}
【写真】1枚目以降が今回の写真、最後の1枚が前回の同じ部位の写真です。
前回の写真が無い場合は「前回の写真なし」と書かれています。
【status の選び方】
- found ........... 候補が写真に写っている
- not_found ....... この写真の写っている範囲では見当たらない
- uncertain ....... 写ってはいるが、種類を決められない
- not_judgeable ... 暗い・ぶれている・角度が悪く、判断できない
迷ったときに not_found を選ばないでください。
【厳守事項】
- 候補の種類は、上の「候補の種類として使う言葉」からだけ選んでください。
- 候補ごとに、写真の中の位置を box_2d として [ymin, xmin, ymax, xmax] の順で、
0〜1000 に正規化した値で返してください。
- 前回の写真と比べて、increased / same / new / not_comparable のどれかを付けてください。
前回の写真と撮った角度が違って比べられないときは not_comparable です。
- 暗く写っている部分を、すすの付着と決めつけないでください。
- 使い続けてよいか、火災の危険、部品の交換の要否は書かないでください。
- すすの厚みや量を数値で書かないでください。範囲(一部/半分ほど/全体)で書いてください。
- reason には、何が写っていて候補にしたかを、写真の中の場所で書いてください。
「迷ったときに not_found を選ばない」が、見落としを防ぐ一行です。 何も言わなければ、AIは決めきれない候補を落とし、「見当たらない」と返します。落とされた候補は技術者の目にも入りません。 迷ったものは uncertain で残させ、技術者に見せます。
「暗い部分をすすと決めつけない」は、煙道の写真のための一行です。 カメラの光が届かない奥は黒く写り、すすが多い煙突と、光が届かなかっただけの煙突が、写真では同じに見えます。 区別がつかなければ not_judgeable にさせます。
出力形式を固定する
構造化出力で、次の形のJSONを受け取ります。 公式の説明では、Interactions の response_format に mime_type を application/json にしてスキーマを渡す形で、enum で文字列を決まった値に絞れます。
{
"inspection_id": "",
"part": "firebrick | baffle | glass | gasket | flue_inside | chimney_top | connector | wall_clearance",
"photo_timing": "before_cleaning | after_cleaning",
"findings": [
{
"item": "soot | crack | deformation_rust | gasket_fray | foreign_object",
"status": "found | not_found | uncertain | not_judgeable",
"type": "",
"extent": "partial | about_half | whole | none",
"box_2d": [0, 0, 0, 0],
"photo_index": 0,
"compared_to_last": "increased | same | new | not_comparable",
"reason": ""
}
]
}
1つ目の理由は、status と所見を別の層に置けることです。 findings はAIが埋め、所見の文は技術者が候補を確かめてから書きます。AIの候補の記録と、技術者の判断の記録が分かれて残ります。
2つ目は、box_2d で報告書の写真に印を付けられることです。 連携の仕組みが0〜1000の値を元の写真の大きさに戻し、候補の位置に枠を描きます。顧客は報告書の写真のどこを見ればよいかが分かり、技術者はAIがどこを見たかを確かめられます。
3つ目は、値を連携の仕組みの側で確かめられることです。 公式の説明では、スキーマの文字列の長さの制約(minLength・maxLength)は守らせる対象にならず、サーバーで無視されるとされ、必要なら利用者のコードで確かめるよう書かれています。 連携の仕組みで、box_2d が4つの値で0〜1000に収まっているか、type が決まった言葉かを確かめ、外れたものは技術者の確認の一覧の先頭に回します。
status の組み合わせ | 下書きでの扱い |
|---|---|
found が1つ以上 | 点検項目の表に候補として並べ、写真に枠を描く |
uncertain が1つ以上 | 「技術者が決める候補」として目立つ色で並べる |
not_judgeable が1つ以上 | 「写真では判断できない」として並べ、撮り直しの印を付ける |
すべて not_found | 「写真の範囲では候補なし」と書く(「異常なし」とは書かない) |
最後の行は「異常なし」と書きません。 それを書けるのは、現地を見た技術者だけです。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 共有フォルダ | 連携の仕組みが監視 | 点検ごとのフォルダの写真を読む |
| 顧客と設置の台帳 | 表の読み取り | 機種、煙突の構成、前回の点検日 |
| Gemini API | API呼び出し(store=false) | 部位ごとの候補、位置、前回との比べ |
| 報告書の下書き | 連携の仕組みが作る | 枠を描いた写真と、点検項目の表 |
| 台帳 | 技術者が確定後に記入 | 点検日、所見の要点、次回の掃除の時期 |
呼び出しでは store=false を指定します。 公式の説明では、Interactions API は既定ですべてのやり取りを保存し、有料の枠では55日、無料の枠では1日保持するとされ、store=false で保存しないようにできます。顧客の家の中の写真を含むので、記録は会社の共有フォルダに一本化します。
台帳へは自動で書き込みません。 AIの候補が台帳に入ると、確かめていない所見が次の点検の前提になります。
人が確認する
not_judgeableを先に見る … 撮り方の問題です。現地で同じ部位を見た記憶があれば所見を書き、無ければ次の点検で撮り直す印を付けますfoundとuncertainを写真の枠で確かめる … 枠の場所を写真で見て、現地のメモと合わせて採るか、直すか、消すかを決めます- 「前回より増えた」を確かめる … 前回と今回の写真を並べ、本当に増えたのか、撮った角度や明るさの違いなのかを見ます
- 所見と対処を書く … 採った候補をもとに所見を書き、次回の掃除の時期や部品の提案を書きます
- 先輩の技術者が確かめる … 所見と対処の書き方が会社の言葉にそろっているか
3番目を省かないでください。 「前回より増えた」は顧客が一番気にする所見で、掃除の時期を早める提案につながります。 撮った角度が違うだけで増えたように見えることがあり、その確認は写真を並べた人にしかできません。
目標は、1件18分です。 下書きの候補の確認に10分、所見と対処の記入に5分、先輩の確認に3分の想定で、18分を超える点検は、写真の仕分けが崩れているか、not_judgeable が多すぎます。
例外に対処する
| 起きること | 対応 |
|---|---|
| ファイル名に部位が無い写真がある | AIに渡さず、技術者が仕分けてから再投入する |
| 写真が暗い・ぶれている | not_judgeable で返させ、次回の撮り方の印を付ける |
| 前回の写真が無い(初回、前回は撮っていない) | 比べは not_comparable。今回の写真だけで候補を拾う |
| 前回と撮った角度が違う | not_comparable。次回のために撮る位置を決め直す |
| 室内の写真に家族が写っている | 該当の写真を外すか切り取ってから渡す |
| リクエストが20MBを超える | 写真を縮めるか、File API でアップロードして渡す |
| 返ってきた値がスキーマの決まりから外れる | 連携の仕組みで検知し、技術者の確認の一覧の先頭に回す |
| API が応答しない | フォルダに印を置かず、後で再実行する。印を置くのは成功したときだけ |
| 現地で危険な状態を見つけた | 報告書を待たず、技術者がその場で顧客に伝える。報告書は後追いで書く |
上から2行目が大半を占めます。 煙道の内部の写真は撮りにくく、not_judgeable が多い点検は、カメラの光の当て方か差し込む深さの問題です。 判断の精度を上げようとするより、撮り方を技術者の間でそろえるほうが効きます。
最後の行は、この構成の外に置きます。 使ってはいけない状態のものを見つけたら、技術者がその場で顧客に伝えます。 報告書の下書きの流れに乗せて待たせることはしません。
記録を残す
- 点検ごとのフォルダの写真(元の写真と、枠を描いた写真)
- Gemini API が返したJSONの全文と、呼び出した日時・使ったモデル
- 技術者が候補を採った・直した・消した記録
- 確定した報告書のPDFと、送った日時
- 台帳に記入した所見の要点と、次回の掃除の時期
- 部位ごとの
not_judgeableの発生率
3つ目の記録は、指示と点検項目の一覧の見直しに使います。 同じ部位で uncertain が毎回消されているなら、その部位の候補の言葉が現場の見分け方と合っていません。
最後の行は、撮り方の見直しの材料になります。 特定の技術者や特定の部位だけ not_judgeable が続くなら、カメラの扱いに理由があります。
04実装レベルの3段階
本記事の想定は半自動化です。 月120件で、1件ごとに技術者が候補を確かめるなら、この段階で足ります。削減の大半は、①の写真の選び出しと②の前回との見比べが、下書きの確認に変わることから出ます。 本格構成は、顧客への連絡を自動にしないことを前提にします。 次回の掃除の時期の案内は、技術者が所見を確定してから、案内の下書きを作るところまでにします。送るのは人です。
05工数削減シミュレーション
導入後 120件 × 18分 ÷ 60 = 36 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 薪ストーブの販売・施工に加えて、設置した顧客の煙突掃除と定期の点検を請け負っている会社。点検のたびに煙突の内部や炉内の写真を数十枚撮るが、事務所に戻ってから写真を点検項目ごとに並べ、所見を書く時間が点検そのものより長い場合。技術者によって所見の書きぶりと写真の選び方が違い、前回の点検との比べ方が決まっていない場合。
- 点検の件数が月に数件で、技術者が現地で報告書を書き上げられる場合。点検の結果をその場で口頭で伝えるだけで、報告書を出していない場合。なお、煙突やストーブを使い続けてよいかの判断、火災の危険の評価、部品の交換や補修の要否、法令や設置の基準に合っているかの判断は、この構成では代替できません。
07最小構成で試す方法
- 過去の点検から10件を選ぶ(うち数件は、割れや多いすすなど、所見があったと分かっているものを入れる)
- その10件の写真を部位ごとに仕分け、前回の点検の同じ部位の写真と組にする
- Google AI Studio か短いスクリプトで、有料の枠の Gemini API に第7章の指示と写真の組を渡す(
store=false) - 返ってきた候補を、当時の報告書の所見と突き合わせる
- 当時の報告書に無かった候補が出たら、写真を見直して見落としだったかを確かめる
10件は必ずやってください。 連携の仕組みを作る前に、「写真から点検項目の候補を拾えるのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 当時の所見と同じ候補が、位置つきで出た | 連携の仕組みを作る段階に進む |
| 暗い部分をすすと決めつけた | 指示を強め、暗い写真を先に外す。構成は有効 |
not_judgeable が大半になった | 撮り方が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、報告書を書くのに時間がかかっていた理由が1つ分かったということです。 撮り方を技術者の間でそろえてから、同じ部位で撮り直した写真で試してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 暗い部分がすすの候補になる | 暗い写真を先に外し、指示で決めつけを禁じる |
| 決めきれない候補が落とされる | 「迷ったら not_found にしない」を書き、uncertain で残す |
| 「候補なし」が「異常なし」と書かれる | 下書きの言葉を「写真の範囲では候補なし」に固定する |
| 撮った角度の違いで「増えた」になる | 撮る位置を決め、比べられないときは not_comparable |
| 写真の部位が分からない | 点検アプリの部位の欄ごとに撮る |
| すすの厚みを数値で書く | 数値を禁じ、範囲で書かせる。測るなら技術者が現地で |
| 現地のメモを渡して候補を作り出す | メモはAIに渡さず、技術者の確認の横に置く |
| リクエストが大きすぎる | 写真を縮める。必要なら File API でアップロード |
| 家族が写った室内の写真を送る | 前処理で外すか切り取る |
| 使い続けてよいかをAIに書かせたくなる | 判断は技術者。下書きには書かせない |
上の3行が、この構成の失敗のほとんどです。 どれも、写真に写っていないことや決めきれないことを、AIが言い切る方向にずれることから起きます。判断できないものは判断できないと残す、の一点を守れば、候補は技術者の役に立ちます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 顧客の家の煙突とストーブの写真、室内の一部の写真、顧客の番号と設置の情報です。顧客の名前と住所はAIに渡しません。 室内の写真には、家族や生活の様子が写り込むことがあります。
- 有料の枠で使い、保存を止める … Gemini API の追加利用規約では、有料のサービスではプロンプトと応答(関連する画像などのファイルを含む)が製品の改善に使われないとされています。一方、無料のサービスでは人が内容を読むことがあるとされています。有料の枠で使い、あわせて
store=falseを指定します - 顧客の名前と住所を渡さない … 呼び出しに入れるのは写真と部位と点検項目だけです。顧客の番号から名前を引くのは、連携の仕組みの側で報告書を作るときだけにします
- 家族の写り込みを外す … 室内の写真は送る前に確かめ、人が写っていれば外すか切り取ります。追加利用規約は API の利用を18歳以上の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。 この構成は会社の技術者だけが使う社内の仕組みで、顧客の子どもが写った写真をAIに渡す必要もありません
- 安全の判断を報告書の下書きに書かせない … 使い続けてよいか、火災の危険、部品の交換の要否は、現地を見た技術者が決めます。 AIの候補は、その判断の材料です
- 「異常なし」を書くのは技術者だけ … 写真の範囲で候補が無いことと、煙突に問題が無いことは違います。下書きの言葉を固定し、技術者が現地の確認と合わせて書き換えます
誤りが起きた場合のリスクは、写真で見落とした候補が「候補なし」として報告書に載ることと、写真で判断できないものを判断したように書くことの2つです。 前者は uncertain を残す指示と技術者の確認で、後者は not_judgeable の区別と言葉の固定で防ぎます。どちらも現地を見た技術者の確認が最後の砦なので、そこを省く運用にしないでください。
10まず何から始めるか
1週目:点検項目の一覧と、候補の言葉を決める
部位ごとに見る項目と、すすの付き方・割れ・変形やさび・ガスケット・異物の候補の言葉を、技術者5名で決めます。「タール」「クレオソート」「ベタベタ」のような言い方を1つにそろえます。
2週目:10件で試す
過去の点検の写真から10件を選び、部位ごとに仕分けて、前回の写真と組にして Gemini API に渡します。当時の所見と突き合わせ、暗い部分をすすと決めつけていないかを最優先で見ます。
3週目:撮り方をそろえる
点検アプリで部位ごとに撮ると名前が付く形にし、部位ごとの撮る位置と、煙道の内部を撮るときの光の当て方を決めます。室内で家族を写さない決まりもここで作ります。
4週目:フォルダから下書きまでをつなぐ
連携の仕組みで、点検ごとのフォルダを監視し、前回の写真を引き、候補を枠つきで並べた下書きを作るところまで作ります。この時点では、技術者が全部の写真も見ながら、候補の採る・消すを記録します。
2か月目: 採った・消した記録から、点検項目の一覧と指示を見直し、部位ごとの not_judgeable の発生率を見ます。3か月目以降: 撮り方がそろった部位から、写真の全部を見る確認を候補の確認に切り替えます。報告書が訪問の当日か翌日に顧客へ届き、どの技術者の報告書でも前回との比べが部位ごとに書かれるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
Gemini のモデルが画像の説明・質問への回答・分類・物体の検出と切り分けに使えること。対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。入力の配列に複数の画像を並べられ、1回のリクエストの画像が3,600枚までであること。画像を直接入れる場合はリクエスト全体が20MBまでで、超える場合は File API を使うこと。物体の検出の座標が0〜1000に正規化され、例で box_2d を [ymin, xmin, ymax, xmax] で返し、元の大きさへの換算は利用者が行うこと。画像のトークンが両辺384ピクセル以下で258、それより大きい画像は区画ごとに258であること。画像が正しく回転しているかを確かめるよう勧められていること | Google AI for Developers: Image understanding | 2026-11-03 |
media_resolution が画像1枚に割り当てるトークンの上限を決め、高いほど細部を見分けやすい一方でトークンと待ち時間が増えること | Google AI for Developers: Media resolution | 2026-11-03 |
構造化出力を Interactions の response_format(mime_type に application/json とスキーマ)で指定すること。enum で文字列を決まった値に絞れること。minLength・maxLength は守らせる対象にならずサーバーで無視され、必要なら利用者のコードで確かめるよう書かれていること | Google AI for Developers: Structured output | 2026-11-03 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しないようにできること | Google AI for Developers: Interactions API | 2026-11-03 |
| API の利用は18歳以上が条件で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めないこと。有料のサービスではプロンプト(画像などのファイルを含む)と応答が製品の改善に使われないこと。無料のサービスでは人が内容を読むことがあること | Gemini API 追加利用規約 | 2026-11-03 |
点検項目、所見の言葉、使い続けてよいかの判断の基準は、ストーブのメーカーの取扱説明と自社の技術者の取り決めで決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱い、煙突の設置の基準や火災の予防に関する法令・条例には踏み込んでいません。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2585)についてのご相談はこちらから。
