襖・障子の張替えの会社が、現地調査で撮った間口ごとの写真を Gemini で見て建具を1枚ずつ枠で示させ、種類ごとの枚数を数えて見積の下書きにする
現地調査で撮った間口ごとの写真を Gemini に見せ、襖・戸襖・天袋・地袋・障子を1枚ずつ枠で示させます。枠の数をスクリプトが種類ごとに数え、営業が確かめた枚数から張替えの見積の明細の下書きを作ります。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/不動産/建設
- 対象部門
- 営業
- 対象業務
- 書類作成/集計・分析
- 主な課題
- 属人化している/書類作成に時間がかかる/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/対応スピード向上/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 営業が現地で部屋ごとに写真を撮り、手書きのメモに枚数と種類を書く
- 必要な建具は、メジャーで高さと幅を測ってメモに書く
- 事務所に戻り、写真をパソコンに取り込む
- 写真を見返しながら、部屋ごとに襖・天袋・障子の枚数を数え直す
- メモと写真の枚数が合わなければ、写真を拡大して見直す
- 見積の作成の表に、種類・枚数・紙の等級・単価を入れる
- 事務が見積を整え、お客様または管理会社に送る
- 人営業がタブレットの調査の画面で部屋を登録し、間口に番号を振る
- 人間口ごとに、正面から1枚撮る。両面の間口は、もう片方の部屋から「裏面」として撮る
- 人標準の大きさに収まらない建具は、メジャーで測って画面に入れる
- 自動画面が、写真のぼやけ・暗さ・傾きと、間口の撮り漏れを確かめる
- 自動本部のサーバーが、間口の写真を Gemini API に渡し、建具を1枚ずつ枠で示させる
- 自動スクリプトが枠を種類ごとに数え、間口の表と裏を合わせて、部屋ごとの枚数を出す
- 人営業が、番号付きの枠が重なった写真を見て、数え漏れと余計な枠を直す
- 自動確かめた枚数と、お客様が選んだ紙の等級から、単価の表で見積の明細の下書きを作る
- 人事務が見積を整え、営業が確かめて、お客様または管理会社に送る
各工程の詳しい説明を読む
- 営業が現地で部屋ごとに写真を撮り、手書きのメモに枚数と種類を書く
- 必要な建具は、メジャーで高さと幅を測ってメモに書く
- 事務所に戻り、写真をパソコンに取り込む
- 写真を見返しながら、部屋ごとに襖・天袋・障子の枚数を数え直す
- メモと写真の枚数が合わなければ、写真を拡大して見直す
- 見積の作成の表に、種類・枚数・紙の等級・単価を入れる
- 事務が見積を整え、お客様または管理会社に送る
(a)数え直しに時間がかかる。 現地でのメモは急いで書くので、事務所で写真から数え直します。同じ建具が別の写真にも写っていて、どれを数えたかを追いながら数えます。
(b)両面の数え漏れと二重の数え。 部屋と部屋の間の襖は、どちらの部屋の写真にも写ります。片方の部屋で数え、もう片方でも数えれば二重、どちらでも数えなければ漏れます。
(c)小さな建具を見落とす。 天袋・地袋は写真の端に小さく写り、押入れの襖を数えたところで、上の天袋を見落とします。 職人が現場で気づくと、その場で追加の見積になります。
(d)見積の書き方が営業ごとに違う。 「戸襖」を「襖(片面)」と書く営業もいれば、「洋室側はクロス」と書く営業もいます。事務が見積に起こすとき、営業に聞き直します。
- 【人】 営業がタブレットの調査の画面で部屋を登録し、間口に番号を振る
- 【人】 間口ごとに、正面から1枚撮る。両面の間口は、もう片方の部屋から「裏面」として撮る
- 【人】 標準の大きさに収まらない建具は、メジャーで測って画面に入れる
- 【自動】 画面が、写真のぼやけ・暗さ・傾きと、間口の撮り漏れを確かめる
- 【自動】 本部のサーバーが、間口の写真を Gemini API に渡し、建具を1枚ずつ枠で示させる
- 【自動】 スクリプトが枠を種類ごとに数え、間口の表と裏を合わせて、部屋ごとの枚数を出す
- 【人】 営業が、番号付きの枠が重なった写真を見て、数え漏れと余計な枠を直す
- 【自動】 確かめた枚数と、お客様が選んだ紙の等級から、単価の表で見積の明細の下書きを作る
- 【人】 事務が見積を整え、営業が確かめて、お客様または管理会社に送る
7番目が、この設計の前提です。 枠は Gemini の見立てで、写真の端の天袋や、開いた襖の向こうの襖は、枠が付かないことも余計に付くこともあります。 営業が番号付きの枠を見て、枚数を確定します。
1番目で間口に番号を振るのは、第1章の両面の数え方のためです。 間口の番号があれば、表と裏の写真が同じ間口の2つの面として並び、片面だけの見積にも、二重の見積にもなりません。
02今回想定するシステム構成
営業のタブレット(調査の画面:部屋と間口の番号、裏面の印、採寸の欄) │ 間口ごとに正面から1枚。両面は裏からも1枚 ▼【トリガー】調査の画面での「調査を送る」 Python(本部のサーバー) ├── ぼやけ・暗さ・傾き・間口の撮り漏れの確認 ▼ Gemini API(画像の理解+構造化出力。store=false) │ 間口の写真から 襖・戸襖・天袋・地袋・障子 を1枚ずつ枠(box_2d)で示し、 │ 種類と傷みの所見を付ける ▼ Python ── 種類ごとに数える/間口の表と裏を合わせる/部屋ごとの枚数 ▼ 営業の画面(番号付きの枠が重なった写真と枚数) ▼ 【営業が数え漏れ・余計な枠を直して確定】 └──▶ 見積の作成の表(種類・枚数・紙の等級・単価の下書き)
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(間口の写真から建具を1枚ずつ枠で示す) | Claude API、OpenAI API |
| 連携 | Python(写真の受け取り、数え上げ、両面の照合、見積の下書き) | Google Apps Script |
| 撮影 | 営業のタブレットと調査の画面 | - |
| 台帳 | 単価の表、顧客の台帳、見積の作成の表 | - |
新しく作るのは、調査の画面の「間口」の考え方です。 間口は、敷居と鴨居で区切られた1つの開口で、押入れの襖と天袋は同じ間口、部屋と部屋の間の襖は両方の部屋に属する1つの間口として番号を振ります。画面は部屋ごとに間口を並べ、両方の部屋に属する間口には「表」「裏」の2つの撮影の枠を出します。
数え方を AI に任せない理由は、公式に数え方の手引きが無いからです。 Gemini の画像の理解の公式の説明は、物の位置を box_2d([ymin, xmin, ymax, xmax]、画像の大きさに対して0〜1000に正規化)で返すことと、緑の物をすべて探すといった独自の指示を受け付けることを示していますが、写真の中の物の数を数える使い方の手引きはありません。 枠を返させ、数えることはスクリプトで行い、営業が枠を見て確かめる形にします。
03どうやって実装するのか
処理の起点を決める
営業が、調査の画面で全部の間口を撮り終え、「調査を送る」を押したときに動かします。 画面は、登録した間口のうち撮っていないものがあると送れません。両方の部屋に属する間口は、表と裏の両方を撮るか、「裏は洋室でクロス張り」のように理由を選ぶまで送れません。
送るのは、現地を出る前です。 結果は数分で営業のタブレットに返るので、数え漏れが見つかったら、その場で撮り直せます。 事務所に戻ってから気づくと、もう一度訪ねることになります。賃貸の部屋では、鍵を返す前に結果を確かめます。
電波の届かない家では、送れるところまで移動してから送ります。 画面は写真をタブレットの中に一時的に置き、送り終えたら消します。送る前に家を離れた場合に備えて、間口の撮り漏れの確かめは送る前に画面の中で済ませます。 結果を見て撮り直しが要ると分かったら、お客様に電話で伝え、次の訪問の日に撮ります。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 間口の写真 | 調査の番号・部屋・間口の番号・表裏・撮影の時刻つきの写真 | 営業のタブレット |
| 間口の情報 | 部屋の名前、間口の番号、両面かどうか、裏の部屋の名前 | 調査の画面 |
| 採寸 | 標準に収まらない建具の高さと幅(営業が測った値) | 調査の画面 |
| 紙の等級 | お客様が選んだ紙の等級(未定なら標準) | 調査の画面 |
| 単価の表 | 種類・等級・大きさの区分ごとの単価 | 見積の作成の表 |
Gemini に渡すのは、間口の写真1枚と、その間口で見つかりうる建具の種類の一覧だけです。 単価の表と紙の等級は渡しません。AI には「何が何枚あるか」だけを答えさせ、値段に結び付けるのはスクリプトです。
採寸は、営業の値をそのまま使います。 写真の中の枠の大きさから寸法を推すことはしません。枠の座標は画像の大きさに対する割合で、建具の実際の寸法とは結び付かないからです。
種類の一覧は、会社の単価の表の区分に合わせます。 「襖」「戸襖(片面が洋室側の板戸)」「天袋」「地袋」「障子」「腰付障子」「雪見障子」のように、単価が変わる区分ごとに名前を分けます。 単価の区分と AI の種類の名前が1対1なら、スクリプトは名前を見て単価を引くだけで済みます。
データの取得方法を決める
写真は、タブレットから本部のサーバーへ送り、調査の番号・部屋・間口の番号・表裏・撮影の時刻を付けて保存します。 お客様の住所と名前は顧客の台帳にあり、写真の行には調査の番号だけを持たせます。
Gemini API には、Interactions API で依頼します。 公式の説明では、https://generativelanguage.googleapis.com/v1beta/interactions に依頼を送り、公式の例は API キーを x-goog-api-key のヘッダーで渡し、Api-Revision のヘッダー(例では 2026-05-20)を付けています。同じ形で付けます。 画像1枚と文の組み合わせでは、公式の例に合わせて文の指示を画像の前に置きます。
依頼には store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠では55日、無料の枠では1日保持されます。お客様の家の中の写真を外に残す理由はないので、保存させません。 store=false はバックグラウンドの実行と一緒には使えないとされているため、間口ごとに同期で呼びます。
使うのは有料の枠です。 規約では、無料のサービスに送った内容は製品の改善に使われ、人が読み注記しうるとされ、機密や個人の情報を無料のサービスに送らないよう求めています。Gemini API が有料のサービスになるのは、請求先の有効な Cloud のプロジェクトから使う場合とされています。
AIへ渡す前に整形する
- ぼやけと暗さを測る … 雨戸を閉めた暗い和室の写真は、照明をつけて撮り直しを促す
- 傾きを見る … 斜めから撮った写真は、奥の建具が手前の建具に隠れるので、正面から撮り直す
- 間口の撮り漏れを見る … 登録した間口の表と裏がそろっているか
- 向きを直す … タブレットの向きのままの写真を、鴨居が上になるように回す
- 大きさをそろえる … 公式の説明では、画像を依頼に直接入れる場合は文の指示を含めた依頼全体が20MBまで。JPEG にそろえる
- 版を控える … 指示の版と、種類の一覧の版を、写真の行に控える
2番目が、数え漏れを減らす前処理です。 襖は2本または4本の溝の上を滑るので、斜めから撮ると重なった襖が1枚に見えます。 画面は、敷居の線が写真の下の辺とおおむね平行かを見て、傾いていれば撮り直しを促します。公式も、向きを確かめ、ぼやけていない画像を使うよう勧めています。
撮る前に、襖を全部閉めてもらいます。 開いた襖は隣の襖の後ろに重なり、写真から消えます。画面に「襖・障子をすべて閉めてから撮る」の注意を出します。
障子は、外の光を背にすると骨が影になって写ります。 縁側に面した障子を部屋の中から撮ると、紙の破れより骨の影が目立ち、破れの所見が付きにくくなります。 障子の間口は、部屋の照明をつけ、外の光が強い時間は縁側の側からも1枚撮ります。縁側の側の写真は「裏」として撮り、枚数の照合にも使います。
AIに処理させる
させるのは、間口の写真から建具を1枚ずつ見つけ、枠と種類と傷みの所見を付けることだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 建具の1枚ずつ | 引手・縁・框の切れ目で1枚を区切る | 重なって区切れなければ overlap |
| 種類 | 種類の一覧から選ぶ(襖・戸襖・天袋・地袋・障子・腰付障子・雪見障子) | 決められなければ unknown |
| 傷みの所見 | 破れ・しみ・日焼け・引手の外れ・骨の折れ(障子) | 写真で見えなければ書かない |
| 一覧に無い建具 | ガラス戸・板戸・網戸・アコーディオンカーテン | other として枠だけ付ける |
| 人や私物の写り込み | 人の顔・体、写真立て・郵便物 | 少しでも疑わしければ true |
1行目の「1枚を区切る」が、この構成の中心です。 襖は縁と引手が1枚に1組あるので、引手の数と縁の切れ目が、1枚の区切りの手がかりになります。 引手の見えない天袋・地袋は、上下の框で区切ります。
3行目の傷みの所見は、見積の補足に使います。 骨の折れた障子は張替えの前に骨の補修が要り、張替えの単価だけでは足りません。 所見が付いた建具は、営業の画面で印を付けて現地で確かめます。
| させないこと | 理由 |
|---|---|
| 合計の枚数を答えること | 数えるのはスクリプト。枠の無い数は確かめようがない |
| 寸法の推定 | 写真から寸法は分からない。営業が測った値を使う |
| 張替えができるかの判断 | 下地の傷みは手で触って確かめる |
| 紙の等級や値段の見立て | お客様が選び、単価の表で決める |
| 写っている人や私物の説明 | 写真ごと捨てる |
1行目がいちばん起きやすい失敗です。 「この写真に襖は何枚ありますか」と聞けば答えは返りますが、4と返ったときに、天袋を含めたのか、どの4枚なのかが分かりません。 枠が無ければ、営業は写真の上で確かめられません。
指示内容を固定する
あなたは襖・障子の張替えの会社で、現地の写真から建具を記録する補助をします。
渡される写真は、和室の1つの間口(敷居と鴨居で区切られた開口)を正面から
撮ったものです。襖・障子はすべて閉めた状態で撮っています。
【この間口】{room_name} の間口 {opening_no}({side})
【見つかりうる建具の種類】{kinds}
(例:襖/戸襖/天袋/地袋/障子/腰付障子/雪見障子)
【やること】
1. 写真の中の建具を1枚ずつ見つけ、それぞれに box_2d
([ymin, xmin, ymax, xmax]、0〜1000)を付けてください。
引手・縁・框の切れ目で1枚を区切ってください。
2. 1枚ずつ、種類を【見つかりうる建具の種類】から選んでください。
当てはまらなければ other、決められなければ unknown にしてください。
3. 見える範囲で、破れ・しみ・日焼け・引手の外れ・骨の折れがあれば、
その建具の findings に短く書いてください。
【厳守事項】
- 合計の枚数を書かないでください。1枚ずつの枠だけを返してください。
- 建具が重なって1枚ずつに区切れないところは、まとめて1つの枠にし、
overlap を true にしてください。推して枚数を分けないでください。
- 写真の端で一部しか写っていない建具も、枠を付けて partial を true にしてください。
- 寸法、値段、張替えができるかどうかを書かないでください。
- 写真に人の顔や体、写真立て・郵便物などの私物が写っているときは、
person_or_private を true にし、panels を空にしてください。
写っているものについて何も説明しないでください。
「合計の枚数を書かない」を最初の厳守事項に置くのは、聞かれなくても合計を添えようとするからです。 合計が返ると、画面の作り手はそれを表示したくなります。合計はスクリプトが枠から数えるものだけにします。
「重なったところはまとめて1つの枠」も欠かせません。 区切れない2枚を推して2枚と返されると、本当は3枚だったときに誰も気づきません。 overlap の枠が出れば、営業がその場で襖を動かして撮り直せます。
出力形式を固定する
次の形のJSONで受け取ります。
{
"opening_id": "R2-O3-front",
"person_or_private": false,
"panels": [
{
"box_2d": [0, 0, 0, 0],
"kind": "fusuma | todusuma | tenbukuro | jibukuro | shoji | koshi_shoji | yukimi_shoji | other | unknown",
"overlap": false,
"partial": false,
"findings": []
}
]
}
構造化出力は response_format で指定します。 公式の説明では、type を text、mime_type を application/json にして、schema に JSON Schema を渡します。kind は単価の表の区分に合わせた enum にします。 box_2d の4つの数は minimum 0・maximum 1000 で縛ります。公式の説明では、数値の minimum/maximum と配列の minItems/maxItems は守られ、文字列の minLength/maxLength はエラーにならずに外されるとされ、値は自分の側で確かめるよう求めています。
スクリプトは、枠を次のように数えます。
| 結果 | 数え方 |
|---|---|
overlap が false | 1枠を1枚として数える |
overlap が true | 枚数に入れず、「撮り直し」の印 |
partial が true | 同じ部屋の別の間口の写真と位置が重なれば同じ建具として1回だけ数える。重ならなければ1枚 |
| 表と裏の同じ間口 | 表の枚数を間口の枚数とし、裏は「両面」の印にする。表と裏の枚数が違えば印 |
other・unknown | 見積に入れず、営業の画面で種類を選ばせる |
4行目が、両面の襖の数え方です。 表と裏で枚数が違うときは、どちらかの写真で襖が重なっているか、片方が撮り漏れています。数を合わせるのではなく、印を付けて営業に見せます。
スクリプトは、値の確かめもします。 box_2d の上下左右の大小が正しいか、枠どうしがほとんど重なっていないかを見て、同じ建具に2つの枠が付いていれば1つにまとめる候補として印を付けます。
営業の画面は、たとえば次のようになります。
【調査 0418/2階 和室6畳(R2)】撮影 14:12/指示 v2/種類の一覧 v4
間口 O1 押入れ:襖 ①② 天袋 ③④ → 襖2・天袋2
間口 O3 和室8畳との間(表):襖 ⑤⑥⑦⑧ → 襖4(裏 R3-O1:襖4 ✓ 両面)
間口 O4 縁側:障子 ⑨⑩ / ⑪ overlap → 撮り直し
所見:⑦ 下部に破れ/⑩ 骨の折れ → 現地で確かめる システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 営業のタブレット | 本部のサーバーへ写真を送る | 調査の番号・部屋・間口・表裏つきの写真と採寸 |
| Gemini API | Python からの HTTPS の呼び出し(store=false) | 建具の枠・種類・所見 |
| 営業の画面 | Python が番号付きの枠を写真に重ねる | 間口ごとの枚数、両面の照合、撮り直しの印 |
| 単価の表 | Python が読む | 種類・等級・大きさの区分ごとの単価 |
| 見積の作成の表 | 営業が確定した枚数だけを書き込む | 部屋ごとの種類・枚数・紙の等級・単価の下書き |
見積の作成の表には、営業が確定した枚数だけを書きます。 Gemini の枠を自動で見積にしないのは、写真の端の天袋1枚の数え漏れが、職人の現場での追加の見積に直結するからです。
人が確認する
営業は、現地を出る前に、間口ごとの番号付きの枠を見て枚数を確定します。
- 撮り直しの印を先に見る …
overlapと、表と裏の枚数の違いがある間口を撮り直します - 天袋・地袋を見る … 押入れの間口で、上下の小さな建具に枠が付いているかを確かめます
- 余計な枠を外す … ガラス戸や柱に枠が付いていれば外します
- 所見の付いた建具を手で確かめる … 骨の折れ、下地の傷みは、触って確かめます
- 直したところに理由を選ぶ … 「数え漏れ」「余計な枠」「種類の取り違え」から選びます
2番目を省かないでください。 第3章の(c)のとおり、天袋は人の目でも落ちやすい建具です。枠の番号が押入れの襖の上に付いているかを、1間口ずつ見ます。
紙の等級は、枚数を確定してからお客様と決めます。 画面に種類ごとの枚数が出ていれば、「襖12枚、天袋4枚、障子4枚」を見ながら等級を選んでもらえます。枚数が決まる前に等級の話をすると、見積の総額の見当がずれます。
目標は、120件をならして1件12分です。 間口が少なく撮り直しのない調査は数分、間口が10を超える調査や撮り直しの多い調査は20分を超えます。
例外に対処する
| 起きること | 対応 |
|---|---|
人や私物が写った(person_or_private が true) | 写真と応答を捨て、撮り直し。件数だけを残す |
襖が重なって区切れない(overlap) | 襖を閉め直して正面から撮り直す |
| 表と裏の枚数が違う | 両方の写真を見比べ、撮り直す |
種類が決められない(unknown) | 営業が画面で種類を選ぶ |
| 標準の大きさに収まらない建具 | 営業が測って採寸の欄に入れる。見積は大きさの区分で単価を引く |
| 安全のための仕組みで応答が止まった | その間口を「枚数なし」にせず、営業が目で数える間口として残す |
| Gemini が応答しない | 再試行し、続けて失敗したら営業が現地で数えてメモする |
| 賃貸で家具が残っていて撮れない | 撮れない理由を選び、退去後に撮り直す |
6行目は見落とせません。 規約は、有害な内容を止める安全の仕組みがあるとしています。止まった間口を0枚として見積にすると、その間口の張替えが見積から落ちます。
記録を残す
- 調査の番号・部屋・間口・表裏・撮影の時刻つきの写真(人や私物が写って捨てたものを除く)
- Gemini が返した JSON の全文と、スクリプトが数えた枚数
- そのとき使った指示の版と、種類の一覧の版
- 営業が直した枚数と、その理由
- 確定した見積の明細と、実際に張り替えた枚数
- 職人が現場で見つけた見積との違い
最後の行が、この構成の質を測る材料です。 現場で枚数が違った調査を、直した理由と並べて見ます。「数え漏れ」が天袋に偏っていれば、押入れの間口の撮り方を見直します。
04実装レベルの3段階
半自動化で、1件30分が20分程度になります。 数え直しは減りますが、両面の照合と見積の入力が残ります。本格構成で12分になり、この段階が本記事の想定です。 本格構成で効くのは、現地を出る前に結果が返ることです。 数え漏れと撮り直しが、事務所ではなく現地で片付きます。職人が現場で枚数の違いに気づく回数が減れば、追加の見積の手間も減ります。 番号付きの枠の写真は、職人が張替えの日に持っていく作業の指示にもそのまま使えます。どの間口の何番の襖に破れの所見があるかが、現場に着く前に分かります。 段階を飛ばさないでください。 半自動化を1か月使うと、枠の付かない建具の種類と、撮り直しの多い部屋の形が先に分かります。そこを直してから見積の下書きに進むと、事務が見積を直す回数が減ります。
05工数削減シミュレーション
導入後 120件 × 12分 ÷ 60 = 24 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 個人の住宅や賃貸の管理会社から襖・障子の張替えを受け、営業が現地で写真とメモを取り、事務所に戻ってから写真を見返して枚数と種類を数え、見積を作っている会社。月に100件を超える現地調査があり、数え間違いや両面の数え漏れで見積をやり直すことがある場合。営業がタブレットで写真を撮る運用がある場合。
- 張替えの依頼が月に数件で、現地でその場の手書きの見積で足りる場合。間口が数十あるお寺・旅館などで、建具ごとの採寸と仕様の確かめが見積の中心になる場合。現地の写真に家族の顔や私物が写らない撮り方を徹底できない場合。なお、建具の寸法の測定、張替えの可否や下地の傷みの判断、訪問先での契約の法的な扱いの判断は、この構成では代替できません。
07最小構成で試す方法
- 過去3か月の現地調査から、張替えが終わった20件を選ぶ(両面の襖と天袋のある調査を必ず入れる)
- 20件の写真から、間口ごとに正面の写真を1枚ずつ選ぶ
- 実際に張り替えた枚数(職人の作業の記録)を、正解として表に書く
- 請求先の有効なプロジェクトの API キーで、第7章の指示を使って1枚ずつ送る
- 枠から数えた枚数を正解の表と見比べ、漏れた建具と余計な枠を写真で見る
過去の写真は、お客様の家の中が写っています。 試す前に、人や私物が写った写真を外します。AI Studio の画面に貼り付けて試すことはしません。請求先の無いアカウントでは、規約上、無料のサービスの扱いになるからです。
| 出てきた内容 | 判断 |
|---|---|
| 正解と同じ枚数で、天袋にも枠が付いた | 調査の画面に間口の番号を入れ、現地で使う準備に進む |
| 合計を答えたり、重なった襖を推して分けたりした | 厳守事項を強め、overlap の返し方を例で示す |
| 斜めの写真で数え漏れが多い | 撮り方が先。 正面から撮る手順と傾きの確かめを作る |
3行目が出ることは珍しくありません。 失敗ではなく、これまでの写真が「記録」ではなく「思い出すためのメモ」だったことが分かったということです。間口ごとに正面から撮る手順ができれば、事務も写真から同じように数えられます。過去の写真で枠の付き方が悪くても、新しい撮り方の写真で試し直してから判断してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 合計の枚数だけが返る | 1枚ずつの枠を返させ、数えるのはスクリプト |
| 重なった襖が推して分けられる | overlap でまとめて返させ、撮り直す |
| 両面の襖を二重に数える | 写真ではなく間口で数え、表と裏を同じ間口の面にする |
| 天袋・地袋を見落とす | 押入れの間口では上下まで写す。営業が枠の有無を見る |
| 斜めの写真で数え漏れる | 正面から撮る。傾きを画面で確かめる |
| 寸法を写真から推してしまう | 営業が測った値だけを使う |
| 人や私物が写る | 撮る前に周りを確かめ、person_or_private で写真ごと捨てる |
| AI Studio の画面で試してしまう | 請求先の無いアカウントでは無料のサービス。請求先の有効なプロジェクトの API で送る |
| 安全の仕組みで止まった間口が0枚になる | 営業が目で数える間口として残す |
| 枠を自動で見積にする | 営業が確定した枚数だけを書く |
上の3行が、この構成の失敗のほとんどです。 どれも、数えた結果だけが残り、何を数えたかが残らないことから起きます。枠と間口の番号があれば、数え違いは写真の上で見つかります。
4行目と5行目は、撮り方の決め事で防ぎます。 押入れの間口は天袋の上の鴨居から地袋の下の敷居まで1枚に収め、正面から撮る。この2つが守られていれば、AI の枠も人の目も同じ写真を見られます。 撮り方の見本の写真を調査の画面に出し、撮影の前に毎回見られるようにします。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: お客様の家や賃貸の部屋の中の写真、調査の番号と間口の情報、採寸、見積の明細です。お客様の住所と名前は顧客の台帳にあり、Gemini には渡しません。
- 家の中の人と私物を写さない … 撮る前に、写る範囲に人がいないか、写真立てや郵便物が無いかを確かめます。写った写真は
person_or_privateで捨て、何が写っていたかを残しません - 有料の枠で、保存させずに送る … 規約では、無料のサービスに送った内容は製品の改善に使われ人が読みうるとされ、機密や個人の情報を送らないよう求めています。請求先の有効なプロジェクトの API キーを使い、
store=falseを付けます - 使う人を18歳以上に限る … 規約は、API を使えるのは18歳以上とし、18歳未満が使う、または使いうるサービスへの組み込みを認めていません。調査の画面は社員の営業だけが開けるようにします
- 見積の内容は人が決める … 枚数は営業が確定し、紙の等級はお客様が選び、単価は会社の表で決めます。AI が出すのは建具の枠と種類だけです
- 訪問先での契約の扱いを確かめる … 特定商取引法は、営業所等以外の場所で役務提供契約の申込みを受けたり契約を結んだりする取引を訪問販売とし、申込みの内容を記載した書面を直ちに交付するよう定めています(第2条・第4条)。住居で申込みや契約をすることを請求した人に対して行う訪問販売には一部の規定を適用しないとも定めていますが(第26条第6項)、見積の依頼がそれに当たるかは取引ごとに判断が要ります。 この構成は見積の下書きまでを扱い、現地で申込みを受ける場合の書面と手続きは、法務の確認を経て別に決めます
- 写真の保存の期間を決める … 張替えが終わり、見積との違いの記録が済んだら、写真を決めた日数で消します
誤りが起きた場合のリスクは、数え漏れで見積が足りず現場で追加になることと、お客様の家の中の様子が外に出ることの2つです。 前者は枠と間口の番号と営業の確定で防ぎ、後者は撮る前の確かめと person_or_private で防ぎます。後者は一度起きれば取り返しがつかないので、撮る手順の段階で止めます。
10まず何から始めるか
1週目:間口の数え方を決める
過去の調査の写真を使い、どこまでを1つの間口とするか、両面の間口の表と裏をどう呼ぶかを、写真の見本で決めます。あわせて、単価の表の区分から種類の一覧を作ります。
2週目:過去の20件で試す
張替えが終わった20件の写真から間口ごとの正面の写真を選び、請求先の有効なプロジェクトの API キーで第7章の指示で送ります。職人の作業の記録の枚数と見比べ、合計を答えていないか、天袋に枠が付いているかを最優先で見ます。
3週目:撮り方を決める
正面から撮る、襖を全部閉める、押入れは上下まで写す、の3つを営業と決め、1件の現地調査で新しい撮り方を試します。
4週目:調査の画面を作る
部屋と間口の番号、表裏の撮影の枠、採寸の欄を持つ画面を作り、写真を送ると番号付きの枠が返るところまでつなぎます。この時点では見積の下書きを出さず、枚数だけを見ます。
2か月目: 2名の営業の現地調査で毎回使い、直した理由を毎週数えます。3か月目以降: 両面の照合と見積の下書きを足し、1件30分が何分になったかを実測します。職人が現場で枚数の違いに気づくことがなくなり、事務が営業に聞き直さずに見積を出せるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
| 営業所等以外の場所で役務提供契約の申込みを受け、または契約を締結して行う役務の提供が訪問販売に当たること(第2条第1項)。申込みを受けたときに申込みの内容を記載した書面を直ちに交付すること(第4条)。住居で申込み・契約の締結を請求した者に対して行う訪問販売に第4条から第10条を適用しないこと(第26条第6項第1号) | e-Gov 法令API: 特定商取引に関する法律 | 2026-11-19 |
対応する画像の形式、依頼に直接入れる場合の依頼全体の20MBの上限、box_2d が [ymin, xmin, ymax, xmax] で0〜1000に正規化されること、独自の指示(緑の物をすべて探す等)を受け付けること、向きを確かめぼやけていない画像を使う勧め、画像1枚では文の指示を画像の前に置く例、Interactions の端点と x-goog-api-key・Api-Revision のヘッダー | Google AI Studio: Image understanding | 2026-11-19 |
response_format に type を text、mime_type を application/json として schema を渡すこと。enum・minimum・maximum・minItems・maxItems が使え、minLength・maxLength はエラーにならず外されること。値は自分の側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-19 |
Interactions API が既定でやり取りを保存し、有料の枠で55日・無料の枠で1日保持すること。store=false で保存しないようにでき、バックグラウンドの実行とは併用できないこと | Google AI Studio: Interactions API overview | 2026-11-19 |
| API を使えるのは18歳以上で、18歳未満が使う・使いうるサービスに組み込めないこと。無料のサービスの内容が製品の改善に使われ人が読みうること、機密・個人の情報を送らないよう求めていること。Gemini API が有料のサービスになる条件。有害な内容を止める仕組みがあること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-19 |
訪問先での申込み・契約の扱いは、取引の形に合わせて法務または専門家に確かめてください。 本記事は特定商取引法の条文と製品の公開仕様で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-4189)についてのご相談はこちらから。
