革製品の修理の工房が、Web で届く鞄・靴・財布の傷みの写真を Gemini で見て、修理の内容の見立てと概算の見積のメモを作る
Web のフォームで届いた鞄・靴・財布の傷みの写真を Gemini に見せ、写真ごとの傷みの位置と種類、当てはまる作業の項目の候補を挙げさせます。金額は工房の料金表から処理が幅で出し、職人が写真を見て直してから返信します。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- EC/その他/小売
- 対象部門
- カスタマーサポート/営業
- 対象業務
- 問い合わせ対応/書類作成
- 主な課題
- 人手が足りない/問い合わせが多い/属人化している
- AIで行う処理
- 画像認識
- 主な効果
- 品質標準化/対応スピード向上/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 必須
01導入前 / 導入後の業務フロー
- 相談がフォームで届き、受付が受付の表に1行足して写真を職人の画面に送る
- 職人が作業の合間に写真を開き、傷みの場所と必要な作業を見立てる
- 写真が足りなければ、職人が受付に「底の写真がほしい」と伝え、受付が相談者に頼む
- 職人が料金表を思い出しながら概算を言い、受付がメモする
- 受付が見立てと概算と届いてからの流れを返信の文にして送る
- 現物が届いたら、職人が正式な見積を出す
- 自動相談がフォームで届くと受付の処理が動き、品目・相談の文・写真を受け取る
- 自動写真の形式・大きさ・枚数を確かめ、品目に応じた作業の項目の一覧を選ぶ
- 自動写真と相談の文と作業の項目の一覧を Gemini API に渡し、写真ごとの傷みの位置と種類、作業の項目の候補を返させる
- 自動写真では分からないことと、足りない写真の撮り方を返させる
- 自動作業の項目の番号から料金表を引き、品目の大きさの区分で概算の幅を出す。傷みの位置を写真の上に枠で描く
- 自動見立て・概算の幅・分からないこと・撮り方の頼みから返信の下書きを作り、職人の確認の画面に並べる
- 人職人が枠の付いた写真を見て、作業の項目を足し引きし、下書きを直す
- 人受付が返信を送る
各工程の詳しい説明を読む
- 相談がフォームで届き、受付が受付の表に1行足して写真を職人の画面に送る
- 職人が作業の合間に写真を開き、傷みの場所と必要な作業を見立てる
- 写真が足りなければ、職人が受付に「底の写真がほしい」と伝え、受付が相談者に頼む
- 職人が料金表を思い出しながら概算を言い、受付がメモする
- 受付が見立てと概算と届いてからの流れを返信の文にして送る
- 現物が届いたら、職人が正式な見積を出す
(a)返信が遅れる。 見立ては職人の手が空くのを待つので、相談が届いてから返信まで2〜4日かかります。 その間に、相談者が他の修理店に頼んでしまうこともあります。
(b)写真のやり取りが何往復も続く。 正面の1枚だけでは見立てられず、底の写真を頼み、次に内側を頼み、と1件の相談で3往復することがあります。 そのたびに職人が写真を開き直します。
(c)概算が職人ごとに違う。 料金表はあっても、どの作業を足すかの見込みが違います。届いてから「概算と違う」と言われる相談の多くは、写真に写っていなかった部分の作業が足されたものです。
(d)写真で決めてはいけないことまで返信に書いてしまう。 「同じ色で直せます」「本革なので大丈夫です」と返したあとで、届いた現物が合成皮革だった、色が合わなかった、ということがあります。 写真で見えることと見えないことの線が、返信の文で曖昧になっています。
- 【自動】 相談がフォームで届くと受付の処理が動き、品目・相談の文・写真を受け取る
- 【自動】 写真の形式・大きさ・枚数を確かめ、品目に応じた作業の項目の一覧を選ぶ
- 【自動】 写真と相談の文と作業の項目の一覧を Gemini API に渡し、写真ごとの傷みの位置と種類、作業の項目の候補を返させる
- 【自動】 写真では分からないことと、足りない写真の撮り方を返させる
- 【自動】 作業の項目の番号から料金表を引き、品目の大きさの区分で概算の幅を出す。傷みの位置を写真の上に枠で描く
- 【自動】 見立て・概算の幅・分からないこと・撮り方の頼みから返信の下書きを作り、職人の確認の画面に並べる
- 【人】 職人が枠の付いた写真を見て、作業の項目を足し引きし、下書きを直す
- 【人】 受付が返信を送る
7番目が、この設計の分かれ目です。 職人は写真を開いて一から見立てるのではなく、枠の付いた傷みと作業の項目の候補を見て、違うところだけを直します。 作業の手を止める時間が、数分の確かめに変わります。
5番目を処理の側に置いているのも、意図してのことです。 金額は料金表と大きさの区分で決まり、AIに書かせると、料金表に無い金額や、端数のある金額が出てきます。
02今回想定するシステム構成
相談者のスマートフォン(品目・相談の文・傷みの写真) │ ▼【トリガー】自社サイトの相談のフォームの送信 Python(受付の処理:写真の確認、作業の項目の一覧の選択、記録) ├── 作業の項目の一覧(品目ごとの番号と説明) ├── 料金表(作業の項目 × 大きさの区分) ▼ Gemini API ── 写真ごとの傷みの位置と種類、作業の項目の候補、分からないこと、足りない写真 ▼ Python ── 料金表からの概算の幅、写真への枠の描き込み、返信の下書き ▼ 【職人が枠の付いた写真を見て直す → 受付が返信】
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(写真の傷みの位置と種類、作業の項目の候補、足りない写真) | Claude API、OpenAI API |
| 連携 | Python(フォームの受け取り、料金表の引き当て、枠の描き込み、記録) | Google Apps Script |
| 相談の受付 | 自社サイトの相談のフォーム | - |
| 料金表 | 表計算 | - |
土台は Gemini API の画像の理解です。 公式の説明では、PNG・JPEG・WEBP・HEIC・HEIF の画像を渡せます。スマートフォンで撮られた HEIC の写真も、そのまま渡せます。 1回の依頼には最大3,600枚まで入れられ、1件の相談の8枚には十分です。
写真は依頼に直接入れます。 公式の説明では、直接入れる画像は指示の文と合わせて依頼全体で20MBまでで、それを超えるときや同じ画像を何度も使うときは Files API を使います。8枚の写真が20MBを超えたときだけ Files API に上げます。 Files API に上げたファイルは48時間で自動的に消えます。
傷みの位置は枠で返させます。 公式の説明では、物の検出の結果は box_2d として [ymin, xmin, ymax, xmax] の順で返り、座標は画像の大きさに対して0〜1000に正規化されています。 元の写真の大きさに直して枠を描くのは処理の側です。
相談者は Gemini に直接触れません。 Gemini API の規約は、18歳以上であること、18歳未満が使いうるサービスの一部として使わないことを求めています。フォームの写真を Gemini に渡すのは工房の社内の処理だけで、相談者との対話の窓口にはしません。 フォームには、18歳未満の方は保護者の方が申し込むよう書いておきます。
03どうやって実装するのか
処理の起点を決める
相談のフォームが送信されたことを起点にします。 フォームの送信の内容(品目、メーカー名、相談の文、写真)が受付の処理に届き、すぐに処理を始めます。職人の手が空くのを待たず、送信から数分で下書きが確認の画面に並ぶ状態を目指します。
相談者が写真を追加で送ってきたら、前の結果に足すのではなく、すべての写真をまとめて処理し直します。 追加の写真で、最初の見立てが変わることがあるからです。持ち手の付け根の写真が届いたら、正面の写真だけで出した「持ち手の交換」が「付け根の縫い直し」で済むと分かることもあります。
営業時間外の相談も、その場で処理します。 職人が翌朝に確認の画面を開けば、夜のうちに届いた相談の下書きがそろっています。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 傷みの写真 | 1件1〜8枚。スマートフォンで撮った JPEG・HEIC など | 相談のフォーム |
| 相談の文と品目 | 品目、メーカー名、相談の文(どこがどう困っているか) | 相談のフォーム |
| 作業の項目の一覧 | 品目ごとの作業の番号と説明(縫い直し、コバの塗り直し、持ち手の交換、色の補修、ファスナーの交換、内張りの交換、かかとの交換、底の張り替えなど) | 自社で用意する一覧 |
| 料金表 | 作業の項目 × 大きさの区分(小・中・大)の金額 | 料金表 |
| 品目ごとの必要な写真 | 鞄なら正面・背面・底・持ち手の付け根・内側、靴なら横・底・かかと・中敷き | 自社で用意する一覧 |
質を決めるのは、作業の項目の一覧の説明です。 「コバの塗り直し」がどの傷みに当たるのかを、職人の言葉で1〜2行ずつ書いておきます。説明が無いと、Gemini は一般的な言葉で傷みを書き、どの作業の項目に当たるかの結び付けが職人ごとの解釈に戻ります。
品目ごとの必要な写真の一覧が、足りない写真を見つける基準になります。 相談の文に「持ち手が切れそう」とあるのに持ち手の付け根の写真が無ければ、それを頼む一文を返信の下書きに入れます。
データの取得方法を決める
受付の処理は、フォームの送信の内容から写真と文を受け取ります。写真は依頼の input の配列に "type": "image" の部品として、画像のデータと形式を付けて入れます。 公式の例では、client.interactions.create の input に文の部品と画像の部品を並べ、結果を output_text で読む形が示されています。
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 写真 | 相談のフォーム | 傷みを見る対象 |
| 品目と相談の文 | 相談のフォーム | 作業の項目の一覧と必要な写真の一覧の選択、相談の中心 |
| 作業の項目の一覧 | 自社の一覧 | 指示に入れ、候補の番号の元にする |
| 料金表 | 表計算 | 処理の側で概算の幅を出す |
写真の並べ方に気を付けます。 公式の説明は、画像1枚と文で依頼するときは指示の文を画像の前に置くよう書いています。複数枚の並べ方は書かれていないので、この構成では、指示の文を先に置き、写真ごとに「写真1」「写真2」と番号の文を付けてから画像を置きます。 返ってくる傷みに写真の番号が付き、職人がどの写真のことかを取り違えません。
解像度は既定のまま始めます。 公式の説明では、media_resolution で画像1枚あたりのトークンの上限を決められ、高くすると細かい文字や小さな部分が見やすくなる一方で、トークンと待ち時間が増えます。財布の縫い目のほつれのように小さな傷みが中心の品目だけ、高くして結果が変わるかを試します。
依頼には store=false を付けます。 Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持されます。相談者の持ち物の写真を工房の外に残さないため、保存しない動きにします。 Files API を使ったときは、処理が終わったら files.delete で消します。
AIへ渡す前に整形する
- 形式を確かめる … PNG・JPEG・WEBP・HEIC・HEIF のどれか。それ以外は相談者に撮り直しを頼む
- 大きさを確かめる … 文と合わせて20MBを超えるなら Files API に上げる
- 向きを直す … 横倒しの写真は、画像の情報に従って正しい向きに直す
- ぶれ・暗さを確かめる … 極端に暗い写真には印を付けて渡し、見立ての対象から外す候補にする
- 品目を確かめる … フォームの品目に合った作業の項目の一覧と必要な写真の一覧を選ぶ
- 写り込みを確かめる … 鞄の中のカード、送り状の宛名、人の顔が写っていないかの印を Gemini に付けさせる前提で、相談者には中身を出して撮るよう案内しておく
- 過去の相談を引く … 同じ連絡先からの相談が直近にあれば、受付の表の番号を付ける
3番目と4番目を軽く見ないでください。 公式の説明は、正しい向きの、ぶれていない画像を使うよう書いています。横倒しの写真では「上の角」と「下の角」が入れ替わり、持ち手の付け根の割れが底の擦れとして返ることがあります。
7番目は、追加の写真を前の相談に結び付けるためです。 相談者がフォームから2回目を送ってきたとき、前の写真と合わせて処理し直さないと、見立てが2つに分かれます。
AIに処理させる
させるのは、写真ごとに傷みの位置と種類を挙げ、作業の項目の候補を番号で選び、写真では分からないことと足りない写真を挙げることです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 傷みの位置と種類 | ほつれ、コバの欠け、持ち手の割れ、角の擦り切れ、色あせ、しみ、かかとの減り | 暗い・ぶれで見分けられなければ uncertain |
| 作業の項目の候補 | 一覧の番号から選ぶ。1つの傷みに複数の候補があれば並べる | 一覧に当たる番号が無ければ no_match |
| 写真では分からないこと | 芯材の傷み、革の種類、色をどこまで合わせられるか、内部の縫製 | 必ず挙げる |
| 足りない写真 | 相談の文と品目の必要な写真に対して写っていない部分 | 撮り方を一文で書く |
| 写り込み | カード、宛名、人の顔 | 見つけたら personal_in_frame の印 |
右端の列の3行目が、この構成でいちばん大事な欄です。 写真では分からないことを、毎回、相談ごとに必ず挙げさせます。 空にしてよいのは、職人が見て「写真で決まる」と判断したときだけです。返信にそのまま入るので、相談者が「写真で全部見てもらった」と思い込むのを防ぎます。
作業の項目は番号で選ばせます。 自由な言葉で「持ち手を直す」と書かせると、交換なのか付け根の縫い直しなのかで金額が大きく変わり、料金表を引けません。
| させないこと | 理由 |
|---|---|
| 金額を書くこと | 処理の側が料金表から幅で出す |
| 革の種類を断定すること | 写真では本革と合成皮革を見分けきれない |
| 「同じ色で直せる」と書くこと | 色の合わせは現物を見て職人が決める |
| 修理を引き受けるかの判断 | 職人が現物を見て決める |
| メーカーの真贋に触れること | 目的の外。見立ての対象にしない |
| 写り込んだカードや宛名の中身に触れること | 目的の外 |
指示内容を固定する
あなたは革製品の修理の工房で、Web の相談の写真から
職人の見立ての下準備をする立場です。
【渡すもの】
- 品目:{item_type} メーカー名:{maker}
- 相談の文:{request_text}
- 作業の項目の一覧(番号と説明):{work_items}
- この品目で必要な写真:{required_views}
- 写真1〜写真{n}(各写真の前に番号を書いています)
【やること】
1. 写真ごとに、見えた傷みを挙げてください。
kind は fray/edge_damage/handle_crack/corner_wear/
fading/stain/heel_wear/other から選んでください。
2. 傷みごとに、写真の番号と、位置を box_2d
([ymin, xmin, ymax, xmax]、0〜1000)で書いてください。
3. 傷みごとに、作業の項目の一覧から当てはまる番号を選んでください。
当てはまる番号が無ければ no_match にしてください。
4. 暗さやぶれで見分けられない傷みは certainty を uncertain にしてください。
5. 写真では分からないことを unknown_from_photo に必ず挙げてください。
芯材の傷み、革の種類、色をどこまで合わせられるか、内部の縫製を
必ず検討してください。
6. 相談の文と必要な写真に対して写っていない部分を missing_views に挙げ、
相談者への撮り方の頼みを一文で書いてください。
7. カード、送り状の宛名、人の顔が写っていたら personal_in_frame を
true にし、その中身には触れないでください。
【厳守事項】
- 金額を書かないでください。
- 革の種類を断定しないでください。「本革」「合成皮革」と書かないでください。
- 「同じ色で直せる」「元どおりになる」と書かないでください。
- 写っていない部分の傷みを推測で足さないでください。
写っていない部分は missing_views に入れてください。
- 修理を引き受けられるか、メーカーの真贋には触れないでください。
「写っていない部分の傷みを推測で足さない」を明記しないと、正面の写真の擦れから「底の角も擦り切れているはず」と作業の項目を足してきます。 当たっていることもありますが、相談者から見ると、写真に無い作業が概算に入っている理由が分かりません。 推測は missing_views に回し、「底の角の写真を送ってください」という頼みに変えます。
「革の種類を断定しない」を指示に入れるのは、相談の文に「本革です」と書かれていることが多いからです。 何も言わなければその文を根拠に「本革のため〜」と書きます。相談者の言葉と写真の見え方を、職人の判断として返信に載せないためです。
出力形式を固定する
次の形のJSONで受け取ります。
{
"request_id": "",
"damages": [
{ "photo_no": 1, "kind": "handle_crack | edge_damage | fray | corner_wear | fading | stain | heel_wear | other",
"box_2d": [0, 0, 0, 0], "what_seen": "",
"work_item_ids": [""], "certainty": "visible | uncertain" }
],
"unknown_from_photo": [ "" ],
"missing_views": [ { "part": "", "how_to_shoot": "" } ],
"personal_in_frame": false
}
構造化出力は response_format に mime_type と schema を渡して指定します。 kind・certainty には enum を使い、決まった値のほかが返らないようにします。公式の説明では、文字列の長さの制約(minLength/maxLength)は守られずに外される一方、配列の要素の数(minItems)は守られます。unknown_from_photo には minItems: 1 を付け、空で返らないようにします。
1つ目の理由は、作業の項目の番号から機械で金額を引けることです。 処理の側は、work_item_ids を料金表の行に当て、品目の大きさの区分の幅(小〜大)で合計の下限と上限を出します。一覧に無い番号が返ったら、その傷みは「職人が見立てる」に回します。
2つ目は、box_2d で写真に枠を描けることです。 0〜1000の座標を元の写真の大きさに直し、傷みの種類ごとに色を変えて枠を描きます。職人は枠を見て、違う場所を指していれば数秒で分かります。
返信の下書きは、たとえば次のようになります。
【ご相談の鞄の見立て(写真での概算)】
・持ち手の付け根の割れ(写真2)… 持ち手の交換(左右)
・底の角の擦り切れ(写真3)… 角の補修
・概算:○○円〜○○円(大きさの区分により変わります)
【写真では分からないこと】
・持ち手の中の芯材の傷み … 届いてから確かめます
・色の合わせ … 届いた革を見て、合わせられる範囲をご相談します
【追加でお送りいただきたい写真】
・内側のポケットの縫い目(口を広げて真上から)
「写真では分からないこと」を概算のすぐ下に置くのは、届いてからの見積の変わり方を前もって伝えるためです。 概算と正式な見積の差が出たとき、この欄に書いてあったことなら、相談者は理由を知った上で送ってきています。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 相談のフォーム | 送信の内容を受付の処理が受け取る | 品目・相談の文・写真 |
| 作業の項目の一覧・料金表 | 読み取り | 指示に入れる一覧、概算の幅 |
| Gemini API | API呼び出し | 傷みの位置と種類、作業の項目の候補、分からないこと、足りない写真 |
| 職人の確認の画面 | 受付の処理が書き込む | 枠の付いた写真、候補、概算の幅、返信の下書き |
| 受付の表 | 職人が直した後に書き込む | 見立て・概算・返信の日 |
返信は自動で送りません。 下書きは職人の確認の画面までで止め、職人が直して「確認した」を押したものを、受付が送ります。 概算は相談者が送るかどうかを決める材料なので、職人の目を通さない数字を出しません。
料金表は読み取りだけです。 一覧に無い作業が要る傷みが見つかっても、料金表に行を足すのは職人です。
人が確認する
下書きはすべて職人が見てから返信します。 確認の画面では、枠の付いた写真と、傷みごとの作業の項目の候補、概算の幅が並びます。
personal_in_frameを先に見る … カードや宛名が写っていれば、その写真を保存しない扱いにし、相談者に撮り直しを頼むかを決めます- 枠と作業の項目を確かめる … 枠が傷みを指しているか、作業の項目が合っているかを見て、足し引きします
uncertainとno_matchを見る … 職人が自分で見立て、必要なら写真を頼みますunknown_from_photoを読む … 写真で決まることが混ざっていれば外し、足りなければ足します- 直したところを記録する … どの作業の項目を、なぜ足し引きしたかを残します
2番目を省かないでください。 枠がずれていることはあり、ずれているだけなら問題ありませんが、別の傷みを指していることもあります。 写真を見れば数秒で分かるので、全件を確かめます。
目標は、200件をならして1件6分です。 写真を開いて一から見立てる時間が、枠と候補を確かめる時間に置き換わります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が1枚も無い | 処理せず、撮り方の案内を付けて写真を頼む |
| 対応していない形式の写真 | その写真を外し、撮り直しを頼む |
| 写真が文と合わせて20MBを超える | Files API に上げて渡す |
| 暗い・ぶれた写真ばかり | 見立てを出さず、明るい場所での撮り方を案内する |
| 品目がフォームの選択と写真で違う | 職人に回し、品目を確かめる |
作業の項目がすべて no_match | 職人が一から見立てる |
box_2d が写真の範囲の外を指す | その枠を描かず、職人に知らせる |
| カードや宛名が写っている | その写真を保存せず、撮り直しを頼む |
| 相談が修理ではない(買取・販売・手入れの質問) | 見立てを出さず、受付に回す |
| Gemini が応答しない | 「未処理」に残し、時間を置いて呼び直す |
上から4行目までが大半を占めます。 どれもAIの問題ではなく、撮り方の案内の問題です。 フォームの写真の欄の横に、品目ごとの撮り方の見本の写真を置くほうが、見立ての精度を上げるより効きます。
記録を残す
- 相談の番号、品目、相談の文、写真の保存先と、受け取った日時
- Gemini が返した JSON の全文と、そのとき渡した作業の項目の一覧の版
- 処理の側で出した概算の幅と、そのとき引いた料金表の版
- 職人が直した後の見立てと概算、足し引きした作業の項目と理由
- 現物が届いたあとの正式な見積の金額
最後の行が、この構成を育てる材料です。 概算と正式な見積の差が大きかった相談を月に一度集め、unknown_from_photo に書いてあった理由で差が出たのか、写っていたのに見立てを外したのかを分けて見ます。 後者が多ければ、作業の項目の一覧の説明を直します。
04実装レベルの3段階
半自動化で、1件18分が11分程度になります。 見立ては枠と候補の確かめに変わりますが、料金表を引いて概算を出す作業と返信の文を書く作業が残ります。本格構成で6分になり、この段階が本記事の想定です。 差が大きいのは、概算と返信の文が1件ずつの手作業だからです。 段階を飛ばさないでください。 半自動化の確認の画面を1か月見ると、職人が毎回足し引きする作業の項目と、撮り方の足りない品目が先に分かります。そこを一覧と撮り方の案内に戻してから概算に進むほうが、概算と正式な見積の差が減ります。
05工数削減シミュレーション
導入後 200件 × 6分 ÷ 60 = 20 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 鞄・靴・財布などの革製品の修理を、店頭だけでなく Web の相談と宅配で全国から受けている工房。写真付きの相談が月に百件を超え、職人が作業の合間に写真を見て概算を返しているため、返信が数日遅れている場合。概算の出し方が職人ごとに違い、届いた現物を見て金額が大きく変わることへの不満がある場合。
- 相談が月に数十件で、職人がその日のうちに返信できている場合。店頭の持ち込みだけで受けていて、現物を見ながら見積を出せる場合(店頭の写真から見積を作る構成のほうが合います)。料金表が無く、毎回職人の感覚で金額を決めている場合。なお、正式な見積の金額、修理を引き受けるかどうか、革の種類や内部の傷みの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月の Web の相談から30件を選ぶ(うち数件は、届いてから見積が概算を大きく上回ったものを入れる)
- 30件それぞれの写真と相談の文と、当時返した概算、正式な見積を並べる
- 業務で契約したAIサービスの画面に写真を上げ、作業の項目の一覧を貼り付ける
- 「写真ごとに傷みの場所と種類を挙げ、作業の項目の一覧から番号を選んでください。写真では分からないことと、足りない写真を挙げてください。金額は書かないでください」と指示する
- 出てきた作業の項目から料金表で概算を出し、当時の概算と正式な見積と見比べる
30件は必ず職人が見て確かめてください。 ここで確かめたいのは、作業の項目の候補が、職人の見立ての下書きになるかです。
| 出てきた内容 | 判断 |
|---|---|
| 職人の見立てと同じ作業の項目が出た | API と料金表の引き当ての仕組みに進む |
| 写っていない部分の作業を推測で足した | 指示の書き方で直る。構成は有効 |
| 傷みと作業の項目の結び付けがばらばら | 作業の項目の一覧の説明が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 「コバの塗り直し」と「コバの補修」のように、職人のあいだでは通じる区別が一覧に書かれていないことが多いからです。その場合は、作業の項目ごとに「どんな傷みに当てるか」を職人が1〜2行で書き足し、同じ30件で試し直してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 写っていない部分の作業を推測で足す | 推測を missing_views に回し、撮り方の頼みに変える |
| 「写真では分からないこと」が空になる | minItems: 1 を付け、職人が見て外す |
| 金額をAIが書く | 金額を書かせず、作業の項目の番号から処理が料金表で出す |
| 相談の文の「本革」を根拠に断定する | 革の種類を断定しないよう指示する |
| 横倒しの写真で位置を取り違える | 画像の情報に従って向きを直してから渡す |
| 作業の項目の結び付けが職人と合わない | 一覧に「どんな傷みに当てるか」を書き足す |
| 枠が別の傷みを指す | 職人が全件を確かめる。範囲外の枠は描かない |
| 写真が多くて依頼が大きすぎる | 20MBを超えたら Files API に上げる |
| カードや宛名が写り込む | 中身を出して撮るよう案内し、写っていれば保存しない |
| 追加の写真で見立てが2つに分かれる | 前の相談に結び付け、すべての写真で処理し直す |
| やり取りが保存される | store=false を付ける |
| 下書きがそのまま返信される | 職人の確認の画面までで止め、受付が送る |
上の2行が、この構成の失敗のほとんどです。 どちらも「写真で見ていないことを、見たように概算に入れる」という同じ形をしています。足りない写真を頼む欄と、写真では分からないことの欄を最初から入れておくかどうかで、運用に乗るかが決まります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 相談者の名前と連絡先、持ち物の写真、相談の文です。写真には、鞄の中のカード、送り状の宛名、部屋の様子、人の顔が写りえます。
- Gemini に渡すのは写真と相談の文と品目だけにする … 名前・連絡先・住所は渡しません。相談の番号で結び付け、連絡先は受付の表の側で持ちます
- 写り込みのある写真は保存しない …
personal_in_frameが付いた写真は、職人が見て撮り直しを頼み、元の写真を消します - 有料の枠で使い、
store=falseを付ける … 無料の枠では入力と応答が製品の改善に使われ、人が読むことがあるとされています。Files API を使ったときは処理後に消します - 相談者を Gemini に直接触れさせない … Gemini API の規約に合わせ、写真を渡すのは社内の処理だけにし、利用するのは18歳以上の社員に限ります
- 概算と正式な見積を混ぜない … 返信には「写真での概算」と「届いてから決まること」を分けて書きます。正式な見積は、現物を見た職人が出します
- 真贋や引き受けの判断をAIに任せない … メーカーの真贋に触れさせず、修理を引き受けるかは職人が現物を見て決めます
誤りが起きた場合のリスクは、写っていない作業を概算に入れることと、写真では決まらないことを決まったように返すことの2つです。 どちらも、届いてからの見積の食い違いとして相談者との関係にひびきます。足りない写真の頼みと、写真では分からないことの欄が、どちらも防ぎます。
10まず何から始めるか
1週目:作業の項目の一覧に説明を書く
品目ごとの作業の項目に番号を振り、どんな傷みに当てるかを職人の言葉で1〜2行ずつ書きます。 料金表の行と番号を合わせ、大きさの区分(小・中・大)もそろえます。
2週目:30件で試す
先月の相談から30件を選び、業務で契約したAIサービスで傷みと作業の項目の候補を出させます。職人が見て、写っていない部分の作業を足していないか、革の種類を断定していないかを最優先で見ます。
3週目:撮り方の案内を作る
品目ごとの必要な写真の一覧と、撮り方の見本の写真を作り、フォームの写真の欄の横に置きます。中身を出して撮る、明るい場所で撮る、の案内もこのときに入れます。
4週目:フォームから確認の画面までをつなぐ
フォームの送信から、Gemini API の呼び出し、枠の付いた写真と作業の項目の候補を確認の画面に並べるところまで作ります。この時点では概算と返信の下書きを出さず、枠と候補だけを職人が見ます。
2か月目: 料金表からの概算の幅、足りない写真の頼み、返信の下書きを足し、職人が足し引きした作業の項目の件数を毎週数えます。3か月目以降: 1件18分が何分になったかを実測し、概算と正式な見積の差の理由を月に一度分けて見ます。差の理由のほとんどが「写真では分からないこと」の欄に書いてあったものになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
画像の形式(PNG・JPEG・WEBP・HEIC・HEIF)。1回の依頼で最大3,600枚であること。直接入れる画像は指示の文と合わせて依頼全体で20MBまでで、超えるときは Files API を使うこと。画像1枚と文では指示の文を画像の前に置くこと。正しい向きのぶれていない画像を使うこと。縦横384ピクセル以下は258トークン、それより大きい画像は768×768の区画ごとに258トークンであること。media_resolution で1枚あたりのトークンの上限を決められること。物の検出の box_2d が [ymin, xmin, ymax, xmax] の順で0〜1000に正規化されること。client.interactions.create の input に "type": "image" で渡し output_text で読む例 | Google AI Studio: Image understanding | 2026-11-16 |
Files API のファイルが48時間で自動的に消えること。files.delete で消せること | Google AI Studio: Files API | 2026-11-16 |
構造化出力を response_format(mime_type、schema)で指定すること。enum が使えること。minLength/maxLength が守られずに外され、minItems/maxItems は守られること | Google AI Studio: Structured output | 2026-11-16 |
Interactions API が既定でやり取りを保存し(有料の枠55日、無料の枠1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-16 |
| 18歳以上の利用と、18歳未満が使いうるサービスでの利用の禁止。無料の枠では入力と応答が製品の改善に使われ人が読むことがあり、機微な情報や個人の情報を送らないよう求めていること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-16 |
正式な見積の金額と修理を引き受けるかどうかは、現物を見た職人が決めてください。 本記事は Web の相談の写真から見立てと概算の幅の下書きを作るまでを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3284)についてのご相談はこちらから。
