Media > AI活用ユースケース > カスタマーサポート > 靴の修理店が持ち込まれた靴の写真を Gemini で見て、かかと・底・縫い目の傷みを拾い、修理の内容と見積の下書きを店頭で出す

靴の修理店が持ち込まれた靴の写真を Gemini で見て、かかと・底・縫い目の傷みを拾い、修理の内容と見積の下書きを店頭で出す

実装ステータス:構成例 技術的に実現可能な構成として設計したもの。自社未検証

店頭で預かる靴を店員がタブレットで撮り、Gemini API でかかと・底・縫い目などの傷みに見える箇所の候補を返します。店の決まりで修理の内容の候補を付け、料金表から見積の下書きを出します。

サマリー
生成AI
ChatGPT/Claude/Gemini
連携・自動化
Google Apps Script/Python
対象業界
その他/小売
対象部門
カスタマーサポート
対象業務
内容確認・チェック/問い合わせ対応
主な課題
人手が足りない/判断に時間がかかる/属人化している
AIで行う処理
画像認識
主な効果
品質標準化/対応スピード向上/教育コスト削減
導入難易度
★☆☆☆☆
実装レベル
半自動化
費用感
API連携(中)
人間の確認
条件付き
現在工数
60h/月
AI導入後
25h/月
想定削減
58%
年間削減
420h
モデル条件による試算値です。実在企業の実績ではありません。

01導入前 / 導入後の業務フロー

導入前(Before)
  1. お客様から靴を受け取り、困っている所と、いつまでに要るかを聞く
  2. 靴を手に取り、かかと・前底・縫い目・甲革・内側を順に見る
  3. かかとの減りがトップリフトの中か、本体まで及んでいるかを見る
  4. 料金表と照らし、修理の内容を決めて金額を出す。迷うときは職人に聞く
  5. お客様に修理の内容と金額、仕上がりの目安を説明し、勧める修理があれば伝える
  6. 預かり票に修理の内容と金額を書き、控えを渡す
導入後(After)
  1. 人お客様から靴を受け取り、困っている所と、いつまでに要るかを聞く
  2. 人店員がタブレットの画面で、外側・内側・底・かかとの後ろ・品質表示の5枚を撮る
  3. 自動画面の裏で動く Google Apps Script が写真を縮め、Gemini API を呼ぶ
  4. 自動Gemini API が、品質表示が写っていれば甲皮と底材を書かれたとおりに書き写す
  5. 自動Gemini API が、かかとの減りの深さ、前底・縫い目・甲革・内張りの傷みに見える箇所の候補を枠で返す
  6. 自動スクリプトが、店の決まりで修理の内容の候補を付け、料金表から見積の下書きと仕上がりの目安を出す
  7. 人店員が、画面の印と靴を見比べ、かかとを指で触って確かめ、候補を「確認済み」「外す」に分ける
  8. 人店員が、修理の内容と金額をお客様に説明し、選ばれたものを預かり票に書く
各工程の詳しい説明を読む
  1. お客様から靴を受け取り、困っている所と、いつまでに要るかを聞く
  2. 靴を手に取り、かかと・前底・縫い目・甲革・内側を順に見る
  3. かかとの減りがトップリフトの中か、本体まで及んでいるかを見る
  4. 料金表と照らし、修理の内容を決めて金額を出す。迷うときは職人に聞く
  5. お客様に修理の内容と金額、仕上がりの目安を説明し、勧める修理があれば伝える
  6. 預かり票に修理の内容と金額を書き、控えを渡す

(a)見る所が人によって違う。 2番目で、経験の浅い店員はお客様が言った所だけを見て、かかとの内張りの破れや縫い目のほつれを見落とすことがあります。仕上がった後に気づいても、お客様には追加の説明と追加の日数が要ります。

(b)かかとの減りの深さで迷う。 3番目は、慣れないとトップリフトの中か本体までかが分かりません。 少なく見積もると、作業の段階で土台の補修が必要になり、お客様に連絡して金額の変更をお願いすることになります。

(c)職人を呼ぶたびに作業が止まる。 4番目で迷うたびに職人が作業台から受付へ来るので、その間は仕上げの作業が止まります。 混む時間には、受付の列も伸びます。

(d)1足6分が積み重なる。 月600足を4名で受けると、月60時間です。同じ傷みの靴でも、店員によって勧める修理と金額が揺れます。

  1. 【人】 お客様から靴を受け取り、困っている所と、いつまでに要るかを聞く
  2. 【人】 店員がタブレットの画面で、外側・内側・底・かかとの後ろ・品質表示の5枚を撮る
  3. 【自動】 画面の裏で動く Google Apps Script が写真を縮め、Gemini API を呼ぶ
  4. 【自動】 Gemini API が、品質表示が写っていれば甲皮と底材を書かれたとおりに書き写す
  5. 【自動】 Gemini API が、かかとの減りの深さ、前底・縫い目・甲革・内張りの傷みに見える箇所の候補を枠で返す
  6. 【自動】 スクリプトが、店の決まりで修理の内容の候補を付け、料金表から見積の下書きと仕上がりの目安を出す
  7. 【人】 店員が、画面の印と靴を見比べ、かかとを指で触って確かめ、候補を「確認済み」「外す」に分ける
  8. 【人】 店員が、修理の内容と金額をお客様に説明し、選ばれたものを預かり票に書く

7番目が、この設計の分かれ目です。 AIが返すのは候補までで、靴は目の前にあります。 画面の印の所を手に取って確かめるだけなので、見る所を店員が覚えていなくても見落としが減ります。 決めるのは店員です。

6番目を規則で決めているのも、意図してのことです。 「本体まで減っていれば土台の補修を足す」「革の底で前が薄くなっていればハーフの補強を候補に出す」といった線は店の決まりで、AIに金額まで出させると、店ごとに違う料金表を推し量ろうとします。

02今回想定するシステム構成

構成図
店頭の受付で靴を預かる
   ▼【トリガー】店員がタブレットの画面で5枚を撮って「見る」を押す
Google Apps Script(ウェブアプリ)
   ├── 写真を縮めて、撮った向きの名前を付ける
   ▼
Gemini API(画像の理解・構造化出力)
   │   品質表示の甲皮・底材の書き写し
   │   かかとの減りの深さ、前底・縫い目・甲革・内張りの候補と枠
   ▼
Google Apps Script ── 店の決まりで修理の内容の候補 → 料金表から見積と仕上がりの目安
   ▼
タブレットの画面に、印の付いた写真と見積の下書き
   ▼
【人】店員が靴を手に取って確かめ、お客様に説明して預かる
役割想定する製品代替候補
処理Gemini API(品質表示の書き写しと、靴の傷みの候補)Claude API、OpenAI API
連携Google Apps Script(タブレットの画面、呼び出し、店の決まりと料金表の計算、記録)Python
料金表Google のスプレッドシート(修理の項目・金額・仕上がりの日数・店の決まり)-
端末店のタブレット(2店舗に1台ずつ)-

新しく足すのは、タブレットで開く画面と Gemini API の契約だけです。 料金表は今のスプレッドシートを使い、どの傷みにどの修理を勧めるかの店の決まりを、別のシートに書き出します。 預かり票は今の紙のままで、画面の結果を見ながら店員が書きます。

品質表示の写真も撮ります。 消費者庁の家庭用品品質表示法の雑貨工業品の一覧では、「靴」の表示事項が、甲皮として使用する材料、底材として使用する材料、底の耐油性などとされています。底が革か、ゴムか、合成樹脂かで受けられる修理と勧める補強が変わるので、表示があれば書き写させます。 靴の中や中敷きの下に付いていることが多く、無い靴も多いので、無い場合の流れを最初から作ります。

写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文や画像を合わせたリクエスト全体が20MBまでです。位置は [ymin, xmin, ymax, xmax] の順で、画像の大きさに対して0〜1000に正規化された枠で返ります。

出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format で mime_type を application/json にし、schema にスキーマを入れます。文字列は enum で決まった値に絞れます。値が正しいかはアプリ側で検証するよう公式に書かれています。

03どうやって実装するのか

Step1

処理の起点を決める

店員がタブレットの画面で5枚を撮り、「見る」を押したときに、1足ずつ動きます。 画面は撮る順に「外側の横」「内側の横」「底」「かかとの後ろ」「品質表示」の枠を出し、5枚がそろうまで「見る」を押せないようにします。 品質表示が見つからないときは「表示なし」を押して進めます。

左右は1足として1回で呼びます。 かかとの減りは左右で違うことが多いので、底とかかとの後ろは左右を並べて1枚に撮ります。 左右を別の呼び出しにすると、片方だけの減りを比べられません。

画面を使うのは店員だけです。 お客様にタブレットを渡したり、お客様向けに公開したりしません。Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。中学生・高校生のお客様の靴も預かりますが、写すのは靴だけで、画面に触れるのは店員だけです。

Step2

入力データを集める

データ中身取得元
外側・内側の横の写真かかと・縫い目・甲革・底の縁が見える横からの写真店のタブレット
底の写真左右を並べて、前底からかかとまで同上
かかとの後ろの写真左右を並べて、かかとの減りの向きと深さが分かる高さから同上
品質表示の写真靴の中・中敷きの下の表示同上
店員の聞き取り困っている所、いつまでに要るか、靴の種類(革靴・パンプス・スニーカー・ブーツ)画面の選択肢
店の決まり傷みの種類と程度ごとに候補にする修理、底材ごとに受けない修理スプレッドシート
料金表修理の項目ごとの金額と、仕上がりの日数スプレッドシート

質を決めるのは、かかとの後ろの写真です。 減りの深さは、かかとの真後ろから、かかとと同じ高さで撮らないと分かりません。 上から見下ろした写真では、減った面が見えません。画面の枠に「かかとと同じ高さから」と出し、例の写真を並べて見せます。

撮る場所も決めておきます。 受付の台の上に無地の白い板を置き、そこに靴を載せて撮ります。背景がそろうと、汚れと傷み、影とすり減りの見分けが安定します。 板の端に1センチごとの目盛りを付けておくと、店員が画面で減りの幅を見るときの目安になります。AI には長さを測らせません。

聞き取りは選択肢にします。 「困っている所(かかと・つま先・底・縫い目・内側・その他)」「いつまでに要るか(今日・3日以内・急がない)」を画面で選ぶだけにし、自由に書く欄は置きません。 急ぎの選択は、仕上がりの日数で候補を絞るのに使います。

Step3

データの取得方法を決める

写真はタブレットの画面から、スクリプトが受け取ります。 受け取った写真は、その日の日付と受付の番号の付いたフォルダに保存してから AI を呼びます。呼び出しに失敗しても、同じ写真で呼び直せます。

1回の呼び出しに5枚をまとめて渡します。 品質表示も同じ呼び出しに入れますが、指示の中で「品質表示の写真では文字を書き写すだけ」「靴の写真では見え方だけ」と役割を分けます。 店頭では待ち時間を短くしたいので、呼び出しの回数を減らします。

写真は長い辺を1,600ピクセル程度に縮めてから渡します。 タブレットの写真をそのまま5枚入れると、合わせて20MBに近づきます。品質表示の写真だけは、文字が読めるよう縮め方を弱めます。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできると案内されています。

Step4

AIへ渡す前に整形する

  1. 5枚がそろっているかの確かめ … 画面の枠が埋まるまで進めません
  2. 向きの補正 … タブレットの向きの情報で回転しているだけのものは、画素を回転させます
  3. 縮める … 靴の写真は長い辺を1,600ピクセル程度、品質表示は文字が読める大きさに
  4. ぶれと暗さの確かめ … 画面に出して店員が目で見ます。ぶれていれば撮り直します
  5. 写り込みの確かめ … お客様の手や顔、預かり票が写り込んでいないかを見ます

4番目を軽く見ないでください。 受付の台の照明が暗いと、底の溝の減りとかかとの減った面が影に埋もれます。 影の写真で「減りは軽い」と出ると、作業の段階で金額の変更が要ります。

Step5

AIに処理させる

させるのは、品質表示の書き写しと、決まった種類の傷みの候補を枠で返すことだけです。

返すもの中身判断できないときの扱い
品質表示甲皮の材料、底材の材料、底の耐油性を書かれたとおりに写っていなければ no_label。読めない文字は ?
かかとの減り左右それぞれの減りの向き(外側・内側・後ろ)と、深さ(トップリフトの中・本体まで)深さが写真で分からなければ not_judgeable_from_photo
前底の候補つま先の減り、前底の薄くなった所、穴、ひび底が汚れて見えなければ unclear
縫い目と底の縁の候補縫い目のほつれ・切れ、底と甲革のすき間(はがれ)、底の縁に縫い目が見えるか縫い目が写っていなければ not_visible
甲革と内張りの候補甲革のひび・擦り傷・色はげ、かかとの内張りのすれ・破れ汚れか傷か分からなければ unclear

かかとの深さに not_judgeable_from_photo を許しているのが、この構成の要です。 写真の角度によっては、減った面がトップリフトの中で止まっているか見えません。「見えない」を「トップリフトの中」と返させず、店員が指で触って確かめる事項にします。

底の縁の縫い目は、見え方だけを返させます。 welt_stitch_visible を yes/no/unclear で返させ、製法の名前は書かせません。 オールソールを受けるかは、店員が縫い目を手で確かめて決めます。

させないこと理由
靴の製法を決めること飾りの縫い目もある。底を替えられるかは店員が手で確かめる
甲皮や底材を見た目から言うこと本革と合成皮革、革底と樹脂の底は写真で見分けにくい。表示と現物で決める
修理の内容や金額、日数を書くこと店の決まりと料金表で決める
修理しても履けるか、安全かを書くこと履き心地と安全に関わる。職人が見る
ブランドや値打ちを言い当てること見積に要らず、お客様の期待を左右する
減り方から歩き方や体の具合を言うこと靴の修理店が答えることではない。お客様に誤った心配をさせる

最後の行も、意外に起きます。 右だけ外側が減っている靴を渡すと、AIは「O脚の傾向があります」「足首の負担に注意」のような一言を添えたがります。店頭でその言葉を読み上げると、健康の助言をしたことになります。 減り方は direction の向きだけを返させ、画面にも向きだけを出します。お客様に聞かれたら、専門の方に相談するよう伝えるのが店の決まりです。

1行目がいちばん起きやすい失敗です。 横からの写真を渡すと、AIは底の縁の縫い目を見て「グッドイヤーウェルト製法のため、オールソールが可能です」と書きます。その一言が画面に出ると、経験の浅い店員がそのままお客様に伝えてしまいます。 見え方の welt_stitch_visible だけを返させ、画面には「底の縁の縫い目を手で確かめる」と出します。

修理の内容の候補は、スクリプトが次のように付けます。

候補付け方の例(店で決める)
かかとのトップリフト交換減りが top_lift_only
かかとの土台の補修+交換減りが into_heel_block
前底の補強(ハーフ)底材が革と表示にあり、前底の薄くなった所が確認済み。表示が無ければ「店員が底を確かめる」
縫い直し縫い目のほつれ・切れが確認済み
底のはがれの貼り直し底と甲革のすき間が確認済み
かかとの内張りの補修内張りのすれ・破れが確認済み
店員が判断するかかとの深さが判断できない、welt_stitch_visible が yes で底を替えたいという聞き取り、穴が見える
Step6

指示内容を固定する

あなたは靴の修理店の受付で、店員が撮った靴の写真を見る手伝いをする係です。
渡すのは同じ1足の写真5枚です。結果を見るのは店員だけです。

写真の番号と種類:{1: 外側の横, 2: 内側の横, 3: 底(左右), 4: かかとの後ろ(左右), 5: 品質表示}
靴の種類:{革靴}  困っている所:{かかとが減った。右足だけ減りが早い}

【写真5:品質表示】
- 甲皮の材料、底材の材料、底の耐油性を、書かれた言葉のとおりに書き写してください。
- 表示に無い項目は空、読めない文字は ? にしてください。言い換えないでください。
- 表示が写っていなければ no_label にしてください。

【写真1〜4:靴】
- かかとの減りについて、左右それぞれ、減っている向き(外側・内側・後ろ)と、
  深さ(top_lift_only / into_heel_block / not_judgeable_from_photo)を返してください。
- 次の種類の候補を探し、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で
  0〜1000 に正規化して返してください。左右と部位、見え方を短く書いてください。
  つま先の減り、前底の薄くなった所、底の穴、底のひび、縫い目のほつれ・切れ、
  底と甲革のすき間、甲革のひび・擦り傷・色はげ、かかとの内張りのすれ・破れ
- 底の縁に縫い目が見えるかを yes / no / unclear で返してください。

【厳守事項】
- 製法の名前を書かないでください。底を替えられるかを書かないでください。
- 甲皮や底材の種類を、写真の見た目から書かないでください。品質表示の書き写しだけです。
- 修理の内容、金額、日数を書かないでください。
- 修理しても履けるか、安全かを書かないでください。
- 減り方から歩き方や体の具合を書かないでください。
- 汚れか傷か分からないものは kind を unclear にしてください。
- 写っていない所について「傷みなし」と書かないでください。
- ブランド、値打ち、人や手については何も書かないでください。

「品質表示の書き写しだけ」を靴の写真の側にも書いているのは、1回の呼び出しにまとめているからです。 同じ呼び出しに靴の写真があると、表示が無いときに底のつやから「革底」と埋めたくなります。 表示が無ければ空のまま返させ、店の決まりの側で「店員が底を確かめる」に振ります。

Step7

出力形式を固定する

次の形の JSON で受け取ります。 depth と kind は enum で決まった文字列に絞ります。

{
  "receipt_no": "K-20261102-118",
  "label": { "found": true, "upper": "", "sole": "", "oil_resistance": "" },
  "heel": [
    { "side": "right", "direction": "outer", "depth": "top_lift_only | into_heel_block | not_judgeable_from_photo", "photo": 4 },
    { "side": "left", "direction": "outer", "depth": "top_lift_only", "photo": 4 }
  ],
  "findings": [
    { "photo": 3, "box_2d": [120, 540, 300, 760], "side": "right", "part": "前底",
      "kind": "toe_wear | sole_thin | sole_hole | sole_crack | stitch_broken | sole_gap | upper_crack | upper_scuff | color_loss | lining_wear | lining_tear | unclear",
      "note": "つま先の外側が丸く減っている" }
  ],
  "welt_stitch_visible": "yes | no | unclear",
  "not_visible": [],
  "retake": []
}

1つ目の理由は、heel の depth をそのまま店の決まりの入力にできることです。 into_heel_block なら土台の補修を足し、not_judgeable_from_photo なら画面に「かかとを指で確かめる」と出して、金額を2通り並べます。

2つ目は、確かめた候補から見積の下書きを組み立てられることです。 画面には次の形で出します。

修理の内容根拠金額仕上がり
かかとのトップリフト交換(左右)右の外側の減り(写真4)、左は軽い減り料金表の値料金表の日数
前底の補強(ハーフ)右のつま先の減り(写真3)、底材は表示から料金表の値料金表の日数
店員が確かめる事項右のかかとの深さ、底の縁の縫い目--

3つ目は、not_visible と retake で撮り直しをその場で頼めることです。 お客様が目の前にいるので、撮り直しは数秒で済みます。 見積を出してから見落としに気づくより、ずっと早く終わります。

Step8

システムへ連携する

つなぎ先方式内容
店のタブレットApps Script のウェブアプリを開く撮影の枠、聞き取りの選択肢、結果の画面
Gemini APIAPI呼び出し(/v1beta/interactions、store=false)品質表示の書き写しと、傷みの候補
店の決まり・料金表読み取り候補の付け方、金額、仕上がりの日数
受付の記録のシート書き込み受付の番号、AIの候補、店員の判断、決まった修理
預かり票店員が手で書く決まった修理と金額

料金表には書き込みません。 金額を直すのは店長が手で行い、画面は読むだけにします。 預かり票も今の紙のままにして、預かった後の管理は今の流れを変えません。

Step9

人が確認する

  1. かかとを指で触って確かめる … 減った面がトップリフトの中か、本体まで及んでいるかを見ます。not_judgeable_from_photo のときは必ず触ります
  2. 画面の印の所を靴で見る … 印の所を手に取り、「確認済み」か「外す」を選びます
  3. 底の縁の縫い目を確かめる … 底を替えたいという聞き取りがあれば、縫い目が飾りでないかを手で見ます
  4. お客様に説明する … 見積の下書きを見せながら、修理の内容と金額、仕上がりの目安を伝えます
  5. 外した候補を記録する … 汚れを傷と言った、影を減りと言った、などの理由を残します

1番目を省かないでください。 かかとの深さは金額と仕上がりの日に直結し、写真で確かめられないことがいちばん多い項目です。 指で触るのは数秒の仕事です。

4番目では、画面の印の付いた写真をお客様に見せます。 「右のかかとの外側がここまで減っています」と写真で示せるので、勧める修理の理由が伝わりやすくなります。 ただし見せるのは店員が確かめた候補だけで、外した候補の印は消してから見せます。

目標は、600足をならして1足2.5分です。 かかとの交換だけの靴は画面を見て1分ほどで済み、縫い目と底のはがれが重なるブーツや、底を替えたいという依頼は時間がかかります。

Step10

例外に対処する

起きること対応
かかとの深さが判断できない金額を2通り並べ、店員が触って決める
品質表示が無い・かすれているno_label。底材は不明として、補強の候補は「店員が底を確かめる」
写真が暗い・ぶれている画面でその場で撮り直す
底を替えたいという依頼welt_stitch_visible に関わらず店員が判断し、迷えば職人に回す
鞄や財布など靴以外この画面を使わず、今の流れで受ける
指示に反して製法や金額を書いたその出力を画面に出さずに捨て、呼び直す
JSON の値が enum に無い候補を出さず、店員が靴を見て決める
応答が遅い・失敗した待たせずに今の流れで受け付け、写真は後で呼び直して記録に残す

上から3行目までが大半を占めます。 どれもAIの精度の問題ではなく、撮り方と表示の有無の問題です。 白い板と撮る高さをそろえるほうが、指示の文をいじるより効きます。

Step11

記録を残す

  • 受付の番号ごとの5枚の写真と、聞き取りの選択肢
  • Gemini API が返した JSON(品質表示の書き写し、かかとの深さ、候補)
  • 候補ごとに店員が付けた「確認済み」「外す」と、指で確かめたかかとの深さ
  • そのときの店の決まりと料金表の版、出した見積の下書き、決まった修理
  • 作業の段階で修理の内容や金額を変えたものと、その理由

最後の行が、店の決まりを直す材料です。 写真の段階の候補と、作業で分かったことを並べると、「top_lift_only と出て本体まで減っていたのは、どの撮り方のときか」が分かり、撮り方と決まりを直せます。

04実装レベルの3段階

最小構成:写真を手で Gemini の画面に貼り、かかとの深さと傷みの候補を挙げさせる / 1足ごとの候補の拾い出し
半自動化:上記+タブレットの画面から API を呼び、店の決まりと料金表で見積の下書きを出す / 撮影から見積の下書きまで
本格構成:上記+預かり票を紙からタブレットの記録に替え、仕上がりの連絡までつなぐ / 受付から預かりの記録までの全体

最小構成では店頭で使えません。 1足ずつ貼り付けるので、お客様を待たせます。確かめるための段階です。 半自動化で、1足6分が2.5分になり、この段階が本記事の想定です。 傷みを探して回る作業と、料金表を引く作業が画面に置き換わり、店員は印の所を確かめて説明するだけになります。 本格構成は預かり票の書き方まで変えるので、預かった後の管理の流れも作り直すことになります。 半自動化が店頭に定着してから考えます。 段階を飛ばさないでください。 半自動化を1か月回すと、どの候補を店員が外すことが多いかと、かかとの深さが判断できない割合が分かります。そこを撮り方と決まりに反映してから先に進みます。

05工数削減シミュレーション

前提値(モデル条件)
対象人数
4 名
月間件数
600 件
1件あたり現在時間
6 分
1件あたり導入後時間
2.5 分
現在  600件 × 6分 ÷ 60 = 60 時間/月
導入後 600件 × 2.5分 ÷ 60 = 25 時間/月
月間削減時間
35h
削減率
58%
年間削減時間
420h
年間金額換算(時間単価2,000円)
84万円
モデル条件による試算であり、実際の効果は業務内容・運用方法によって異なります。

自社条件で導入効果を整理したい方へ

このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。

AI活用について相談する

06向いている企業・向いていない企業

向いている
  1. 駅や商業施設の中で、かかとの交換・前底の補強・縫い直し・内張りの補修などを店頭で受けている靴の修理店や、修理の受付を置いている靴の販売店。月に数百足を受け付け、修理の内容と金額を決められる店員が限られ、新しく入った店員が受付に立つまでに時間がかかっている場合。修理の料金表と、どの傷みにどの修理を勧めるかの店の決まりがある場合。
向いていない
  1. 受付を熟練の職人だけが行い、待たせずに見積を出せている場合。オーダーの靴の作り直しや、骨董の靴の修復のように1足ごとに分解して調べる仕事が中心の場合。郵送の修理の受付が中心で、写真がお客様から届く場合(その場合は依頼の写真から見る構成を別に考える)。なお、修理の内容と金額の確定、靴の製法の見分け、修理しても履けるかの判断は、この構成では代替できません。

07最小構成で試す方法

  1. 受付で預かる靴のうち、店員の許しを得て1週間で30足の写真を5方向から撮る(うち数足は、作業の段階で金額を変えたものを入れる)
  2. その30足について、店員が決めた修理と、作業で分かったことを書き出す
  3. 30足の写真を、手元の Gemini の画面に1足ずつ貼り付ける
  4. 「かかとの減りの向きと、トップリフトの中か本体までかを左右それぞれ答えてください。前底・縫い目・甲革・内張りの傷みを位置で挙げてください。製法、修理の内容、金額は書かないでください」と指示する
  5. 出てきた答えを、店員の判断と作業で分かったことと突き合わせる

30足は必ずやってください。 画面を作る前に、「かかとの深さが写真から分かるのか」を確かめます。

出てきた内容判断
かかとの深さと傷みの候補が店員の判断と合ったタブレットの画面と店の決まりの作成に進む
製法や金額を書いた、底材を言い当てた指示の書き方で直る。構成は有効
かかとの深さがほとんど判断できない撮る高さと照明が先。 AIの問題ではない

3行目が出ることは珍しくありません。 失敗ではなく、かかとの後ろの撮り方が決まっていなかったことが分かったということです。 白い板と撮る高さを決めてから、同じ30足で撮り直してください。

08実装時につまずきやすいポイント

問題対策
上から撮ってかかとの深さが分からないかかとと同じ高さから後ろを撮る枠と例の写真を出す
「トップリフトの中」と言い切るnot_judgeable_from_photo を許し、店員が指で触る
製法の名前を書き、底を替えられると言う見え方の welt_stitch_visible だけを返させる
底のつやで「革底」と言う底材は品質表示の書き写しだけから取る
影や汚れを減りや傷と言う白い板で背景をそろえ、unclear を許す
左右を別に撮って比べられない底とかかとの後ろは左右を並べて1枚に
応答を待つ間にお客様を待たせる遅いときは今の流れで受け、写真は後で呼び直す
金額や日数を書く指示で禁じ、料金表とスクリプトで出す
お客様にタブレットを渡してしまう画面は店員だけが使う。 規約の条件でもある
店の決まりが店員の頭の中にしかない1週目に書き出し、表にしてから AI をつなぐ

上の3行が、この構成の失敗のほとんどです。 どれも、写真から分かること以上を画面に出すことから出ています。深さは指で、製法は手で、見え方だけを写真からという線を、指示と画面の言葉の両方で守ります。

09セキュリティ・AIガバナンス上の注意点

この構成で扱うデータ: 靴の写真と品質表示、困っている所の聞き取り、受付の番号、決まった修理と金額です。お客様の名前と電話番号は預かり票にだけ書き、この構成には入れません。

  1. お客様の名前と連絡先を AI に渡さない … 渡すのは写真と聞き取りの選択肢だけです。受付の番号で預かり票とつなぎます
  2. 写り込みを確かめる … お客様の手や顔、預かり票が写った写真は撮り直します。写すのは靴だけにします
  3. 画面は店員だけが使う … Gemini API の規約は、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。お客様にタブレットを渡さず、お客様向けに公開しません
  4. この構成は修理と安全の判断を代替しません … どの修理にするか、底を替えられるか、修理しても履けるかは、店員と職人が靴を手に取って決めることです。 この構成が出すのは、写真にどう見えたかという候補だけです
  5. AI側にやり取りを残さない … 有料の利用枠で使い、store=false を付けます
  6. 写真の保存期間を決める … 仕上がりの引き渡しから一定の期間で消します。修理の前後の比べに要る期間だけ残します

誤りが起きた場合のリスクは、かかとの深さを少なく見積もって金額を変えることと、製法を言い切って受けられない修理を約束することの2つです。 前者は写真の角度で決めると起き、後者は縫い目の見え方を製法と取り違えると起きます。どちらも、写真から分かることの範囲から出ているので、そこを設計で守ります。

10まず何から始めるか

1週目:店の決まりを書き出す

経験の長い店員と職人で、かかとの深さ、前底の減り、縫い目、底のはがれ、内張りごとに、どの修理を候補にするかを書き出します。底材ごとに受けない修理も並べ、料金表の項目と1対1に結び付けます。

2週目:30足で試す

1週間で30足を5方向から撮り、手元の Gemini の画面に貼ってかかとの深さと候補を挙げさせます。製法や金額を書いていないか、かかとの深さを言い切っていないかを最優先で見ます。

3週目:撮り方を決める

受付の台に白い板を置き、かかとの後ろを撮る高さを決めます。画面に出す例の写真を、靴の種類ごとに撮ります。

4週目:タブレットの画面を作る

Apps Script で撮影の枠と Gemini API の呼び出しを作り、候補と印の付いた写真を出すところまで作ります。この時点では見積を出さず、店員が候補をどれだけ外すかだけを見ます。

2か月目: 店の決まりと料金表から、修理の内容の候補と見積の下書きを足します。3か月目以降: 1足6分が何分になったかを実測し、作業の段階で金額を変えたものと写真の候補を並べて、撮り方と決まりを直すようになった時点で、この構成は完成です。


11関連ユースケース

12この仕組みを理解するための記事

13技術仕様の確認日・参考情報

技術仕様確認日:2026-11-02/最終更新:2026-11-03
確認した内容情報源確認日
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文などを合わせたリクエスト全体が20MBまでであること。位置が [ymin, xmin, ymax, xmax] の順で0〜1000に正規化されて返ること。384ピクセル以下の画像が258トークンで、それより大きい画像は768×768のタイルに分けて1タイル258トークンで数えることGoogle AI for Developers: Image understanding2026-11-02
構造化出力を /v1beta/interactions の response_format(mime_type に application/json、schema)で指定すること。文字列の enum が使えること。値はアプリ側で検証するよう書かれていることGoogle AI for Developers: Structured output2026-11-02
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできることGoogle AI for Developers: Interactions API2026-11-02
利用には18歳以上であることが必要で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないことGemini API Additional Terms of Service2026-11-02
雑貨工業品のうち「靴」の表示事項が、甲皮として使用する材料・底材として使用する材料・底の耐油性・取扱い上の注意であり、表示者名・連絡先を含むこと消費者庁: 雑貨工業品品質表示規程(雑貨工業品一覧)2026-11-02

どの傷みにどの修理を勧めるか、底を替える修理をどの靴で受けるかは、店の職人の見立てに合わせて決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱っています。

実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。

自社の業務に使えるAI活用候補を整理します

このユースケース(UC-2507)についてのご相談はこちらから。

AI活用について相談する
目次