悉皆屋に届く着物のしみ・黄変の写真を Gemini で見て、しみの場所と種類の候補、見立てのメモと見積の下書きを作る
お客様から届く着物のしみ・黄変の写真を Gemini API で見て、しみの場所と種類の候補、撮り足してほしい写真を返します。職人が見立てを書く前のメモと、料金表にもとづく見積の幅の下書きを作ります。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/小売
- 対象部門
- カスタマーサポート
- 対象業務
- 内容確認・チェック/書類作成
- 主な課題
- 判断に時間がかかる/問い合わせが多い/属人化している
- AIで行う処理
- 画像認識
- 主な効果
- 対応スピード向上/属人化解消/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 受付の担当が相談のメールを開き、添付の写真を受付の台帳のフォルダに保存する
- 写真を1枚ずつ見て、しみの場所(えり、そで口、前身頃、裾、背中など)と色の見え方を書き出す
- 写真が足りなければ、撮り足しのお願いのメールを書いて送る
- 届いた写真と書き出しを職人に回し、職人が見立てを書く
- 受付の担当が料金表を引き、職人の見立てに合わせて見積の幅を作る
- お客様に見立てと見積の幅と、着物を送る方法を返信する
- 自動相談のメールが届くと、Google Apps Script が添付の写真を相談の番号のフォルダに保存する
- 自動スクリプトが Gemini API を呼び、しみの場所の枠と種類の候補、金彩や刺繍の上かどうか、写真で言えないこと、撮り足してほしい写真を返させる
- 自動撮り足しが要るときは、お願いのメールの下書きを作る
- 人受付の担当が候補と下書きを見て、撮り足しのお願いを送るか、そのまま職人に回すかを決める
- 人職人が写真と AI のメモを見て、見立てを書く
- 自動スクリプトが職人の見立ての区分と料金表から、見積の幅の下書きを作る
- 人受付の担当が見積の幅を確かめ、お客様への返信を書いて送る
各工程の詳しい説明を読む
- 受付の担当が相談のメールを開き、添付の写真を受付の台帳のフォルダに保存する
- 写真を1枚ずつ見て、しみの場所(えり、そで口、前身頃、裾、背中など)と色の見え方を書き出す
- 写真が足りなければ、撮り足しのお願いのメールを書いて送る
- 届いた写真と書き出しを職人に回し、職人が見立てを書く
- 受付の担当が料金表を引き、職人の見立てに合わせて見積の幅を作る
- お客様に見立てと見積の幅と、着物を送る方法を返信する
(a)写真の往復が続く。 3番目のお願いは、職人が見てからのことも多く、「えりの寄り」「そでの裏」と2回、3回とお願いが続きます。 そのたびに返信が数日延び、お客様が別の店に頼むこともあります。
(b)書き出しの言葉がそろわない。 2番目の書き出しは、「えりに茶色いしみ」「えり汚れ?」のような書き方で、受付の担当ごとに見る場所と書き方が違います。 職人は結局、写真を最初から見直します。
(c)金彩や刺繍の上のしみを見落とす。 金や銀の箔、刺繍、絞りの上のしみは、しみ抜きの方法も見積も変わります。書き出しでそれに触れていないと、 職人の見立てが遅れるか、見積の幅が後で大きく変わります。
(d)見積の幅が職人ごとに違う。 5番目の幅は職人の見立ての言葉で変わり、同じようなしみでも、相談の日によって幅が違うことがあります。
- 【自動】 相談のメールが届くと、Google Apps Script が添付の写真を相談の番号のフォルダに保存する
- 【自動】 スクリプトが Gemini API を呼び、しみの場所の枠と種類の候補、金彩や刺繍の上かどうか、写真で言えないこと、撮り足してほしい写真を返させる
- 【自動】 撮り足しが要るときは、お願いのメールの下書きを作る
- 【人】 受付の担当が候補と下書きを見て、撮り足しのお願いを送るか、そのまま職人に回すかを決める
- 【人】 職人が写真と AI のメモを見て、見立てを書く
- 【自動】 スクリプトが職人の見立ての区分と料金表から、見積の幅の下書きを作る
- 【人】 受付の担当が見積の幅を確かめ、お客様への返信を書いて送る
4番目が、この設計の分かれ目です。 AI が挙げた撮り足しを全部お願いすると、お客様の手間が増えすぎます。受付の担当は、職人が見立てを書くのに本当に要る写真だけを選んで送ります。 迷うときは「えりの寄り」と「しみの所の裏」の2枚にしぼります。
6番目で、見積の幅は職人の見立てから作ります。 AI の種類の候補から直接は作りません。AI の候補と職人の見立てが違うことは珍しくなく、 見積を AI の候補から作ると、職人の見立てとずれた幅がお客様に届くからです。
02今回想定するシステム構成
お客様:ホームページの相談の受付・メールで写真を送る ▼【トリガー】相談用の宛先にメールが届く(15分ごとに見る) Google Apps Script ├── 添付の写真を相談の番号のフォルダに保存 ├── 写真の向きを直し、縮める ▼ Gemini API(画像の理解・構造化出力) │ しみの場所の枠と種類の候補(店の決まった種類) │ 金彩・刺繍・絞りの上か、写真で言えないこと、撮り足してほしい写真 ▼ Google Apps Script ── 受付の台帳に書き、撮り足しのお願いの下書きを作る ▼ 【人】受付の担当が確かめて職人へ ──▶ 職人の見立て ▼ Google Apps Script ── 見立ての区分と料金表から見積の幅の下書き ▼ 【人】受付の担当が返信を書いて送る
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(着物の写真のしみの場所と種類の候補) | Claude API、OpenAI API |
| 連携 | Google Apps Script(メールの取り込み、呼び出し、台帳の書き込み、見積の幅の組み立て) | Python |
| 受付の台帳 | 今の表計算のシート(相談の番号、写真、AI のメモ、職人の見立て、見積) | - |
| 料金表 | 店の料金表を表にしたもの(手入れの種類、しみの区分、生地や加工の区分ごとの幅) | - |
新しく足すのは、取り込みのスクリプトと、料金表の表と、Gemini API の契約だけです。 ホームページの相談の受付と、相談用のメールの宛先は今のまま使います。
料金表を、表にするのが最初の準備です。 今の料金表は紙と職人の頭の中にあり、「しみ抜き 1か所」「えり汚れ」「黄変」「カビ」「金彩の上は別」のような区分を、行と列にそろえます。見積の幅の下書きは、この表を引くだけで作ります。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文や画像を合わせたリクエスト全体が20MBまでです。1回のリクエストに複数の画像を入れられ、物の位置は 0〜1000 に正規化された [ymin, xmin, ymax, xmax] の枠で返せます。お客様のスマートフォンの写真は HEIC で届くことがありますが、そのまま渡せます。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format の mime_type を application/json にし、schema にスキーマを入れます。文字列は enum で決まった値に絞れます。構文として正しい JSON でも、値はアプリ側で確かめるよう公式に書かれています。
03どうやって実装するのか
処理の起点を決める
相談用の宛先にメールが届いたことを起点にします。 Google Apps Script の時間で動くトリガーで15分ごとに相談用のラベルのメールを見て、まだ取り込んでいないものだけを1通ずつ処理します。取り込んだメールには「取り込み済み」のラベルを付けます。
ホームページの相談の受付から届くものも、同じ宛先に入るようにします。 受付の画面の入力(お名前、連絡先、着物の種類、気になる所)はメールの本文に入り、写真は添付で届きます。経路を1つにしておけば、取り込みのスクリプトも1つで済みます。
撮り足しの写真が届いたときも、同じ流れで動きます。 返信のメールの件名にある相談の番号で前の写真と束ね、前の写真と新しい写真を合わせてもう一度 AI に渡します。
写真が付いていないメールは、AI を呼ばずに受付の担当に回します。 「写真の撮り方を教えてほしい」という相談には、店の撮り方の案内を返すのが先です。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 着物の写真 | お客様が撮った全体・寄り・裏など。枚数はまちまち | 相談のメールの添付 |
| 相談の内容 | 着物の種類(振袖、訪問着、留袖、喪服、紬など)、気になる所、いつごろ着るか | メールの本文 |
| 店の種類の一覧 | 食べこぼし、皮脂のえり汚れ、汗じみ、黄変、カビ、水じみ、化粧品、不明 | 店で決めた一覧 |
| 撮り方の決まり | 全体、しみの寄り、しみの所の裏、えりとそで口、昼の窓ぎわの光で | 店で決めた一覧 |
| 取扱い表示の写真 | 仕立て上がりの新しい着物や洗える着物に付いている表示(あれば) | 相談のメールの添付 |
質を決めるのは、店の種類の一覧です。 種類を決めずに「しみの種類を教えて」と頼むと、AI は「ワインのしみ」「コーヒーのしみ」と具体的に書きます。写真から飲み物の種類は分かりません。 店が見積の区分に使っている種類だけを渡し、その中から候補を選ばせます。
取扱い表示の写真は、あれば使います。 正絹の着物には付いていないことが多いのですが、仕立て上がりで買った着物や洗える着物には、洗濯表示の記号が付いていることがあります。 消費者庁によれば、洗濯表示の記号を定める JIS L 0001 は令和6年8月20日に改正され、ドライクリーニングの記号の意味が変わり、新しい記号も加わりました。 記号の番号を写させ、職人が店の早見表で読みます。
お客様の名前と連絡先は、AI に渡しません。 メールの本文から渡すのは、着物の種類と気になる所と、いつごろ着るかだけです。
データの取得方法を決める
メールの取り込みは、Google Apps Script のメールの読み取りで行います。 添付のファイルを相談の番号のフォルダに保存し、本文から着物の種類と気になる所を受付の台帳の列に分けて入れます。 名前と連絡先は台帳の別の列に入れ、AI を呼ぶ処理からは読みません。
写真は相談の番号のフォルダから読み、向きを直して縮めてから渡します。 1件で10枚を超える写真が届くこともあるので、合わせて20MBに収まるよう、長い辺を1,600ピクセル程度にします。しみの寄りの写真は細かいところが要るので、寄りと分かる写真は縮めすぎないようにします。
撮り足しの写真が届いたときは、相談の番号で前の写真も読みます。 前の AI のメモも一緒に渡し、前に「写真で言えない」とした所が、新しい写真で言えるようになったかを返させます。
有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできると案内されています。
AIへ渡す前に整形する
- 写真の形式の確かめ … PNG、JPEG、WEBP、HEIC、HEIF 以外は受付の担当に回します
- 向きの補正と縮める … 寄りの写真は細部を残し、全体の写真は縮めます
- 人の写り込みの確かめ … 着物を着た姿の写真は、AI に渡さず受付の担当に回します
- 同じ写真の重複を外す … 同じ写真が2通のメールで届くことがあります
- 写真の明るさの確かめ … 極端に暗いもの、白く飛んだものは撮り直しのお願いの候補にします
3番目を軽く見ないでください。 「着たときの写真です」と、お客様やご家族が着物を着た写真が届くことがあります。成人式の振袖では、写っているのが18歳や19歳の方であることもあります。人が写った写真は AI に渡さず、 着物を広げて撮った写真をお願いします。
5番目は、色の見え方のためです。 夜の室内の電球の光で撮った写真は、着物の地色も黄変も同じように黄色く見えます。黄変かどうかを写真で言うには、昼の窓ぎわの光で撮った写真が要ります。 明るさが極端な写真は、そのまま撮り直しのお願いの候補にします。
AIに処理させる
させるのは、しみの場所を枠で返し、店の種類の一覧から候補を選ばせ、写真で言えないことと足りない写真を挙げることだけです。
| 返すもの | 中身 | 判断できないときの扱い |
|---|---|---|
| しみの場所 | 写真の番号と枠、部位(えり、そで口、前身頃、後ろ身頃、裾、八掛、帯) | 部位が分からなければ unknown_part |
| 種類の候補 | 店の種類の一覧から最大2つ | 決められなければ undetermined |
| 加工の上か | 金彩・箔、刺繍、絞り、無地の上 | 写真で分からなければ unclear |
| 色の見え方 | 茶色、黄色、白っぽい輪、黒い点、色が抜けて見える | そのまま見え方を書く |
| 写真で言えないこと | 古いしみか黄変か、色が抜けているか、裏まで通っているか | 項目で返す |
| 撮り足してほしい写真 | しみの寄り、しみの所の裏、えり・そで口、昼の光で撮った全体 | 足りていれば空 |
種類の候補を2つまでにしているのが、この構成の要です。 茶色いしみは、食べこぼしにも黄変にも見えます。1つに決めさせると、見え方の近いほうを選んで言い切ります。 2つまで挙げさせ、決められなければ undetermined にさせて、決めるのは職人に残します。
「色が抜けて見える」を独立した見え方にしています。 以前に家庭でしみを落とそうとこすった所は、色が抜けたり、生地の表面が毛羽立ったりして、しみと同じように見えます。 色が抜けた所はしみ抜きでは戻らず、色を差す別の手入れになり、見積が大きく変わります。 職人が先に見るべき所として返させます。
| させないこと | 理由 |
|---|---|
| しみを落とせるか、どこまできれいになるかを書くこと | 職人が現物を見て決める。お客様への約束になる |
| 金額や見積の幅を書くこと | 職人の見立てと料金表から作る |
| しみの原因の飲み物や食べ物を言い当てること | 写真で分からない |
| 生地の素材(正絹、化繊、ウール)を言い切ること | 写真で分からないことが多い |
| しみ抜きで色が抜ける恐れがないと書くこと | 職人が判断する |
| 写り込んだ人について書くこと | お客様やご家族の情報を残さない |
1行目がいちばん起きやすい失敗です。 AI は「このしみは丸洗いとしみ抜きで落とせる可能性が高いです」と書きたがります。その一言が受付の担当の目に入り、返信に混ざると、店の約束になります。 古い黄変は落ちきらないことがあり、どこまで戻るかは職人が現物を見て初めて言えることです。
指示内容を固定する
あなたは着物の手入れの専門店で、お客様から届いた着物の写真を見る手伝いをする係です。
結果を見るのは店の受付の担当と職人だけです。お客様には直接届きません。
着物の種類:{訪問着}
お客様が気になる所:{えりの汚れと、前のほうの茶色いしみ}
写真:{1: 広げた全体, 2: えりの寄り, 3: 前身頃の寄り}
店の種類の一覧:{食べこぼし, 皮脂のえり汚れ, 汗じみ, 黄変, カビ, 水じみ, 化粧品, 不明}
【写真について】
- しみや汚れに見える所を探し、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で 0〜1000 に正規化して返してください。
- 部位を、えり/そで口/前身頃/後ろ身頃/裾/八掛/帯 から選んでください。分からなければ unknown_part。
- 種類の候補を、店の種類の一覧から最大2つ選んでください。決められなければ undetermined。
- その所が、金彩・箔/刺繍/絞り/無地 のどれの上かを返してください。分からなければ unclear。
- 色の見え方を、茶色/黄色/白っぽい輪/黒い点/色が抜けて見える から返してください。
- 写真で言えないこと(古いしみか黄変か、色が抜けているか、裏まで通っているか)を項目で返してください。
- 職人が見立てを書くのに足りない写真を、撮り方の一覧から返してください。
【厳守事項】
- しみが落ちるか、どこまできれいになるかを書かないでください。
- 金額、料金、見積の幅を書かないでください。
- しみの原因の飲み物や食べ物の名前を書かないでください。店の種類の一覧の言葉だけを使ってください。
- 生地の素材を言い切らないでください。
- 光の色で地色と黄変を区別できないときは、写真で言えないことに入れてください。
- 人、人の体の一部については何も書かないでください。写っていたら found_person を true にしてください。
- 洗濯表示の記号が写っていれば、記号の番号だけを label_codes に写してください。意味は書かないでください。
「店の種類の一覧の言葉だけを使う」を明記しないと、具体的な食べ物の名前が出ます。 「赤ワインのしみと思われます」と書いた見立てがお客様に届けば、お客様はワインをこぼした覚えが無いと言い、話がそこで止まります。 種類の言葉を見積の区分にそろえておけば、職人の見立ても料金表も同じ言葉で引けます。
出力形式を固定する
次の形の JSON で受け取ります。 kind と on_finish と look は enum で決まった文字列に絞ります。
{
"case_id": "S-2611-0142",
"found_person": false,
"spots": [
{ "photo": 3, "box_2d": [420, 310, 560, 430], "part": "前身頃",
"kind": ["食べこぼし", "黄変"], "on_finish": "無地 | 金彩・箔 | 刺繍 | 絞り | unclear",
"look": "茶色 | 黄色 | 白っぽい輪 | 黒い点 | 色が抜けて見える",
"cannot_tell": ["古いしみか黄変か"] }
],
"retake": ["しみの所の裏", "昼の光で撮った全体"],
"label_codes": []
}
1つ目の理由は、受付の台帳にそのまま並べられることです。 しみ1つが1行になり、部位・種類の候補・加工の上か・写真で言えないことが同じ列にそろいます。職人は写真を最初から見直さず、枠の付いた写真と1行ずつ見比べて見立てを書けます。
2つ目は、撮り足しのお願いを決まった言葉で作れることです。 retake の言葉ごとに、店の撮り方の案内の文と見本の写真が決まっています。下書きはその文を並べるだけで、受付の担当は要らないものを消して送ります。
3つ目は、見積の幅の下書きを職人の見立てから組めることです。 職人は見立てを書くときに、しみごとに料金表の区分(しみ抜き・黄変直し・カビ取り・色かけ、加工の上かどうか)を選びます。 スクリプトはその区分で料金表を引いて幅を足し上げます。
| 職人の見立ての区分 | 見積の幅の作り方 |
|---|---|
| 丸洗い | 着物の種類の行の幅 |
| しみ抜き(無地の上) | 1か所の幅 × しみの数 |
| しみ抜き(金彩・刺繍・絞りの上) | 別の行の幅。「現物を見て確定」を必ず添える |
| 黄変直し・色かけ | 幅を出さず「現物を見て確定」とする |
undetermined のまま | 見積の幅を出さず、職人が書いた見立てだけを返す |
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 相談用の宛先のメール | Apps Script のメールの読み取り | 写真と本文を取り込み、ラベルを付ける |
| 相談の写真のフォルダ | 読み取りと書き込み | 相談の番号ごとに写真を保存する |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | しみの候補、撮り足してほしい写真 |
| 受付の台帳 | 表計算のシートへの書き込み | AI のメモ、職人の見立て、見積の幅の下書き |
| 料金表 | 表計算のシートの読み取り | 見立ての区分ごとの幅 |
お客様へのメールは、スクリプトから自動では送りません。 撮り足しのお願いも見積の返信も、下書きを受付の担当が開いて直し、自分で送ります。 AI のメモはお客様には見せず、返信に使うのは職人の見立ての言葉だけにします。
預かりの後の流れには触りません。 着物が届いてからの預かり票と加工先への発注は、今の手順のままです。相談の番号を預かり票に書き写すことだけを足し、写真の相談と現物をつなぎます。
人が確認する
- 受付の担当が撮り足しのお願いを選ぶ … AI の挙げた写真から、職人に要るものだけを残します
- 職人が見立てを書く … AI のメモと写真を見て、しみごとに区分と見立ての言葉を書きます。AI の候補と違ってよい
- 受付の担当が見積の幅を確かめる … 「現物を見て確定」が付くべき所に付いているかを見ます
- 返信を書く … 職人の見立ての言葉と見積の幅で、受付の担当が書いて送ります
2番目で、職人が AI の候補をどれだけ直したかを残します。 「黄変の候補を食べこぼしに直した」「色が抜けて見えるを足した」が、どの種類の着物と写真で多いかを見ると、撮り方の案内の直す所が分かります。
3番目を省かないでください。 金彩や刺繍の上のしみに「現物を見て確定」が付いていないと、お客様は幅の下の金額を覚えて着物を送ってきます。 確定の金額が上がったとき、説明の手間がいちばんかかるのはこの型です。
目標は、400件をならして1件6分です。 写真がそろって届いた相談は台帳を確かめて職人に回すだけで、撮り足しが要る相談と、加工の上のしみがある相談は時間がかかります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が付いていない | AI を呼ばず、撮り方の案内を返す |
| 形式が対応外、ファイルが開けない | 受付の担当に回し、別の形式で送ってもらう |
| 人が写っている | found_person。AI のメモを使わず、広げた写真をお願いする |
| 写真が暗い・白く飛んでいる | 撮り直しのお願いの候補にする |
undetermined ばかりになる | 写真の不足を疑う。撮り足しを先にお願いする |
| 写真が多く20MBを超える | 寄りと全体に分けて2回に分けて渡す |
| 着物でない物(帯揚げ、羽織紐、毛皮)の相談 | 職人に回し、扱える物かを先に決める |
| 指示に反して「落ちます」や金額を書いた | その出力を台帳に出さずに捨て、呼び直す |
JSON の値が enum に無い | そのしみを台帳に出さず、受付の担当が写真を見て書く |
| 撮り足しの写真が前と別の着物 | 相談の番号を分け、お客様に確かめる |
上から5行目までが大半を占めます。 どれも AI の精度の問題ではなく、届く写真の撮り方の問題です。 撮り方の案内をホームページの相談の受付に載せ、見本の写真を添えるほど、撮り足しのお願いは減っていきます。
記録を残す
- 相談の番号ごとの写真と、届いた日時
- Gemini API が返した JSON(しみの候補、撮り足しの写真、写真で言えないこと)
- 職人の見立てと、AI の候補から直した所
- 見積の幅の下書きと、受付の担当が送った見積の幅
- 現物が届いた後の確定の金額と、写真での見積の幅との差(預かり票から写す)
最後の行が、料金表の幅を直す材料になります。 写真での幅と確定の金額の差が、どの区分で大きいかを見れば、「現物を見て確定」を付けるべき区分が分かります。
04実装レベルの3段階
最小構成では件数がさばけません。 1件ずつ貼り付けるので、月400件には使えません。確かめるための段階です。 半自動化で、1件15分が6分になり、この段階が本記事の想定です。 写真の書き出し、撮り足しのお願い、料金表を引く作業が下書きに置き換わり、受付の担当は確かめて送るだけになります。 本格構成は料金表の管理まで扱うので、確定の金額との差が半年ほどたまってから考えます。 段階を飛ばさないでください。 半自動化を1か月回すと、職人が直すことの多い種類の候補と、撮り足しのお願いが多い写真の型が分かります。そこを撮り方の案内と店の種類の一覧に反映してから先に進みます。
05工数削減シミュレーション
導入後 400件 × 6分 ÷ 60 = 40 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 丸洗い・しみ抜き・黄変直し・洗い張りなどを請け負い、遠方のお客様から写真での事前の相談と見積の依頼を受けている悉皆屋・呉服店・着物の専門のクリーニング店。相談の写真が月に数百件届き、職人が写真を見て見立てを書くまでに数日待たせている場合。見立ての言葉や見積の幅が職人ごとに違い、受付の担当がお客様に説明しにくい場合。
- 相談のほとんどが店頭への持ち込みで、職人がその場で現物を見ている場合。写真での見積をせず、現物を預かってから見積を出す決まりの店。月の相談が数十件で、職人が自分で写真を見て返信できている場合。なお、しみの種類の見極め、しみ抜きで色が抜けたり生地が傷んだりする恐れの判断、最終の見積の金額は、この構成では代替できません。
07最小構成で試す方法
- 先月までに職人が見立てを書いた相談から40件を選ぶ(金彩・刺繍の上のしみと、黄変の相談を必ず入れる)
- その40件の写真を、手元の Gemini の画面に1件ずつ貼り付ける
- 「この着物の写真で、しみに見える所の位置と部位、種類の候補を、食べこぼし・皮脂のえり汚れ・汗じみ・黄変・カビ・水じみ・化粧品・不明から最大2つ挙げてください。写真で言えないことと、足りない写真も挙げてください。落ちるかどうかと金額は書かないでください」と指示する
- 出てきた答えを、職人の当時の見立てと突き合わせる
40件は必ずやってください。 取り込みを作る前に、「写真で言えないことを言えないと返せるか」「撮り足しの写真が職人のお願いと合うか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| しみの場所と撮り足しの写真が職人の見立てと合い、加工の上のしみも拾った | 取り込みと台帳の準備に進む |
| 「落ちます」や食べ物の名前を書いた | 指示の書き方で直る。構成は有効 |
| 黄変と地色を取り違えることが多い | 写真の光の問題が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、夜の室内で撮られた写真が多いことが分かったということです。 撮り方の案内に「昼の窓ぎわで」を一行足してから、もう一度試してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 「落ちます」「きれいになります」と書く | 書かせない。お客様への返信は職人の見立ての言葉だけ |
| 黄変と古いしみを1つに決める | 候補を2つまで、決められなければ undetermined |
| 「赤ワインのしみ」など食べ物の名前を書く | 店の種類の一覧の言葉だけを使わせる |
| 色が抜けた所をしみと読む | 「色が抜けて見える」を見え方として独立させる |
| 夜の室内の写真で地色と黄変を取り違える | 撮り方の案内に「昼の窓ぎわで」を入れる |
| 着た姿の写真が届く | AI に渡さず、広げた写真をお願いする |
| 撮り足しのお願いが多すぎる | 受付の担当が職人に要るものだけを選ぶ |
| 加工の上のしみに「現物を見て確定」が付かない | 料金表の区分で必ず付くようにする |
上の4行が、この構成の失敗のほとんどです。 どれも、写真から分かること以上をメモに書くことから出ています。種類は候補まで、落ちるかは職人が現物を見て、言葉は店の一覧でという線を、指示と台帳の列の両方で守ります。
下の2行は、仕組みの外で決まります。 撮り足しを何枚までお願いするかと、どの区分に「現物を見て確定」を付けるか。どちらも職人と受付の担当で決めて、受付の手順書に書きます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 着物の写真、着物の種類と気になる所、お客様の名前と連絡先と住所です。名前・連絡先・住所は受付の台帳の別の列にあり、AI には渡しません。
- お客様の情報を AI に渡さない … 渡すのは着物の写真と、着物の種類と気になる所だけです。相談の番号で台帳とつなぎます
- 人を写した写真を渡さない … 着た姿の写真は AI に渡さず、写真のフォルダからも消してお客様にお断りします
- 相談の申込を18歳以上に限り、AI のメモはお客様に見せない … Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。相談の受付は18歳以上の方の申込に限り、AI のメモは店の担当と職人だけが見ます
- この構成は職人の見立てと見積を代替しません … しみの種類、しみ抜きで色が抜ける恐れ、どこまで戻るか、確定の金額は、職人が現物を見て決めることです。 AI のメモは見立ての前の下書きです
- AI側にやり取りを残さない … 有料の利用枠で使い、
store=falseを付けます - 写真の保存期間を決める … 預からなかった相談の写真は、一定の期間で消す決まりにします。預かった着物の写真は、仕上がりの確認が終わるまで残します
誤りが起きた場合のリスクは、落ちないしみを落ちると伝えることと、加工の上のしみを見落として見積が大きく変わることの2つです。 前者は AI の言葉が返信に混ざると起き、後者は on_finish の unclear を「無地」と読み替えると起きます。前者は返信を職人の言葉だけで書くことで、後者は加工の上かを独立した項目で返させることで防ぎます。
10まず何から始めるか
1週目:料金表と種類の一覧を表にする
職人と受付の担当で、料金表を区分の行と列にそろえます。店の種類の一覧と、どの区分に「現物を見て確定」を付けるかを決めます。
2週目:撮り方の案内を作る
全体、しみの寄り、しみの所の裏、えりとそで口、昼の窓ぎわの光で、の5つを見本の写真付きで案内にし、ホームページの相談の受付に載せます。
3週目:40件で試す
過去の40件を手元の Gemini の画面に貼って候補を挙げさせます。「落ちます」と書いていないか、写真で言えないことを言えないと返しているかを最優先で見ます。
4週目:取り込みと台帳を作る
Apps Script でメールの取り込み、Gemini API の呼び出し、台帳への書き込みを作り、撮り足しのお願いの下書きまで作ります。この時点では見積の幅を出さず、職人が AI の候補をどれだけ直すかだけを見ます。
2か月目: 職人の見立ての区分の欄を台帳に足し、見積の幅の下書きを出します。3か月目以降: 1件15分が何分になったかを実測し、写真の往復が1回で済む相談の割合が増え、写真での見積と確定の金額の差が小さくなった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文などを合わせたリクエスト全体が20MBまでであること。1回のリクエストに複数の画像を入れられること。物の位置が [ymin, xmin, ymax, xmax] の順で0〜1000に正規化された枠で返ること。画像が大きさに応じてトークンとして数えられること | Google AI Studio: Image understanding | 2026-11-04 |
構造化出力を /v1beta/interactions の response_format(mime_type に application/json、schema)で指定すること。文字列の enum が使えること。構文として正しい JSON でも値はアプリ側で確かめるよう書かれていること | Google AI Studio: Structured output | 2026-11-04 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-04 |
| 利用には18歳以上であることが必要で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと | Gemini API Additional Terms of Service | 2026-11-04 |
| 洗濯表示が繊維製品品質表示規程の「取扱い表示」であること。新しい洗濯表示の早見表などの資料 | 消費者庁: 新しい洗濯表示 | 2026-11-04 |
| JIS L 0001 が令和6年8月20日に改正され、洗濯記号の新規追加・意味の変更(ドライクリーニングの記号など)・デザインの微修正があったこと。令和7年8月19日までに従前の表示をした製品はそのまま販売できること | 消費者庁: 繊維製品品質表示規程の改正について(令和6年8月20日) | 2026-11-04 |
しみの種類の見極め、しみ抜きで色が抜けたり生地が傷んだりする恐れ、確定の金額は、職人が現物を見て決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2747)についてのご相談はこちらから。
