クリーニング店が受付で撮った衣類の写真を Gemini で見て、シミ・ほつれ・ボタンの欠けの候補を受付票に書き、お客様への確認事項を作る

処理の起点を決める

1点分の撮影を終えたときに動きます。 店員が受付のアプリで表・裏・洗濯表示の3枚を撮り、「この1点を終える」を押すと、写真がサーバーに送られます。3枚がそろう前には動かしません。 表だけで呼ぶと、裏のシミが候補に出ず、店員が「候補が無い」と読み違えます。

お客様が待っている間に返る必要があります。 1点分の結果が返るまでの間に、店員は次の衣類を撮影台に広げ、ポケットの中を確かめます。一定の時間を過ぎても返らないときは、アプリが「手で確かめてください」と出し、これまでどおり目で見て受付票に書きます。 結果が後から返っても、確定の欄には入れません。

受付のアプリに入れるのは、18歳以上の店員のアカウントだけにします。 Gemini API の規約は、18歳未満の人が使う、または使う見込みのあるアプリでの利用を認めていません。高校生のアルバイトが受付に立つ時間帯は、アプリを使わず、これまでどおり目で見て受付票に書く流れにします。 店舗のシフト表で、どの時間帯にどちらの流れになるかを先に決めておきます。

仕上がりの引き渡しのときは動かしません。 引き渡しでは、受付のときの写真と確定した箇所を画面に出し、お客様と仕上がりを一緒に見る材料として使います。

入力データを集める

質を決めるのは、撮影台と照明です。 店舗の照明の下で、カウンターの上に衣類をくしゃっと置いて撮ると、しわの影がシミに見え、濃い色の衣類のシミは写りません。 撮影台に無地の明るい色の台紙を敷き、上から均一に照らす照明を付けます。

品目ごとの見どころは、指示の文に入れます。 シャツなら襟と袖口、スーツの上なら襟の裏と脇と裾、コートならポケットの口とボタンの周りです。見どころを渡しておくと、写真の端の小さな黒ずみを見落としにくくなります。

データの取得方法を決める

写真は、受付のアプリからサーバーに直接送ります。 アプリは預かり番号と品目を一緒に送り、サーバーは写真を預かり番号のフォルダに置いてから Gemini API を呼びます。写真を先に保存してから呼ぶのは、呼び出しに失敗しても写真が残るようにするためです。

Gemini API へは、1点ごとに1回、3枚をまとめて渡します。 表と裏を別々に呼ぶと、同じ箇所を2回候補にすることがあります。1点を1回の呼び出しにすると、どの写真のどの位置かを1つの JSON で受け取れます。

洗濯表示の写真は、記号を書き写すために渡します。 消費者庁の JIS L0001 の概要では、洗濯表示は洗濯、漂白、乾燥、アイロン仕上げ、商業クリーニングの5つの基本記号と、付加記号で表すとされています。令和6年8月20日以降の表示と、その前の表示で記号の一部が違うことも、消費者庁のページで分けて示されています。書き写させるのは、ラベルに見える記号の候補までです。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日）、保存しないときは store=false を付けると案内されています。写真は自社のサーバーに残すので、AI側に残す必要はありません。

AIへ渡す前に整形する

1. 形式と向き … タブレットの写真の向きの情報で回転しているだけのものは、画素を回転させます。向きが合っていないと、「右袖」と「左袖」が入れ替わります
2. 縮小 … 表と裏は長い辺を1,600ピクセル程度に縮めます。洗濯表示は文字と記号がつぶれないよう、切り抜いて大きめに残します
3. 撮影台の目印の確認 … 写真に撮影台の目印が写っているかを見ます。写っていなければ、衣類の上下と左右が分からないので撮り直しを促します
4. 品目の付け足し … 店員が選んだ品目と、その品目の見どころを指示に入れます
5. 写り込みの確認 … 名札、社員証、ポケットから出た紙などが写っていないかを店員が撮るときに見ます。写っていれば外してから撮り直します
6. 大きさの確認 … 3枚と指示の文を合わせて20MBを超えないかを見ます

1番目を軽く見ないでください。 衣類の写真は、左右の取り違えがそのまま受付票の誤りになります。撮影台の目印で「お客様から見た左」か「衣類の左」かを決め、受付票の書き方もそれにそろえます。

AIに処理させる

させるのは、写真の中の傷みの候補を枠で返し、種類を付け、付属品が写っているかと、洗濯表示の記号の候補を返すことだけです。

右端の列の考え方は、迷ったら店員とお客様が見る側に倒すことです。 しわの影か汚れか分からないものは候補に入れます。候補が多いのは、お客様の前で「ここは影でした」と数秒で済みますが、候補から落ちたシミは、仕上がりの後の申し出まで誰も見ません。

1行目と2行目がいちばん起きやすい失敗です。 シミの写真を渡すと、AIは「コーヒーのようなシミ」「通常の処理で落ちる見込み」と書きたがります。受付の画面にこの言葉が出ると、店員がそのままお客様に伝えてしまいます。 返すのは「シミのように見える箇所」の位置と大きさまでにします。

4行目は、記号の表の扱いに理由があります。 JIS L0001 の概要では、5つの基本記号のどれかが記載されていないときは、その記号が意味するすべての処理が可能とされています。記号が写真に写っていないことと、記載されていないことを、AIは区別できません。「記号が無いから処理できない」とも「できる」とも書かせず、候補の書き写しにとどめます。

指示内容を固定する

あなたはクリーニング店の受付で、預かる衣類の状態を確かめる手伝いをする係です。
写真は同じ1点の衣類で、1枚目が表、2枚目が裏、3枚目が洗濯表示のラベルです。
衣類は撮影台の上に置かれ、撮影台の「上」の目印が写真の上にあります。

【この衣類の品目】{シャツ／スーツの上／コート／制服 ...}
【この品目の見どころ】{襟、袖口、脇、裾、ボタンの周り ...}

【やること】
1. 1枚目と2枚目で、次の候補を探す。
   シミ、変色、ほつれ、穴、毛玉、テカリ、ボタンの欠け、ボタンの取れかけ。
   見どころは特に注意して見る。
2. 候補ごとに、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で、
   0〜1000 に正規化して返す。種類と、見え方を短く書く。
3. ベルト、フード、ライナー、取り外しの襟が写っているかを返す。
4. 3枚目のラベルに見える洗濯表示の記号を、左から順に候補として返す。
5. 折れ曲がりや影で見えない範囲を返す。

【厳守事項】
- シミの種類や原因（飲み物、汗、油など）を書かないでください。
- 落ちるかどうか、どう処理すればよいかを書かないでください。
- 洗濯表示の記号の意味を書かないでください。見える記号の候補だけにしてください。
  読めない記号は unknown にしてください。
- しわの影か汚れか分からないものは、kind を unclear にして候補に入れてください。
- 写っていない付属品を「無い」と書かないでください。not_visible にしてください。
- 見えない範囲について「傷みなし」と書かないでください。
- 素材、ブランド、写っている人については何も書かないでください。

「写っていない付属品を無いと書かない」を入れないと、受付票に「ベルトなし」と残ります。 お客様が別の袋に入れて持ってきたベルトが、受付票の上では「預かっていない」ことになります。 付属品の有無は、店員がお客様に聞いて決めます。

出力形式を固定する

1点ごとに、次の形の JSON で受け取ります。 kind、accessory_state は enum で決まった文字列に絞ります。

{
  "item_no": "A1024-2",
  "findings": [
    { "photo": 1, "box_2d": [610, 120, 680, 190],
      "kind": "stain | discoloration | fraying | hole | pilling | shine | button_missing | button_loose | unclear",
      "note": "右袖口の内側に直径1cmほどの濃い色の点" }
  ],
  "accessories": [
    { "name": "belt", "accessory_state": "visible | not_visible" }
  ],
  "care_label": { "symbols": ["140", "200", "unknown"], "label_state": "readable | partly_readable | no_label_photo" },
  "not_visible": [ { "photo": 2, "area": "左の裾", "reason": "folded | shadow" } ]
}

1つ目の理由は、findings をそのまま「確かめる事項」の一覧にできることです。 アプリは findings を見どころの順に並べ、写真に印を描きます。店員は一覧の上から順に衣類のその箇所を指し、お客様と確かめます。

2つ目は、確定の欄と分けて記録できることです。 受付票の記録には、findings の各候補に店員が付けた「確認済み」「該当なし」と、店員が足した箇所が別の欄で残ります。後から見ると、AIが出した候補、店員とお客様が確かめた箇所、店員が足した箇所が区別できます。

3つ目は、care_label で工場の確認が速くなることです。 記号の候補は JIS L0001 の記号番号で受けます。工場のクリーニング師はラベルの写真と候補を並べて見て、自分の目で確かめます。 候補が unknown の記号は、写真で読み直します。

受付の画面に出す「確かめる事項」は、次の形です。

システムへ連携する

受付票の確定の欄には、店員が選んだ結果しか入りません。 AIの候補は別の欄に残し、確定の欄に自動で移す経路を作りません。 お客様と確かめていない記録が、確かめたことにならないようにするためです。

クリーニング業法は、受取と引渡しのときに苦情の申出先を明示することも営業者に求めています。 受付票の控えに申出先を印字する決まりは、これまでどおりレジの側で守ります。この構成は申出先の明示を代わりに行いません。

人が確認する

1. 候補をお客様と確かめる … 一覧の上から順に、衣類のその箇所を指して見せます。「確認済み」か「該当なし」を、お客様の前で選びます
2. お客様が気付いている点を聞く … 「気になるところはありますか」と聞き、AIの候補に無い箇所を足します
3. 付属品を確かめる … not_visible の付属品をお客様に聞き、預かるかを決めます
4. 工場のクリーニング師が確かめる … 申し送りの写真と衣類を見て、シミの種類、処理方法、洗濯表示の記号を自分の目で確かめます
5. 外した候補を記録する … しわの影をシミと言った、柄をシミと言った、などの理由を残します

2番目を省かないでください。 AIの候補は写真に写ったものだけで、お客様が知っている「前に食べこぼした」「一度自分で洗った」という話は写真に写りません。 その話が、工場の処理方法を決める材料になります。

目標は、1,200件をならして1件3分です。 候補の少ない衣類は印の箇所を見せて数十秒、候補の多い衣類や付属品の多いコートは数分かかります。外す候補が1件で半分を超えるなら、撮影台の照明か、衣類の広げ方が崩れています。

例外に対処する

上から3行目までが大半を占めます。 どれもAIの精度の問題ではなく、撮影台と照明、待ち時間の決め方の問題です。 撮影台を整えるほうが、指示の文をいじるより効きます。

記録を残す

• 預かり番号ごとの写真3枚と、Gemini API が返した JSON の全文
• 候補ごとに店員が付けた「確認済み」「該当なし」と、店員が足した箇所
• 受付の日時、店舗、受付をした店員
• 工場のクリーニング師が確かめた洗濯表示の記号と、決めた処理方法
• 引渡しのときに、お客様と仕上がりを確かめた記録

2つ目が、仕上がりの後の申し出のときの材料です。 「このシミは預けたときには無かった」と言われたとき、受付の写真と、お客様と確かめた結果を一緒に見られます。 どちらが正しいかを決める材料ではなく、話をすれ違わせないための材料です。

保存の期間は、仕上がりの後の申し出を受け付ける期間に合わせて決めます。 お客様の衣類の写真なので、期間を過ぎたら消します。