宅配の貸衣装店が返送された仮装・パーティ衣装を開梱台で撮り、Gemini で付属品の欠けと汚れの候補を見てクリーニングと修理に振り分ける
返送された仮装・パーティ衣装のセットを開梱台で撮り、Gemini API でセット内容表と照らして、見えない付属品と汚れ・ほつれの候補を返します。取扱い表示の区分と合わせ、店の洗濯・外部のクリーニング・修理に振り分けます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- EC/その他/小売
- 対象部門
- 物流
- 対象業務
- 内容確認・チェック/分類・仕分け
- 主な課題
- 人手が足りない/入力作業が多い/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 返送の箱を開け、送り状の貸出番号で管理画面からその貸出のセットを引く
- セット内容表を印刷し、中身を1点ずつ取り出して付属品を数える
- 衣装を広げ、汚れ・ほつれ・破れ・装飾の欠けを見て、紙の検品票に書く
- 品目の素材と取扱い表示を思い出すか表示のタグを見て、店の洗濯・外部のクリーニング・修理のカゴに分ける
- 付属品が足りなければ、貸出の担当にメモで伝える
- 検品票の内容を、表計算のセットの記録に打ち込む
- 人担当が返送の箱を開け、開梱台のタブレットで送り状の貸出番号を読み込む
- 人中身を開梱台の上に決まった並べ方で広げ、真上のカメラで1枚、衣装を広げて前と後ろの2枚を撮る
- 自動Google Apps Script がセット内容表と品目の台帳を引き、Gemini API を呼ぶ
- 自動Gemini API が、セット内容表にあるはずの物のうち見えない物と、汚れ・ほつれ・破れ・装飾の欠けの候補を枠で返す
- 自動スクリプトが、品目の台帳の取扱い表示の区分と候補から、店の洗濯・外部のクリーニング・修理・点検待ちに振り分ける
- 人担当が画面の候補を衣装で確かめ、見えない付属品は箱の底と袖の中を見直す
- 人担当が振り分けの札を付けてカゴに入れる。付属品が本当に無ければ、貸出の担当に連絡する一覧に入れる
各工程の詳しい説明を読む
- 返送の箱を開け、送り状の貸出番号で管理画面からその貸出のセットを引く
- セット内容表を印刷し、中身を1点ずつ取り出して付属品を数える
- 衣装を広げ、汚れ・ほつれ・破れ・装飾の欠けを見て、紙の検品票に書く
- 品目の素材と取扱い表示を思い出すか表示のタグを見て、店の洗濯・外部のクリーニング・修理のカゴに分ける
- 付属品が足りなければ、貸出の担当にメモで伝える
- 検品票の内容を、表計算のセットの記録に打ち込む
(a)付属品を数えきれない。 2番目で、手袋は2つでひと組、小道具は箱の底や衣装の袖の中に入っていることもあります。月曜の山の前では、数えたつもりで1点見落とします。 次の貸出の準備で「ベルトが無い」と気づいたときには、どの貸出で欠けたのかが分かりません。
(b)汚れの見落としと書き方のばらつき。 3番目の検品票は、「裾汚れ」「ファンデ?」のような書き方で、担当ごとに見る所と書き方が違います。 修理の担当は、検品票を見ても衣装のどこを見ればいいか分からず、一から見直します。
(c)振り分けを間違える。 4番目で、外部のクリーニングに出すべき衣装を店の洗濯機に入れると、縮み、色落ち、装飾のはがれが起き、その衣装は貸し出せなくなります。 逆に店で洗える衣装を外に出すと、戻りが遅れて次の貸出に間に合いません。
(d)打ち込みが後回しになる。 6番目は、山が片付いた後の夕方にまとめて行い、打ち込みが翌日にずれることがあります。
- 【人】 担当が返送の箱を開け、開梱台のタブレットで送り状の貸出番号を読み込む
- 【人】 中身を開梱台の上に決まった並べ方で広げ、真上のカメラで1枚、衣装を広げて前と後ろの2枚を撮る
- 【自動】 Google Apps Script がセット内容表と品目の台帳を引き、Gemini API を呼ぶ
- 【自動】 Gemini API が、セット内容表にあるはずの物のうち見えない物と、汚れ・ほつれ・破れ・装飾の欠けの候補を枠で返す
- 【自動】 スクリプトが、品目の台帳の取扱い表示の区分と候補から、店の洗濯・外部のクリーニング・修理・点検待ちに振り分ける
- 【人】 担当が画面の候補を衣装で確かめ、見えない付属品は箱の底と袖の中を見直す
- 【人】 担当が振り分けの札を付けてカゴに入れる。付属品が本当に無ければ、貸出の担当に連絡する一覧に入れる
6番目が、この設計の分かれ目です。 写真で見えない付属品の多くは、本当に欠けているのではなく、衣装の袖や箱の底に残っています。 画面は見えない物を名前で出すので、担当は探す物が分かった状態で箱を見直せます。 数えるのではなく、探す作業に変わります。
5番目で、振り分けを AI に決めさせていないのも意図してのことです。 洗えるかどうかは、汚れの見え方ではなく衣装の素材と取扱い表示で決まります。 品目の台帳に区分を持たせ、汚れの候補は「どれだけ念入りに洗うか」「修理が要るか」だけに使います。
02今回想定するシステム構成
返送の箱(宅配で届く) ▼【トリガー】担当が貸出番号を読み込み、3枚を撮って「見る」を押す Google Apps Script(開梱台のタブレットで開くウェブアプリ) ├── 管理画面の書き出しから、貸出のセットを引く ├── セット内容表から、あるはずの物と数を引く ├── 品目の台帳から、取扱い表示の区分を引く ▼ Gemini API(画像の理解・構造化出力) │ 見えない付属品、汚れ・ほつれ・破れ・装飾の欠け ▼ Google Apps Script ── 取扱い表示の区分と店の決まりで振り分け ├──▶ 店の洗濯/外部のクリーニング/修理/点検待ち └──▶ 付属品の欠けの一覧(貸出の担当へ) ▼ 【人】担当が衣装と箱で確かめ、札を付けてカゴへ
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(開梱台の写真の付属品と汚れの候補) | Claude API、OpenAI API |
| 連携 | Google Apps Script(開梱台の画面、台帳の読み書き、呼び出し、振り分け) | Python |
| セット内容表と品目の台帳 | 今の表計算のシート(セットごとの付属品と数、品目ごとの素材と取扱い表示の区分) | - |
| 検品の記録 | 同じ表計算の別のシート | - |
新しく足すのは、開梱台の真上のカメラの台と、開梱台の画面と、Gemini API の契約だけです。 開梱台は白い天板にし、付属品を置く場所の枠をテープで貼ります。 「衣装の場所」「頭の物(帽子・ウィッグ)」「手の物(手袋)」「腰の物(ベルト)」「小道具」「袋」の6つの枠です。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文や画像を合わせたリクエスト全体が20MBまでです。1回のリクエストに複数の画像を入れられ、物の位置は 0〜1000 に正規化された [ymin, xmin, ymax, xmax] の枠で返せます。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format の mime_type を application/json にし、schema にスキーマを入れます。文字列は enum で決まった値に絞れます。構文として正しい JSON でも、値はアプリ側で確かめるよう公式に書かれています。
03どうやって実装するのか
処理の起点を決める
担当が開梱台のタブレットで送り状の貸出番号を読み込み、3枚を撮って「見る」を押したときに、1箱ずつ動きます。 画面は「中身を並べた真上の1枚」「衣装の前」「衣装の後ろ」の枠を順に出し、3枚がそろうまで「見る」を押せません。
1枚目は、真上の台に固定したカメラで撮ります。 手持ちで撮ると高さと向きが毎回変わり、小道具が枠からはみ出したり、手袋の片方が影に入ったりします。台の高さを開梱台の全体が入る位置に決め、担当は並べてボタンを押すだけにします。
2枚目と3枚目は、衣装を広げて撮ります。 衣装はハンガーに掛けて開梱台の奥の壁の前に吊るし、前と後ろを同じ位置から撮ります。汚れの多くは裾と袖口と脇に出るので、裾が床に付かない高さに吊るします。
セットが2着以上の衣装(ペアの衣装)は、着ごとに前と後ろを撮ります。 画面はセット内容表の着数に合わせて枠を足します。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 中身を並べた1枚 | 開梱台の6つの枠に並べた中身全部 | 真上のカメラ |
| 衣装の前と後ろ | 吊るした衣装の前と後ろ | 開梱台のタブレット |
| セット内容表 | セットごとの付属品の名前・数・見た目の特徴(色、形) | 表計算のシート |
| 品目の台帳 | 品目ごとの素材、取扱い表示の区分、既知の傷み | 表計算のシート |
| 貸出の情報 | 貸出番号、セットの番号、返送の着いた日 | 管理画面の書き出し |
質を決めるのは、セット内容表の「見た目の特徴」の列です。 「ベルト 1」だけでは、AI はどれがベルトかを決められません。「黒い合皮のベルト、金色のバックル」「白い手袋 2(左右)」のように見た目を書いておけば、写真の中の物と結び付けられます。セットの写真を1枚、見本として台帳に付けておくとさらに確かです。
取扱い表示の区分は、品目の台帳の列で持ちます。 衣装に縫い付けられた表示のタグを毎回読むのではなく、仕入れのときに一度読み、記号の番号で台帳に入れておきます。 消費者庁によれば、洗濯表示の記号を定める JIS L 0001 は令和6年8月20日に改正され、新しい記号が加わり、アイロンやドライクリーニングの記号の意味が変わりました。 令和7年8月19日までに従前の表示をした製品はそのまま販売できるとされているので、仕入れた時期によって新旧の表示が混ざります。 台帳には記号の番号に加えて、どちらの表示かを残します。
お客様の名前と住所は、AI に渡しません。 送り状の写真も撮らず、貸出番号だけを読み込みます。
データの取得方法を決める
貸出のセットは、管理画面の書き出しから貸出番号で引きます。 ネットの店の管理画面から毎朝、前日までの貸出の一覧を書き出して表計算のシートに置き、スクリプトはそのシートを貸出番号で引きます。 書き出しに無い貸出番号は、担当がセットの番号を手で入れます。
セット内容表と品目の台帳は、セットの番号で引きます。 付属品の名前・数・見た目の特徴を指示の文に入れ、品目の台帳の取扱い表示の区分は、AI には渡さず振り分けだけに使います。 AI に洗い方を考えさせないためです。
写真は、貸出番号と日付のフォルダに保存してから AI を呼びます。 真上の1枚は付属品の細部を見るので長い辺を2,000ピクセル程度、衣装の前と後ろは1,280ピクセル程度に縮め、3枚を1回で渡します。
有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできると案内されています。
AIへ渡す前に整形する
- 貸出番号の確かめ … 書き出しに無ければ、セットの番号を手で入れます
- 3枚がそろっているかの確かめ … 枠が埋まるまで進めません
- 向きの補正と縮める … 真上の1枚は細部を残し、衣装の写真は縮めます
- 私物の取り出し … 箱に残ったお客様の私物(手紙、化粧品、アクセサリー)を、撮る前に別の箱に分けます
- 人の写り込みの確かめ … 担当の手や顔が写っていないかを見ます
4番目を軽く見ないでください。 返送の箱には、お客様の私物や、お礼の手紙、催しの写真が入っていることがあります。並べて撮ると AI はそれを付属品と取り違えるか、手紙の文字や写真の人物を読んで書きます。 撮る前に取り出し、私物は貸出番号を書いた袋に入れてお客様への連絡の手順に回します。
5番目は、撮り方で減らします。 真上の台のカメラは、並べ直す担当の手が写ったまま撮れます。 ボタンを押すのは手を開梱台から離してから、と画面に一行で出します。
AIに処理させる
させるのは、セット内容表にあるはずの物が見えるかを返すことと、衣装の汚れ・傷みの候補を枠で返すことだけです。
| 返すもの | 中身 | 判断できないときの扱い |
|---|---|---|
| 付属品の有無 | セット内容表の物ごとに、見える/見えない/数が足りない | 重なって見えなければ hidden |
| 付属品の傷み | 帽子のつぶれ、ウィッグのからまり、小道具の折れ | 分からなければ unclear |
| 衣装の汚れの候補 | 化粧品のような色の付着、飲み物のようなしみ、泥はね、裾の黒ずみ | 汚れか柄か分からなければ unclear |
| 衣装の傷みの候補 | ほつれ、破れ、ファスナーの外れ、ボタンの欠け | 写っていなければ not_visible |
| 装飾の欠けの候補 | スパンコール・ビーズ・羽根・リボンの欠けやはがれ | 同上 |
| 既知の傷みとの比べ | 品目の台帳の既知の傷みと同じ所か | 比べられなければ not_judgeable |
付属品の hidden を独立させているのが、この構成の要です。 手袋の片方がウィッグの下にあると、写真では見えません。「見えない」を「欠け」と返すと、担当は貸出の担当に欠けを連絡し、 お客様に問い合わせが行ってから箱の中で見つかることになります。重なりで見えない物は hidden、枠の中に無いと言える物だけ missing にさせます。
汚れは見え方だけを返させます。 化粧品か食べ物か、落ちるかどうかは写真で分かりません。 色の付着の見え方と場所だけを返させ、念入りに洗うかの印に使います。
| させないこと | 理由 |
|---|---|
| 洗い方(洗濯機・手洗い・ドライ)を決めること | 品目の台帳の取扱い表示の区分で決める |
| 汚れが落ちるかを書くこと | 洗ってみるまで分からない |
| 付属品の弁償を求めるか、金額を書くこと | 規約にもとづいて貸出の担当が決める |
| 傷みの原因(着方、飲食、雨)を書くこと | 写真で分からない。お客様との話に直接ひびく |
| 次に貸せるかを書くこと | 洗いと修理の後に担当が決める |
| 私物の中身や写り込んだ人について書くこと | お客様や担当の情報を残さない |
1行目がいちばん起きやすい失敗です。 衣装の写真を見せると、AI は「サテン地のため手洗いを推奨します」と書きたがります。見た目の生地の感じから洗い方を決めると、 同じ見た目で素材が違う版の衣装を取り違えます。洗い方は台帳で決まっているので、AI には書かせません。
指示内容を固定する
あなたは衣装の貸出店で、返送された衣装セットの写真を見る手伝いをする係です。
結果を見るのは店の受け入れの担当だけです。
セットの番号:{C-1187(魔女の衣装 版B)}
あるはずの物:{
衣装 1(黒いワンピース、紫の裏地、裾にレース),
帽子 1(黒いとんがり帽子、紫のリボン),
手袋 2(黒いレースの手袋、左右),
ベルト 1(黒い合皮、金色のバックル),
小道具 1(木の杖の形の飾り、長さ40cmほど),
衣装袋 1(白い不織布)
}
写真:{1: 開梱台の真上(6つの枠に並べた中身), 2: 衣装の前, 3: 衣装の後ろ}
既知の傷み:{K1: 裾のレースの左の小さなほつれ(写真2の枠 [880,180,940,260])}
【写真1について】
- あるはずの物ごとに、見える(present)/枠の中に無い(missing)/重なって見えない(hidden)/数が足りない(short) を返してください。
- 見える物について、つぶれ・からまり・折れが見えれば枠を返してください。
【写真2・3について】
- 汚れ・ほつれ・破れ・ファスナーの外れ・ボタンの欠け・装飾の欠けの候補を、写真の番号と枠を
[ymin, xmin, ymax, xmax] の順で 0〜1000 に正規化して返してください。
- 候補ごとに、既知の傷みと同じ所か(same_as_known/new/not_judgeable)を付けてください。
【厳守事項】
- 重なっていて見えないだけの物を missing にしないでください。hidden です。
- 洗い方、手洗い、ドライクリーニング、洗濯機について何も書かないでください。
- 汚れが落ちるか、汚れの原因(化粧品、飲み物、食べ物)を言い切らないでください。見え方だけです。
- 弁償、金額、お客様の責任について何も書かないでください。
- 「次に貸せる」「問題なし」と書かないでください。
- 汚れか柄か分からないものは kind を unclear にしてください。
- 手紙・写真・私物の中身、人、人の体の一部については何も書かないでください。写っていたら found_person を true にしてください。
「見た目の特徴」を書いておかないと、付属品を数えられません。 黒いベルトと黒い手袋が並んでいると、「黒い物が3つある」としか言えません。 セット内容表の見た目の特徴を指示に入れ、物の名前と結び付けさせます。
出力形式を固定する
次の形の JSON で受け取ります。 status と kind と known は enum で決まった文字列に絞ります。
{
"set_id": "C-1187",
"found_person": false,
"items": [
{ "name": "手袋", "expected": 2, "status": "present | missing | hidden | short",
"seen": 1, "box_2d": [120, 610, 210, 700] }
],
"findings": [
{ "photo": 2, "box_2d": [700, 300, 780, 420],
"kind": "stain | fray | tear | zipper | button | ornament | crush | tangle | bend | unclear",
"look": "前の腰の下に、白っぽい粉のような付着が広がって見える",
"known": "same_as_known | new | not_judgeable", "known_id": "" }
],
"not_visible": []
}
1つ目の理由は、振り分けを規則で決められることです。 スクリプトは品目の台帳の取扱い表示の区分と候補で、次の表のように振り分けます。
| 条件 | 振り分け |
|---|---|
区分が「店で洗える」、new の候補が stain だけ | 店の洗濯(念入りの印を付ける) |
| 区分が「店で洗える」、候補なし | 店の洗濯 |
| 区分が「外部のクリーニング」(家庭での洗濯禁止の記号の品目など) | 外部のクリーニング(汚れの場所を伝票に写す) |
new の fray tear zipper button ornament | 修理(洗いの前に回す) |
unclear not_judgeable、hidden が残る | 点検待ち(担当が決める) |
修理を洗いの前に回すのは、ほつれや破れが洗いで広がるからです。 振り分けを規則にしておけば、新しく入った担当でも、ベテランと同じカゴに入れられます。
2つ目は、付属品の欠けを名前で一覧にできることです。 missing と short は、担当が箱を見直して「確かに無い」を付けた後に、貸出の担当への一覧に入ります。 貸出の担当は貸出番号から申込を引き、規約に沿って連絡するかを決めます。
3つ目は、検品の記録の打ち込みが要らなくなることです。 候補と担当が付けた確かめの結果が、そのまま検品の記録のシートに1行で入ります。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 開梱台のタブレット | Apps Script のウェブアプリを開く | 貸出番号の読み込み、3枚の撮影、候補の画面 |
| 管理画面の書き出し | 表計算のシートの読み取り | 貸出番号からセットの番号を引く |
| セット内容表・品目の台帳 | 読み取り | あるはずの物、見た目の特徴、取扱い表示の区分、既知の傷み |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | 付属品の有無、汚れ・傷みの候補 |
| 検品の記録・欠けの一覧 | 表計算のシートへの書き込み | 振り分け、確かめの結果、貸出の担当への一覧 |
ネットの店の管理画面へは書き込みません。 付属品の欠けのお客様への連絡と精算は、今の手順で貸出の担当が行います。 この構成が書くのは、検品の記録と欠けの一覧だけです。
外部のクリーニング店への伝票には、汚れの場所を写します。 「前の腰の下、白っぽい付着」と枠の付いた写真のリンクを伝票に載せれば、クリーニング店は衣装のどこを見ればいいかが分かります。
人が確認する
- 見えない付属品を探す …
missinghiddenshortの物を、箱の底・袖の中・衣装袋の中で探します newの候補を衣装で確かめる … 枠の所を見て「確認済み」か「外す」を選びます- 点検待ちを決める …
unclearとnot_judgeableを衣装を見て決めます - 札を付けてカゴに入れる … 画面の振り分けのとおりに札を付けます。迷えば責任者に聞きます
- 欠けの一覧を確かめる … 探しても無かった物だけを「確かに無い」にして、貸出の担当の一覧に送ります
1番目を省かないでください。 見えない物を探さずに欠けとして送ると、お客様に「ベルトが入っていませんでした」と連絡した後で、衣装の袖から出てくることになります。お客様との信頼にいちばん響く失敗です。
4番目で振り分けを変えたときは、理由を残します。 「区分は店で洗えるが、汚れが広いので外部へ」のような判断は、品目の台帳の区分を見直す材料になります。
目標は、1,200セットをならして1セット3分です。 付属品がそろい候補の無いセットは画面を確かめて札を付けるだけで、見えない付属品や修理の候補があるセットは時間がかかります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 貸出番号が読めない、書き出しに無い | セットの番号を手で入れる |
| 箱に別のセットの物が入っている | 見えない物と余分な物を担当が見て、該当の貸出を探す |
| 私物が入っている | 撮る前に取り出し、貸出番号を書いた袋に入れて連絡の手順へ |
| 衣装が濡れている、においが強い | 写真の確認を止め、すぐ干すか外部へ。候補は乾いてから撮り直す |
| 担当の手や顔が写った | found_person。撮り直す |
hidden が多く出る | 並べ方の枠を見直す。重ねて置かない |
| 品目の台帳に取扱い表示の区分が無い | 点検待ちにし、タグを読んで台帳に入れる |
| 指示に反して洗い方や弁償を書いた | その出力を画面に出さずに捨て、呼び直す |
JSON の値が enum に無い | その候補を出さず、担当が衣装を見て決める |
上から3行目までが大半を占めます。 どれも AI の精度の問題ではなく、返送の箱の中身の問題です。 返送の案内に「付属品は衣装袋にまとめて」と一行足すほど、hidden と取り違えは減っていきます。
記録を残す
- 貸出番号ごとの3枚の写真
- Gemini API が返した JSON(付属品の有無、汚れ・傷みの候補)
- 担当が付けた「確認済み」「外す」「確かに無い」「箱の中にあった」
- 振り分けの結果と、担当が振り分けを変えた理由
- 貸出の担当がお客様に連絡したかどうか(AI の記録とは別の列に)
3つ目の行の「箱の中にあった」が、並べ方と返送の案内を直す材料になります。 どの付属品で多いかを見ると、小さい物を衣装袋に入れてもらう案内の効き目が分かります。
04実装レベルの3段階
最小構成では週末明けの山をさばけません。 1箱ずつ貼り付けるので、月1,200セットには使えません。確かめるための段階です。 半自動化で、1セット8分が3分になり、この段階が本記事の想定です。 付属品を数える作業が「探す物の分かった見直し」になり、検品票と打ち込みが画面に置き換わります。本格構成は在庫の管理まで扱うので、 衣装ごとの履歴が半年ほどたまってから考えます。 段階を飛ばさないでください。 半自動化を1か月回すと、hidden が多い付属品と、担当が振り分けを変えることの多い品目が分かります。そこを並べ方の枠と品目の台帳に反映してから先に進みます。
05工数削減シミュレーション
導入後 1,200件 × 3分 ÷ 60 = 60 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 仮装・テーマパーティ・余興・撮影用の衣装を、帽子や小道具まで含めたセットで宅配で貸し出す店。返送の箱が週末明けに集中し、受け入れの担当がセット内容表と1点ずつ見比べる時間が取れない場合。付属品の欠けに気づくのが次の貸出の準備のときで、どの貸出で欠けたのか分からなくなる場合。借りられるのを18歳以上の方に限っている場合。
- 衣装を店頭で手渡しと返却で受け、付属品の少ないドレスやスーツが中心の店(返却時の個体の傷みを見比べる構成のほうが合う)。子ども向けの衣装の貸出や、18歳未満の方の申込を受ける店(この構成は借りる方を18歳以上に限る前提)。なお、付属品の弁償を求めるかと金額、衣装を次に貸せるかの判断、クリーニングの方法の最終の判断は、この構成では代替できません。
07最小構成で試す方法
- 1週間、返送の箱のうち50箱を、開梱台に決まった並べ方で並べて真上から撮り、衣装の前と後ろも撮る(今の検品票も今までどおり書く)
- その50箱の写真とセット内容表を、手元の Gemini の画面に1箱ずつ貼り付ける
- 「あるはずの物の一覧と写真を比べ、見える物・無い物・重なって見えない物を分けてください。衣装の汚れ・ほつれ・装飾の欠けを位置で挙げてください。洗い方と弁償は書かないでください」と指示する
- 出てきた答えを、担当が数えた結果と検品票と突き合わせる
50箱は必ずやってください。 画面を作る前に、「見た目の特徴を書けば付属品を数えられるか」「重なりを欠けと言わずにいられるか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 担当が数えた結果と合い、検品票の汚れとほつれも拾った | 開梱台の画面と台帳の準備に進む |
| 洗い方や「問題なし」を書いた | 指示の書き方で直る。構成は有効 |
| 重なった物を欠けと言うことが多い | 並べ方の枠が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、付属品を重ねて置いていたことが分かったということです。 6つの枠のテープを貼ってから、もう一度試してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 重なって見えない付属品を欠けと言う | hidden を独立させ、担当が探してから欠けにする |
| 「手洗いを推奨」と洗い方を書く | 書かせない。洗い方は台帳の区分で決める |
| 黒い付属品どうしを取り違える | セット内容表に見た目の特徴を書く |
| 柄やレースを汚れと言う | unclear を許し、既知の傷みと見本の写真を渡す |
| 私物や手紙の中身を書く | 撮る前に取り出す。書かせない |
| 新旧の取扱い表示が混ざる | 台帳に記号の番号とどちらの表示かを残す |
| 確かめる前に欠けの連絡が行く | 「確かに無い」を付けた物だけを一覧に送る |
| 振り分けを担当が変えた理由が残らない | 変えたら理由を選ばせる |
上の2行が、この構成の失敗のほとんどです。 どちらも、写真から分かること以上を画面に出すことから出ています。見えないものは見えないと、洗い方は台帳でという線を、指示と画面の言葉の両方で守ります。
下の2行は、仕組みの外で決まります。 欠けの連絡を出す順と、振り分けを変えたときの記録。どちらも受け入れの手順書に一行ずつ書き、 新しく入った担当にも最初の日に伝えます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 衣装と付属品の写真、セットの番号、貸出番号です。お客様の名前・住所・連絡先は管理画面にあり、AI には渡しません。
- お客様の情報を AI に渡さない … 送り状は撮らず、貸出番号だけを読み込みます。私物と手紙は撮る前に取り出します
- 人を写さない … 担当の手や顔が写らない撮り方にし、写ったものは残しません
- 借りる方を18歳以上に限り、画面は店の担当だけが使う … Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。申込を18歳以上に限る店の決まりを前提にし、開梱台の画面は店の担当だけが使います
- この構成は弁償と洗い方の判断を代替しません … 付属品の弁償を求めるか、衣装を次に貸せるか、クリーニングの方法をどうするかは、規約と担当の判断、取扱い表示で決めることです
- AI側にやり取りを残さない … 有料の利用枠で使い、
store=falseを付けます - 写真の保存期間を決める … 返送の写真は、付属品の欠けの問い合わせに答えるのに要る期間だけ残します
誤りが起きた場合のリスクは、箱の中にある付属品をお客様に欠けと連絡することと、洗えない衣装を店の洗濯機に入れることの2つです。 前者は hidden を missing と読み替えると起き、後者は AI の見立てで洗い方を決めると起きます。前者は探してから欠けにすることで、後者は洗い方を台帳だけで決めることで防ぎます。
10まず何から始めるか
1週目:台帳をそろえる
貸出の多い上位200セットについて、セット内容表に見た目の特徴の列を足し、品目の台帳に取扱い表示の記号の番号と店で洗えるかの区分を入れます。
2週目:開梱台を作る
真上のカメラの台を据え、6つの枠のテープを貼ります。衣装を吊るす位置を決めます。並べ方の見本の写真を開梱台の横に貼ります。
3週目:50箱で試す
50箱を手元の Gemini の画面に貼って候補を挙げさせます。重なった物を欠けと言っていないか、洗い方を書いていないかを最優先で見ます。
4週目:開梱台の画面を作る
Apps Script で貸出番号の読み込み、3枚の撮影、Gemini API の呼び出しを作り、候補の画面を出すところまで作ります。この時点では振り分けを出さず、担当が候補をどれだけ外すかだけを見ます。
2か月目: 台帳の区分による振り分けと、欠けの一覧と、検品の記録を足します。3か月目以降: 1セット8分が何分になったかを実測し、hidden の割合が下がり、付属品の欠けが箱を開けた日に分かるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文などを合わせたリクエスト全体が20MBまでであること。1回のリクエストに複数の画像を入れられること。物の位置が [ymin, xmin, ymax, xmax] の順で0〜1000に正規化された枠で返ること。画像が大きさに応じてトークンとして数えられること | Google AI Studio: Image understanding | 2026-11-04 |
構造化出力を /v1beta/interactions の response_format(mime_type に application/json、schema)で指定すること。文字列の enum が使えること。構文として正しい JSON でも値はアプリ側で確かめるよう書かれていること | Google AI Studio: Structured output | 2026-11-04 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-04 |
| 利用には18歳以上であることが必要で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと | Gemini API Additional Terms of Service | 2026-11-04 |
| 洗濯表示が繊維製品品質表示規程の「取扱い表示」であること。新しい洗濯表示の早見表などの資料 | 消費者庁: 新しい洗濯表示 | 2026-11-04 |
| JIS L 0001 が令和6年8月20日に改正され、洗濯記号の新規追加・意味の変更(アイロン仕上げやドライクリーニングの記号など)・デザインの微修正があったこと。令和7年8月19日までに従前の表示をした製品はそのまま販売できること。「家庭での洗濯禁止」の記号があること | 消費者庁: 繊維製品品質表示規程の改正について(令和6年8月20日) | 2026-11-04 |
付属品の弁償を求めるかと金額、衣装を次に貸せるか、クリーニングの方法は、店の規約と担当の判断、衣装の取扱い表示で決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2748)についてのご相談はこちらから。
