リユース店が買い取った家電・ブランド品・工具の写真から、商品名と型番の候補・付属品・状態の説明を作り、通販サイトへの出品の下書きにする

処理の起点を決める

在庫管理システムで、品物が「出品の準備」の状態に回ったことを起点にします。 プログラムが1時間ごとにその状態の品物を拾い、まだ下書きの無いものだけを処理します。買取の直後には動かしません。 査定の担当が動作の確認の結果を入れ終える前に下書きを作ると、「動作の確認：未記入」のまま説明文ができます。

写真の撮り直しや、査定の記録の直しがあったときは、その品物だけを呼び直します。 呼び直すと、出品の担当が直した下書きを上書きしないよう、直した後の下書きは別の欄に残します。

入力データを集める

質を決めるのは、写真の角度の決めごとです。 ラベルの寄りが無い写真の組では、型番はほとんど inferred になります。品目ごとに「ラベルはここ」の例の写真を査定の担当に渡し、撮る角度をそろえます。 炊飯器なら底、掃除機ならダストカップの裏、電動工具ならハンドルの側面です。

付属品の標準の一覧は、はじめは無くても動きます。 無いときは、写っている付属品を並べるだけにします。過去の出品で型番ごとの付属品が分かっているものから一覧にしていくと、「写っていない標準の付属品」が出せるようになります。

データの取得方法を決める

写真は、管理番号で写真の保管先から取ります。 角度のラベルで並べ、ラベルの寄りを先頭にします。動作の確認の結果と状態の基準は、在庫管理システムと社内の文書から取り、指示の文に入れます。

Gemini API へは、品物ごとに1回、写真をまとめて渡します。 1枚ずつ呼ぶと、正面の写真で推した商品名とラベルの写真で読んだ型番が別々に返り、つなぎ合わせる処理が要ります。まとめて渡せば、「ラベルの型番が正面の見た目と合うか」もAIに見させられます。

在庫管理システムに API が無い場合は、書き出したファイルで受けます。 1時間ごとに「出品の準備」の品物の一覧を書き出す設定にし、プログラムはその一覧を読みます。下書きの書き戻しも、取り込み用のファイルを作って在庫管理システムに読み込ませる形にします。 書き戻しの取り込みに失敗した品物は、次の回に同じ下書きを作り直さないよう、処理済みの印を残しておきます。

有料の利用枠で使います。 Gemini API の規約では、有料のサービスではプロンプトと応答（画像などのファイルを含む）が製品の改善に使われないとされています。

AIへ渡す前に整形する

1. 枚数と角度の確認 … 決まった角度のラベルがそろっているかを見ます。ラベルの寄りが無い組は、AIに渡す前に「ラベルの写真なし」と印を付けます
2. 形式と向き … PNG、JPEG、WEBP、HEIC、HEIF のどれかであることを確かめ、画像の向きの情報で回転しているだけのものは画素を回転させます。向きが合っていないと、返った枠がずれます
3. 縮小 … 全体の写真は長い辺を1,600ピクセル程度に縮めます。ラベルの寄りは縮めすぎると文字がつぶれるので、大きめに残します
4. 大きさの確認 … 画像を直接入れる場合は、リクエスト全体が20MBまでです。超えるときは縮め直します
5. 動作の確認の結果の付け足し … 「確認した機能」と「確認していない機能」を分けて指示に入れます
6. 人と個人の情報の映り込みの確認 … 査定の机の上の書類、売り主の手や顔が写っていれば、その写真は撮り直します

3番目を軽く見ないでください。 写真全体を同じ大きさに縮めると、銘板の小さな文字がつぶれ、読めたはずの型番が inferred になります。 ラベルの寄りの写真だけは縮め方を変えます。

AIに処理させる

させるのは、写真から商品名と型番の候補、写っている付属品、傷・汚れの場所と種類、状態の候補を返し、説明文の下書きを作ることだけです。

右端の列の考え方は、迷ったら出品の担当に見せる側に倒すことです。 推した型番は候補として返し、状態が2つに分かれれば両方を返させます。候補が多いのは担当の数秒で済みますが、確かな値のように書かれた誤りは、購入者に届くまで誰も気づきません。

確かめる事項に「製造番号のラベルが剥がれている」を入れるのは、店の判断に回すためです。 古物営業法では、古物商は買い受けようとする古物に不正品の疑いがあると認めるときは、直ちに警察官に申告しなければならないとされています。疑いがあるかを決めるのは店で、AIは写っている事実を返すだけです。

4行目がいちばん起きやすい失敗です。 新品のときの付属品を知っている製品では、AIは「リモコン・取扱説明書付き」と書きたがります。写っていない付属品が説明文に入ると、購入者からの問い合わせと返品になります。

指示内容を固定する

あなたはリユース店の出品担当を手伝う係です。
買い取った1つの品物を、決まった角度から撮った写真が複数あります。
写真のファイル名には、角度のラベル（front／back／label／accessories／closeup）があります。

【品目】{買取の記録の品目}
【メーカー】{査定の担当が入れたメーカーの名前。無ければ空}
【動作の確認の結果】確認した機能：{一覧}　確認していない機能：{一覧}
【状態の基準】{S・A・B・C・ジャンクの定義と傷の読み方の例}

【やること】
1. label の写真のラベル・銘板から、メーカー、型番、製造の年を読み取る。
   読めたものは source を label_read とし、ラベルの枠を
   [ymin, xmin, ymax, xmax] の順で 0〜1000 に正規化して返す。
2. ラベルが無い・読めない場合は、label_unreadable とし、見た目から推した
   型番の候補を最大3つまで source を inferred として返す。
3. ラベルの型番と、正面の写真の見た目が合わないと思う場合は、確かめる事項に書く。
4. accessories の写真に写っている付属品を、名前と数で並べる。
5. 傷・汚れを、場所・種類・写真の角度・枠で並べる。
6. 写真に無い面と、暗くて見えない範囲を書く。
7. 状態の基準に照らして状態の候補を返し、理由を書く。2つに分かれれば両方を返す。
8. 説明文の下書きを、下の決まりで書く。

【説明文の決まり】
- 付属品は「写真に写っている付属品」として書く。
- 動作は、動作の確認の結果に書かれた機能だけを「確認済み」と書く。
  確認していない機能は「未確認」と書く。
- 傷は、場所と種類を書く。写っていない面については何も書かない。

【厳守事項】
- 写っていない付属品を「付属」「完備」と書かないでください。
- ラベルから読めない型番を、label_read として返さないでください。
  型番の末尾を補ったり、似た型番に直したりしないでください。
- ブランド品が本物かどうか、偽物の疑いについて書かないでください。
- 「動作良好」「目立つ傷なし」「美品」と書かないでください。
- 価格や相場について書かないでください。
- 写真に人や書類が写っていても、それについては何も書かないでください。

「型番の末尾を補わない」を明記しないと、似た型番に寄せます。 ラベルの末尾がかすれていると、AIは知っている型番の中から近いものを選んで埋めます。末尾の1文字で色や容量が変わる製品では、その埋めた1文字が返品の理由になります。

「美品」「目立つ傷なし」を禁じるのは、評価の言葉だからです。 状態は基準の候補として別の欄で返させ、説明文には場所と種類という事実だけを書かせます。

出力形式を固定する

品物ごとに、次の形の JSON で受け取ります。 source、kind、rank は enum で決まった文字列に絞ります。

{
  "item_id": "",
  "identification": {
    "maker": "",
    "product_name": "",
    "model_candidates": [
      { "model_no": "", "source": "label_read | inferred | label_unreadable", "label_box": [120, 300, 180, 620] }
    ],
    "year": ""
  },
  "accessories_seen": [ { "name": "リモコン", "count": 1 } ],
  "defects": [
    { "angle": "front", "location": "天面", "kind": "scratch | dent | crack | discoloration | stain | rust | unclear", "box_2d": [410, 220, 470, 380] }
  ],
  "not_visible": [ "底面" ],
  "rank_candidates": [ { "rank": "S | A | B | C | junk", "reason": "" } ],
  "check_points": [ "ラベルの型番と正面の色が合わない" ],
  "description_draft": ""
}

1つ目の理由は、source で型番の扱いを機械的に分けられることです。 プログラムは label_read の型番だけを過去の出品の記録と照らし、一致すれば「確認：写真で一度見る」、一致しなければ確かめる事項に回します。inferred の型番は、出品の文の型番の欄に入れず、候補として担当の画面に出すだけにします。

2つ目は、accessories_seen と付属品の標準の一覧で差が出せることです。 型番が確定した後に、標準の一覧から写っている付属品を引き、「写っていない標準の付属品」を担当に見せます。 欠品と書くか、付属品の写真を撮り直すかは担当が決めます。

3つ目は、rank_candidates を確定の欄と分けて残せることです。 AIの候補と担当の確定が食い違った品物を毎週集めると、どの傷の読み方が人によって揺れているかが分かり、状態の基準の例を足す材料になります。

response_format の schema には、次のように値を絞った形を入れます（抜粋）。

{
  "type": "object",
  "properties": {
    "identification": { "type": "object", "properties": {
      "model_candidates": { "type": "array", "maxItems": 3, "items": { "type": "object",
        "properties": {
          "model_no": { "type": "string" },
          "source": { "type": "string", "enum": ["label_read", "inferred", "label_unreadable"] },
          "label_box": { "type": "array", "items": { "type": "integer" }, "minItems": 4, "maxItems": 4 }
        },
        "required": ["model_no", "source"] } } } },
    "rank_candidates": { "type": "array", "maxItems": 2 },
    "description_draft": { "type": "string" }
  },
  "required": ["identification", "accessories_seen", "defects", "not_visible", "rank_candidates", "description_draft"]
}

maxItems で候補の数に上限を付けておくと、推した型番が10個並ぶような返り方を防げます。

システムへ連携する

通販サイトへは書き込みません。 下書きをそのまま出品する経路を作ると、推した型番や評価の言葉が、担当が見る前に購入者に届きます。 在庫管理システムへの書き戻しも「出品の下書き」の欄だけにし、買取の記録には触れません。

人が確認する

出品の担当は、確かめる事項のある品物から見ます。

1. 型番を確定する … label_read は枠の位置のラベルを写真で一度見ます。inferred と label_unreadable は、実物のラベルを見に行くか、型番を空欄のまま出品します
2. 付属品を確定する … 写っていない標準の付属品があれば、実物を見て、欠品と書くか撮り直します
3. 状態を確定する … 候補と理由を読み、状態の基準で決めます
4. 確かめる事項を店長に回す … 製造番号のラベルが剥がれている、ラベルの型番と見た目が合わない、といったものは店長が見ます
5. 下書きを直して出品する … 直した内容は記録に残ります

1番目の「型番を空欄のまま出品する」を選べるようにしておきます。 推した型番を書いて間違えるより、「型番の表示なし」と書いて写真を見てもらうほうが、返品は少なくなります。

目標は、900点をならして1点4分です。 確かめる事項の無い品物は写真と下書きを一度見て1〜2分、事項のある品物は実物を見に行くので10分前後かかります。確かめる事項のある品物が3割を超える週は、写真の撮り方か状態の基準のどちらかが崩れています。 どの店舗の、どの品目で増えているかを見て、査定の担当に戻します。

例外に対処する

上から3行目までが大半を占めます。 どれもAIの精度ではなく、写真の撮り方と、実物を見に行く手順の問題です。 撮る角度の決めごとを直すほうが、指示の文をいじるより効きます。

記録を残す

• 管理番号ごとの写真の一覧と、Gemini API が返した JSON の全文
• 指示に入れた動作の確認の結果と、そのときの状態の基準の版
• 出品の担当が確定した型番・付属品・状態と、AIの候補との違い
• 店長に回した確かめる事項と、その結果
• 出品の後の、購入者からの問い合わせと返品の理由（型番・付属品・状態のどれか）

3つ目の「AIの候補との違い」が、状態の基準を直す材料です。 同じ傷でAとBに分かれる品目が分かれば、基準に例の写真を1枚足すだけで揺れが減ります。