中古厨房機器の買取店がお客様から届く機器と銘板の写真を Gemini で見て、型式・製造年・電源・傷みの一覧と査定の下書きを作る

処理の起点を決める

起点は、申込みのフォームが送信されたときです。 フォームの送信で写真が保管の場所に置かれ、サーバーが申込みの番号ごとに処理を始めます。 閉店の日が迫ったお客様は早い返事を求めるので、1日1回のまとめての処理にはしません。

撮り直しの写真が届いたときも、トリガーです。 撮り直しの依頼の文には申込みの番号を書き、お客様が同じ番号で写真を追加できるようにします。 追加の写真が届いたら、その機器だけを読み直し、一覧を更新します。1件分を最初から読み直すと、担当がすでに確かめた機器の一覧が変わってしまうことがあります。

営業時間の外に届いた申込みも、読み取りまでは進めます。 翌朝に担当が出勤したとき、一覧と撮り直しの依頼の下書きがそろっている状態にします。お客様への返事は、担当と責任者が見てからです。

入力データを集める

フォームでは、機器ごとに3種類の写真の欄を分けます。 「機器1：全体」「機器1：銘板」「機器1：傷み（任意）」のように欄を分け、写真のファイル名に機器の番号と種類が付くようにします。 欄を分けずに写真をまとめて受けると、どの銘板がどの機器のものかを Gemini が取り違えることがあります。

買取の実績の表は、型式の書き方をそろえておきます。 メーカーによって型式にハイフンや空白が入るので、表には記号を除いた「照合の型式」の列を持たせます。 Gemini が読んだ型式も同じ規則で記号を除いてから引きます。

機器の種類の一覧には、銘板で必ず読む項目を書きます。

この一覧は、Gemini への指示とは別に、Python の検証に使います。 Gemini が返した一覧で、種類ごとに必ず読む項目が欠けていれば、その機器は撮り直しに回します。

データの取得方法を決める

Gemini には、1件分の写真を機器ごとにまとめて渡します。 「機器1の写真は3枚、機器2の写真は2枚」と指示に書き、機器の番号ごとに一覧を返させます。 1台ずつ別々に呼ぶより、同じ店の機器どうしで銘板の書き方が似ていることを手がかりにできます。 公式の案内では、1回のリクエストに入れられる画像は3,600枚までとされていますが、リクエスト全体が20MBを超えないよう、大きさを整えてから渡します。

実績の表で型式が見つからないときは、近い行を候補として出すだけにします。 同じメーカーの同じ機器の種類の行を、「型式の一致なし・参考」として並べ、幅の下書きは出しません。 担当が型式の違いを見て判断します。

AIへ渡す前に整形する

1. 写真の向きを直す … 撮影の情報の向きで回し、銘板が横倒しにならないようにします
2. 大きさを整える … 長い辺を決まった大きさに縮め、1件分が20MBに収まるようにします。銘板の写真は縮めすぎません
3. 人の顔と書類の写り込みを塗りつぶす … 厨房の写真には従業員や、壁に貼られた書類が写ることがあります
4. 機器の番号ごとに写真を分ける … ファイル名の機器の番号で、全体・銘板・傷みの組にします
5. 写真の欠けを先に拾う … 銘板の欄が空の機器は、Gemini に渡す前に撮り直しの依頼に回します

2番目で銘板の写真を縮めすぎないのは、文字が小さいからです。 全体の写真と同じ大きさに縮めると、銘板の刻印がつぶれて、読めないものが増えます。 銘板の写真は、全体の写真より大きく残します。

5番目を Gemini の前に置くのは、無い写真から読ませないためです。 銘板の写真が無いのに全体の写真だけを渡すと、Gemini は外観からメーカーや型式を推し量ろうとします。 欄が空なら、渡す前に止めます。

AIに処理させる

1行目がいちばん起きやすい失敗です。 型式の末尾の1文字がかすれていると、Gemini はよく見る型式の形に合わせて埋めたくなります。末尾の1文字は、冷凍庫か冷蔵庫か、扉の数がいくつかを表すことがあります。 読めない文字は「?」にさせ、model_status を「一部読めない」にさせます。

3行目も、指示に書かないと起きます。 製造年の欄がかすれていると、Gemini は製造番号の先頭の数字から年を推し量ることがあります。製造番号の付け方はメーカーごとに違い、店の誰もその規則を確かめていません。 製造年が読めなければ、読めないと返させます。

指示内容を固定する

あなたは中古厨房機器の買取店で、お客様が撮った機器の写真から、
査定の材料を読み取る担当です。写真に写っているものだけを答えてください。

【渡すもの】
申込みの番号：{request_id}
機器ごとの写真：機器1（全体・銘板・傷み）、機器2（全体・銘板）……
写真のファイル名の先頭が機器の番号です。

【機器ごとに返すこと】
1. 機器の種類（次の一覧から1つ。当てはまらなければ「その他」）
   {equipment_types}
2. 銘板の項目：メーカー、型式、製造年、製造番号、電源、ガスの種類、冷媒、消費電力
   - 銘板に書かれた文字のとおりに写す。大文字・小文字・ハイフンも写す
   - 読めない文字は「?」にする。似た文字で埋めない
   - 項目ごとに状態を選ぶ：読めた／一部読めない／読めない／写っていない
3. 傷みの候補：種類と、写真のファイル名と、枠（box_2d）
4. 写真の質：ぼけ・暗い・反射・斜め・遠い のうち当てはまるもの

【厳守事項】
- 銘板の写真以外から、メーカー・型式・製造年を答えないでください。
  全体の写真のロゴや形から推し量らないでください。
- 製造年を製造番号から推し量らないでください。
- 電源は「単相100V」「三相200V」のように、銘板の表記のまま写してください。
  ガスの種類は「都市ガス」「LPガス」「13A」など、銘板の表記のまま写してください。
- 買取の金額、相場、動くかどうか、安全に使えるかを書かないでください。
- 傷みは「候補」です。汚れか傷か分からないものも候補に入れ、
  type に「判別できない」を選んでください。
- 写真の中の人の顔、書類、ほかの店の名前は答えに含めないでください。

指示は「推し量らない」を項目ごとに書きます。 「推測しないで」と1行書くだけでは、Gemini はメーカーのロゴから型式の頭の文字を補います。どの手がかりから何を推し量ってはいけないかを、1つずつ書きます。

傷みは候補として広く拾わせます。 汚れと傷の区別は写真では難しく、拾いすぎは担当が外せば済みますが、拾い漏れは出張の当日の金額の変更になります。

出力形式を固定する

次の形のJSONで受け取ります。

{
  "request_id": "",
  "items": [
    {
      "item_no": 1,
      "equipment_type": "refrigerator | freezer | ice_maker | dishwasher | gas_range | fryer | other",
      "nameplate": {
        "maker":      { "text": "", "status": "read | partial | unreadable | not_in_photo" },
        "model":      { "text": "", "status": "read | partial | unreadable | not_in_photo" },
        "year":       { "text": "", "status": "read | partial | unreadable | not_in_photo" },
        "serial":     { "text": "", "status": "read | partial | unreadable | not_in_photo" },
        "power":      { "text": "", "status": "read | partial | unreadable | not_in_photo" },
        "gas_type":   { "text": "", "status": "read | partial | unreadable | not_in_photo" },
        "refrigerant":{ "text": "", "status": "read | partial | unreadable | not_in_photo" }
      },
      "defects": [
        { "type": "dent | rust | gasket_tear | door_warp | glass_crack | burn | missing_part | unclear",
          "file": "", "box_2d": [0, 0, 0, 0] }
      ],
      "photo_quality": ["blur | dark | glare | angle | far"]
    }
  ]
}

status を項目ごとに持たせるのが、いちばん大事なところです。 Python は、機器の種類の一覧で必ず読む項目の status を見て、1つでも read でなければ、その機器を撮り直しに回し、幅の下書きを出しません。 型式が partial のときに実績の表を引かないのも、この値で決めます。

構造化出力の制約の効き方に注意します。 enum は守られるとされているので、status と type は決まった値の外に出ません。一方、文字の長さの制約は外されるとされているので、型式の文字数の検証は Python で行います。 型式に「?」が含まれていれば、status が read でも partial に直します。

Python が足す項目は、次のとおりです。

システムへ連携する

実績の表にも、古物の帳簿にも、自動では書き込みません。 写真の段階は概算で、買い取ったときに初めて帳簿に記載します。 査定の画面の一覧は、出張の当日の確認の材料と、帳簿の「特徴」の欄の下書きに使います。

呼び出しでは store=false を指定します。 公式の案内では、Interactions API は既定でやり取りを保存し、有料の枠では55日保持するとされ、store=false で保存しない動きにできるとされています。お客様の店の厨房の写真なので、API 側に残さない設定にし、記録は店のサーバーに残します。

人が確認する

1. 撮り直しに回った機器を見る … 理由が正しいかを見て、依頼の文を直します
2. 銘板の項目を写真と照らす … 型式・製造年・電源・ガスの種類を、銘板の写真と1文字ずつ見ます
3. 傷みの候補を枠で確かめる … 汚れなら外し、見落としがあれば足します
4. 幅の下書きを直す … 実績の表の行と、傷みの程度を見て、担当が幅を決めます
5. 責任者が見てから返す … 幅と撮り直しの依頼を見て、お客様に送ります

2番目を省かないでください。 電源とガスの種類は、買い手の店で使えるかを決める項目で、読み違えは出張の当日の金額の変更になります。銘板の写真と Gemini の読んだ文字を並べて見るので、拡大して一から読むより速く、確実です。

担当が直した項目は、直した理由と一緒に残します。 どの文字をどう読み違えたかが溜まると、指示に書き足すべき「似た文字」の組が分かります。

目標は、1件5分です。 撮り直しに回った機器の確認、銘板の照らし合わせ、幅の調整が中心です。

例外に対処する

上から3行目までが大半を占めます。 どれも Gemini の問題ではなく、お客様の撮り方の問題です。 撮り直しの依頼の文に、銘板の場所の例（冷蔵庫は扉の内側の上、製氷機は前面の下、など）を機器の種類ごとに添えると、撮り直しが一度で済みます。

8行目は、写真の段階で気づけることがあります。 製造番号の部分だけが削られている、銘板が剥がされている、といった写真は、Gemini の status では「読めない」としか出ません。 担当が写真を見て、読めない理由が汚れか、削られたものかを見分けます。

記録を残す

• 申込みの写真（塗りつぶし前と後）と、申込みの情報
• Gemini が返した JSON と、Python が足した項目
• 担当が直した項目と理由、決めた幅、責任者の確認
• お客様に送った概算と撮り直しの依頼
• 出張の当日の確定の金額と、写真の段階の幅との差

最後の行が、この構成を育てる材料です。 写真の幅と確定の金額の差が大きい機器の種類は、写真で分からない傷みが多い種類です。撮ってもらう写真の欄を足すか、幅を広めに伝えるかを決めます。

記録は店のサーバーに残します。 買い取った機器の帳簿の記載と保存は、古物営業法の決まりに従って行います（第13章）。