レンタカーの返却時に撮った車体の写真を貸出時の写真と比べ、新しい傷・へこみの候補を拾って、確認と精算の記録の下書きを作る

処理の起点を決める

返却の立会いで、8つの角度の写真がそろったときに動きます。 タブレットの撮影の画面で、貸渡の番号を入れて8枚を撮り終えると、写真の保管先の返却用のフォルダに入り、プログラムが動きます。

8枚そろわないうちは動かしません。 1枚ずつ送ると、比べる組がそろわないまま候補が出て、担当者が途中の結果を見て判断してしまいます。

営業所の閉店後に鍵だけを返す返却は、この構成の対象外です。 立会いが無く、候補を借受人と確かめられないからです。写真は翌朝の担当者が撮り、比べの結果は社内の記録として残しますが、借受人と確かめた記録にはなりません。

撮り直しのときは、その角度だけを差し替えて、もう一度動かします。 雨粒が多い、角度が大きくずれた、と担当者が判断したら、撮り直した角度の組だけを比べ直します。

入力データを集める

質を決めるのは、貸出時の写真が同じ角度で撮れているかです。 貸出時の左前の写真が、返却時の左前より車から遠く、斜めに撮られていると、同じ場所を比べられません。 撮る位置を床の印で決めておくのがいちばん効きます。

既存の傷の記録は、AIの判定を助けるために渡します。 「左前のバンパーの角に擦り傷（以前から）」と記録があれば、返却時の写真のその場所の傷を、新しい傷の候補から外して「既存の記録と同じ場所」として返させられます。記録の無い車両では、貸出時の写真だけが頼りになります。

データの取得方法を決める

貸出時の写真は、貸渡の番号で写真の保管先から取ります。 貸出のときも同じ8つの角度のラベルで保存しているので、ラベルで組にします。

既存の傷の記録は、貸渡の管理システムから車両番号で取ります。 API で取れない場合は、管理システムから毎朝、車両ごとの既存の傷の一覧を書き出し、プログラムが読む場所に置きます。貸出の後に記録が変わることは少ないので、毎朝の書き出しで足ります。

Gemini API へは、角度ごとに1回、貸出時と返却時の2枚を組にして渡します。 8回の呼び出しを並べて行います。8枚と8枚を1回でまとめて渡すこともできますが、角度ごとに分けると、どの組で比べたかがはっきりし、撮り直しのときにその角度だけを比べ直せます。

有料の利用枠で使います。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。

AIへ渡す前に整形する

1. 形式と向き … PNG、JPEG、WEBP、HEIC、HEIF のどれかであることを確かめ、画像の向きの情報で回転しているだけのものは画素を回転させます。向きが合っていないと、返った枠の位置がずれます
2. 縮小 … 長い辺を1,600ピクセル程度に縮めます。小さな擦り傷を見るため、縮めすぎない大きさを最小構成で確かめて決めます
3. 組の確認 … 8つの角度のラベルがそろっているか、貸出時の同じラベルの写真があるかを見ます。組がそろわない角度は、AIに渡さず「比べられない（貸出時の写真なし）」と決めます
4. 撮影の条件の付け足し … 貸出時と返却時の撮影の条件（屋内／屋外、昼／夜、雨）を指示に入れます。条件が違うことを知らせておくと、映り込みを傷の候補にしにくくなります
5. 既存の傷の記録の整え … 部位の名前を、8つの角度のどの写真に写るかで振り分けます。「左前のバンパーの角」は左前と前の写真に写ります
6. 人の映り込みの確認 … 車体の写真に借受人や通行人が写り込んでいれば、その写真は撮り直します。車体だけが写るように撮る位置を決めておきます

4番目を軽く見ないでください。 照明の映り込みや雨粒は、写真の上では細い線や点に見えます。貸出時が屋内、返却時が屋外の雨なら、その差を前提に比べさせます。

AIに処理させる

させるのは、角度ごとに貸出時と返却時の写真を比べ、返却時の写真にあって貸出時の写真に無い傷の候補を枠で返し、比べられなかった範囲を返すことだけです。

右端の列の考え方は、迷ったら人に見せる側に倒すことです。 汚れか傷か分からないものは候補に入れ、同じ場所か分からない既存の傷は新しい候補として返させます。候補が多すぎるのは担当者の数秒で済みますが、候補から落ちた傷は誰も見ません。

2行目がいちばん起きやすい失敗です。 貸出時の写真が明るすぎて傷が飛んでいただけの場所を、返却時に「新しい傷」と言い切ると、借受人に使用中の傷として伝わります。 AIが出すのは「返却時の写真にあって、貸出時の写真では見えない」という事実までにします。

指示内容を固定する

あなたはレンタカーの返却の立会いを手伝う係です。
同じ車を同じ角度から撮った2枚の写真があります。
1枚目は貸し出したときの写真、2枚目は返却されたときの写真です。

【撮影の条件】
貸出時：{屋内／屋外、昼／夜、雨の有無}
返却時：{屋内／屋外、昼／夜、雨の有無}

【この角度に写る既存の傷の記録】
{部位、種類、大きさの目安}

【やること】
1. 2枚目にあって、1枚目では見えない傷・へこみ・割れ・塗装のはがれの候補を探す。
2. 候補ごとに、2枚目の写真の上の枠を [ymin, xmin, ymax, xmax] の順で、
   0〜1000 に正規化して返す。種類と、1枚目の同じ場所の様子も書く。
3. 既存の傷の記録と同じ場所の傷は、新しい候補ではなく existing として返す。
4. 雨粒、映り込み、暗さ、角度のずれで比べられなかった範囲を、理由とともに返す。

【厳守事項】
- 傷かどうか確定しないでください。汚れか傷か分からないものは、
  kind を unclear にして候補に入れてください。
- 既存の記録と同じ場所か分からない傷は、新しい候補として返してください。
- 「使用中に付いた」「借受人の責任」「摩耗」とは書かないでください。
  あなたが返すのは、2枚目にあって1枚目では見えないという事実だけです。
- 比べられなかった範囲がある場合、その範囲について「傷なし」と書かないでください。
- 修理の要否、費用、補償については書かないでください。
- 車体以外（人、背景、ナンバー以外の掲示物）については書かないでください。

「使用中に付いた」と書かせない一文は、表現の問題ではありません。 記録の下書きにこの言葉が載ると、担当者が確かめる前に、借受人への説明の言葉として使われてしまいます。 AIの出力から、責任に関わる言葉を最初から外しておきます。

「既存の記録と同じ場所か分からなければ新しい候補に」は、第7章の「迷ったら人に見せる側」を指示にしたものです。 既存の傷のすぐ隣に新しい傷が付くことは珍しくなく、既存と思って見過ごした場所が、実は広がっていたということが起きます。

出力形式を固定する

角度ごとに、次の形の JSON で受け取ります。 kind と reason は enum で決まった文字列に絞ります。

{
  "angle": "left_front",
  "candidates": [
    {
      "box_2d": [610, 120, 700, 260],
      "kind": "scratch | line_scratch | dent | crack | paint_peel | glass_chip | unclear",
      "checkout_view": "貸出時の写真では同じ場所に線は見えない",
      "note": ""
    }
  ],
  "existing": [
    { "record_id": "", "box_2d": [580, 80, 640, 160], "note": "記録の擦り傷と同じ場所" }
  ],
  "not_comparable": [
    { "area": "フロントガラスの上半分", "reason": "rain | reflection | dark | angle_mismatch | no_checkout_photo" }
  ]
}

response_format の schema には、次のように値を絞った形を入れます（抜粋）。

{
  "type": "object",
  "properties": {
    "angle": { "type": "string", "enum": ["front", "rear", "left_front", "left_rear", "right_front", "right_rear", "left_side", "right_side"] },
    "candidates": { "type": "array", "items": { "type": "object",
      "properties": {
        "box_2d": { "type": "array", "items": { "type": "integer" }, "minItems": 4, "maxItems": 4 },
        "kind": { "type": "string", "enum": ["scratch", "line_scratch", "dent", "crack", "paint_peel", "glass_chip", "unclear"] },
        "checkout_view": { "type": "string" }
      },
      "required": ["box_2d", "kind", "checkout_view"] } },
    "not_comparable": { "type": "array" }
  },
  "required": ["angle", "candidates", "not_comparable"]
}

not_comparable を required に入れるのは、空でもよいから必ず返させるためです。 項目ごと省かれると、比べられなかったのか、比べられない範囲が無かったのかが区別できません。

1つ目の理由は、not_comparable を独立して持てることです。 比べられなかった範囲は、タブレットの画面で灰色の網掛けとして出します。担当者は、網掛けの範囲を目で見ます。候補が無いことと、比べられなかったことが、画面の上で別のものとして見えます。

2つ目は、担当者の選んだ結果をそのまま記録にできることです。 候補ごとに、担当者が「傷あり（新規）」「既存」「傷ではない」を選ぶと、プログラムが返却点検の記録の下書きを作ります。

【返却点検の記録（下書き）】
貸渡番号：R-2026-10-14-0123　車両：〇〇〇（登録番号の下4けた 1234）
確認日時：2026-10-14 17:42　確認者：（担当者名）　立会い：借受人ご本人
新しい傷：1件
  ・左前のバンパーの角　線傷　約5cm（担当者が車体で確認、借受人と確認済み）
    根拠写真：返却時 左前（枠1）／貸出時 左前
既存の傷：1件（記録どおり）
比べられなかった範囲：フロントガラスの上半分（雨）→ 担当者が目視で確認、異常なし
店長への確認事項：新しい傷1件の精算の扱い

下書きの「借受人と確認済み」は、担当者が画面で選んだときだけ入ります。 AIの出力から自動で入る項目ではありません。

プログラムは値を検証します。box_2d が 0〜1000 に収まり、上下・左右の順が逆でないか、angle が渡した角度と同じかを確かめ、外れたものは画面に「位置不明の候補」として出します。

システムへ連携する

管理システムに書くのは、担当者が確定した記録だけです。 AIの候補をそのまま既存の傷の記録に足すと、汚れや映り込みが傷として残り、次の貸出で借受人に「前からある傷」として見せることになります。

新しい傷が確定したら、既存の傷の記録に足すのは、修理するかどうかが決まった後にします。修理するなら、修理後に記録から外します。

人が確認する

担当者が、借受人と一緒に車体で確かめます。

1. 候補の場所を車体で見る … 枠の場所に行き、傷か、汚れか、映り込みかを見ます。汚れなら拭いて確かめます
2. 網掛けの範囲を目で見る … 比べられなかった範囲は、AIは何も言っていません。ここを見ないと、雨の日の返却は確認が抜けます
3. 候補ごとに結果を選ぶ … 「傷あり（新規）」「既存」「傷ではない」。新規なら、大きさの目安と、近くで撮り足した写真を付けます
4. 借受人と確かめたことを記録する … 借受人に見せたかどうかを選びます
5. 新しい傷は店長に回す … 精算の扱いは店長が決めます

2番目を省かないでください。 雨の日や夜の返却では、網掛けの範囲が広くなります。AIの候補が0件でも、網掛けの範囲が広ければ、それは「確かめられていない」という結果です。

借受人には、枠を描いた返却時の写真と、同じ角度の貸出時の写真を並べてタブレットで見せます。 見せるのは担当者が車体で確かめた後です。確かめる前に枠だけを見せると、汚れの枠まで「傷があると言われた」と受け取られます。 「傷ではない」と選んだ候補の枠は、借受人に見せる画面から消します。

目標は、1,200件をならして1件2分です。 候補が0〜1件で網掛けの少ない返却は1分ほど、候補の多い返却や雨の日は数分かかります。

例外に対処する

「API が応答しない」ときに、これまでの立会いに戻れることが前提です。 この構成は立会いの手順を補助するもので、AIが止まっても返却は受けられるようにしておきます。

記録を残す

• 貸渡の番号、角度ごとの貸出時と返却時の写真、撮影の条件
• AIが返した JSON の全文（候補・既存・比べられなかった範囲）
• 担当者が候補ごとに選んだ結果と、撮り足した写真
• 借受人と確かめたかどうか、確かめた日時
• 店長の精算の判断（AIの記録とは分けて残す）
• 角度ごとの網掛けの割合

2つ目と3つ目を並べて残すのは、後で問い合わせがあったときのためです。 「返却のときに何が候補に出て、担当者がどう判断したか」が残っていれば、洗車の後に見つかった傷が、立会いのときに比べられていた範囲かどうかを確かめられます。

最後の行は、撮り方を直す材料になります。 特定の営業所の、特定の角度だけ網掛けが多いなら、照明か撮る位置に理由があります。