賃貸の募集用の室内写真から設備を見分けて、募集図面の設備欄との食い違いを掲載前に拾う

処理の起点を決める

毎日18時に、物件の状態が「掲載準備」の物件をまとめて処理します。 担当者は日中に部屋を回って写真を撮り、夕方までにフォルダに入れて状態を変えます。翌朝には確認用の一覧がそろっている形です。

フォルダに写真が入るたびに動かす形にはしません。1部屋の写真は数回に分けて入ることが多く、途中で動かすと「撮影範囲外」が増えます。 状態を「掲載準備」にすることを、「写真をそろえ終えた」という合図にします。

処理済みの物件は、プログラムの記録に物件番号と処理日時を残し、二重に処理しません。 写真を撮り足したときは、担当者が状態を「掲載準備」に戻すと、次の18時に撮り足した写真も含めて処理し直します。

入力データを集める

質を決めるのは、いちばん下の見分け方の一覧です。 「浴室乾燥機」は、浴室の天井の換気口と一体の機器か、浴室の外の壁の操作パネルで分かります。「追い焚き」は、浴槽の循環口か給湯の操作パネルで分かります。何を見れば分かるかを書いておかないと、AIは浴槽が写っているだけで追い焚きを「見える」とします。

右端の列は、写真で判定させないことの一覧です。 ガスの種類やインターネットの設備は、写真では分かりません。写真で分からない設備は、照合の対象から外します。

データの取得方法を決める

設備欄は、賃貸管理システムから CSV で書き出します。 「掲載準備」の物件に絞って書き出し、物件番号・部屋番号・設備ごとの列を持たせます。CSV の書き出しを自動にできない場合は、担当者の1人が毎日17時に書き出して決まった場所に置く運用にします。

写真は、物件ごとのフォルダから読みます。 ファイル名の先頭に、撮った場所のラベルを付けておきます（浴室_01.jpg、洗面所_01.jpg）。ラベルは、AIに「どの写真が浴室か」を推測させないために付けます。 ラベルが無い写真は「その他」として渡します。

Gemini API へは、1物件ごとに1回のリクエストで写真をまとめて渡します。 写真には番号を振り、指示の中で「写真3は浴室」のようにラベルと番号を対応させます。リクエスト全体が20MBを超えそうなときは、写真を縮小するか、Files API でアップロードしてから参照する形にします。

有料の利用枠で使います。 Gemini API の規約では、有料のサービスでは、プロンプトと応答が製品の改善に使われないとされています。無料の枠では扱いが違うので、業務の写真を送るのは有料の枠だけにします。

AIへ渡す前に整形する

1. 形式の確認 … PNG、JPEG、WEBP、HEIC、HEIF のどれかであることを確かめます。それ以外は JPEG に変換します
2. 縮小 … 長い辺を1,600ピクセル程度に縮めます。1物件20枚をまとめて渡すため、リクエスト全体の20MBに収めます
3. 向きの補正 … スマートフォンの写真は、画像の向きの情報で回転しているだけのことがあります。実際の画素を回転させてから渡します。 回転していない写真に返った座標は、枠の位置がずれます
4. 除く写真の印 … 窓の外の隣家、表札、人が写っている写真は、担当者が掲載に使わないものとして印を付けます。印の付いた写真は渡しません
5. 撮る場所の一覧との照合 … ラベルを見て、浴室の天井・洗面所・トイレ・キッチン・インターホンの写真がそろっているかを先に確かめます。そろっていない場所の設備は、AIに渡す前に「撮影範囲外」と決めます
6. 設備欄の整え … CSV の「あり／なし」を、照合する設備の一覧の名前にそろえます。システムの項目名と見分け方の一覧の名前が違う場合は、対応表で変換します

5番目を先に行うのは、AIに「無い写真」を探させないためです。 浴室の天井の写真が1枚も無ければ、浴室乾燥機は判定のしようがありません。プログラムが先に「撮影範囲外」と決め、AIには判定できる設備だけを聞きます。

AIに処理させる

させるのは、照合する設備ごとに、写真で見える状態を4つのどれかで返し、根拠の写真と位置を添えることだけです。

not_seen と out_of_frame の区別が、第1章の「写っていない」と「無い」を分けることそのものです。 浴室の天井が写っていて乾燥機が無ければ not_seen、浴室の天井が写っていなければ out_of_frame です。設備欄と照らして担当者に強く知らせるのは not_seen だけです。

3行目がいちばん起きやすい失敗です。 洋室の写真と、洋室からリビングを見た写真に同じエアコンが写ると、AIは「2台」と数えます。台数は合計させず、写真ごとに「どの部屋の写真にエアコンが写っているか」を返させ、担当者が部屋の数と照らします。

指示内容を固定する

あなたは賃貸の募集の担当者を手伝い、室内写真に設備が写っているかを確かめる係です。
写真に写っているものだけを根拠に答えてください。推測で答えないでください。

【写真】
写真ごとに番号と撮った場所のラベルがあります。
例：写真1=玄関、写真2=洋室1、写真3=浴室、写真4=浴室の天井、写真5=洗面所 …

【確かめる設備と見分け方】
{設備の一覧と、設備ごとの「写る写真」「見るもの」}

【状態の選び方】
- visible ...... その設備が見える
- not_seen ..... その設備が写るはずの場所が写っているのに、見当たらない
- out_of_frame . その設備が写るはずの場所が、どの写真にも写っていない
- uncertain .... 写ってはいるが、暗い・遠い・ぶれていて判断できない
迷ったときに visible を選ばないでください。

【厳守事項】
- 「見るもの」が写っていないのに、他のものから設備があると推測しないでください。
  浴槽が写っているだけで、追い焚きを visible にしないでください。
- 写るはずの場所が写っていなければ out_of_frame です。not_seen にしないでください。
- エアコンは、写真ごとに写っているかだけを答えてください。台数を合計しないでください。
- visible のときは、根拠の写真番号と、その写真の中の枠を
  [ymin, xmin, ymax, xmax] の順で 0〜1000 に正規化して返してください。
- 設備が使えるか、新しいか、きれいかは書かないでください。
- 人・表札・郵便物など、設備でないものについて書かないでください。
- 確かめる設備の一覧に無い設備が写っていても、ここでは答えないでください。
  ただし、extra_findings に名前と写真番号だけを書いてください。

「浴槽が写っているだけで、追い焚きを visible にしない」と具体的に書くのは、AIが「浴室があれば普通は付いている」という知識で埋めるからです。 抽象的に「推測しない」と書くだけでは止まりません。設備ごとに、何が見えたら visible かを見分け方の一覧で渡し、その外の推測を禁じます。

extra_findings を置くのは、第3章の（c）を拾うためです。 設備欄に無い温水洗浄便座が写っていれば、名前と写真番号だけが返ります。照合の一覧に入れず別に出させるのは、確かめる設備の判定が、一覧に無い設備に引っ張られないようにするためです。

出力形式を固定する

次の形の JSON で受け取ります。 status は enum で4つに絞ります。

{
  "property_id": "",
  "equipment": [
    {
      "name": "浴室乾燥機",
      "status": "visible | not_seen | out_of_frame | uncertain",
      "photos": [
        { "photo_no": 4, "box_2d": [120, 380, 260, 640], "seen": "天井の換気乾燥機の本体" }
      ],
      "note": ""
    }
  ],
  "aircon_by_photo": [
    { "photo_no": 2, "room_label": "洋室1", "visible": true }
  ],
  "extra_findings": [
    { "name": "温水洗浄便座", "photo_no": 7 }
  ]
}

照合はプログラムが行います。 AIの status と設備欄の「あり／なし」を並べ、次の規則で4つに分けます。

1つ目の理由は、照合の規則をAIの外に置けることです。 設備欄の項目が増えても、照合の規則は表のまま変わりません。AIには写真のことだけを聞き、設備欄のことは聞きません。

2つ目は、box_2d で確かめが速くなることです。 プログラムが座標を元の画像の大きさに戻して枠を描くので、担当者は枠の中を見るだけで、AIが何を見て「見える」としたかが分かります。

3つ目は、エアコンの台数を人が数えられることです。 aircon_by_photo を部屋のラベルでまとめると、「洋室1と LDK に写っている、洋室2の写真には写っていない」が分かります。設備欄の「エアコン2台」と照らすのは、担当者です。

構文として正しい JSON でも、値の検証はプログラムで行います。photo_no が渡した写真の番号の範囲にあるか、box_2d の値が 0〜1000 に収まり、上下・左右の順が逆でないかを確かめ、外れた行は uncertain として扱います。

システムへ連携する

賃貸管理システムへは書き込みません。 照合の結果で設備欄を自動で直すと、not_seen を「無い」として書き換え、写っていなかっただけの設備を消すことになります。 設備欄を直すのは、担当者が写真で確かめた後です。

ポータルサイトへの掲載にも、この構成はつなぎません。 掲載は、担当者が確かめ終えた物件だけを、これまでどおりの手順で行います。

人が確認する

担当者が見るのは、食い違いの行だけです。

1. 「図面にあるが見当たらない」を先に見る … 枠の無い写真で、本当に設備が無いかを見ます。写真の端に写っていないか、別の写真に写っていないかを確かめます。無ければ管理担当に、撤去や交換の記録が無いかを聞きます
2. 「写真にあるが図面に無い」を見る … 枠の中が本当にその設備かを見ます。後付けの設備が入居者の持ち物でないか（退去時に残された温水洗浄便座など）を管理担当に確かめます
3. 「撮影範囲外」を見る … 撮り足すか、前回の募集から設備の変更が無いことを管理担当の記録で確かめます
4. エアコンの台数を見る … aircon_by_photo の部屋ごとの有無と、設備欄の台数を照らします
5. 直したら記録する … どの設備を、どう直したか、根拠は写真か管理担当の記録か

2番目の「入居者の持ち物」を見落とさないでください。 前の入居者が付けたまま退去した設備は、写真には写りますが、貸主の設備として載せてよいかは、貸主と管理担当が決めることです。

目標は、200部屋をならして1部屋6分です。 食い違いの無い部屋は一覧を流し見て1〜2分、食い違いのある部屋は写真と記録を確かめて10分前後かかります。

例外に対処する

上の2行と「暗い・ぶれた写真」が大半を占めます。 どれもAIの問題ではなく、撮り方の問題です。 撮る場所の一覧を担当者が持ち歩けるようにするほうが、指示を直すより効きます。

記録を残す

• 物件番号、処理日時、渡した写真の番号とラベルの対応
• AIが返した JSON の全文
• そのときの設備欄（CSV の該当行）
• 照合の結果と、枠を描いた確認用の写真
• 担当者が直した設備と、根拠（写真か、管理担当の記録か）
• 撮り足しを頼んだ物件と、撮り足した日

3つ目で「そのときの設備欄」を残すのは、設備欄が後から直されるためです。 内見で申し出があったときに、掲載の時点で設備欄が何だったか、写真で何が見えていたかを並べて確かめられます。

直した記録は、設備ごとに数えます。 「浴室乾燥機の not_seen が多い」なら、浴室の天井を撮っていないか、乾燥機の撤去が物件情報に反映されていないかのどちらかです。