看板の施工・保守会社が屋外広告物の点検で撮った写真を Gemini で見て、さび・ボルトの緩み・表示面の割れの候補を点検項目ごとに拾い、点検報告書の下書きにする

処理の起点を決める

点検員が写真を共有のフォルダに上げたときに動きます。 処理のプログラムがフォルダを見張り、1面の看板の部位がそろったところで処理を始めます。 そろったかは、看板の種類ごとに決めた部位の一覧とファイルの数で見ます。

現地からその場で上げる形にします。 点検員がまだ看板の前にいるうちに「照明の写真が無い」「基礎の写真がぶれている」と分かれば、その場で撮り直せます。 事務所に戻ってから分かると、もう一度現地に行くことになります。

処理が終わったファイルは、看板ごとの点検のフォルダに移します。 移すのは下書きを作り終えたときだけです。共有のフォルダに残っている数が、処理を待っている数になります。 次の点検のときは、このフォルダから前回の写真を探します。

入力データを集める

質を決めるのは、部位ごとに決まった順で撮ることです。 看板の種類ごとに撮る部位の一覧を決め、アプリが順に「次は接合部」と出すようにします。撮る部位がそろっていれば、写真の無い点検項目の欄は生まれません。

点検項目の一覧は、自治体ごとに持ちます。 看板の所在地によって条例と様式が違い、たとえば三重県は令和8年10月1日の申請分から自己点検結果報告書の様式を変えています。台帳の所在地から自治体を引き、その様式の項目で返させます。

打診の結果は、AIに渡さず記録の欄に直接入れます。 打診は音と手応えで判断するもので、写真の候補と混ぜると、どちらの判断かが記録から分からなくなります。

データの取得方法を決める

写真の看板の番号と部位は、アプリが付けたファイル名から読みます。 点検員が看板に貼った管理番号の札を読み取ってから撮ると、「看板の番号_部位_連番」の名前で上がるようにします。決まりを外れた名前の写真は処理せず、点検員の画面に出します。

看板の台帳は表から読みます。 種類、高さ、表示面積、所在地、前回の点検の日を取ります。台帳に無い看板の番号は処理を止め、保守部の担当に知らせます。 新しく取り付けた看板の登録漏れが、ここで分かります。

前回の写真は、看板ごとの点検のフォルダから同じ部位のものを探します。 点検の間隔は年単位なので、前回の写真は1〜3年前のものになります。 前回の写真が無い看板（初めて点検を請け負った看板）は、比べずに今回の写真だけを見させ、下書きに「前回の写真なし」と出します。

Gemini API へは、部位ごとに1回、その部位の今回の写真と前回の写真を渡します。 部位ごとに分けると、撮り直したときにその部位だけを見直せます。写真の順番は「前回、今回」の対にし、指示の文で順番を説明します。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日）、保存しないときは store=false を付けると案内されています。

AIへ渡す前に整形する

1. 部位がそろったかの確認 … 看板の種類ごとの部位の一覧と、上がった写真を突き合わせます
2. ぶれと逆光の確認 … ぶれの大きい写真と、空を背にして暗くつぶれた写真は、撮り直しの印を付けます
3. 人と車の番号の確認 … 通行人の顔や車のナンバーが写っていれば、その範囲を塗りつぶしてから送ります
4. 大きさ … ボルトの合いマークや細い割れが見えるよう、縮めすぎない大きさで送ります
5. 台帳の付け足し … 看板の種類、材質、設置の年、点検項目の一覧を指示に入れます
6. 写真の対の確認 … 今回と前回の写真が同じ部位どうしで対になっているかを確かめます

4番目を軽く見ないでください。 公式の案内では、大きな画像は768×768ピクセルの区画に分けられ、区画ごとにトークンが数えられます。 縮めれば費用は下がりますが、高所の看板を下から撮った写真では、ボルトの合いマークは数ピクセルにしかなりません。 ボルトと接合部は、望遠か高所作業車の上から寄った写真を別に撮る決まりにします。

3番目は、看板の写真に写った人の情報を外部に送らないためです。 街なかの看板は、通行人や駐車中の車と一緒に写ります。看板の点検に人の顔も車の番号も要りません。

AIに処理させる

させるのは、部位ごとの写真を前回の写真と比べ、点検項目ごとの異常の候補を枠と輪郭で返し、前回からの変化と写っていない範囲を返すことだけです。

右端の列の考え方は、迷ったら点検員に見せる側に倒すことです。 さびか汚れか分からないものは unclear として返させます。候補が多いのは点検員の数秒で済みますが、候補から落ちたボルトの脱落は、強い風の日に看板の落下につながります。

1行目と2行目がいちばん起きやすい失敗です。 支柱にさびが写っていると、AIは「危険度が高い。早急な交換が必要」と書きたがります。報告書の下書きにその言葉が載ると、点検員が現地の結果を書く前に結論が決まってしまい、広告主にも過大に伝わります。 返すのは「主要部材のさびの候補。前回より広がって見える」までにします。

指示内容を固定する

あなたは看板の会社で、屋外広告物の点検記録づくりを手伝う係です。
点検員が現地で目視と打診をして結果を決めます。あなたは、点検員が写真で確かめるべき箇所を示してください。

【看板】{看板の番号}（{袖看板／壁面看板／野立て看板／ポールサイン}、高さ {m}、設置 {年}、材質 {鉄／ステンレス／アルミ}）
【部位】{基礎／支柱／接合部／ボルト／表示面／照明}
【点検項目】{自治体の様式の項目の一覧}
【写真の順番】前半が前回の点検（{日付}）、後半が今回の写真です。同じ順番で対になっています。

【やること】
1. 今回の写真で、点検項目に当たる異常の候補を探す。
2. 候補ごとに、今回の写真の上の枠を返す。広がりのあるもの（さび、剥離）は輪郭も返す。
   枠は [ymin, xmin, ymax, xmax] の順で 0〜1000 に正規化し、何枚目の写真かを書く。
3. 候補ごとに、当てはまる点検項目を1つ選び、見え方を下の一覧から選ぶ。
4. 候補ごとに、前回の写真と比べて new／grown／same／no_previous のどれかを選ぶ。
5. ボルトは、合いマークがあればずれているかを見る。合いマークが無ければ no_match_mark にする。
6. ぶれ、逆光、物陰で見えない範囲を返す。

【厳守事項】
- 安全か危険か、補修や撤去が必要かを書かないでください。
- ボルトが緩んでいると断定しないでください。合いマークのずれが見えることだけを書いてください。
- 内部の腐食について推測しないでください。
- 照明が点いているかどうかを書かないでください。
- さびか汚れか、割れか反射か分からないものは、appearance を unclear にして候補に入れてください。
- 見えない範囲について「異常なし」と書かないでください。
- 写真に写った人や車について何も書かないでください。

「安全か危険かを書かない」を最初に置くのは、記録の責任の所在のためです。 点検の結果は有資格者の点検員が決めるもので、記録の上でも点検員の判断として残します。

「緩んでいると断定しない」を別に書くのは、写真で分かることの限界をはっきりさせるためです。 合いマークがずれていても、締め直した後に線を引き直していないだけのことがあります。見えるのは線のずれで、緩みかどうかは点検員が工具を当てて確かめます。

出力形式を固定する

部位ごとに、次の形の JSON で受け取ります。 item、appearance、vs_previous、reason は enum で決まった文字列に絞ります。

{
  "sign_id": "S-03218",
  "part": "bolt",
  "previous_date": "2024-11-12",
  "candidates": [
    { "image_index": 4,
      "box_2d": [380, 450, 430, 500],
      "has_mask": false,
      "item": "foundation | main_member | bolt_screw | face_stain | face_damage | lighting | other",
      "appearance": "rust | corrosion | crack | deformation | match_mark_shift | missing_bolt | coating_peel | fading | sheet_peel | face_crack | cover_broken | wire_hanging | unclear",
      "vs_previous": "new | grown | same | no_previous",
      "location": "上段のフランジの右から2本目" }
  ],
  "match_mark": "present | no_match_mark",
  "not_visible": [ { "image_index": 4, "area": "裏側の接合部", "reason": "blur | backlight | obstructed" } ]
}

1つ目の理由は、item で点検記録の欄に振り分けられることです。 点検項目の欄ごとに候補が入り、候補も写真も無い欄は「写真なし」として目立ちます。 第3章の（d）の空欄が、空欄のまま見過ごされなくなります。

2つ目は、vs_previous で前回からの変化が報告書に残ることです。 「前回からあったさび」と「今回新しく出たさび」が分かれていれば、広告主にとっては補修の優先の順を考える材料になります。 点検員ごとの書き方の違い（第3章の（b））も減ります。

3つ目は、match_mark で次の点検の準備が分かることです。 合いマークの無いボルトが多い看板は、今回の点検で線を引いておけば、次回から写真で見比べられます。

点検記録の下書きの行は、次の形です。

システムへ連携する

点検員の結果と対処の欄には、プログラムから何も書きません。 記録に残る結果は、点検員が選んだものだけです。AIの候補から「要補修」の行が作られる経路を作りません。

自治体へ出す点検結果の報告書も、この下書きから自動では作りません。 報告書は様式が自治体ごとに決まっており、有資格者の点検員が自分の点検の結果として作ります。

人が確認する

1. 候補を現地の結果と照らす … 下書きの候補を、現地での目視の気付きと打診の結果と並べて見ます
2. 候補ごとに「異常」「異常でない」を選ぶ … 異常でないときは、汚れ、反射、塗装の模様、線の引き直し忘れなどの理由を選びます
3. 候補の無かった部位も見る … 写真を全部見て、AIの拾わなかった異常があれば足します。足したものには「AIの候補に無し」の印が付きます
4. 結果と対処を決める … 点検項目ごとの結果と、補修・撤去の要否、対処の案を書きます
5. 迷うものは上長に回す … 基礎と主要部材の grown の候補で判断に迷うものは、屋外広告士の資格を持つ上長が見ます

3番目を省かないでください。 AIは、逆光や物陰の異常、写真の端の異常を拾えないことがあります。下書きに候補が無いことは、異常が無いことではありません。

目標は、400件をならして1件12分です。 候補の少ない小さな袖看板は数分で済み、大きな野立て看板やポールサインで候補が多いものは30分を超えます。3番目で足した異常が週に何件あるかを数え、多い部位は撮り方の決まりを見直します。

例外に対処する

上から6行目までが大半を占めます。 どれもAIの精度の問題ではなく、撮り方と台帳の整備の問題です。 部位ごとに決まった順で撮ることと、合いマークを引いておくことのほうが、指示の文をいじるより効きます。

落下のおそれがある異常を現地で見つけたときは、この構成を待ちません。 点検員がその場で広告主と上長に連絡するのは今まで通りです。

記録を残す

• 部位ごとの写真と、Gemini API が返した JSON の全文
• そのとき比べた前回の写真の日付と、参照した台帳と点検項目の一覧の版
• 点検員が「異常でない」とした候補と、その理由
• 点検員が足した異常（AIの候補に無かったもの）
• 打診の結果、点検員の結果、対処の案、広告主への報告書
• 看板ごとの候補の続き方（同じ部位のさびが点検のたびに広がっているか）

4つ目の行が、この構成でいちばん大事な記録です。 AIの拾わなかった異常が、どの種類の看板のどの部位に、どんな撮り方のときに出たかが分かれば、撮る部位の一覧と寄った写真の決まりをどこで足すかが決まります。

記録は次の点検まで残します。 三重県の案内では、安全点検の記録は次回の点検のときまで保管することとされています。写真と下書きと点検員の結果を、看板ごとのフォルダにまとめて残します。