墓石店がお客様や霊園から届く墓石の写真を Gemini で見て、汚れ・傾き・目地の傷みの目安と、クリーニングと補修の見積の下書きを作る

処理の起点を決める

依頼が届いたときに、1件ごとに動きます。 問い合わせの欄からの依頼はサーバーが直接受け取り、霊園からのメールは受付のメールアドレスに届いたものを定期的に取り込みます。どちらも取り込んだら依頼の番号を付け、そこから先は区別しません。

霊園からまとめて届いた依頼は、区画ごとに1件に分けます。 1通のメールに複数の区画の写真が入っていても、区画の番号ごとに依頼の番号を分けて呼び出します。 まとめて渡すと、どの写真の傷みがどの区画かが混ざります。

見積の依頼を受け付けるのは、18歳以上の方に限ります。 問い合わせの欄に「工事を依頼する18歳以上の方」と書き、年齢の確認の欄を置きます。Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。AIの結果を見るのは店の担当だけで、お客様に返すのは担当が確かめた返事だけです。

入力データを集める

質を決めるのは、写真の頼み方です。 問い合わせの欄に、「正面から全体を1枚」「左右の横から1枚ずつ」「外柵の角を1枚」「気になる所の近くを1枚」と例の写真を載せます。正面からの1枚だけでは、ずれも外柵の傷みも分かりません。

前回の工事は、顧客の台帳から引きます。 目地を数年前に打ち直していれば、目地の割れは別の原因かもしれません。台帳に無い墓所は「初めての依頼」として扱い、前回の工事の欄を空にします。

データの取得方法を決める

写真はサーバーが受け取り、依頼の番号のフォルダに保存してから AI を呼びます。 呼び出しに失敗しても写真が残り、後から同じ写真で呼び直せます。

霊園からのメールは、区画の番号と写真を取り出します。 霊園ごとに区画の番号の書き方が決まっているので、霊園ごとの書き方の例を持たせて取り出します。 取り出せなかったものは、受付の担当が埋めます。

Gemini API へは、依頼1件ごとに1回、写真をまとめて渡します。 正面と横と近くの写真を一緒に渡すと、近くの写真の傷みが、どの部位のものかを全体の写真と結び付けて返せます。

前回の工事のときに店が撮った写真があれば、それも一緒に渡します。 工事の前後の写真を台帳に残している店なら、「前回は無かった目地の割れ」「前回より広がった黒ずみ」を比べて返させられます。比べるときは、写真の番号で「前回の工事のあと」「今回」を伝え、角度が違う写真どうしでずれを比べさせないようにします。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日）、store=false で保存しない動きにできると案内されています。

AIへ渡す前に整形する

1. 向きの補正 … スマートフォンの写真の向きの情報で回転しているだけのものは、画素を回転させます
2. 縮小 … 長い辺を1,600ピクセル程度に縮めます。近くの写真は、目地の割れが分かるよう大きめに残します
3. 塗りつぶし … お墓参りの方の顔、隣の区画の方、車の番号を塗りつぶします
4. 明るさの確認 … 逆光で石の面が真っ黒な写真は、AIに渡さずに撮り直しの候補にします
5. 写真の種類の振り分け … 問い合わせの欄で選んだ写真の種類（正面・横・角・近く）を、指示の文で番号とあわせて伝えます
6. 大きさの確認 … 写真と指示の文を合わせて20MBを超えないかを見ます

刻まれた文字は塗りつぶしません。 文字の色の抜けは見積の項目なので、文字の面は渡す必要があります。そのかわり、指示の文で文字を読ませず、記録に書き写させないようにします（第13章）。

AIに処理させる

させるのは、写真ごとに写っている部位と、傷みの候補を枠で返すこと、見えない部位と足りない写真を返すことだけです。

ずれの判断できないときを angle_dependent に分けているのが、この構成の要です。 斜めから撮った写真では、まっすぐの竿石も傾いて見えます。写真の角度で変わりうるものは、ずれの候補ではなく「角度しだい」として返させ、現地で確かめる事項に必ず入れます。

2行目がいちばん起きやすい失敗です。 ずれて見える写真を渡すと、AIは「倒壊の危険があります」「早急な据え直しが必要です」と書きたがります。その言葉が返事の文に入ると、お客様を不必要に不安にさせ、店の見立てのように受け取られます。 返すのは「ずれて見える」までにし、判断は職人が現地で行います。

工事の目安は、プログラムが次のように付けます。

指示内容を固定する

あなたは墓石店の受付で、お客様や霊園から届いた墓所の写真を見る手伝いをする係です。
写真の番号と種類は次のとおりです。
{1: 正面の全体, 2: 左の横, 3: 外柵の角, 4: 気になる所の近く ...}

【やること】
1. 写真ごとに、写っている部位を一覧から選ぶ。
   竿石, 上台, 中台, 芝台, 外柵, 花立て, 香炉, 水鉢, 墓誌, 灯籠, 玉砂利・敷石
2. 次の傷みの候補を探し、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で、
   0〜1000 に正規化して返す。部位と種類、見え方を短く書く。
   苔・藻、水あか、黒ずみ、さび色のしみ、鳥のふん、
   目地の割れ・欠け・抜け、石の欠け、ひびのように見える線、
   文字の色の抜け、ずれて見える箇所、すき間、雑草
3. 写真の角度でずれて見えるだけかもしれないものは、angle_dependent とする。
4. 写っていない部位と、撮り足してほしい写真を書く。

【厳守事項】
- 刻まれている文字を読まないでください。名前、戒名、日付、
  建立した方の名前などを、どこにも書き写さないでください。
  文字の色の抜けは「文字の面の右側」のように位置だけで書いてください。
- 傾きの角度やずれの大きさを数字で書かないでください。
- 据え直しが必要か、倒れるおそれがあるかを書かないでください。
- ひびの深さや、石が割れているかを書かないでください。
  「ひびのように見える線」までにしてください。
- クリーニング・補修・据え直しのどれがよいかを書かないでください。
- 石の種類や産地を書かないでください。金額を書かないでください。
- 汚れか石の模様か分からないものは、kind を unclear にして候補に入れてください。
- 写っていない部位について「傷みなし」と書かないでください。
- 人、車、隣の区画については何も書かないでください。

「刻まれている文字を読まない」を最初に置いているのは、いちばん守りたい線だからです。 何も言わないと、AIは傷みの説明のついでに「〇〇家の竿石」「平成〇年建立」と書きます。その一文が記録に残ると、故人と建立した方の名前が、見積の下書きと一緒に保存されます。

返事の文の下書きは、別の呼び出しで作ります。 受付の担当が候補を確かめたあと、確定した傷み、目安、概算、現地で確かめる事項だけを渡し、お客様向けの言葉に直させます。指示には「渡した金額と目安の言葉を変えない」「倒れる・危険と書かない」「金額は現地で確かめたあとに確定すると書く」を入れます。

出力形式を固定する

依頼1件ごとに、次の形の JSON で受け取ります。 part、kind は enum で決まった文字列に絞ります。

{
  "request_id": "R-20261027-031",
  "photos": [ { "photo": 1, "parts": ["竿石", "上台", "中台", "外柵"] } ],
  "findings": [
    { "photo": 4, "box_2d": [520, 300, 610, 480], "part": "中台",
      "kind": "joint_crack | joint_missing | moss | water_stain | blackening | rust_stain | bird_dropping | chip | crack_like_line | letter_fade | misaligned | angle_dependent | gap | weeds | unclear",
      "note": "中台と上台のあいだの目地が、右側で途切れて見える" }
  ],
  "not_visible": ["外柵の奥の左角", "竿石の裏"],
  "retake": ["右の横から全体を1枚"]
}

1つ目の理由は、findings をそのまま受付の担当の確認の一覧にできることです。 サーバーは写真に印を描き、一覧を部位の順に並べます。受付の担当は上から順に印の所を見て、「確認済み」「該当なし」を選びます。

2つ目は、目安の規則と概算の計算が、確定した findings と台帳だけを読めばよいことです。 概算の下書きは、次の形で見積の書式に書き込みます。

3つ目は、retake をそのまま撮り直しのお願いにできることです。 足りない写真があるときは、見積を出す前に撮り足しをお願いするか、見積に「現地で確かめる」と書くかを受付の担当が選びます。

システムへ連携する

返事のメールは、下書きまでにします。 受付の担当が写真と下書きを見比べてから送ります。概算の金額が自動で届くと、写真の見落としがそのまま金額の約束になります。

霊園への返事は、区画ごとの結果をまとめて1通にします。 霊園はお客様に案内を出す側なので、区画の番号と、確認済みの傷みと、現地で確かめる事項だけを返します。

人が確認する

1. 候補を写真で確かめる … 一覧の上から順に、印の所を見て「確認済み」か「該当なし」を選びます
2. 足りない写真を決める … 撮り直しをお願いするか、現地で確かめる事項にするかを選びます
3. 店主か職人に回す依頼を選ぶ … ずれて見える箇所、angle_dependent、石の欠け、ひびのように見える線がある依頼です
4. 返事の文を読み直す … 金額と目安の言葉、現地で確かめる事項がそろっているかを見て、直して送ります
5. 外した候補を記録する … 石の模様を黒ずみと言った、花立ての影をすき間と言った、などの理由を残します

3番目を省かないでください。 ずれと割れは安全に関わり、写真からは本当の状態が分かりません。 店主か職人が写真を見て、現地で見る点を書き添えます。

目標は、180件をならして1件5分です。 汚れだけの依頼は、候補を見て返事を読み直すだけで済みます。店主か職人に回す依頼と、霊園からのまとまった依頼は時間がかかります。

例外に対処する

上から2行目までが大半を占めます。 どれもAIの精度の問題ではなく、写真の頼み方の問題です。 問い合わせの欄の例の写真を直すほうが、指示の文をいじるより効きます。

6行目は、サーバーで機械的に見ます。 出力の note に、台帳にある姓や「〇〇家」の形、年号が入っていないかを調べ、入っていれば保存せずに捨てます。

記録を残す

• 依頼ごとの元の写真と、塗りつぶして AI に渡した写真
• Gemini API が返した JSON（文字の書き写しが無いことを確かめたもの）
• 候補ごとに受付の担当が付けた「確認済み」「該当なし」と、足した箇所
• そのときの店の決まりと単価表の版、付けた目安、概算
• 送った返事の文と、現地で確定した工事と金額

最後の行が、目安の決まりを直す材料です。 写真で付けた目安と現地で確定した工事を並べると、「クリーニングで出したが目地の補修も要った」依頼がどの傷みのときに多いかが分かります。