農機の販売店が修理の依頼の写真を Gemini で見て、銘板の型式と製造番号を読み、故障の箇所の見立てと持っていく部品のメモを作る

処理の起点を決める

依頼が届いたときに、1件ごとに動きます。 問い合わせの欄からの依頼はサーバーが直接受け取り、受付のメールに届いたものは定期的に取り込みます。取り込んだら依頼の番号を付け、そこから先は区別しません。

銘板の写真が無い依頼も、そのまま流します。 銘板の読み取りを飛ばし、お客様の名前で販売の台帳を引いて、持っている機械が1台だけならその型式で進めます。 同じ種類の機械を2台以上持っているお客様には、銘板の写真のお願いを返事の下書きに入れます。

写真が後から届いたときは、同じ依頼の番号で呼び直します。 お客様が撮り直した銘板や、追加の近くの写真が届いたら、前の結果を上書きせず、新しい結果として並べます。 どの写真から何を読んだかを後で追えるようにするためです。

入力データを集める

質を決めるのは、銘板の写真の頼み方です。 問い合わせの欄に、機械の種類ごとの銘板の位置の例の写真を載せ、「泥を拭いてから、正面から明るい所で」とお願いします。銘板の写真が読めるかどうかで、その後の段がすべて決まります。

撮るときの注意も、例の写真と一緒に載せます。 「エンジンを止め、鍵を抜いてから撮ってください」「刃や回る部分には手を近づけないでください」と書きます。修理の依頼の写真を撮るために、お客様がけがをすることは避けなければなりません。

データの取得方法を決める

写真はサーバーが受け取り、依頼の番号のフォルダに保存してから AI を呼びます。 呼び出しに失敗しても写真が残り、後から同じ写真で呼び直せます。

Gemini API へは、2回に分けて呼びます。 1回目は銘板の写真だけを渡し、文字を読ませます。2回目は機械の写真と症状の文、それに台帳で確定した機械の種類を渡し、故障に見える箇所を返させます。分けるのは、銘板の文字を読むときに機械の写真や症状の文が混ざると、「この症状ならこの型式だろう」と文字を推しはかるおそれがあるからです。

販売の台帳は、読めた文字でゆるく引きます。 製造番号の ? の桁は何にでも当たるものとして、お客様の名前と機械の種類で絞った台帳の行と照らします。候補が1台に絞れても、受付の担当が確かめるまでは確定にしません。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日、無料の枠で1日）、store=false で保存しない動きにできると案内されています。

AIへ渡す前に整形する

1. 写真の種類の振り分け … 問い合わせの欄で選んだ種類（銘板・全体・近く）で分けます。選ばれていないものは、1回目の呼び出しで「銘板が写っているか」だけを答えさせて分けます
2. 向きの補正 … スマートフォンの写真の向きの情報で回転しているだけのものは、画素を回転させます
3. 銘板の写真は縮めない … 文字の線が細いので、元の大きさのまま渡します。全体の写真は長い辺を1,600ピクセル程度に縮めます
4. 塗りつぶし … お客様や家族の顔、軽トラックの番号、家の表札を塗りつぶします
5. 暗さとぶれの確認 … 納屋の中で撮った暗い写真や、ぶれた銘板は、撮り直しの候補にします
6. 大きさの確認 … 写真と指示の文を合わせて20MBを超えないかを見ます

3番目を軽く見ないでください。 銘板の数字は、縮めると 3 と 8、0 と 6 が見分けられなくなります。縮めた写真から読んだ文字は、? になるべき桁が数字で埋まって返ってきます。

AIに処理させる

1回目にさせるのは、銘板の文字を1文字ずつ読み、読めない文字を ? にすることだけです。

2回目にさせるのは、故障に見える箇所の候補を枠で返すことと、写っていない所を返すことだけです。

銘板の ? と、候補の unclear を許しているのが、この構成の要です。 どちらも「分からない」を答えとして返せるようにしたもので、分からないことを埋めさせないための逃げ道です。

1行目がいちばん起きやすい失敗です。 銘板の写真を渡して型式を聞くと、AIは消えた桁を埋めた、台帳にありそうな形の文字を返します。それで台帳が1行に当たると、誰も疑いません。 読めない桁は ? のままにさせ、台帳の照合は「?」を含む文字で人が確かめます。

最後の行も、指示に必ず入れます。 農林水産省は、農業機械の新しい安全性検査制度で、シートベルトを着けていないと知らせる仕組みや、運転席を離れると作業機への動力が切れる仕組みを備えた機械が合格したと公表しています。症状の文に「座席を離れると止まる」「ベルトの警報が鳴る」とあると、AIはそれを故障と見て外し方を書きかねません。安全装置に関わる症状は、整備士に回すだけにします。

指示内容を固定する

あなたは農業機械の販売店で、修理の依頼の写真を見る手伝いをする係です。

【1回目：銘板】
渡すのは銘板の写真だけです。
- メーカーの名前、型式、製造番号を、銘板に書かれた文字のとおり、
  1文字ずつ読んでください。
- 読めない文字、欠けている文字、確かでない文字は ? にしてください。
  それらしい文字で埋めないでください。
- 型式の書き方を、知っている型式の形に直さないでください。
- 銘板が写っていなければ no_plate にしてください。
- 読めなかった理由を、泥・油・日焼け・反射・ぶれ・切れて写っていない から選んでください。

【2回目：機械】
機械の種類：{コンバイン}  症状の文：{刈り取りの途中で左の刈刃が止まった。焦げたにおいがした}
写真の番号と種類：{1: 全体, 2: 左の刈刃の近く, 3: ベルトの覆いのあたり}
- 次の種類の候補を探し、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で、
  0〜1000 に正規化して返してください。部位と種類、見え方を短く書いてください。
  油のにじみ、ベルトの切れ・外れ、刃の欠け・曲がり、爪の摩耗、
  タイヤ・クローラの割れ・切れ、配線の傷み・外れ、ホースの割れ、
  部品の外れ、さび、変形
- 症状の文に出てくるのに写っていない部位と、撮り足してほしい写真を書いてください。

【厳守事項】
- 故障の原因、修理の方法、部品の番号、金額、時間を書かないでください。
- お客様が自分で直す方法を書かないでください。
- 安全装置を外す、止める、つながないようにする方法を書かないでください。
  安全装置に関わる症状は、safety_related を true にするだけにしてください。
- 汚れか油のにじみか分からないものは、kind を unclear にしてください。
- 写っていない部位について「異常なし」と書かないでください。
- 人、車、家については何も書かないでください。

「型式の書き方を、知っている型式の形に直さない」を入れているのは、1回目でいちばん起きやすい直し方だからです。 AIは、読めた文字が知っている型式の並びに近いと、その型式の書き方にそろえて返します。 そろえた型式は台帳で当たりやすく、当たってしまうと、違う機械の部品の候補が並びます。

見立てのメモの文は、別の呼び出しで整えます。 受付の担当が機械を確定し、候補を確かめたあとに、確定した型式、確かめた候補、症状の文、修理の記録の直近の行だけを渡し、整備士向けの3〜5行のメモにさせます。指示には「原因を言い切らない」「部品の番号を書かない」「渡した言葉以外の部位を足さない」を入れます。

出力形式を固定する

1回目は、次の形の JSON で受け取ります。

{
  "request_id": "S-20261028-112",
  "plate_found": true,
  "maker": "",
  "model": "AB?-12",
  "serial": "10?35",
  "unreadable_reason": ["mud", "glare"]
}

2回目は、次の形で受け取ります。 kind は enum で決まった文字列に絞ります。

{
  "request_id": "S-20261028-112",
  "findings": [
    { "photo": 3, "box_2d": [400, 220, 520, 410], "part": "ベルトの覆いのあたり",
      "kind": "oil_seep | belt_cut | belt_off | blade_chip | blade_bent | tine_worn | track_crack | tire_crack | wire_damage | hose_crack | part_off | rust | deformed | unclear",
      "matches_symptom": "yes | no | not_stated",
      "note": "覆いのすき間から、黒い帯のようなものが垂れて見える" }
  ],
  "not_visible": ["左の刈刃の裏"],
  "retake": ["ベルトの覆いを外さずに、左の横から近くで1枚"],
  "safety_related": false
}

1つ目の理由は、? の入った文字のまま台帳の照合に使えることです。 サーバーは ? を「どの1文字にも当たる」として台帳の行と照らし、当たった行をすべて候補として並べます。 1行だけに当たっても、受付の担当が「確定」を押すまでは候補のままです。

2つ目は、part と kind から部品の表を引けることです。 確定した型式の部品の表で、部位と種類の組に当たる部品を並べます。見立てのメモは、次の形で整備士に届きます。

3つ目は、safety_related で整備士に回す依頼を機械的に分けられることです。 true の依頼は受付の担当が返事を書かず、整備士が直接お客様に電話します。

システムへ連携する

修理の記録へは、受付の担当が機械を確定してから書き込みます。 AIが読んだ文字のままで書き込むと、違う機械の記録に修理の履歴が積み上がり、次の依頼で台帳を引いたときに誤りが広がります。

お客様への返事は、下書きまでにします。 訪問の日時や引取りの案内は、整備士の段取りが決まってから受付の担当が送ります。

人が確認する

1. 機械を確定する … 銘板の読み取りと台帳の候補を見比べ、? の桁が合っているかを銘板の写真で確かめて1台を選びます
2. 候補を写真で確かめる … 印の所を見て「確認済み」「該当なし」を選び、写っていない所の撮り直しを頼むかを決めます
3. 整備士に回す … 見立てのメモと部品の候補を見て、整備士が出張か引取りか、持っていく部品を決めます
4. 安全に関わる依頼は電話にする … safety_related が true のものは、整備士がお客様に直接電話します
5. 返事を読み直して送る … 日時、持ち物、機械を止めておくお願いがそろっているかを見ます

1番目を省かないでください。 台帳が1行に当たっていても、? の桁がたまたま合っただけのことがあります。銘板の写真と台帳の行を並べて見るのは、受付の担当の数十秒の仕事です。

目標は、240件をならして1件6分です。 銘板がきれいに読め、症状と候補が合っている依頼は数分で済みます。銘板が無い依頼、同じ種類の機械を何台も持つお客様、安全に関わる依頼は時間がかかります。

例外に対処する

上から2行目までが大半を占めます。 どれもAIの精度の問題ではなく、銘板の写真の頼み方と、台帳の持ち方の問題です。 例の写真を直すほうが、指示の文をいじるより効きます。

記録を残す

• 依頼ごとの元の写真と、塗りつぶして AI に渡した写真
• Gemini API が返した JSON（銘板、候補、見立てのメモの文）
• 受付の担当が確定した型式・製造番号と、AIが読んだ文字との違い
• 候補ごとの「確認済み」「該当なし」、整備士が決めた段取りと持っていった部品
• 修理が終わったあとに整備士が書いた、実際の原因と使った部品

3つ目は、銘板の読み取りの癖を見る材料です。 どの桁を ? にしたか、どの桁を読み違えたかをメーカーごとに数えると、銘板の写真のお願いのしかたを直す所が分かります。

最後の行は、部品の候補の表を直す材料です。 写真で見えた候補と実際に使った部品を並べると、「油のにじみの候補なら、この部品も持っていく」という組み合わせが店の記録から見えてきます。