鋳造工場で撮った鋳物の外観の写真を Gemini で見て、巣・湯じわ・欠けなどの欠陥の候補を拾い、外観検査の記録の下書きにする

処理の起点を決める

撮影のパソコンが写真を共有のフォルダに保存したときに動きます。 処理のプログラムがフォルダを見張り、1個の鋳物の全部の面がそろったところで処理を始めます。 面がそろったかは、品番の基準に書いた面の数とファイルの数で見ます。

面がそろわないまま5分たったら、撮り漏れとして検査員の画面に出します。 撮影台の上で鋳物を回し忘れた面があれば、その場で撮り直せます。

処理が終わったファイルは、処理済みのフォルダに移します。 移すのは下書きの行を作り終えたときだけです。共有のフォルダに残っている数が、処理を待っている数になります。

撮影台に載らない大物は、台車の上で撮ります。 台車に目印の板を立て、カメラを三脚で決まった距離に置きます。撮る面の数は品番の基準の表で決め、大物だけ面の数を増やします。 面がそろったかの数え方は、撮影台のときと同じです。

入力データを集める

質を決めるのは、限度見本の写真を同じ撮影台で撮ることです。 照明の向きが違うと、同じ深さの巣でも影の出方が変わり、見本と比べられません。 限度見本の現物を撮影台に載せ、製品と同じ距離と照明で撮ります。

部位の名前も渡します。 AIが「上の方」と返すより、「2番の面のフランジの内側」と返すほうが、検査員が現物で探す時間が短くなります。 部位の名前は、図面の呼び方にそろえます。

データの取得方法を決める

写真の品番と面の番号は、ファイル名から読みます。 撮影のパソコンは、検査員が品番の札を読み取らせたときの品番と、撮影の順の面の番号をファイル名に入れて保存します。ファイル名の決まりを外れたものは処理せず、検査員の画面に出します。

品番の検査の基準は、表から読みます。 重要な面と見る欠陥の種類、限度見本の写真の一覧を、品番ごとの行から取ります。 基準の表に無い品番は、処理を止めて品質管理の担当に知らせます。

Gemini API へは、面ごとに1回、その面の写真と、その品番の限度見本の写真を渡します。 限度見本は Files API に上げたものを参照し、面の写真はその都度送ります。 面ごとに分けると、撮り直したときにその面だけを見直せます。

1つの面は、照明を変えて2枚撮ります。 正面からの照明の写真と、斜めからの照明の写真です。浅い湯じわや細い割れは、斜めの照明で影ができて初めて見えることがあります。 検査員が現物を手に取り、角度を変えて見ているのと同じことを、2枚の写真で渡します。2枚は同じ呼び出しに入れ、どちらの写真で見えた候補かを返させます。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日）、保存しないときは store=false を付けると案内されています。

AIへ渡す前に整形する

1. 撮影の条件の確認 … 照明の向きと距離が決まりどおりかを、撮影台の目印が写っているかで確かめます
2. ピントと露出の確認 … ぶれや白飛びの大きい写真は、撮り直しの印を付けます
3. 切り出し … 撮影台の背景を外し、鋳物の写っている範囲だけを残します
4. 大きさ … 小さなピンホールが見えるよう、縮めすぎない大きさで送ります
5. 重要な面の付け足し … その面が重要な面か、どの部位があるかを指示に入れます
6. 限度見本の参照の付け足し … その品番の、欠陥の種類ごとの見本を参照に入れます

4番目を軽く見ないでください。 公式の案内では、大きな画像は768×768ピクセルの区画に分けられ、区画ごとにトークンが数えられます。 縮めれば費用は下がりますが、直径1ミリのピンホールは、縮めた写真では画素のつぶれと区別できません。 小さな欠陥を見る面は、部分を拡大した写真を別に撮る決まりにします。

1番目の目印は、撮影の条件が崩れたことに気付くためのものです。 照明の位置が少しずれただけで、AIの候補の数が急に増えたり減ったりします。 目印が写真の決まった位置に無ければ、処理をせずに撮影台を直すよう画面に出します。

AIに処理させる

させるのは、面ごとの写真を限度見本と比べ、欠陥の候補を輪郭と枠で返し、種類の候補と見え方と、写っていない範囲を返すことだけです。

右端の列の考え方は、迷ったら検査員に見せる側に倒すことです。 鋳肌の模様か湯じわか分からないものは unclear として返させます。候補が多いのは検査員の数秒で済みますが、候補から落ちた割れの疑いは、加工の後か、お客様のところで見つかります。

1行目と3行目がいちばん起きやすい失敗です。 写真に巣が写っていると、AIは「直径約2mmの巣、不合格」と書きたがります。記録の下書きにその言葉が載ると、検査員がスケールを当てる前に結論が決まってしまいます。 返すのは「不合格の見本に近い見え方の巣の候補」までにします。

5行目も、記録の使い方を守るためです。 原因が書かれた記録は、鋳造の工程で確かめないまま対策の根拠に使われるおそれがあります。

指示内容を固定する

あなたは鋳造工場の外観検査の記録づくりを手伝う係です。
検査員が合否を決めます。あなたは、検査員が先に見るべき箇所を示してください。

【製品】品番 {品番}　【面】{面の番号}（部位：{フランジ、ボス、リブ ...}）
【この面は重要な面か】{はい：シール面／いいえ}
【見る欠陥の種類】巣、ピンホール、湯じわ、湯回りの不良、欠け、割れの疑い、砂かみ、バリの残り
【限度見本】参照の画像のうち、{種類}_limit は合格の限界、{種類}_ng は不合格の見本です。

【やること】
1. 検査の写真（最後の2枚。正面の照明と斜めの照明）で、欠陥の候補を探す。
2. 候補ごとに、正面の照明の写真の上の輪郭と枠を返す。
   枠は [ymin, xmin, ymax, xmax] の順で 0〜1000 に正規化する。
   どちらの照明の写真で見えたかを seen_in に書く。
3. 候補ごとに、種類の候補を上の一覧から1つ選び、部位の名前を書く。
4. 候補ごとに、限度見本と比べた見え方を
   smaller_than_limit／near_limit／near_ng／no_reference から選ぶ。
5. 影、反射、治具、ピントの外れで見えない範囲を返す。

【厳守事項】
- 合格か不合格かを書かないでください。
- 大きさや深さをミリなどの数字で書かないでください。
- 欠陥の原因を書かないでください。
- 鋳肌の模様か欠陥か分からないものは、kind を unclear にして候補に入れてください。
- 割れの疑いは、細い線でも候補に入れてください。
- 見えない範囲について「欠陥なし」と書かないでください。
- 限度見本に無い種類は、見え方を no_reference にしてください。

「割れの疑いは、細い線でも候補に入れる」を別に書くのは、割れがいちばん重いからです。 割れは、鋳肌の筋や研削の跡と見分けにくく、何も言わなければ「模様」として落とされます。 割れの疑いは、多めに拾わせて検査員が消す側に置きます。

「合格か不合格かを書かない」を最初に置くのは、記録の責任の所在のためです。 合否は、図面の指定と限度見本で検査員が決めるもので、記録の上でも検査員の判断として残します。

出力形式を固定する

面ごとに、次の形の JSON で受け取ります。 kind、vs_reference、reason は enum で決まった文字列に絞ります。

{
  "part_no": "PC-2210",
  "serial": "2026-1026-031",
  "face": 2,
  "critical_face": true,
  "candidates": [
    { "box_2d": [412, 230, 448, 266],
      "has_mask": true,
      "seen_in": "front | oblique | both",
      "kind": "blowhole | pinhole | cold_shut | misrun | chip | crack_suspect | sand_inclusion | fin | unclear",
      "location": "フランジの内側",
      "vs_reference": "smaller_than_limit | near_limit | near_ng | no_reference" }
  ],
  "not_visible": [ { "area": "右下", "reason": "shadow | glare | jig | out_of_focus" } ]
}

1つ目の理由は、critical_face と vs_reference で検査員の見る順を決められることです。 重要な面で near_ng か crack_suspect の候補が先頭に、鋳肌のままの面の smaller_than_limit が後ろに並びます。検査員は、先頭の候補から現物を確かめます。

2つ目は、box_2d と location で記録に位置が残ることです。 これまで用紙の略図の丸でしか残らなかった位置が、写真の上の枠と部位の名前として記録の行に入ります。 同じ品番の同じ部位に巣が続いているかを、行を並べるだけで見られます。

3つ目は、not_visible で撮り直しの面が分かることです。 反射で見えない範囲が大きい面は、検査員が現物で特に注意して見る面として画面に出します。

記録の下書きの行は、次の形です。

システムへ連携する

合否と処置の欄には、プログラムから何も書きません。 合否は検査員が画面で選んだものだけが記録に入ります。AIの候補から「不合格」の行が作られる経路を作りません。

顧客に出す検査成績書には、この記録から自動で写しません。 成績書は、検査員の判断と測った値をもとに品質管理の担当が作ります。

人が確認する

1. 候補を現物で確かめる … 画面の先頭の候補から、現物のその部位を見ます。スケールを当てて大きさを測り、限度見本の現物と比べます
2. 候補ごとに判断を選ぶ … 「欠陥」「欠陥でない（鋳肌の模様、研削の跡、汚れ）」を選びます。欠陥でないときは理由を選びます
3. 候補の無かった面も見る … 全部の面を現物で見て、AIの拾わなかった欠陥があれば足します。足したものには「AIの候補に無し」の印が付きます
4. 合否と処置を決める … 図面の指定と限度見本で合否を決め、手直し・再検査・廃却を書きます
5. 迷うものは班長に回す … crack_suspect と no_reference の候補で判断に迷うものは、班長か品質管理の担当が見ます

3番目を省かないでください。 AIは、反射や影の中の欠陥、写真の端の欠陥を拾えないことがあります。画面に候補が無いことは、欠陥が無いことではありません。 現物の確認は、候補のある箇所を先に、その後に全体を手早く見る順にします。

目標は、1,200件をならして1件2分です。 候補の無い小さな鋳物は1分ほどで済み、重要な面に候補の多い大きなケーシングは10分を超えます。3番目で足した欠陥が週に何件あるかを数え、多い品番は撮影の向きと照明を見直します。

経験の浅い検査員にとっては、候補と限度見本の見え方が並ぶこと自体が教材になります。 「near_limit と出た巣を、経験の長い検査員は合格にした」という記録が残れば、同じ見え方のものをどう判断するかを、記録を見ながら覚えられます。

例外に対処する

上から5行目までが大半を占めます。 どれもAIの精度の問題ではなく、撮影と基準の整備の問題です。 撮影台の目印と、限度見本の写真をそろえるほうが、指示の文をいじるより効きます。

記録を残す

• 面ごとの写真と、Gemini API が返した JSON の全文
• そのときの品番の検査の基準と、参照した限度見本の写真の版
• 検査員が「欠陥でない」とした候補と、その理由
• 検査員が足した欠陥（AIの候補に無かったもの）
• 検査員が測った大きさ、合否、処置
• 品番・部位ごとの欠陥の続き方

4つ目の行が、この構成でいちばん大事な記録です。 AIの拾わなかった欠陥が、どの面のどの部位に、どんな照明で出たかが分かれば、撮影の向きと限度見本の写真をどこで足すかが決まります。

最後の行は、鋳造の工程に返す材料になります。 同じ品番の同じ部位に巣が続いていれば、技術の担当が、湯口や押し湯の位置、注湯の条件の記録と合わせて原因を見ます。