干物の加工所が乾燥のあとの製品の写真を Gemini で見て、焼け・割れ・形の不良の候補を拾い、ロットごとの検品の記録を作る

処理の起点を決める

すのこを検品台の決まった枠に置き終えたときに、1枚ずつ動かします。 合図は、検品台に重さの台を入れて重さが落ち着いたときか、担当が足元のボタンを押したときにします。連続で撮って動画のように流す形にはしません。 手が写った写真や、置く途中の傾いた写真が混ざり、同じ魚が2回数えられます。

ロットの区切りは、番号の札で決めます。 乾燥機から出すたびに、担当が札のバーコードを読み取り台にかざします。札をかざさずに置いたすのこは、前のロットに入れず、「ロット不明」として画面に出します。 魚種や取引先の取り違えは、そのまま検品の記録の誤りになるからです。

ロットの最後のすのこのあとに、担当が「ロット終了」を押します。 これを合図にサーバーがロットの集計を作ります。押し忘れのまま次の札がかざされたら、前のロットを閉じて、主任に「終了の押し忘れ」として知らせます。

入力データを集める

質を決めるのは、規格書を区分の表に直す部分です。 規格書の「品質に問題のないこと」のような言葉のままでは、AIも人も同じ線を引けません。「どの種類の不良を、どの程度から外すか」を取引先ごとに1行ずつ書き出します。 長さや面積のように写真から測りにくい基準は、見本の写真で線を見せます。

見本の写真は、取引先ごとに数枚に絞ります。 多く入れるほど呼び出しが重くなり、見本と製品の写真を取り違える答えも増えます。「ここまでは規格内」の限度の見本がいちばん効きます。

データの取得方法を決める

写真は、固定カメラからサーバーが直接受け取ります。 カメラの製品によって受け取り方が違うので、使うカメラの連携の機能に合わせて作ります。スマートフォンを台に固定して撮る形でも始められます。 その場合は、撮った写真を決まったフォルダに送る仕組みを作ります。

ロットの情報は、製造の指図書の表から引きます。 札の番号で行を引き、魚種・サイズ・取引先を取り出します。規格書の区分の表は取引先の名前で引き、その日の版を写しておきます。 規格書が改まったときに、どの版で数えた記録かが分かるようにするためです。

Gemini API へは、すのこ1枚の写真、そのロットの規格書の区分、見本の写真をまとめて渡します。 魚が並んでいる向きと列の数も添えます。列と行の数が分かると、AIが返す魚の数が写真の魚の数と合っているかを、サーバーで確かめられます。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日、無料の枠で1日）、store=false で保存しない動きにできると案内されています。store=false では前のやり取りを引き継げないので、毎回、写真と区分と見本をそろえて送ります。

AIへ渡す前に整形する

1. 枠の切り出し … 検品台の枠の印を手がかりに、すのこの部分だけを切り出します。台の外の手元や箱を写真から外します
2. 明るさと色の確認 … 照明の切れや、窓からの光で色が変わっていないかを、台の隅に置いた灰色の板の色で見ます。焼けは色で見るので、色がずれた写真は渡しません
3. ぶれの確認 … 置く途中で撮れたぶれた写真は、撮り直しにします
4. 手の写り込みの確認 … すのこの上に手や道具がかかっていれば、撮り直しにします
5. 縮小 … 長い辺を2,000ピクセル程度にします。小ぶりのアジが並ぶすのこでは、割れが見える大きさを残します
6. 向きの確認 … すのこの向きが決まった向きでなければ、回転させます

2番目を省かないでください。 夕方の西日や、照明の一部が切れただけで、白身の魚が全部黄ばんで見え、焼けの候補が一度に増えます。 灰色の板の色が決まった範囲を外れたら、その写真はAIに渡さず、担当の画面に「照明を確かめてください」と出します。

AIに処理させる

させるのは、魚1枚ずつの位置を返すこと、候補の種類と程度の言葉を返すこと、判断のつかない魚を分けることだけです。

程度を「限度より軽く見える／限度に近い／限度を超えて見える」の3つで返させるのが、この構成の要です。 外すかどうかを直接答えさせると、規格書の線より手前の魚まで「規格外」と返し、外す数が人の目より多くなります。 3つに分ければ、サーバーが取引先ごとに「限度に近い」を外すか残すかを決められます。

4行目の異物は、別の扱いにします。 毛髪、うろこの塊、プラスチックの破片のように見えるものは、AIが何であるかを言い当てる必要はありません。 印を出して人が手に取り、従来の異物の手順に回します。AIが何も返さなかったことを、異物が無いことの根拠にしません。

1行目がいちばん起きやすい失敗です。 すのこの魚に候補が無いと、AIは「全数が規格内で出荷可能です」と書きたがります。その言葉が検品の記録に入ると、裏側を見ていない写真1枚で出荷を保証することになります。 返すのは見え方までにし、出荷の可否は記録に書かせません。

指示内容を固定する

あなたは干物の加工所で、乾燥のあとの製品の写真を見る手伝いをする係です。
写真はすのこ1枚を上から撮ったもので、魚は {アジの開き} が {6列×5行} 並んでいます。
取引先の規格書の区分は次のとおりです。
{身割れ：長さ2センチ以上を規格外 / 焼け：色の変化が目で分かるものを規格外 /
 尾の欠け：規格外 / 開きのゆがみ：左右の身の大きさが目で分かるほど違えば規格外}
限度の見本の写真を {2} 枚つけます（1枚目：規格内の限度、2枚目：規格外）。

【やること】
1. 魚1枚ずつの位置を [ymin, xmin, ymax, xmax] の順で、0〜1000 に正規化して返す。
   列と行の番号もつける。重なって境目の分からない魚は overlapped にする。
2. 次の種類の候補を探し、魚の番号と種類と程度を返す。
   oil_burn（油焼けに見える変色）、split（身割れ）、torn_belly（腹の破れ）、
   misshapen（開きのゆがみ）、tail_fin_missing（尾・ひれの欠け）、
   skin_peeled（皮のはがれ）、blood_spot（血のにじみ）、size_off（大きさの外れ）
   程度は below_limit / near_limit / over_limit のどれかにする。
3. すのこの端で切れた魚、隠れた部分は not_visible に書く。
4. 魚でないように見えるものがあれば、foreign_like に位置だけを書く。

【厳守事項】
- 候補が無い魚について、規格内だ、出荷できる、と書かないでください。
- 影・すのこの網目・照明の反射か、変色か分からないものは unclear にしてください。
- 魚の裏側、塩の効き、鮮度、においについて何も書かないでください。
- 魚でないように見えるものが何かを言い当てないでください。位置だけを返してください。
- 不良の原因を書かないでください。
- 人の手や道具が写っていても、それについて何も書かないでください。
- 魚の数を、写真に写っている数より増やしたり減らしたりしないでください。

「候補が無い魚について、規格内だと書かない」を置くのは、記録の言葉を守るためです。 何も言わないと、AIは候補の無い魚を「良品」と書き、その言葉がサーバーの集計で「良品の数」として残ります。 候補の無い魚は、記録の上でも「写真で候補の無かった魚」です。

「魚の数を増やしたり減らしたりしない」は、列と行の数と組みで効きます。 返ってきた魚の数が6列×5行の30と合わなければ、サーバーが呼び直します。数が合わないまま集計すると、規格外の率の分母がずれます。

月末の報告の文は、別の呼び出しで作ります。 主任が直した後の1か月分の集計だけを渡し、「数は渡した表から写す」「原因を断定しない」「改善を約束する言葉を書かない」を入れます。数そのものはサーバーが入れ、AIには文のつなぎだけを書かせます。

出力形式を固定する

すのこ1枚ごとに、次の形の JSON で受け取ります。 kind、degree は enum で決まった文字列に絞り、fish は列×行の数を minItems・maxItems で求めます。

{
  "lot_no": "L-1029-14",
  "tray": 3,
  "fish": [
    { "no": 12, "row": 2, "col": 6, "box_2d": [310, 820, 455, 985], "status": "seen | overlapped | not_visible" }
  ],
  "findings": [
    { "fish_no": 12,
      "kind": "oil_burn | split | torn_belly | misshapen | tail_fin_missing | skin_peeled | blood_spot | size_off | unclear",
      "degree": "below_limit | near_limit | over_limit",
      "note": "腹の側の縁に、黄色っぽい変色が親指ほどの幅で見える" }
  ],
  "foreign_like": [ { "box_2d": [600, 140, 640, 190] } ]
}

1つ目の理由は、魚の番号が画面の印と記録の鍵になることです。 担当が画面で「12番は外さない」と直せば、その魚の候補だけが記録から消えます。何を直したかが番号で残るので、AIと人の見え方の違いを後から数えられます。

2つ目は、degree を取引先ごとの規則で読めることです。

要は、degree を区分で書き換えないことです。 ギフトの取引先でも、AIの答えはそのまま残し、色を決めるのはサーバーの規則だけです。 取引先の区分を付け間違えても、JSON を読み直すだけで記録をやり直せます。

3つ目は、ロットの集計をそのまま検品の記録にできることです。

システムへ連携する

製造の指図書へは書き込みません。 検品の結果で指図を変えるのは主任の仕事で、自動で書き戻すと、AIの見え方が製造の計画を動かします。

取引先への報告は、下書きまでにします。 主任が読み直し、写真を選んでから送ります。

人が確認する

1. 印の魚を手に取る … 赤の印から順に、裏返して確かめ、外すものを外します
2. 印の無い魚も流し見る … 従来どおり目で見て、印の無かった不良は画面で足します
3. unclear・overlapped・foreign_like を必ず手に取る … 異物に見えるものは従来の手順に回します
4. ロットの終わりに数を見る … 画面の数と規格外の箱の中の数が大きく違わないかを見ます
5. 主任が1日の終わりに記録を見る … 人が直した数の多かったロットだけ写真を開きます

2番目を省かないでください。 写真に写らない裏側の割れや、すのこに張りついた皮のはがれは、手に取ったときにしか分かりません。 印の無い魚を見ない運用にすると、記録の数は速く出ても、出荷する魚の質が下がります。

目標は、600ロットをならして1ロット2分です。 候補の少ないロットは1分ほどで済み、脂の乗った時期のサバや、ギフト向けのロットは数分かかります。

例外に対処する

上から3行目までが大半を占めます。 どれもAIの精度の問題ではなく、照明と置き方の問題です。 6行目は、note に「出荷」「良品」「原因」の言葉が入っていないかをサーバーで見ます。最後の行のために、正の字の用紙は検品台から片付けません。

記録を残す

• すのこごとの元の写真と、切り出してAIに渡した写真
• 渡した規格書の区分の表の版と、Gemini API が返した JSON
• 魚の番号ごとに担当が直した内容（外した・外さなかった・足した）
• ロットごとの集計と、主任の確認の記録
• 月末の報告の下書きと、送った報告

3つ目が、規格書の区分の表と見本の写真を直す材料になります。 同じ取引先で「限度に近い」を担当が外さないことが続くなら、見本の写真が厳しすぎます。担当ごとの直し方の違いも出せますが、評価に使うかは別に話し合って決めます。