漁協が水揚げのときに撮った魚箱の写真から、Gemini で魚種と箱数の候補を数えて、水揚げの台帳の下書きにする

処理の起点を決める

時間主導型のトリガーで、数分ごとに「受付」のフォルダを見に行きます。 Google Apps Script のインストール型のトリガーには、スプレッドシートの編集やフォームの送信などの種類がありますが、フォルダにファイルが増えたことを起点にする種類はありません。 数分ごとに見に行き、新しい写真があれば処理します。

間隔は2〜3分にします。 公式の案内では、時間主導型のトリガーは1分ごとまで縮められますが、実行の時刻は少しずれることがあるとされています。水揚げの時間帯だけ短い間隔で動かし、昼から翌朝までは止めます。トリガーの合計の実行時間の上限に余裕を残すためです。

処理が終わった写真は「処理済み」のフォルダへ移します。 移すのは、台帳に書き込めたときだけにします。「受付」に残っている写真の数が、そのまま未処理の数になります。 職員は画面でその数を見て、セリに間に合うかを判断します。

撮り直しの写真は、同じ船の番号で上げ直します。 スクリプトは、同じ船の番号の後から上がった写真を新しいものとして扱い、台帳の「写真の候補」の欄を書き直します。 職員が確定の欄に移した後なら、書き直さずに「撮り直しあり」の印だけを付けます。

入力データを集める

質を決めるのは、魚種の一覧の「その季節に揚がるか」と「見分けにくい組」の欄です。 季節に揚がらない魚種を候補から外しておくと、似た魚種の取り違えがその分だけ減ります。 見分けにくい組の印は、AIの候補がその組のどちらかになったときに、職員に回す印として使います。

漁法も渡します。 定置網と底びき網では揚がる魚種が違います。漁法をヒントにすると、底びき網の船の写真で回遊魚の候補が出にくくなります。 ただし、ヒントと違う魚種が写っていれば、それを候補として返させます。

データの取得方法を決める

写真は、ドライブのフォルダから新しい順に取ります。 スクリプトは「受付」のフォルダのファイルを一覧にし、まだ処理していないものを数枚ずつ取ります。1回の実行は6分までなので、1回に処理する写真の枚数を決めておき、時間が足りなければ次の回に回します。

Gemini API へは、写真1枚ごとに1回呼びます。 1隻の水揚げが長い列になって2〜3枚に分けて撮った場合も、写真ごとに呼んでから、スクリプトで船ごとに足し合わせます。 写真の重なりで同じ箱を2回数えないよう、撮り方の側で列の切れ目に船の札か目印を置きます。

申告と魚種の一覧は、スプレッドシートから読みます。 魚種の一覧は、その季節に揚がる魚種だけに絞ってから指示の文に入れます。60種を全部入れるより、季節の20〜30種に絞るほうが、候補の取り違えが減ります。

有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し（有料の枠で55日）、保存しないときは store=false を付けると案内されています。

AIへ渡す前に整形する

1. 形式と向き … タブレットの写真が HEIC なら、そのまま対応形式です。向きの情報で回転しているだけの写真は、画素を回転させます。 向きが合っていないと、枠がずれます
2. 縮小 … 長い辺を2,000ピクセル程度に縮めます。箱の中の魚の模様が見える大きさは残します
3. 船の札の確認 … ファイル名の船の番号と、写真に写った船の札が合っているかは、職員が撮るときに確かめます。スクリプトは、ファイル名に船の番号が無い写真を処理しません
4. 魚種の一覧の絞り込み … その季節に揚がる魚種と、その船の漁法で揚がる魚種に絞ります
5. 申告の付け足し … 申告は指示の文に入れません。スクリプトの側だけが持ちます
6. 大きさの確認 … 写真と指示の文を合わせて20MBを超えないかを見ます

5番目を軽く見ないでください。 申告を指示の文に入れると、AIの数が申告に寄ります。 「アジ12箱」と書いてあれば、11箱しか写っていなくても12と返しやすくなります。申告と照らすのはスクリプトの仕事で、AIには写真だけを数えさせます。

AIに処理させる

させるのは、写真の中の魚箱を1つずつ枠で返し、箱ごとに魚種の候補を付け、隠れて見えない箱の数を返すことだけです。 魚種の候補は、渡した魚種の一覧のコードから選ばせます。

右端の列の考え方は、迷ったら職員に見せる側に倒すことです。 魚種が分からない箱は unknown、氷で見えない箱は covered として返させ、数えた箱から落とさないようにします。 箱数の候補は、unknown と covered も含めた枠の数で出します。

2行目がいちばん起きやすい失敗です。 箱の中の魚の大きさが写真で見えると、AIは「中サイズ」「小型」と書きたがります。規格は値段の区分なので、写真の見た目の大きさで台帳に入ると、セリの値付けが崩れます。 返すのは魚種の候補と箱の数までにします。

特に厳格な管理の対象になる魚種も、この構成の外に置きます。 漁業法は、特別管理特定水産資源を採捕した者に、個体の数と漁獲量の報告に加えて、個体ごとの重量などの記録の作成と保存を求めています。こうした魚種は、写真の候補を作らず、これまでどおり1尾ずつ計量して記録します。

指示内容を固定する

あなたは漁協の産地市場で、水揚げの台帳づくりを手伝う係です。
写真は、1隻の船の魚箱を荷さばき所に並べて、真上から撮ったものです。

【この船の漁法】{定置網／小型底びき網／刺網}（ヒントです。違う魚種が写っていれば、それを返してください）
【魚種の一覧】{コード：名前：見た目の特徴}（この中から選んでください）
【見分けにくい組】{マアジとマルアジ、ブリとヒラマサ ...}

【やること】
1. 写真に写っている魚箱を1つずつ探し、枠を [ymin, xmin, ymax, xmax] の順で、
   0〜1000 に正規化して返す。写真の端で切れている箱には partial を付ける。
2. 箱ごとに、中の魚の魚種を魚種の一覧のコードから1つ選ぶ。
3. 箱ごとに、clear（見分けられる）／similar_species（見分けにくい組の
   どちらか迷う）／covered（氷やシートで魚が見えない）を付ける。
4. 積み重なりや影で数えられない箱がありそうな範囲を返す。

【厳守事項】
- 魚種が分からない箱は unknown にして、箱の枠は必ず返してください。
  分からない箱を数から外さないでください。
- 魚種の一覧に無い魚が入った箱は not_in_list にしてください。
  一覧の似た魚種に当てはめないでください。
- 重量、大きさの区分（規格）、鮮度、品質を書かないでください。
- 箱の数を合計しないでください。箱ごとの枠と候補だけを返してください。
- 写っている人については何も書かないでください。

「分からない箱を数から外さない」を書かないと、unknown の箱が消えます。 AIは確かな候補だけを返そうとして、氷で覆われた箱を飛ばすことがあります。箱数の候補が申告より少なく出て、職員が数え直すことになります。

「箱の数を合計しない」も同じ理由です。 合計を書かせると、枠の数と合計が合わないことがあります。数は枠を数えるスクリプトの側で出し、AIの書いた数字には頼りません。

出力形式を固定する

写真ごとに、次の形の JSON で受け取ります。 species、certainty は enum で決まった文字列に絞ります。species の enum には、その日の魚種の一覧のコードと unknown、not_in_list を入れます。

{
  "photo_id": "B12_0612",
  "boxes": [
    { "box_2d": [110, 40, 260, 180], "species": "AJI01", "certainty": "clear", "partial": false },
    { "box_2d": [110, 190, 260, 330], "species": "unknown", "certainty": "covered", "partial": false }
  ],
  "hidden_areas": [
    { "area": "右下の角", "reason": "stacked | shadow | out_of_frame" }
  ]
}

1つ目の理由は、箱数をスクリプトが数えられることです。 スクリプトは boxes を species ごとに数え、船ごとに写真をまたいで足し合わせます。unknown と covered は「魚種未確認」の行として台帳に別に出します。

2つ目は、certainty で職員の確認の順番を決められることです。 similar_species と covered を含む船を確認の一覧の上に出し、clear だけで申告とも合う船は、写真を見て確定の欄に移すだけにします。

3つ目は、hidden_areas で撮り直しの頼み方が具体的になることです。 「右下の角が積み重なり」と出れば、職員はその角の箱を下ろして撮り直します。

スクリプトが台帳に書く行は、次の形です。

response_format の schema には、次のように値を絞った形を入れます（抜粋）。

{
  "type": "object",
  "properties": {
    "photo_id": { "type": "string" },
    "boxes": { "type": "array", "items": { "type": "object",
      "properties": {
        "box_2d": { "type": "array", "items": { "type": "integer" }, "minItems": 4, "maxItems": 4 },
        "species": { "type": "string", "enum": ["AJI01", "MARUAJI01", "SABA01", "unknown", "not_in_list"] },
        "certainty": { "type": "string", "enum": ["clear", "similar_species", "covered"] },
        "partial": { "type": "boolean" }
      },
      "required": ["box_2d", "species", "certainty", "partial"] } },
    "hidden_areas": { "type": "array" }
  },
  "required": ["photo_id", "boxes", "hidden_areas"]
}

システムへ連携する

台帳の確定の欄には、スクリプトから何も書きません。 確定の欄は職員だけが入れる欄にし、トリガーを作るアカウントを台帳の持ち主と分け、確定の欄の保護の編集者に入れないでおきます。 写真の候補が確定の欄に入る経路を、仕組みの側で断ちます。

セリの記録と請求の仕組みには、確定の欄だけがつながります。 写真の候補の欄は、確認の材料としてだけ使います。

人が確認する

1. 印の付いた船を先に見る … 申告と違う、見分けにくい組、魚種未確認、見えない範囲ありの船です。魚箱の前に行き、その魚種の箱だけを数え直します
2. 見分けにくい組は、魚を見て決める … 写真では決めず、箱の中の魚を見て決めます。迷えば漁業者に聞きます
3. 印の無い船は、写真を見て確定の欄に移す … 写真の枠と候補を画面で流し見て、確定の欄に入れます
4. 直した内容を記録する … 写真の候補から変えた魚種と箱数、その理由を残します

2番目を写真で済ませないのは、見分けにくい組が値段の違う魚種だからです。 取り違えると、仲買への請求と組合員への支払が両方ずれます。写真は見分けにくい箱の場所を教えるもので、決めるのは魚を見た職員です。

目標は、600件をならして1件2分です。 印の無い船は流し見て数十秒、印の付いた船は魚箱の前で数分かかります。印の付く船が半分を超えるなら、魚種の一覧の季節の絞り込みか、並べ方の決まりが崩れています。

例外に対処する

上から3行目までが大半を占めます。 どれもAIの精度の問題ではなく、荷さばき所の並べ方と撮り方の問題です。 並べ方の決まりを漁業者と一緒に作るほうが、指示の文をいじるより効きます。

記録を残す

• 船の番号と日付ごとの写真と、Gemini API が返した JSON の全文
• そのとき指示に入れた魚種の一覧（季節と漁法で絞った後のもの）
• 申告、写真の候補、確定の値の3つを並べた記録
• 職員が写真の候補から変えた魚種と箱数と、その理由
• 撮り直しの有無と、hidden_areas の出方

3つ目で3つの値を並べて残すのは、後から台帳の数字を説明できるようにするためです。 仲買や組合員から数を問われたとき、申告がいくつで、写真にはいくつ写っていて、職員がいくつと決めたかをたどれます。

4つ目が、魚種の一覧と並べ方の決まりを直す材料です。 同じ組の取り違えが続けば、一覧の見た目の特徴の説明を書き足します。