牡蠣の生産者が、出荷前の箱詰めの写真を Gemini で見て、個数・大きさの区分・ラベルの表示を注文と照らし、食い違いの候補を拾う
蓋を閉める前の牡蠣の箱と、表示のシールを撮った写真を Gemini で見て、個数・大きさの目安・シールの文字を返させます。スクリプトが注文と照らして食い違いの候補を出し、出荷の担当が候補の箱だけを開けて確かめます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- EC/その他/小売/飲食
- 対象部門
- 品質管理/物流
- 対象業務
- 内容確認・チェック/比較検討
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 選別の済んだ牡蠣を、箱詰めの担当が注文の一覧を見て箱に詰める
- 注文の番号のシールと表示のシールを印字し、蓋の上に貼る
- 出荷の担当が、開けたままの箱の牡蠣を数え、注文の個数と合うかを確かめる
- 大きさがそろっているか、区分の違う牡蠣が混ざっていないかを見る
- 殻の口が開いた牡蠣、殻の割れた牡蠣が無いかを見る
- 表示のシールの「生食用/加熱用」、採取した水域、消費期限を注文の一覧と読み合わせる
- 確かめた箱に印を付けて蓋を閉め、出荷の台帳に済みと書く
- 人箱詰めの担当が、蓋を閉める前の箱を撮影の枠の下に置き、上から1枚、表示のシールを近くから1枚、タブレットで撮る
- 自動写真が共有ドライブの「出荷前写真」のフォルダに、注文の番号の付いた名前で入る
- 自動Google Apps Script が数分おきに新しい写真を探し、注文の番号ごとに2枚をまとめる
- 自動2枚の写真と見え方の語彙を Gemini API に渡し、牡蠣の位置、大きさの目安、口が開いて見える個体、シールの文字を返させる
- 自動スクリプトが個数を数え、注文の個数・大きさの区分・生食用か加熱用か・採取した水域と照らして、食い違いの候補と枠を描いた写真を出荷の台帳に書く
- 人出荷の担当が、台帳の候補の箱だけを開けて確かめ、詰め直すかシールを貼り直す
- 人候補の無い箱は、枠を描いた写真を一覧で流し見て、蓋を閉める
各工程の詳しい説明を読む
- 選別の済んだ牡蠣を、箱詰めの担当が注文の一覧を見て箱に詰める
- 注文の番号のシールと表示のシールを印字し、蓋の上に貼る
- 出荷の担当が、開けたままの箱の牡蠣を数え、注文の個数と合うかを確かめる
- 大きさがそろっているか、区分の違う牡蠣が混ざっていないかを見る
- 殻の口が開いた牡蠣、殻の割れた牡蠣が無いかを見る
- 表示のシールの「生食用/加熱用」、採取した水域、消費期限を注文の一覧と読み合わせる
- 確かめた箱に印を付けて蓋を閉め、出荷の台帳に済みと書く
(a)集荷の時刻に追われて、確かめが粗くなる。 1箱2分でも、月1,800箱で60時間です。年末や催事の前は1日に100箱を超え、集荷の30分前から確かめが「数えずに見るだけ」になります。
(b)生食用と加熱用のシールの貼り違いが怖い。 同じ日に両方を詰めると、シールの束が隣り合います。起きにくいのに、起きたときの影響が段違いに大きい失敗です。
(c)確かめ方が人によって違う。 指で数える人、列の数を掛ける人がいて、口の開いた牡蠣を見る目もベテランと新しい担当で違います。
(d)確かめた跡が残らない。 台帳には「済み」の印しか残らず、届け先から「個数が足りない」と連絡があっても、出荷のときの箱の中を示せません。
- 【人】 箱詰めの担当が、蓋を閉める前の箱を撮影の枠の下に置き、上から1枚、表示のシールを近くから1枚、タブレットで撮る
- 【自動】 写真が共有ドライブの「出荷前写真」のフォルダに、注文の番号の付いた名前で入る
- 【自動】 Google Apps Script が数分おきに新しい写真を探し、注文の番号ごとに2枚をまとめる
- 【自動】 2枚の写真と見え方の語彙を Gemini API に渡し、牡蠣の位置、大きさの目安、口が開いて見える個体、シールの文字を返させる
- 【自動】 スクリプトが個数を数え、注文の個数・大きさの区分・生食用か加熱用か・採取した水域と照らして、食い違いの候補と枠を描いた写真を出荷の台帳に書く
- 【人】 出荷の担当が、台帳の候補の箱だけを開けて確かめ、詰め直すかシールを貼り直す
- 【人】 候補の無い箱は、枠を描いた写真を一覧で流し見て、蓋を閉める
6番目が、この設計の分かれ目です。 担当が開けて数えるのは、候補の付いた箱だけです。候補の無い箱は写真の一覧で流し見て、枠が牡蠣に1つずつ付いているかだけを見ます。 全部の箱を開けて数え直す設計にすると、60.0時間はほとんど減りません。
02今回想定するシステム構成
出荷場の撮影の枠(上から1枚+表示のシール1枚、目盛り板を箱の角に置く) │ タブレットで撮って共有ドライブへ(ファイル名に注文の番号) ▼【トリガー】数分おきに Google Apps Script が新しい写真を探す Google Apps Script(まとめ・照らし合わせ・台帳への書き込み) ├── 注文の一覧(個数、大きさの区分、生食用/加熱用) ├── その日の出荷の予定(どの水域の牡蠣を生食用に回したか) ▼ Gemini API(画像の理解+構造化出力) │ 牡蠣の1個ずつの位置、目盛り板の位置、口が開いて見える個体、 │ 表示のシールの文字(書かれたとおり) ▼ Google Apps Script ── 個数・大きさの目安・シールの文字を注文と照らす → 出荷の台帳 ▼ 【出荷の担当が候補の箱を開けて確かめる/生食用・加熱用の食い違いは列から外す】
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(牡蠣の位置、大きさの目安、口が開いて見える個体、シールの文字) | Claude API、OpenAI API |
| 連携 | Google Apps Script(写真の拾い上げ、注文との照らし合わせ、台帳への書き込み) | Python |
| 撮影 | 出荷場の撮影の枠とタブレット、目盛り板 | - |
| 台帳 | 注文の一覧、出荷の予定、出荷の台帳(スプレッドシート) | - |
土台は Gemini API の画像の理解です。 公式の説明では、Gemini は物体を検出して、位置を box_2d として [ymin, xmin, ymax, xmax] の順に、0〜1000に正規化した座標で返し、元の画像の大きさに直して使います。 この枠を牡蠣の1個ずつに付けさせ、スクリプトが数えて写真に描きます。同じ写真の中の目盛り板にも枠を付けさせ、牡蠣の枠の長さを目盛り板の長さと比べて、大きさの目安にします。
写真は依頼の中に直接入れて渡します。 公式の説明では、画像を直接入れる場合は、文の指示やシステムの指示も含めた依頼全体が20MBまでです。1箱あたり2枚なので、収まる大きさで撮ります。 対応する形式は PNG、JPEG、WEBP、HEIC、HEIF です。
つなぎは、写真と台帳と同じ場所で動く Google Apps Script にします。 ただし公式の説明で挙がっている設置型のトリガーは、開く、編集、変更、フォームの送信、カレンダーの予定と時間主導で、ドライブにファイルが入ったことを起点にするものは挙がっていません。 そのため時間主導で数分おきに探します。
表示のシールに何を書くかは、この構成の外で決まっています。 食品表示基準の別表第二十四では、生かきについて、保存の方法、消費期限又は賞味期限、加工所の所在地と加工者の氏名又は名称、生食用であるかないかの別、採取された水域(生食用のものに限る)が表示の事項に挙がっています。この構成は、シールに印字された文字が注文と出荷の予定に合っているかを照らすだけで、表示が法令に合っているかは判断しません。
03どうやって実装するのか
処理の起点を決める
共有ドライブの「出荷前写真」のフォルダに入った新しい写真を起点にします。 タブレットで撮った写真は、その日の日付のフォルダに入ります。Google Apps Script は時間主導のトリガーで動き、前回より後に入った写真を探します。 公式の説明では、時間主導のトリガーは1分おきから月1回まで間隔を決められますが、時刻は少しずれることがあります。箱を詰めてから蓋を閉めるまで数分置けるので、3分おきにします。
写真が2枚そろうまで待ちます。 上からの写真と表示のシールの写真がそろって初めて、注文の番号ごとにまとめて Gemini に渡します。1枚だけのまま10分を過ぎた箱は、撮り忘れとして台帳に印を付けます。 出荷場が動いていない夜間と休みの日は、何もせずに終えます。
スクリプトが失敗したときは、公式の説明どおり失敗の要約がメールで届きます。 その通知を出荷場の責任者に届くようにし、台帳に照合の結果が出てこないことに気づけるようにします。 結果が出ない間は、従来どおり人が箱を開けて確かめます。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 箱の写真 | 蓋を閉める前の箱を上から撮った1枚。箱の角に目盛り板を置く | 共有ドライブ |
| シールの写真 | 蓋の上の注文の番号のシールと表示のシールを近くから撮った1枚 | 共有ドライブ |
| 注文の一覧 | 注文の番号、届け先の区分(飲食店・鮮魚店・個人)、種類(真牡蠣・岩牡蠣)、個数、大きさの区分、生食用か加熱用か | 注文の一覧 |
| 出荷の予定 | その日に生食用に回した水域と筏の区画、加熱用に回した水域、消費期限の日付 | 出荷の予定 |
| 大きさの区分の表 | 種類ごとの区分(L・M・S など)と、殻の長さの目安の範囲 | 生産者で用意する表 |
| 見え方の語彙 | 牡蠣、口が開いて見える、殻が割れて見える、重なって見えない、目盛り板 と、それぞれの見え方の説明 | 生産者で用意する語彙 |
Gemini に渡すのは、2枚の写真と、見え方の語彙と、種類(真牡蠣か岩牡蠣か)だけです。 注文の個数も、大きさの区分の表も、生食用か加熱用かも渡しません。個数を見せると、数えにくい箱で数がその個数に寄ってしまうおそれがあるからです。 シールの文字も、注文の値を見せずに「書かれたとおり」写させます。
質を決めるのは、撮影の枠の光と、牡蠣の並べ方です。 殻付きの牡蠣は色が暗く、ごつごつしているので、上から影が強く出ると、隣の牡蠣との境目が影に溶けます。 撮影の枠には上から散らした光を当て、箱の中の牡蠣は重ねずに並べる決まりにします。2段に重ねて詰める注文では、1段目を詰めた所で1枚、2段目を詰めた所で1枚撮ります。 目盛り板は箱の角の決まった場所に置き、写っていない写真では大きさの目安を出しません。
データの取得方法を決める
写真は、DriveApp でフォルダを探して取り出します。 公式の説明では、searchFiles に条件を渡してファイルを探せますが、ドライブの機能は Drive API の v2 を使っていて、条件の項目名が v3 と違うとされています。例として挙がっているのは modifiedDate と title です。v3 の書き方の modifiedTime や name を書くと当たらないので、v2 の項目名で条件を書きます。
注文の番号は、ファイル名で受け取ります。 タブレットの撮影の手順で、ファイル名の頭に注文の番号と「B」(箱)「L」(シール)を付けます。シールの注文の番号を Gemini に読ませて照らすこともしますが、正はファイル名です。 両者が食い違えば、箱とシールの取り違えの候補として先に見せます。
Gemini API には、Interactions API で依頼します。 公式の説明では、https://generativelanguage.googleapis.com/v1beta/interactions に、model と input を送り、input に文の部品("type": "text")と画像の部品("type": "image"、data、mime_type)を並べます。Google Apps Script からは UrlFetchApp で同じ形の JSON を送り、公式の例と同じく Api-Revision のヘッダーを付けます。 複数の画像は、同じ input の中に画像の部品を並べて渡せます。公式の説明では、画像1枚と文なら文を画像の前に置くとされていて、2枚でも文の指示を先に置き、箱、シールの順に並べます。
依頼には store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持されます。store=false を付ければ保存されません。 箱ごとに1回で終わる依頼なので、前のやり取りを続ける必要もありません。
AIへ渡す前に整形する
- 2枚をそろえる … ファイル名の注文の番号で箱とシールをまとめ、片方しかなければ待つ
- 形式を確かめる … PNG、JPEG、WEBP、HEIC、HEIF 以外は渡さず、印を付ける
- 大きさを確かめる … 2枚と指示で20MBに収まるかを確かめる
- 向きを確かめる … 横向きに保存された写真を正しい向きに直す
- 注文を引く … 注文の一覧から、種類(真牡蠣・岩牡蠣)だけを取り出して指示に入れる
- 語彙と区分の表の版を付ける … そのとき使った版を台帳の行に控える
4番目は、公式も勧めていることです(向きを確かめ、ぼやけていない写真を使う)。シールを斜めに撮ると文字が歪み、消費期限の数字を読み違えます。 撮る位置を枠に印で示します。
AIに処理させる
させるのは、箱の写真に見えている牡蠣の1個ずつの位置と、目盛り板の位置、口が開いて見える個体と殻が割れて見える個体の位置、シールの写真に書かれた文字を返すことだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 牡蠣 | 箱の中の牡蠣を1個ずつ枠で囲む | 重なって境目が見えなければ overlap の印 |
| 目盛り板 | 箱の角の目盛り板を枠で囲む | 写っていなければ not_found |
| 口が開いて見える個体 | 殻の合わせ目に隙間が見える牡蠣 | 影か隙間か迷えば uncertain |
| 殻が割れて見える個体 | 殻の縁が欠けている、割れ目が見える牡蠣 | 迷えば uncertain |
| 保冷剤・異物 | 牡蠣でないものが箱に見えれば位置 | 何か分からなければ unknown_object |
| シールの文字 | 名称、生食用・加熱用の文字、採取した水域、加工者、消費期限、保存の方法、注文の番号を書かれたとおりに | 読めなければ空欄にして unreadable |
大きさの区分は、スクリプトの側で決めます。 牡蠣の枠の長い辺を、目盛り板の枠の長さと比べて殻の長さの目安に直し、大きさの区分の表の範囲から外れて見える牡蠣に印を付けます。写真の上の長さは、牡蠣の傾きや向きで変わるので、目安にしかなりません。 区分は選別のときの重さや長さで決まっているので、写真で見るのは「区分の違う牡蠣が混ざって見えないか」だけです。
シールの照らし合わせも、スクリプトの側で行います。 Gemini が写した「生食用」「加熱用」の文字を注文の区分と、採取した水域をその日の出荷の予定と、消費期限の日付を出荷の予定の日付と比べます。文字が1つでも読めなかったときは、照らし合わせを「済み」にせず、担当がシールを目で読みます。
| させないこと | 理由 |
|---|---|
| 個数の合計を書くこと | 枠の数からスクリプトが数える。根拠の無い合計を入れない |
| 大きさの区分を書くこと | 目盛り板との比からスクリプトが目安を出し、人が決める |
| 牡蠣が生きているか、食べてよいかを書くこと | 生死と衛生は担当が現物で確かめる |
| シールの文字を直したり補ったりすること | 印字の誤りを見つけるのが目的。書かれたとおりに写す |
| 表示が正しいか、法令に合うかを書くこと | 表示の中身は生産者が決め、責任を持つ |
| 写っていない2段目の牡蠣を推し量ること | 見えたものだけを返させる |
4行目は、とくに守らせます。 かすれた文字をそれらしく補われると、印字のかすれという見つけたかった不備が消えます。
指示内容を固定する
あなたは牡蠣の生産者の出荷場で、箱詰めの後の確かめを補助する立場です。
蓋を閉める前の箱の写真と、表示のシールの写真から、
見えているものの位置と、書かれている文字を書き出します。
【渡すもの】
- 写真2枚(1枚目が箱を上から撮ったもの、2枚目がシールを近くから撮ったもの)
- 牡蠣の種類:{oyster_type}(真牡蠣/岩牡蠣)
- 見え方の語彙と説明:{visual_vocab}
【やること】
1. 1枚目の箱の中の牡蠣を1個ずつ、box_2d([ymin, xmin, ymax, xmax]、0〜1000)で返してください。
2. 1枚目の目盛り板を box_2d で返してください。写っていなければ not_found にしてください。
3. 殻の合わせ目に隙間が見える牡蠣、殻が割れて見える牡蠣を、box_2d で返してください。
4. 牡蠣でも保冷剤でもないものが見えれば、その位置を返してください。
5. 2枚目のシールの文字を、項目ごとに書かれたとおりに写してください。
名称、生食用か加熱用かを示す文字、採取した水域、加工所と加工者、
消費期限、保存の方法、注文の番号。
【厳守事項】
- 個数の合計、大きさの区分、出荷してよいかを書かないでください。
- 牡蠣が生きているか、食べてよいかを書かないでください。
- シールの文字を直したり補ったりしないでください。かすれて読めない文字は
空欄にし、status を unreadable にしてください。
- 「生食用」「加熱用」の文字は、印字されたとおりに写してください。
どちらとも読めないときは unreadable です。推し量って埋めないでください。
- 牡蠣が重なって境目が見えないときは、1個にも2個にも決めず overlap にしてください。
- 写っていない牡蠣を推し量らないでください。
- 何も見つからなかったときに「異常なし」と書かないでください。
「シールの文字を補わない」を明記しないと、かすれた文字を前後から推し量って埋めます。 「生食」の後ろがかすれていれば「生食用」と書いてしまい、シールを貼り替えるべき箱が照らし合わせを通ります。 読めない所は読めないまま返させ、担当がシールを目で見ます。個数の合計を書かせないのも同じ理由で、数はスクリプトが枠から数えます。
出力形式を固定する
次の形のJSONで受け取ります。
{
"box_photo": {
"oysters": [ { "box_2d": [0, 0, 0, 0], "overlap": false } ],
"scale_plate": { "status": "found | not_found", "box_2d": [0, 0, 0, 0] },
"gaping": [ { "box_2d": [0, 0, 0, 0], "certainty": "visible | uncertain" } ],
"broken_shell": [ { "box_2d": [0, 0, 0, 0], "certainty": "visible | uncertain" } ],
"other_objects": [ { "kind": "ice_pack | unknown_object", "box_2d": [0, 0, 0, 0] } ]
},
"label_photo": {
"fields": [
{ "item": "name | raw_or_cook | harvest_area | processor | use_by | storage | order_no",
"text": "", "status": "read | unreadable | not_found" }
]
}
}
構造化出力は response_format で指定します。 公式の説明では、type を text、mime_type を application/json にして、schema に JSON Schema を渡します。item、status、certainty、kind は enum にします。 「出荷可」「死貝」のような判断の言葉が返らないようにするためです。box_2d は整数の配列にし、minimum を0、maximum を1000にします。公式の説明では、数値の minimum/maximum と配列の minItems/maxItems は守られ、文字列の minLength/maxLength は外されます。
公式は、構文として正しい JSON でも値は自分の側で確かめるよう書いています。 スクリプトでは、枠の左上と右下が逆になっていないか、同じ牡蠣に枠が2つ付いていないか(枠の重なりが大きいもの)を確かめ、重なりの大きい枠の組には担当が見る印を付けます。
スクリプトが台帳に書く照合の結果は、たとえば次のようになります。
【注文 O-1117-0215】岩牡蠣・生食用・Lサイズ・12個(飲食店)
個数:写真の枠 11個(重なりの印 1か所)→ 候補:個数の不足または重なり
大きさの目安:区分の範囲より小さく見える 1個(右下の列の端)
口が開いて見える:0 殻が割れて見える:1(uncertain)
シール:生食用(注文と一致)/採取した水域:○○湾(出荷の予定と一致)
消費期限:読めない桁あり → シールを目で確かめる
※担当の確認:重なりの印、右下の小さく見える1個、シールの消費期限 システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 共有ドライブ | Google Apps Script が3分おきに新しい写真を探す | 箱の写真とシールの写真 |
| 注文の一覧・出荷の予定 | スプレッドシートの読み取り | 個数、区分、生食用か加熱用か、水域、消費期限の日付 |
| Gemini API | UrlFetchApp での呼び出し | 牡蠣の位置、目盛り板、口・割れの疑い、シールの文字 |
| 枠を描いた写真 | スクリプトが枠を重ねた画像を作り共有ドライブに置く | 出荷の担当が見る写真 |
| 出荷の台帳 | スクリプトが照合の結果の列に書く | 候補の種類、色、写真へのリンク |
台帳には「照合の結果」の列と「確かめ済み」の列を分けて持ちます。 スクリプトが書くのは照合の結果の列だけで、確かめ済みの列は出荷の担当だけが書きます。 宅配の伝票を出すのは、確かめ済みの列が埋まった箱だけです。
候補は3つの色で分けます。 生食用と加熱用の食い違い、シールの「生食用/加熱用」が読めない箱は赤、個数・大きさ・水域・消費期限の食い違いは黄、候補の無い箱は白です。赤の箱は、台帳の一番上に並び、担当が出荷の列から外すまで黄の箱より上に残ります。 枠を描いた写真では、牡蠣を緑、重なりの印を点線、口・割れの疑いを赤の枠にします。
人が確認する
出荷の担当は、すべての箱の照合の結果を見てから、確かめ済みの列に書きます。 候補の無い箱を一覧で流し見て済ませることはしても、照合の結果だけで確かめ済みにする運用にはしません。
- 赤の箱を先に見る … 出荷の列から外し、蓋を開け、シールと注文、その日の出荷の予定を読み合わせます。牡蠣をどの水域から詰めたかを箱詰めの担当に確かめます
- 黄の箱を開ける … 個数を数え直し、小さく見える牡蠣を手に取り、消費期限や水域のシールを目で読みます
- 口が開いて見える・殻が割れて見える牡蠣を確かめる … 殻を叩いて閉じるか、割れが本当かを見て、詰め替えます
- 白の箱を流し見る … 枠を描いた写真で、枠の無い牡蠣、点線の枠が無いかを見ます
- 確かめ済みの列に書く … 直した内容(詰め直し、シールの貼り替え)を書き添えます
1番目を省かないでください。 シールを貼り替えれば済むのか、牡蠣そのものが違う水域のもので箱ごと詰め直すのかは、箱詰めの担当に聞かないと分かりません。
目標は、1,800箱をならして1箱0.5分です。 開けて確かめる箱が1割前後という想定で、それより多い日は、撮影の光か並べ方が崩れています。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が1枚しか無い | 10分待ってもそろわなければ、撮り忘れの印を付ける |
| ファイル名とシールの注文の番号が違う | 赤の候補として、箱とシールの取り違えを先に確かめる |
| 目盛り板が写っていない | 大きさの目安を出さず、黄の候補にする |
| 牡蠣が重なって数えられない | 個数を出さず、担当が開けて数える |
| 2段に詰めた箱で1段の写真しか無い | 個数を出さず、撮り直しの印を付ける |
| シールの文字が読めない | 読めない項目を担当が目で読む。「生食用/加熱用」なら赤 |
| 写真がぼやけている・影が強い | 撮り直しの印を付ける |
| 対応しない形式の写真 | 渡さずに印を付ける |
| Gemini が応答しない | 照合の結果の列に「照合なし」と書き、担当が従来どおり開けて確かめる |
上から5行目までが大半で、どれも撮影の手順の問題です。 指示を直すより、撮り方を直すほうが効きます。
記録を残す
- 注文の番号、撮った日時、箱の写真とシールの写真、枠を描いた写真
- Gemini が返した JSON の全文と、そのとき使った語彙・大きさの区分の表の版
- スクリプトの照合の結果と、そのときの注文の一覧と出荷の予定の値
- 出荷の担当が直した内容(詰め直し、シールの貼り替え、口の開いた牡蠣の入れ替え)と確かめた人
- 届け先から個数・大きさ・表示について連絡があった箱と、そのときの写真
最後の行が、届け先への説明の材料になります。 出荷のときに箱に何個あり、シールに何が書かれていたかを写真で示せれば、「個数が足りない」という連絡に、出荷の時点の状態で答えられます。
04実装レベルの3段階
最小構成では箱の数がさばけません。 1箱ずつ上げるので、月1,800箱には使えません。確かめるための段階です。 半自動化で、1箱2分が1分程度になります。 数えることは自動になりますが、シールを注文の一覧と読み合わせる作業が担当に残ります。本格構成で0.5分になり、この段階が本記事の想定です。 差が出るのは、シールの読み合わせが1箱ごとに注文の一覧を引く手作業だからです。 段階を飛ばさないでください。 半自動化を1か月見て、数え落としの出やすい詰め方と撮り方の癖を直してから、照らし合わせに進みます。
05工数削減シミュレーション
導入後 1,800件 × 0.5分 ÷ 60 = 15 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 真牡蠣と岩牡蠣を季節で切り替えながら、殻付きの牡蠣を飲食店・鮮魚店・通販の客へ箱で毎月千箱以上出している生産者・漁協の出荷場。注文ごとに個数と大きさの区分と生食用か加熱用かが違い、箱詰めの後のもう一人の確かめが集荷の時刻に追われている場合。表示のシールを注文ごとに貼り替えている場合。
- 出荷が月に数十箱で、一人が詰めながら確かめて足りる場合。むき身のパックだけを出し、箱の中を上から数えることがない場合。重さで量って区分を決める選別機の結果だけで出荷を決めている場合。なお、生食用として出してよいかの判断、表示が法令に合っているかの判断、牡蠣の生死や衛生の判断は、この構成では代替できません。
07最小構成で試す方法
- 出荷の前の箱から30箱を選ぶ(うち数箱は、岩牡蠣の大きい箱、2段に詰めた箱、生食用と加熱用を同じ日に出した箱を入れる)
- 30箱を撮影の枠の下で撮り、出荷の担当が数えた個数と、シールを読み合わせた結果を書いておく
- 業務で契約したAIサービスの画面に2枚の写真を上げ、見え方の語彙を貼り付ける
- 「箱の中の牡蠣を1個ずつ位置で示し、目盛り板、口が開いて見える牡蠣の位置、シールの文字を書かれたとおりに書いてください。個数の合計、大きさの区分、食べてよいかは書かないでください。読めない文字は補わないでください」と指示する
- 出てきた結果を、担当が数えた個数と、シールの読み合わせの結果と見比べる
30箱は必ず担当が見比べてください。 公式の説明には、物体を数える使い方の手引きは見当たりません。確かめたいのは、殻の暗い牡蠣で数え落としが出ないか、かすれたシールの文字を補っていないかです。
| 出てきた内容 | 判断 |
|---|---|
| 数のずれが重なりの印の所に集まっている | ドライブとスクリプトの仕組みに進む |
| 読めない文字を補って写した | 指示の書き方と status の enum で直る。構成は有効 |
| 影が強く、隣の牡蠣との境目で数え落としが多い | 撮影の枠の光が先。 AIの問題ではない |
3行目が出たら、光を直した枠で同じ30箱を撮り直してください。 試しの段階でも、無料の枠は使わないでください(第11章)。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| かすれたシールの文字を補って写す | 補わず unreadable にさせ、「生食用/加熱用」が読めなければ赤にする |
| 重なった牡蠣を1個に数える | 境目が見えなければ overlap にし、点線の枠で見せる |
| 殻の暗い牡蠣の境目が影に溶ける | 撮影の枠に上から散らした光を当てる |
| 根拠の無い個数の合計が入る | 合計を書かせず、枠の数からスクリプトが数える |
| 大きさの目安がずれる | 目盛り板を同じ写真に入れ、写っていなければ目安を出さない |
| 2段の箱で下の段を数え落とす | 段ごとに撮る決まりにし、1段の写真なら個数を出さない |
| ドライブの検索で写真が見つからない | Drive API の v2 の項目名(modifiedDate、title)で条件を書く |
| ドライブに入ったことを起点にできない | 時間主導のトリガーで3分おきに探す |
| やり取りが保存される | store=false を付ける |
上の2行が、この構成の失敗のほとんどです。 読めない所と数えられない所を、そのまま返させる設計が、運用に乗るかを決めます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 箱とシールの写真、注文の番号、注文の個数と区分、その日の出荷の予定(採取した水域)です。シールの写真には届け先の名前が写りえます。
- 渡すのは写真と、語彙と、牡蠣の種類だけにする … 注文の個数、区分、届け先、値段を Gemini に渡しません
- 生食用として出してよいかを AI に決めさせない … 生食用と加熱用の区分は、採取した水域と処理の仕方で生産者が決めます。この構成はシールの文字と注文が合うかを照らすだけです
- 表示の中身の判断を AI に任せない … 何をどう書くかは生産者が決め、この構成はその印字を読むだけです
- 確かめ済みの列はスクリプトに書かせない … 照合の結果と確かめ済みの列を分け、伝票は確かめ済みの列だけを見て出します
- 有料の枠で使い、
store=falseを付ける … 規約では、有料の枠では入力と応答を製品の改善に使わない一方、禁止された使い方の検出のために一定期間記録するとされています - シールの写真を残す期間を決める … 届け先の名前が写るので、問い合わせに答えられる期間を過ぎたら消します
誤りが起きた場合のリスクは、加熱用の牡蠣が生食用のシールで届くことと、個数や大きさの違う箱が届くことの2つです。 前者は食中毒につながりうるので、読めない「生食用/加熱用」を赤に寄せ、赤は必ず人が開けて確かめます。
10まず何から始めるか
1週目:撮影の枠を作る
出荷場の一角に、上から散らした光を当てる撮影の枠と、箱の角の目盛り板の置き場、シールを撮る位置の印を用意します。タブレットの保存先を共有ドライブの日付のフォルダにし、ファイル名の付け方を決めます。
2週目:30箱で試す
出荷の前の30箱を撮り、業務で契約したAIサービスで牡蠣の位置とシールの文字を出させます。担当が数えた個数と見比べ、かすれた文字を補っていないかを最優先で見ます。
3週目:語彙と区分の表を整える
口・割れの見え方を出荷場の言葉で語彙に書き、大きさの区分の表を真牡蠣と岩牡蠣で分けて書き直します。
4週目:ドライブから一覧までをつなぐ
写真の拾い上げから Gemini API の呼び出し、枠を描いた写真と個数を表に出すところまで作ります。この時点ではシールの照らし合わせをせず、枠の付き方を担当が見比べます。
2か月目: 注文の一覧と出荷の予定との照らし合わせ、色分けした候補を足します。赤と黄の候補の数を毎週数えます。3か月目以降: 1箱2分が何分になったかを実測し、撮影の決まりを直します。真牡蠣と岩牡蠣の切り替えの月を一度越え、どちらの季節でも数え落としが落ち着いた時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
物体を検出して box_2d を [ymin, xmin, ymax, xmax] の順に0〜1000に正規化して返し、元の大きさに直して使うこと。画像を直接入れる場合は文の指示やシステムの指示を含めた依頼全体が20MBまでであること。複数の画像を input に並べて渡せること。対応する形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像1枚と文なら文を画像の前に置くこと。向きを確かめ、ぼやけていない画像を使うこと。384ピクセル以下は258トークン、大きい画像は768×768のタイルごとに258トークンであること。REST の例が Api-Revision のヘッダーを付けていること。物体を数える手引きが見当たらないこと | Google AI Studio: Image understanding | 2026-11-17 |
構造化出力を response_format(type を text、mime_type を application/json、schema)で指定すること。enum が使えること。数値の minimum/maximum と配列の minItems/maxItems は守られ、minLength/maxLength は外されること。値はアプリ側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-17 |
Interactions API の宛先が /v1beta/interactions であること。既定でやり取りを保存し(有料55日、無料1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-17 |
| 18歳以上が使うこと。無料の枠では入力と応答が改善に使われ人が読むことがあり、機密や個人の情報を送らないよう求めていること。有料の枠では改善に使わず、禁止された使い方の検出のために一定期間記録すること。生成された内容に頼る前に慎重に判断するよう求めていること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-17 |
| 時間主導のトリガーが1分おきから月1回まで動かせ、時刻が少しずれうること。設置型のトリガーが開く・編集・変更・フォームの送信・カレンダーの予定と時間主導であること。トリガーで動いたスクリプトが失敗すると失敗の要約がメールで届くこと | Google Apps Script: Installable triggers | 2026-11-17 |
searchFiles が条件に合うファイルを返すこと。ドライブの機能が Drive API の v2 を使い、条件の項目名が v3 と違うこと(例は modifiedDate と title) | Google Apps Script: Class DriveApp | 2026-11-17 |
| 食品表示基準の別表第二十四で、生かきの表示の事項として、保存の方法、消費期限又は賞味期限、加工所の所在地及び加工者の氏名又は名称、生食用であるかないかの別(生食用以外は「加熱調理用」「加熱用」等と表示)、採取された水域(生食用のものに限る)が挙がっていること(2026-10-01 施行の改正を反映した版) | e-Gov 法令API: 食品表示基準(平成27年内閣府令第10号) | 2026-11-17 |
生食用として出してよいか、表示が法令に合っているか、牡蠣の生死と衛生は、生産者が自らの基準と保健所の指導にもとづいて決めてください。 本記事は箱とシールの写真から、注文との食い違いの候補を拾うまでを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3687)についてのご相談はこちらから。
