煮干し(いりこ)の加工場が、検品の板に並べた見本の写真を Gemini で見て、大きさ・腹切れ・色の区分の候補を出し、等級の目視の確認を早める
煮干しの見本50尾を区画つきの検品の板に並べて撮り、Gemini に1尾ずつの長さの区分・腹切れ・欠け・色の見え方の候補を返させます。スクリプトが割合を数えて等級の候補を台帳に書き、検品の担当は印の付いた写真で確かめて等級を決めます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- 商社/小売/製造
- 対象部門
- 品質管理
- 対象業務
- 内容確認・チェック/分類・仕分け
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 判定
- 主な効果
- 品質標準化/属人化解消/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 入荷したロット、または袋詰めに出すロットの箱から、見本を手ですくって取る
- 検品の台の白いトレーに広げ、50尾を数えて取り分ける
- 1尾ずつ手に取り、物差しに当てて長さの区分を見て、紙の検品票に正の字で付ける
- 腹が裂けている尾、頭や尾が欠けている尾を数え、正の字で付ける
- 全体の色を見て、「銀色に光る」「くすみ」「黄色み」のどれかに丸を付ける
- 腹切れの割合を電卓で出し、壁に貼った等級の基準表と見比べて等級を書く
- 紙の検品票を、夕方に台帳のスプレッドシートへ打ち込む
- 人見本を取り、50の区画を刷った検品の板に1尾ずつ、腹を手前に向けて置く
- 人板の端にロットの番号の札を置き、検品の台の上から決まった高さで撮る
- 自動写真が共有ドライブに入り、Google Apps Script が数分おきに新しい写真を拾う
- 自動ロットの情報(産地、入荷日、検品の種類)を台帳から引く
- 自動Gemini API が、区画ごとの長さの区分・腹切れ・欠け・色の見え方の候補と、迷った区画を返す
- 自動スクリプトが区画の数を数え、腹切れ・欠けの割合と色の内訳を出し、基準表から等級の候補を付ける
- 自動腹切れと迷った区画に印を描いた写真と、候補を台帳の行に書く
- 人検品の担当が印の付いた写真を見て、迷った区画と腹切れの区画を板の現物と照らし、等級を決める
- 人等級の境目のロット、色の候補が「黄色み」のロットは、責任者が現物を見て決める
各工程の詳しい説明を読む
- 入荷したロット、または袋詰めに出すロットの箱から、見本を手ですくって取る
- 検品の台の白いトレーに広げ、50尾を数えて取り分ける
- 1尾ずつ手に取り、物差しに当てて長さの区分を見て、紙の検品票に正の字で付ける
- 腹が裂けている尾、頭や尾が欠けている尾を数え、正の字で付ける
- 全体の色を見て、「銀色に光る」「くすみ」「黄色み」のどれかに丸を付ける
- 腹切れの割合を電卓で出し、壁に貼った等級の基準表と見比べて等級を書く
- 紙の検品票を、夕方に台帳のスプレッドシートへ打ち込む
(a)50尾を数えるだけで時間がかかる。 1回の検品の時間の大半は、判断ではなく数えることに使われています。 入荷が重なる日には、袋詰めのラインが検品を待ちます。
(b)腹切れの取り方が担当ごとに違う。 腹の皮が少し割れているだけの尾を腹切れと取るか、内臓が見えるまで裂けた尾だけを取るか。ベテランの担当は前者、新しい担当は後者に寄りがちで、同じロットで腹切れの割合が倍近く違うことがあります。 割合が等級の境目にあるロットでは、誰が見たかで等級が変わります。
(c)色の判断が光に左右される。 検品の台は窓のそばにあり、朝と夕方で同じ見本の色が違って見えます。 「くすみ」と「黄色み」の境目は担当の目と光の両方で動きます。
(d)等級の根拠が残らない。 紙に残るのは正の字と丸だけです。取引先から「腹切れが多かった」と言われても、見本を捨てた後では確かめようがありません。
- 【人】 見本を取り、50の区画を刷った検品の板に1尾ずつ、腹を手前に向けて置く
- 【人】 板の端にロットの番号の札を置き、検品の台の上から決まった高さで撮る
- 【自動】 写真が共有ドライブに入り、Google Apps Script が数分おきに新しい写真を拾う
- 【自動】 ロットの情報(産地、入荷日、検品の種類)を台帳から引く
- 【自動】 Gemini API が、区画ごとの長さの区分・腹切れ・欠け・色の見え方の候補と、迷った区画を返す
- 【自動】 スクリプトが区画の数を数え、腹切れ・欠けの割合と色の内訳を出し、基準表から等級の候補を付ける
- 【自動】 腹切れと迷った区画に印を描いた写真と、候補を台帳の行に書く
- 【人】 検品の担当が印の付いた写真を見て、迷った区画と腹切れの区画を板の現物と照らし、等級を決める
- 【人】 等級の境目のロット、色の候補が「黄色み」のロットは、責任者が現物を見て決める
8番目が、この設計の分かれ目です。 担当は50尾をもう一度数え直しません。印の付いた区画と迷った区画だけを板の上で見て、候補を直します。 全部を数え直す運用にすると、5分が3分にも縮みません。
6番目をスクリプトに置くのも、意図してのことです。 割合と基準表への当てはめは決まった計算で、Gemini に書かせると区画の返事と合わない数字が入ることがあります。
02今回想定するシステム構成
検品の板(50の区画と目盛り、ロットの札) │ 検品の台の上のタブレットで撮影し、共有ドライブへ ▼【トリガー】数分おきに Google Apps Script が新しい写真を探す Google Apps Script(拾い上げ・台帳との照らし合わせ・書き込み) ├── 検品の台帳(ロットの番号、産地、入荷日、検品の種類) ├── 見え方の語彙(腹切れ・欠け・色の説明と見本の写真の番号) ▼ Gemini API(画像の理解+構造化出力) │ 区画ごとの長さの区分・腹切れ・欠け・色の見え方の候補、迷った区画 ▼ Google Apps Script ── 割合の計算、等級の基準表との照らし合わせ、印を描いた写真 → 検品の台帳 ▼ 【検品の担当が写真と板の現物を見て等級を決める】
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(区画ごとの長さの区分・腹切れ・欠け・色の見え方の候補) | Claude API、OpenAI API |
| 連携 | Google Apps Script(写真の拾い上げ、基準表との照らし合わせ、台帳への書き込み) | Python |
| 撮影 | 検品の台、固定したタブレット、検品の板 | - |
| 台帳 | 検品の台帳、等級の基準表、見え方の語彙(スプレッドシート) | - |
土台は Gemini API の画像の理解です。 公式の説明では、Gemini は物体を検出して、位置を [ymin, xmin, ymax, xmax] の順に、0〜1000に正規化した座標で返し、元の画像の大きさに直して使うとされています。本記事では1尾ずつに枠を付けさせるのではなく、区画の番号で答えさせ、補助として枠を返させます。 区画の番号は板に刷ってあるので、枠がずれても人が板で照らせます。
写真は依頼の中に直接入れます。 公式の説明では、画像を直接入れる場合は、文の指示やシステムの指示も含めた依頼全体が20MBまでで、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF です。1回の検品で渡すのは板の写真1枚なので、上限には遠く届きません。
つなぎは Google Apps Script にします。 写真は共有ドライブ、台帳はスプレッドシートにあるからです。公式の説明で挙がっている設置型のトリガーは、開く、編集、変更、フォームの送信、カレンダーの予定と時間主導で、ドライブにファイルが入ったことを起点にするものは無いので、時間主導で数分おきに探します。
Gemini の返事は等級の材料で、等級ではありません。 規約は、生成された内容に頼る前に慎重に判断するよう求めています。等級も、出荷を止めるかどうかも、検品の担当と品質の責任者が決めます。
03どうやって実装するのか
処理の起点を決める
共有ドライブの「検品写真」のフォルダに入った新しい写真を起点にします。 検品の台のタブレットで撮った写真は、その日の日付のフォルダに入ります。Google Apps Script は時間主導のトリガーで5分おきに動き、前回より後に入った写真を探します。 公式の説明では、時間主導のトリガーは最短で1分おきから動かせますが、時刻は少しずれることがあるとされています。検品の結果は撮ってから数分後で間に合うので、5分おきで足ります。
検品の台が動いていない時間は、スクリプトの中で何もせずに終えます。 始業から袋詰めのラインが止まるまでの時間だけ写真を探し、夜や休みの日に空回りさせません。
撮り直しは、同じロットの新しい写真として扱い、前の写真は消さずに「撮り直し」の印を付けます。
スクリプトが失敗したときは、公式の説明どおり失敗の要約がメールで届くので、品質の責任者にも届くようにします。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 見本の写真 | 50の区画に1尾ずつ並べた板を真上から撮った1枚。ロットの札を写し込む | 共有ドライブ |
| ロットの情報 | ロットの番号、産地、入荷日、検品の種類(入荷/袋詰めの前)、選別機のふるいの区分 | 検品の台帳 |
| 見え方の語彙 | 腹切れ・欠け・色のそれぞれの見え方の説明と、迷いやすい例 | 加工場で用意する語彙 |
| 板の仕様 | 区画の並び(5行×10列)、区画の番号の振り方、目盛りの間隔 | 加工場で用意する設定 |
| 等級の基準表 | 大きさの区分ごとの、腹切れ・欠けの割合の上限と、色の扱い | 等級の基準表 |
Gemini に渡すのは、写真と、見え方の語彙と、板の仕様だけです。 産地や取引先、値段は渡しません。等級の基準表も渡しません。 基準の割合を見せると、境目のロットで腹切れの数がその割合に寄ってしまうおそれがあるからです。
質を決めるのは、板と光です。 煮干しは銀色の体が光を返すので、真上の照明が強いと腹の裂け目が白く飛びます。 板は光を返しにくい濃い灰色にし、照明は斜め上の2方向から当て、検品の台を窓から離します。
見え方の語彙には、ベテランの担当の手がかりを書きます。 たとえば「腹切れ:腹の皮が裂け、中の内臓や身が見える。皮に細い線が入っているだけのものは腹切れにしない」です。決めないと、第3章の(b)のずれがそのまま Gemini のずれになります。 色は「銀色に光る」「くすみ」「黄色み」の見本の尾を同じ板で撮った写真を添えます。
データの取得方法を決める
写真は、DriveApp でフォルダを探して取り出します。 公式の説明では、searchFiles に条件を渡してファイルを探せますが、ドライブの機能は Drive API の v2 を使っていて、条件の項目名が v3 と違うとされています。公式の例は modifiedDate と title です。v3 の書き方の項目名を書くと当たらないので、v2 の項目名で条件を書きます。
ロットの番号は、ファイル名で受け取ります。 タブレットの撮影の手順で、ファイル名の頭にロットの番号と検品の種類を付けます。札の文字を Gemini に読ませて番号にすることもできますが、札が光って読めないこともあります。 ファイル名を正とし、Gemini には札の番号を別の欄で返させ、食い違ったら印を付けて止めます。 別のロットの写真に候補が付くのが、この業務で一番まずい誤りだからです。
Gemini API には、Interactions API で依頼します。 公式の説明では、https://generativelanguage.googleapis.com/v1beta/interactions に送り、API キーは x-goog-api-key のヘッダーで渡します。公式の REST の例は Api-Revision のヘッダーを付けているので、Google Apps Script からは UrlFetchApp で同じ形の JSON を送り、同じヘッダーを付けます。 公式の説明では、muteHttpExceptions を true にすると失敗の応答でも例外にせず中身を返すので、true にして応答の番号を台帳に残します。 公式の説明では画像1枚と文なら文を画像より前に置くとされているので、指示を先に、写真を後に置きます。
依頼には store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持されます。store=false を付ければ保存されませんが、バックグラウンドの実行とは併用できないとされています。 写真1枚の依頼なので、同期で呼び、その場で返事を受け取ります。
指示の決まった部分は system_instruction に置きます。 公式の説明では、system_instruction は1回の依頼ごとの欄で、続きのやり取りには引き継がれないとされています。毎回の依頼に、見え方の語彙と厳守事項を入れます。
AIへ渡す前に整形する
- ロットの番号を確かめる … ファイル名の番号が台帳にあるかを確かめ、無ければ止める
- 形式を確かめる … PNG、JPEG、WEBP、HEIC、HEIF 以外は渡さず、印を付ける
- 大きさを確かめる … 写真と指示と色見本の写真で20MBに収まるかを確かめる
- 向きを確かめる … 板の区画の1番が左上に来る向きに直す
- 板が写り切っているかを確かめる … 四隅の目印が4つとも写っているかを見る
- 語彙と基準表の版を付ける … そのとき使った版を台帳の行に控える
4番目は、公式も勧めていることです。 公式の説明では、画像の向きが正しいかを確かめ、ぼやけていない画像を使うよう書かれています。タブレットを固定していても、撮る人がかがむ向きで写真の向きがずれることがあります。 向きがずれたまま渡すと、区画の番号がまるごと入れ替わり、腹切れの印が別の尾に付きます。
5番目の目印が4つそろわない写真は、端の列が写らず数尾が「無い」と返るので渡しません。 3番目で縮小しないのは、細い腹の裂け目が潰れて腹切れが「なし」に流れるからです。
AIに処理させる
させるのは、50の区画のそれぞれについて、見えている尾の長さの区分・腹切れ・欠け・色の見え方の候補を返すことだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 区画の中の尾 | 1尾があるか、空か、2尾以上か | 2尾以上なら multiple で数えない |
| 長さの区分 | 板の目盛りと比べた頭から尾の先までの長さの区分 | 体が曲がって測れなければ cannot_tell |
| 腹切れ | 腹の皮が裂け、中が見えるか | 裂け目か光の筋か分からなければ uncertain |
| 頭・尾の欠け | 目より前が無い、尾びれが根元から無い | 影で見えなければ uncertain |
| 色の見え方 | 語彙の3つの見本のどれに近いか | 2つの間なら両方を返して uncertain |
| ロットの札 | 写っていれば札の番号 | 読めなければ空欄 |
長さは「区分の候補」で、寸法ではありません。 大きさの決め手はこれまでどおり選別機のふるいで、写真の候補はふるいを通ったあとのそろい方を見る材料です。
色は区画ごとに返させ、「黄色み」の尾の数を前回の検品と比べます。
等級の候補は、スクリプトが割合を出して基準表に当てて決めます。 uncertain が一定の数を超えたロットは候補を出さず、「担当が数える」として回します。
| させないこと | 理由 |
|---|---|
| 等級を書くこと | 基準表からスクリプトが候補を出し、検品の担当が決める |
| 腹切れの割合や尾数の合計を書くこと | 区画の返事からスクリプトが数える。根拠の無い数字を入れない |
| 色の変化の原因を書くこと | 油焼けか、乾燥の具合か、保管の温度かは責任者が現物で見る |
| 異物や虫の有無を言い切ること | 写真1枚では見えない面がある。見えたものだけ別の欄に返させる |
| 産地を言い当てること | 産地は台帳から引く |
| ミリ単位の長さを書くこと | 写真の目盛りとの比べでは、区分より細かい精度は出ない |
3行目は、とくに守らせます。 「油焼け」と書けばその一言でロットの扱いが変わり、「光の加減」と書けば劣化の始まりを見落とします。
指示内容を固定する
あなたは煮干し(いりこ)の加工場で、検品の担当を補助する立場です。
検品の板に並べた見本の写真から、区画ごとの見え方を書き出します。
【渡すもの】
- 検品の板の写真1枚(5行×10列の区画、左上が1番、右下が50番)
- 板の目盛りの間隔:{scale_mm} ミリ
- 大きさの区分と、それぞれの目盛りの目安:{size_classes}
- 見え方の語彙と説明、色見本の写真:{visual_vocab}
【やること】
1. 1番から50番までの区画を順に見て、尾が1尾あるか、空か、
2尾以上かを返してください。
2. 1尾ある区画について、目盛りと比べた長さの区分を
size_classes の中から1つ返してください。
3. 腹の皮が裂けて中が見えるかを、yes/no/uncertain で返してください。
4. 頭の欠け、尾の欠けを、それぞれ yes/no/uncertain で返してください。
5. 色が語彙の見本のどれに近いかを返してください。
2つの間で迷うときは、両方を返して uncertain にしてください。
6. 腹切れが yes か uncertain の区画は、尾の位置を
box_2d([ymin, xmin, ymax, xmax]、0〜1000)で返してください。
7. 板の上に煮干し以外のものが見えたら、区画の番号と見え方を返してください。
8. ロットの札が写っていれば、その番号を返してください。
【厳守事項】
- 等級、腹切れの割合、尾数の合計を書かないでください。
- 色の変化の原因(油焼け、乾燥、保管など)を書かないでください。
- 長さをミリで書かないでください。区分だけを返してください。
- 裂け目か光の筋か分からないときは、yes にも no にも決めず
uncertain にしてください。
- 何も見えなかったときに「異物なし」「腹切れなし」と
まとめて書かないでください。区画ごとに返してください。
- 写真に写っていない面の様子を推し量らないでください。
「腹切れの割合を書かない」を明記しないと、区画ごとの返事のあとに「腹切れは約12%」と書き添えてきます。 その割合が区画の返事と合っていなくても、台帳に入れば検品の担当は割合のほうを読みます。 割合はスクリプトが区画から数え、数えた区画に印を付けて見せます。
「uncertain にしてください」も同じ理由です。 迷った尾をどちらかに寄せると、その癖が担当ごとのずれの代わりに入ります。
出力形式を固定する
構造化出力で、次の形の JSON を受け取ります。 公式の説明では、Interactions API では response_format に type を text、mime_type を application/json とし、schema の欄にスキーマを入れます。
{
"lot_label_read": "",
"cells": [
{
"cell": 1,
"occupancy": "one | empty | multiple",
"size_class": "large | medium | small | kaeri | cannot_tell",
"belly_split": "yes | no | uncertain",
"head_missing": "yes | no | uncertain",
"tail_missing": "yes | no | uncertain",
"color": ["silver | dull | yellowish"],
"color_uncertain": false,
"box_2d": [0, 0, 0, 0]
}
],
"foreign_object_seen": [
{ "cell": 0, "description": "" }
],
"photo_issues": ["glare | blur | board_cut_off | none"]
}
1つ目の理由は、区画の番号で人が照らせることです。 「17番が腹切れ」と言われた尾を、板の上ですぐに指せます。
2つ目は、enum で語彙の外の言葉を締め出せることです。 公式の説明では、文字の欄に enum を付けて選べる値を決められ、配列には minItems と maxItems が守られるとされています。cells の数を50に決めておけば、区画を飛ばした返事は形の上で弾けます。 ただし公式は、文字の長さの制約は外されること、そして形が正しくても値はアプリの側で確かめるよう求めています。
スクリプトは、番号が1から50まで重複なくそろうか、札の番号がファイル名と合うかを確かめ、崩れていれば「要確認」と書きます。
スクリプトは返事から次の行を台帳に書きます。
| ロット | 検品 | 尾数 | 腹切れ | 欠け | 色の内訳 | 迷い | 大きさのそろい | 等級の候補 | 担当の判定 |
|---|---|---|---|---|---|---|---|---|---|
| 1107-03 | 袋詰めの前 | 50 | 6(12.0%) | 2 | 銀38/くすみ10/黄2 | 3 | 中羽 46・小羽 4 | 上 | (空欄) |
右端の「担当の判定」は空欄で出します。 候補と同じなら担当がそのまま写し、違えば直した等級と理由を書きます。空欄のままの行は、等級が決まっていないロットとして袋詰めに回しません。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 共有ドライブ | DriveApp | 新しい写真を探し、処理済みの写真を別のフォルダへ移す |
| 検品の台帳 | スプレッドシートの読み書き | ロットの情報を引き、候補と印を描いた写真の場所を書く |
| 等級の基準表・語彙 | スプレッドシートの読み取り | 大きさの区分ごとの上限、見え方の説明と版 |
| Gemini API | UrlFetchApp | 写真と指示を送り、区画ごとの JSON を受け取る |
| 袋詰めの指示書 | 既存の手順 | 担当の判定が入ったロットだけを回す |
印を描いた写真は、元の写真の横に別に作ります。 腹切れが yes の区画は赤、uncertain は黄色の枠です。袋詰めの指示書には書き込まず、候補が出ただけのロットが袋詰めに進む道を作りません。
人が確認する
検品の担当は、台帳の行と印の付いた写真を開き、板の現物と照らします。
- ロットの番号を確かめる … 写真のロットの札と、台帳の行と、板の前の箱が同じか
- 黄色の枠の区画を板の上で見る …
uncertainの尾を手に取り、腹切れか、欠けかを決める - 赤の枠の区画を流し見る … 腹切れと出た尾が、語彙のとおりの裂け目かを確かめる
- 色の内訳を見る … 「黄色み」が出ていれば、前回の検品の内訳と比べる
- 等級を決めて「担当の判定」に書く … 候補と違えば、直した理由を一言書く
2番目を省かないでください。 境目のロットでは、uncertain の数尾で等級が動きます。
等級の境目のロットと、「黄色み」が前回より増えたロットは、品質の責任者が見ます。 色の変化は、油焼けのような品質の劣化の始まりかもしれず、袋詰めに回すか、扱いを変えるかは、責任者が現物の匂いと手触りと合わせて決めます。
例外に対処する
| 起きること | 対応 |
|---|---|
| ファイル名のロットの番号が台帳に無い | Gemini に渡さず、台帳に「番号なし」と書いて担当へ |
| 札の番号とファイル名が食い違う | 候補を出さず「要確認」。別のロットに候補を付けない |
| 四隅の目印が写っていない | 渡さずに撮り直しの印を付ける |
| 光の反射で腹が白く飛んでいる | photo_issues に glare。照明を確かめて撮り直す |
cells の番号が欠ける・重なる | 候補を出さず「要確認」。同じ写真で1回だけ依頼し直す |
uncertain が多い | 等級の候補を出さず、担当が板の現物で数える |
| 煮干し以外のものが見えた | 区画の番号を台帳に書き、責任者へ知らせる。残りの箱も確かめる |
| 依頼全体が20MBを超える | 色見本の写真を減らすのではなく、撮影の解像度の設定を見直す |
| Gemini が応答しない・失敗の応答 | 写真をフォルダに残し、次の回で拾い直す。応答の番号を台帳に書く |
| スクリプトが止まる | 失敗の要約のメールで気づき、その日は紙の検品票に戻す |
上から4行目までは、AIの問題ではなく、番号の付け方と板と光の問題です。 7行目の異物は等級ではなく出荷を止めるかの話なので、見えたら責任者へ知らせ、見えなかったことを安心の根拠にしません。
記録を残す
- 元の写真と、印を描いた写真の場所
- Gemini に送った指示の版(語彙、板の仕様、色見本の写真の番号)
- Gemini が返した JSON の全文と、応答の番号
- スクリプトが数えた割合、当てた基準表の版、等級の候補
- 担当の判定と、候補を直した理由
- 責任者が見たロットと、その判断
- 撮り直しの写真と、撮り直した理由
元の写真と返事の全文は、取引先からの問い合わせに答えるために残します。 第3章の(d)のように「腹切れが多かった」と言われたとき、どの区画の尾を腹切れと取ったかを、袋詰めから何か月たっていても写真で示せます。
担当の判定と直した理由は、語彙を直す材料です。 直しの多い見え方を月ごとに数え、語彙を差し替えた日を控えます。
04実装レベルの3段階
最小構成では件数がさばけません。 1枚ずつ画面に貼って返事を読むので、月480件には使えません。語彙と板と光を決めるための段階です。 半自動化で、区画を1尾ずつ数える手間が減ります。 ただし割合の計算と基準表との照らし合わせは担当に残ります。本格構成で割合と候補と印の付いた写真が出て、担当は迷った区画と境目のロットだけに時間を使えるようになります。 この段階が本記事の想定です。 段階を飛ばさないでください。 半自動化の台帳を1か月見ると、uncertain の多い時間帯や光の具合の悪い日が先に分かります。
05工数削減シミュレーション
導入後 480件 × 2分 ÷ 60 = 16 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 産地の網元や漁協の入札で仕入れた煮干し(いりこ)を冷蔵庫で持ち、選別・袋詰めをして問屋・小売・業務用に毎月出荷している加工場。見本を取って大きさ・腹切れ・色で等級を付けているのに、検品の担当によって腹切れの取り方や色の見方が違う場合。検品の台を1か所に決め、同じ板と同じ光で撮影できる場合。
- 入荷も出荷も月に数ロットで、熟練の担当が1人で見て足りる場合。等級を付けずに産地の格付けのまま流している場合。大きさの区分を選別機のふるいの目だけで決めていて、見本の目視が要らない場合。なお、等級の決定、異物や虫の混入の判断、油焼けなど品質の劣化の原因の見立て、出荷を止めるかどうかの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月の検品で等級が「特選」「上」「並」に分かれたロットの残りから、20ロット分の見本を取る(等級の境目だったロットを数件入れる)
- 50の区画を刷った板を1枚作り、見本を1尾ずつ腹を手前に並べて、検品の台で撮る
- 撮った写真を Google AI Studio の画面に1枚ずつ貼り、「1番から50番の区画ごとに、腹の皮が裂けて中が見えるか、頭・尾の欠け、色の見え方を、yes/no/uncertain で返してください。割合や等級は書かないでください」と頼む
- 同じ板をベテランの担当と新しい担当が別々に見て、区画ごとに付けた結果と並べる
- Gemini の返事と2人の結果が、どの区画で食い違ったかを数える
見たいのは、食い違いの出る区画の見え方です。 規約では無料の枠の入力を人が読むことがあるので、取引先の名前や伝票を写し込まないでください。
| 出てきた内容 | 判断 |
|---|---|
| 2人の担当とおおむね同じ区画を腹切れと取った | スクリプトとの連携に進む |
| 2人の担当の間でも食い違いが多い | 先に語彙を書く。 AIの前に、加工場の中で取り方をそろえる |
| 光の筋を腹切れと取る区画が多い | 照明の当て方が先。 板の色と光の向きを変えて撮り直す |
2行目が出ることは珍しくありません。 それは失敗ではなく、第3章の(b)のずれが数字で見えたということです。 語彙を書き足してから、同じ20ロットで試し直してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 割合や等級を書き添えてくる | 指示で禁じ、数はスクリプトが区画から数え直す |
| 光の筋を腹切れと取る | 照明を斜め2方向にし、板を光を返しにくい色にする |
| 写真の向きがずれて区画が入れ替わる | 四隅の目印で向きを確かめ、1番が左上に来るまで直す |
| 板の端が写らず尾が「無い」と返る | 四隅の目印が4つそろわない写真は渡さない |
| 別のロットに候補が付く | ファイル名の番号を正とし、札と食い違えば止める |
| ミリ単位の長さが台帳に入る | 区分の enum だけを許し、長さの欄を作らない |
cells が50そろわない | minItems と maxItems で弾き、番号の重複もスクリプトで確かめる |
| v3 の項目名で写真が見つからない | DriveApp は v2 の項目名(modifiedDate、title)で書く |
| やり取りが保存される | store=false を付けて同期で呼ぶ |
| 色の変化の原因を書いてくる | 指示で禁じ、責任者が現物で見る |
上の2行が、この構成の失敗のほとんどです。 割合と等級は区画の返事から決まる計算で、写真から直接読ませないという線を、指示とスクリプトの両方で守ります。
5行目は、一度でも起きると台帳全体が信用されなくなります。 番号の照らし合わせは最初に作り込んでください。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 煮干しの見本の写真、ロットの番号、産地、入荷日、検品の結果です。人の顔や名前、取引先の名前は、写真にも依頼にも入れません。
- 写真に余計なものを写さない … 伝票や取引先の名前の入った箱のラベルが写り込まないよう、撮る範囲を板に絞ります
- 無料の枠に業務の写真を流さない … 規約では、無料の枠では入力と応答を人が読むことがあるとされています。本番は有料の枠で動かし、
store=falseを付けます - 等級と出荷の判断を Gemini に渡さない … 規約は、生成された内容に頼る前に慎重に判断するよう求めています。等級は検品の担当、出荷を止めるかどうかは品質の責任者が決めます
- 異物が見えなかったことを、異物が無いことの根拠にしない … 板の50尾は箱の一部です。異物の検査はこれまでの手順のまま残します
- API キーをスクリプトの本文に書かない … スクリプトのプロパティに置き、編集できる人を品質の責任者と担当に絞ります
誤りが起きた場合のリスクは、腹切れの多いロットを上の等級で出すことと、問題のないロットを下の等級に落とすことの2つです。 前者は迷った尾を no に寄せると起き、後者は光の筋を腹切れと取ると起きます。どちらも uncertain を残して人が板の上で決める設計と、撮影の条件をそろえることで防ぎます。
10まず何から始めるか
1週目:検品の板と台を作る
50の区画と目盛り、四隅の目印を刷った板を作り、検品の台を窓から離して照明を整えます。タブレットの高さと、ファイル名の付け方を決めます。
2週目:見え方の語彙と色見本を作る
ベテランの担当と新しい担当で、腹切れ・欠け・色の見え方を言葉にします。 色見本の3尾を選び、同じ板で撮ります。
3週目:20ロットで試す
第8章の手順で、2人の担当の結果と並べ、食い違った区画を数えます。
4週目:写真の拾い上げから台帳までをつなぐ
Google Apps Script で写真を拾って Gemini API に送り、区画ごとの返事を台帳に書くところまで作ります。この時点では等級の候補を出さず、区画の一覧と印の付いた写真だけを見ます。
2か月目: 割合の計算と基準表との照らし合わせを足し、等級の候補を出します。担当が候補を直した数を毎週数えます。3か月目以降: 直しの多い見え方を語彙に書き足し、1回5分が何分になったかを実測します。担当ごとの等級のずれが、取引先からの問い合わせに写真で答えられるほど小さくなった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
物体の位置を [ymin, xmin, ymax, xmax] の順に0〜1000に正規化して返し、元の大きさに直して使うこと。画像を直接入れる場合は文の指示やシステムの指示を含めた依頼全体が20MBまでであること。対応する形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像1枚と文なら文を画像の前に置くこと。向きを確かめ、ぼやけていない画像を使うこと。大きい画像はタイルに分けて数えられること。REST の例が x-goog-api-key と Api-Revision のヘッダーを付けていること | Google AI Studio: Image understanding | 2026-11-17 |
構造化出力を response_format(type を text、mime_type を application/json、schema)で指定すること。enum が使えること。minItems/maxItems は守られ、文字の長さの制約は外されること。形が正しくても値はアプリの側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-17 |
Interactions API の宛先が /v1beta/interactions であること。既定でやり取りを保存し(有料55日、無料1日)、store=false で保存しないこと。store=false がバックグラウンドの実行と併用できないこと。system_instruction が1回の依頼ごとの欄で引き継がれないこと | Google AI Studio: Interactions API | 2026-11-17 |
| 18歳以上が使うこと。無料の枠では入力と応答が改善に使われ人が読むことがあり、機密や個人の情報を送らないよう求めていること。有料の枠では改善に使わず、禁止された使い方の検出のために一定期間記録すること。生成された内容に頼る前に慎重に判断するよう求めていること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-17 |
| 設置型のトリガーが開く・編集・変更・フォームの送信・カレンダーの予定と時間主導であること。時間主導のトリガーが最短で1分おきに動かせ、時刻が少しずれうること。トリガーで動いた関数が失敗すると失敗の要約がメールで届くこと | Google Apps Script: Installable triggers | 2026-11-17 |
searchFiles が条件に合うファイルを返すこと。ドライブの機能が Drive API の v2 を使い、条件の項目名が v3 と違うこと(例は modifiedDate と title) | Google Apps Script: Class DriveApp | 2026-11-17 |
fetch の引数で method・contentType・headers・payload を指定できること。muteHttpExceptions を true にすると失敗の応答でも例外にせず応答を返すこと | Google Apps Script: Class UrlFetchApp | 2026-11-17 |
等級の決定、異物や虫の混入の判断、品質の劣化の見立て、出荷を止めるかどうかは、加工場の検品の担当と品質の責任者が現物を見て決めてください。 本記事は見本の写真から、等級の候補を作るまでを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3691)についてのご相談はこちらから。
