胡蝶蘭の農園が、出荷前の鉢の写真から花の数・つぼみ・傷みを Gemini で数え、出荷の等級の下書きを作る
出荷前に撮った胡蝶蘭の鉢の写真を Gemini で見て、咲いている花とつぼみの位置、立ちの数、花のしみ・しおれ・破れの疑いを返させます。スクリプトが等級の基準表から下書きを作り、検品の担当が写真を見て直します。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/小売
- 対象部門
- 品質管理
- 対象業務
- 内容確認・チェック/分類・仕分け
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 品質標準化/属人化解消/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 温室から出荷する鉢を出荷場に運び、鉢の番号の札を確かめる
- 検品の担当が立ちの数を確かめ、花を指でたどって輪数を数える
- つぼみを数える。咲きかけのものを花に入れるか、つぼみに入れるかを決める
- 花びらを1枚ずつ見て、しみ、しおれ、破れ、折れが無いかを確かめる
- 基準表を見て等級を決め、出荷の台帳に書く
- 注文の指定(立ちの数、輪数)と合うかを確かめ、合わなければ別の鉢と入れ替える
- 人出荷場の担当が、鉢を撮影台に載せ、鉢の番号の札を写し込んで、正面と横の2枚をタブレットで撮る
- 自動写真が共有ドライブの「出荷前写真」のフォルダに入る
- 自動Google Apps Script が数分おきに新しい写真を探し、鉢の番号ごとに2枚をまとめる
- 自動2枚の写真と見え方の語彙を Gemini API に渡し、花とつぼみの位置、見えている立ちの数、傷みの疑いの位置を返させる
- 自動スクリプトが花とつぼみを数え、等級の基準表に当てて等級の下書きを出し、注文の指定と照らして、枠を描いた写真とあわせて出荷の台帳に書く
- 人検品の担当が、枠を描いた写真と下書きを見て、数と傷みを確かめ、等級を決める
- 人傷みの疑いの印が付いた鉢は、現物の花を見て確かめる
各工程の詳しい説明を読む
- 温室から出荷する鉢を出荷場に運び、鉢の番号の札を確かめる
- 検品の担当が立ちの数を確かめ、花を指でたどって輪数を数える
- つぼみを数える。咲きかけのものを花に入れるか、つぼみに入れるかを決める
- 花びらを1枚ずつ見て、しみ、しおれ、破れ、折れが無いかを確かめる
- 基準表を見て等級を決め、出荷の台帳に書く
- 注文の指定(立ちの数、輪数)と合うかを確かめ、合わなければ別の鉢と入れ替える
(a)1鉢ずつ数えるのに手が取られる。 1鉢3分でも、月1,200鉢で60時間です。5本立ちの大輪は花が50輪を超えることもあり、途中で数を見失うと最初から数え直します。
(b)数え方が担当によって違う。 咲きかけの花をどちらに入れるか、後ろに隠れた花を数えるか。同じ鉢でも、担当が違うと輪数が2〜3輪ずれます。 等級の境目にある鉢は、そのずれで等級が変わります。
(c)贈答の繁忙で検品が粗くなる。 慶事が重なる週は、出荷場に鉢が並びます。花びらの裏のしみや、奥の花の破れを見落としたまま出荷し、届け先から写真付きで連絡が来ることがあります。
(d)なぜその等級にしたかが残らない。 台帳に残るのは数字と等級だけです。届け先から「輪数が足りない」と言われても、出荷のときに何輪あったのかを示す材料がありません。
- 【人】 出荷場の担当が、鉢を撮影台に載せ、鉢の番号の札を写し込んで、正面と横の2枚をタブレットで撮る
- 【自動】 写真が共有ドライブの「出荷前写真」のフォルダに入る
- 【自動】 Google Apps Script が数分おきに新しい写真を探し、鉢の番号ごとに2枚をまとめる
- 【自動】 2枚の写真と見え方の語彙を Gemini API に渡し、花とつぼみの位置、見えている立ちの数、傷みの疑いの位置を返させる
- 【自動】 スクリプトが花とつぼみを数え、等級の基準表に当てて等級の下書きを出し、注文の指定と照らして、枠を描いた写真とあわせて出荷の台帳に書く
- 【人】 検品の担当が、枠を描いた写真と下書きを見て、数と傷みを確かめ、等級を決める
- 【人】 傷みの疑いの印が付いた鉢は、現物の花を見て確かめる
6番目が、この設計の分かれ目です。 担当は、花を一から数える代わりに、写真の枠が花とつぼみに1つずつ付いているかを見ます。 枠の無い花、枠が重なった花があれば数を直し、合っていれば等級を確かめて次の鉢に移ります。
5番目で等級を「下書き」にしているのも、意図してのことです。 等級は、市場での値段と、届け先との約束に直結します。検品の担当が見ていない等級が、台帳に確定として残ることはありません。
02今回想定するシステム構成
出荷場の撮影台(正面+横、鉢の番号の札を写し込む) │ タブレットで撮って共有ドライブへ ▼【トリガー】数分おきに Google Apps Script が新しい写真を探す Google Apps Script(まとめ・照らし合わせ・台帳への書き込み) ├── 等級の基準表(立ちの数、輪数、つぼみ、傷み) ├── 注文の一覧(立ちの数・輪数の指定) ▼ Gemini API(画像の理解+構造化出力) │ 花とつぼみの位置、見えている立ちの数、しみ・しおれ・破れの疑いの位置 ▼ Google Apps Script ── 数の足し合わせ、等級の下書き、枠を描いた写真 → 出荷の台帳 ▼ 【検品の担当が写真と下書きを確かめて等級を決める】
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(花とつぼみの位置、見えている立ちの数、傷みの疑いの位置) | Claude API、OpenAI API |
| 連携 | Google Apps Script(写真の拾い上げ、基準表との照らし合わせ、台帳への書き込み) | Python |
| 撮影 | 出荷場の撮影台とタブレット | - |
| 台帳 | 出荷の台帳、等級の基準表、注文の一覧(スプレッドシート) | - |
土台は Gemini API の画像の理解です。 公式の説明では、Gemini は物体を検出して、位置を box_2d として [ymin, xmin, ymax, xmax] の順に、0〜1000に正規化した座標で返し、元の画像の大きさに直して使います。 この枠を花とつぼみの一つ一つに付けさせ、スクリプトが数え、写真に描きます。
写真は依頼の中に直接入れて渡します。 公式の説明では、画像を直接入れる場合は、文の指示やシステムの指示も含めた依頼全体が20MBまでで、1回の依頼に入れられる画像は3,600枚までです。1鉢あたり2枚なので、上限には遠く届きません。 対応する形式は PNG、JPEG、WEBP、HEIC、HEIF です。
つなぎは Google Apps Script にします。 写真は共有ドライブに入り、台帳と基準表はスプレッドシートにあるので、同じ場所で動くスクリプトが一番短い道です。 ただし公式の説明で挙がっている設置型のトリガーは、開く、編集、変更、フォームの送信、カレンダーの予定と時間主導で、ドライブにファイルが入ったことを起点にするトリガーは挙がっていません。 そのため時間主導のトリガーで数分おきに探します。
Gemini の返事は等級の材料で、等級ではありません。 規約は、生成された内容に頼る前に慎重に判断するよう求めています。等級も、鉢を外すかどうかも、検品の担当と栽培の責任者が決めます。
03どうやって実装するのか
処理の起点を決める
共有ドライブの「出荷前写真」のフォルダに入った新しい写真を起点にします。 タブレットで撮った写真は、その日の日付のフォルダに入ります。Google Apps Script は時間主導のトリガーで数分おきに動き、前回より後に入った写真を探します。 公式の説明では、時間主導のトリガーは最短で1分おきから動かせますが、時刻は決めた範囲の中でずれることがあります。検品は撮影の数分後で間に合うので、5分おきにします。
出荷場が動いていない時間は、スクリプトの中で何もせずに終えます。 朝の出荷の準備の前から夕方の締めまでの時間だけ写真を探し、夜間や休みの日に空回りさせません。
写真が2枚そろうまで待ちます。 正面と横の2枚がそろって初めて、鉢の番号ごとにまとめて Gemini に渡します。1枚だけのまま15分を過ぎた鉢は、撮り忘れとして台帳に印を付けます。
スクリプトが失敗したときは、公式の説明どおり失敗の要約がメールで届きます。 その通知を出荷場の責任者に届くようにし、下書きが台帳に出てこないことに気づけるようにします。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 鉢の写真 | 撮影台で撮った正面と横の2枚。鉢の番号の札を写し込む | 共有ドライブ |
| 注文の一覧 | 出荷先、立ちの数・輪数の指定、出荷日 | 注文の一覧 |
| 等級の基準表 | 立ちの数と花の大きさの区分ごとの、等級ごとの輪数・つぼみの下限、傷みの扱い | 等級の基準表 |
| 見え方の語彙 | 咲いている花、咲きかけの花、つぼみ、しみ、しおれ、破れ、折れ と、それぞれの見え方の説明 | 農園で用意する語彙 |
| 鉢の情報 | 鉢の番号、品種、花の大きさの区分(大輪・ミディ)、温室の棟 | 出荷の台帳 |
Gemini に渡すのは、写真と、見え方の語彙と、品種・花の大きさの区分だけです。 注文の出荷先や値段は渡しません。等級の基準表も渡しません。 基準の輪数を見せると、境目の鉢で数がその輪数に寄ってしまうおそれがあるからです。
質を決めるのは、撮影台の背景と光です。 白い花を白い壁の前で撮ると、花びらの輪郭が背景に溶けて、重なった花が1つの花に見えます。 撮影台の背景は暗い色の布にし、上と横から同じ明るさの光を当てます。温室の窓の前で撮ると、逆光で花びらのしみが見えなくなります。
見え方の語彙には、検品の担当が見分けている手がかりを書きます。 たとえば「咲いている花:唇弁(中央の小さな花びら)が見えるまで開いている」「咲きかけの花:外側の花びらが開き始めているが、唇弁が見えない」「つぼみ:丸く閉じている」です。咲きかけの扱いを決めて書かないと、担当ごとのずれが、そのまま Gemini のずれになります。
データの取得方法を決める
写真は、DriveApp でフォルダを探して取り出します。 公式の説明では、searchFiles に条件を渡してファイルを探せますが、ドライブの機能は Drive API の v2 を使っていて、条件の項目名が v3 と違うとされています。例として挙がっているのは modifiedDate と title です。v3 の書き方の createdTime や name を書くと当たらないので、v2 の項目名で条件を書きます。
鉢の番号は、ファイル名で受け取ります。 タブレットの撮影の手順で、ファイル名の頭に鉢の番号と「F」(正面)「S」(横)を付けます。札の文字を Gemini に読ませて番号にすることもできますが、札が花の陰に入ると読めません。 ファイル名を正とし、Gemini には札の番号を別の欄で返させ、食い違ったら印を付けます。
Gemini API には、Interactions API で依頼します。 公式の説明では、https://generativelanguage.googleapis.com/v1beta/interactions に、model と input を送り、input に文の部品("type": "text")と画像の部品("type": "image"、data、mime_type)を並べます。Google Apps Script からは UrlFetchApp で同じ形の JSON を送り、公式の例と同じく Api-Revision のヘッダーを付けます。 公式の説明では、画像1枚と文なら文を画像の前に置くとされていて、2枚でも文の指示を先に置き、正面、横の順に並べます。
依頼には store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持されます。store=false を付ければ保存されません。 鉢ごとに1回で終わる依頼なので、前のやり取りを続ける必要もありません。
指示の決まった部分は system_instruction に置きます。 公式の説明では、system_instruction は依頼の最上位の欄として渡します。見え方の語彙と厳守事項をここに置き、input には鉢ごとの品種と写真だけを入れます。
AIへ渡す前に整形する
- 2枚をそろえる … ファイル名の鉢の番号で正面と横をまとめ、片方しかなければ待つ
- 形式を確かめる … PNG、JPEG、WEBP、HEIC、HEIF 以外は渡さず、印を付ける
- 大きさを確かめる … 2枚と指示で20MBに収まるかを確かめる
- 向きを確かめる … 横向きに保存された写真を正しい向きに直す
- 鉢の情報を引く … 台帳から品種と花の大きさの区分を取り出す
- 語彙と基準表の版を付ける … そのとき使った版を台帳の行に控える
4番目は、公式も勧めていることです。 公式の説明では、画像の向きが正しいかを確かめ、ぼやけていない写真を使うよう書かれています。タブレットを縦に構えたり横に構えたりすると、保存された写真の向きがそろいません。 向きがずれたまま渡すと、立ちの数の数え方が崩れます。
3番目で縮小しないのは、小さなしみが消えるからです。 花びらの先の小さなしみや、細い破れは、写真を小さくすると潰れます。 撮影の解像度を決めておき、20MBに収まる大きさで撮ります。
AIに処理させる
させるのは、写真に見えている花、咲きかけの花、つぼみの一つ一つの位置と、見えている立ちの数と、傷みの疑いの位置を返すことだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 咲いている花 | 唇弁が見えるまで開いた花を1つずつ枠で囲む | 花が重なって境目が見えなければ overlap の印 |
| 咲きかけの花 | 外側の花びらが開き始め、唇弁が見えない花 | 花かつぼみか迷えば uncertain |
| つぼみ | 丸く閉じたつぼみを1つずつ枠で囲む | 小さすぎて見分けられなければ数えない |
| 立ちの数 | 鉢から伸びる花茎の数 | 支柱と重なって数えられなければ cannot_tell |
| 傷みの疑い | しみ・斑点、しおれ、花びらの破れ・折れ、変色の位置 | 光の反射と見分けられなければ uncertain |
| 鉢の番号の札 | 写っていれば札の番号 | 読めなければ空欄 |
左から2列目の「咲いている花」は、正面の写真で数えさせます。 横の写真には同じ花が別の角度で写っているので、両方で数えると同じ花を2回数えます。 横の写真は、正面から見えない後ろの花とつぼみ、花びらの裏の傷みを拾うために使い、正面で数えた花と同じ花かどうかが分からないものは side_only_uncertain として別に返させます。
等級の下書きは、スクリプトの側で決めます。 正面の花の数と横だけに見えた花の数、つぼみの数を立ちの数と花の大きさの区分で基準表に当て、傷みの疑いが1つでもあれば等級を1つ下げた下書きにし、印を付けます。 overlap や uncertain が多い鉢は、等級の下書きを出さずに「検品の担当が数える」として回します。
| させないこと | 理由 |
|---|---|
| 等級を書くこと | 基準表からスクリプトが下書きを出し、検品の担当が決める |
| 輪数の合計を書くこと | 枠の数からスクリプトが数える。根拠の無い合計を入れない |
| しみ・斑点の原因や病気の名前を書くこと | 原因の見立ては栽培の責任者が現物で行う |
| 鉢を出荷してよいかを書くこと | 出荷を止めるかは人が決める |
| 品種を言い当てること | 品種は台帳から渡す。見誤ると基準表の行がずれる |
| 写っていない花やつぼみを推し量ること | 横の写真で見えたものだけを返させる |
3行目は、とくに守らせます。 花びらの斑点を見て、もっともらしい病気の名前を書けば、その一言で鉢がまとめて外されかねません。 逆に「水滴の跡」と書けば、病気の始まりを見落とします。位置と見え方だけを返させ、原因は人が現物で見ます。
指示内容を固定する
あなたは胡蝶蘭の農園の出荷場で、検品の担当を補助する立場です。
出荷前の鉢の写真から、花とつぼみの位置と、傷みの疑いの位置を書き出します。
【渡すもの】
- 鉢の写真2枚(1枚目が正面、2枚目が横)
- 品種と花の大きさの区分:{variety}/{flower_size}
- 見え方の語彙と説明:{visual_vocab}
【やること】
1. 1枚目(正面)に見える、咲いている花と咲きかけの花を1つずつ、
box_2d([ymin, xmin, ymax, xmax]、0〜1000)で返してください。
2. 1枚目に見えるつぼみを1つずつ、box_2d で返してください。
3. 2枚目(横)にだけ見える花とつぼみを返してください。
1枚目の花と同じものか分からないものは side_only_uncertain にしてください。
4. 鉢から伸びる花茎(立ち)の数を返してください。
5. しみ・斑点、しおれ、花びらの破れ・折れ、変色の疑いを、
写真の番号と box_2d で返してください。
6. 鉢の番号の札が写っていれば、その番号を返してください。
【厳守事項】
- 等級、輪数の合計、出荷してよいかを書かないでください。
- しみや斑点の原因、病気の名前を書かないでください。
- 品種を言い当てないでください。渡した品種を使ってください。
- 花が重なって境目が見えないときは、1つにも2つにも決めず overlap にしてください。
- 写っていない花やつぼみを推し量らないでください。
- 何も見つからなかったときに「傷みなし」と書かないでください。
「輪数の合計を書かない」を明記しないと、枠を返したうえで「輪数は約30輪」と書き添えてきます。 その合計が枠の数と合っていなくても、台帳に入れば検品の担当は合計のほうを読みます。 数はスクリプトが枠から数え、枠を写真に描いて見せます。
「重なった花は overlap」も同じ理由です。 2つの花が重なった所を、1つに寄せても2つに寄せても、どちらかに決めた時点で、その鉢の輪数のずれが隠れます。 迷った所は迷ったまま返させ、検品の担当が写真で決めます。
出力形式を固定する
次の形のJSONで受け取ります。
{
"pot_no_on_tag": "",
"front": {
"flowers": [ { "state": "open | opening | uncertain", "box_2d": [0, 0, 0, 0],
"overlap": false } ],
"buds": [ { "box_2d": [0, 0, 0, 0] } ]
},
"side_only": [ { "kind": "flower | bud | side_only_uncertain", "box_2d": [0, 0, 0, 0] } ],
"stems": { "count": 0, "status": "counted | cannot_tell" },
"damages": [
{ "type": "spot | wilt | tear_or_fold | discolor", "photo": 1,
"box_2d": [0, 0, 0, 0], "certainty": "visible | uncertain" }
]
}
構造化出力は response_format で指定します。 公式の説明では、type を text、mime_type を application/json にして、schema に JSON Schema を渡します。state、kind、damages の type は enum にします。 「出荷可」「病気」のような判断の言葉が返らないようにするためです。count と box_2d は整数にし、box_2d は minimum を0、maximum を1000にします。公式の説明では、数値の minimum/maximum と配列の minItems/maxItems は守られ、文字列の minLength/maxLength は外されます。
公式は、構文として正しい JSON でも値は自分の側で確かめるよう書いています。 スクリプトでは、枠の左上と右下が逆になっていないか、同じ花に枠が2つ付いていないか(枠の重なりが大きいもの)を確かめ、重なりの大きい枠の組は検品の担当が見る印を付けます。stems.count が注文の立ちの数と違えば、鉢の取り違えの疑いとして先に見せます。
スクリプトが台帳に書く下書きは、たとえば次のようになります。
【鉢 P-1117-0342】大輪・3本立ち(注文の指定:3本立ち・輪数○輪以上)
正面の花:咲いている ○輪/咲きかけ ○輪(うち重なりの印 2か所)
横だけに見えた花:○輪(正面と同じか不明 1)
つぼみ:○個
傷みの疑い:しみ 1か所(写真2・右の立ちの先から3輪目)
等級の下書き:基準表の行「大輪3本立ち」より ○(傷みの疑いで1つ下げた)
※検品の担当の確認:重なりの印2か所、しみの疑いの現物確認 システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 共有ドライブ | Google Apps Script が5分おきに新しい写真を探す | 正面と横の写真 |
| 等級の基準表・注文の一覧 | スプレッドシートの読み取り | 等級ごとの下限、注文の指定、版の番号 |
| Gemini API | UrlFetchApp での呼び出し | 花とつぼみの位置、立ちの数、傷みの疑い、札の番号 |
| 枠を描いた写真 | スクリプトが枠を重ねた画像を作り共有ドライブに置く | 検品の担当が見る写真 |
| 出荷の台帳 | スクリプトが下書きの列に書く | 数、等級の下書き、印、写真へのリンク |
台帳には「下書き」の列と「確定」の列を分けて持ちます。 スクリプトが書くのは下書きの列だけで、確定の列は検品の担当だけが書きます。 ラッピングと出荷の伝票は、確定の列を見て動きます。
枠を描いた写真は、写真の上に枠を重ねたものです。 咲いている花は緑、咲きかけは黄、つぼみは青、傷みの疑いは赤の枠にし、重なりの印の付いた枠は点線にします。 担当は色を見て、数え落としと二重の数えを探します。
人が確認する
検品の担当は、すべての鉢で枠を描いた写真と下書きを見てから、等級を確定の列に書きます。 下書きをそのまま確定にする運用にはしません。
- 鉢の取り違えの印を先に見る … 札の番号とファイル名、立ちの数と注文の指定が食い違う鉢を先に確かめます
- 数え落としと二重の数えを探す … 枠の無い花、点線の枠、横だけに見えた花の扱いを写真で見ます
- 咲きかけの扱いを確かめる …
uncertainの花を、農園の決まりに沿ってどちらかに入れます - 傷みの疑いを現物で見る … 赤い枠の場所の花を手に取って見て、しみか水滴の跡か、破れかを確かめます
- 等級を決める … 数と傷みを直したうえで、基準表から等級を決め、確定の列に書きます
- 栽培の責任者に回す … 斑点の疑いが同じ棟の鉢で続くときは、責任者に知らせます
4番目を省かないでください。 写真だけで傷みを決めると、水滴の跡で等級を下げることも、裏のしみを見落とすことも起きます。 赤い枠は、現物のどこを見ればよいかを教える印です。
目標は、1,200鉢をならして1鉢1分です。 花を一から数える時間が、枠の付き方を見る時間に置き換わります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が1枚しか無い | 15分待ってもそろわなければ、撮り忘れの印を付ける |
| 札の番号とファイル名が違う | 下書きを出さず、取り違えの疑いとして先に見せる |
| 花が重なりすぎて数えられない | 下書きを出さず、検品の担当が数える |
| 写真がぼやけている・逆光 | 撮り直しの印を付ける |
| 1枚に鉢が2つ写っている | 下書きを出さず、撮り直しの印を付ける |
| 対応しない形式の写真 | 渡さずに印を付ける |
| 立ちの数が注文の指定と違う | 鉢の入れ替えの候補として出荷場の責任者に見せる |
| Gemini が応答しない | 下書きの列に「判定なし」と書き、担当が従来どおり数える |
上の5行が大半を占めます。 どれもAIの問題ではなく、撮影の手順の問題です。 撮影台の背景と光、札を置く場所、1鉢ずつ載せる決まりを直すほうが、指示を直すより効きます。
記録を残す
- 鉢の番号、撮った日時、正面と横の写真
- Gemini が返した JSON の全文と、そのとき使った語彙・基準表の版
- スクリプトが数えた数と等級の下書き、枠を描いた写真
- 検品の担当が直した内容(数え落とし、二重の数え、咲きかけの扱い、傷みの確認の結果)と確定した等級
- 届け先から輪数や傷みの連絡があった鉢と、そのときの写真
最後の行が、届け先への説明の材料になります。 出荷のときに何輪あり、どこに枠が付いていたかを写真で示せれば、「輪数が足りない」という連絡に、出荷の時点の状態で答えられます。
04実装レベルの3段階
最小構成では鉢の数がさばけません。 1鉢ずつ上げるので、月1,200鉢には使えません。確かめるための段階です。 半自動化で、1鉢3分が2分程度になります。 数えることは自動になりますが、基準表を引いて等級を決め、注文の指定と照らして台帳に書く作業が担当に残ります。本格構成で1分になり、この段階が本記事の想定です。 差が出るのは、基準表と注文の照らし合わせが1鉢ごとの手作業だからです。 段階を飛ばさないでください。 半自動化を1か月見ると、数え落としの出やすい品種と、撮影の癖が分かります。語彙と撮影台を直してから、等級の下書きに進みます。
05工数削減シミュレーション
導入後 1,200件 × 1分 ÷ 60 = 20 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 贈答用の胡蝶蘭の鉢を温室で育て、花き市場・花店・法人の注文へ毎月数百鉢以上を出荷している農園。輪数・つぼみ・傷みで等級を分ける基準を持っているのに、検品の担当によって数え方と傷みの取り方が違う場合。出荷の前に鉢を1鉢ずつ撮影する台を置ける場合。
- 出荷が月に数十鉢で、熟練の担当が1鉢ずつ見て足りる場合。等級を付けずに一律の値段で出荷している場合。切り花や苗の出荷が中心で、仕立てた鉢を出さない場合。なお、出荷の等級の決定、病気の診断、出荷を止めるかどうかの判断は、この構成では代替できません。
07最小構成で試す方法
- 出荷前の鉢から30鉢を選ぶ(うち数鉢は、5本立ちの大輪、白い花、等級の境目にあった鉢、傷みのあった鉢を入れる)
- 30鉢を撮影台で正面と横から撮り、熟練の担当が数えた輪数・つぼみ・傷みを書いておく
- 業務で契約したAIサービスの画面に写真を上げ、見え方の語彙を貼り付ける
- 「正面の写真の咲いている花とつぼみを1つずつ位置で示し、横だけに見える花、立ちの数、しみ・しおれ・破れの疑いの位置を書いてください。等級、合計、病気の名前は書かないでください」と指示する
- 出てきた結果を、熟練の担当が数えた数と見比べる
30鉢は必ず熟練の担当が見比べてください。 公式の説明には、物体を数える使い方の手引きは見当たりません。確かめたいのは、重なった花を overlap として返せるか、白い花で数え落としが出ないかです。
| 出てきた内容 | 判断 |
|---|---|
| 数のずれが重なりの印の所に集まっている | ドライブとスクリプトの仕組みに進む |
| 合計や病気の名前を書いた | 指示の書き方と enum で直る。構成は有効 |
| 白い花や逆光の写真で数え落としが多い | 撮影台の背景と光が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 背景の布と光を直した撮影台で、同じ30鉢を撮り直して試してください。 試しの段階でも、無料の枠は使わないでください(第11章)。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 正面と横で同じ花を2回数える | 咲いている花は正面で数え、横だけに見えたものを別に返させる |
| 重なった花を1つに数える | 境目が見えなければ overlap にし、点線の枠で見せる |
| 白い花の輪郭が背景に溶ける | 撮影台の背景を暗い布にし、上と横から光を当てる |
| 根拠の無い輪数の合計が入る | 合計を書かせず、枠の数からスクリプトが数える |
| しみに病気の名前が付く | 指示で禁じ、enum で位置と見え方だけにする |
| ドライブの検索で写真が見つからない | Drive API の v2 の項目名(modifiedDate、title)で条件を書く |
| ドライブに入ったことを起点にできない | 時間主導のトリガーで5分おきに探す |
| 写真の向きがそろわない | 渡す前に向きを直す |
| 鉢を取り違える | ファイル名と札の番号、立ちの数と注文の指定を照らす |
| やり取りが保存される | store=false を付ける |
上の2行が、この構成の失敗のほとんどです。 どちらも、写真に見える花の数と鉢の本当の花の数がずれる形をしています。見る写真を役割で分け、迷った所を迷ったまま返させる設計が、運用に乗るかを決めます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 鉢の写真、鉢の番号と品種、等級の基準表、注文の一覧(出荷先と指定)です。写真には出荷場の様子や従業員の手が写りえます。
- 渡すのは写真と、語彙と、品種・花の大きさの区分だけにする … 出荷先、値段、等級の基準表を Gemini に渡しません
- 等級と病気の見立てを AI に決めさせない … 規約は、生成された内容に頼る前に慎重に判断するよう求めています。等級は検品の担当が、原因の見立ては栽培の責任者が決めます
- 確定の列はスクリプトに書かせない … 下書きと確定の列を分け、ラッピングと伝票は確定の列だけを見ます
- 有料の枠で使い、
store=falseを付ける … 規約では、有料の枠では入力と応答を製品の改善に使わない一方、禁止された使い方の検出のために一定期間記録するとされています - 撮影台の向きを決める … 従業員の顔や注文の伝票が写らない向きに撮影台を置きます
- 写真を残す期間を決める … 届け先からの連絡に答えられる期間を決め、それを過ぎた写真を消します
誤りが起きた場合のリスクは、輪数を多く数えて上の等級で出荷し、届け先から指摘されることと、傷みを見落としたまま贈答の鉢が届くことの2つです。 どちらも農園の信用に関わります。overlap の印、赤い枠の現物確認、検品の担当の確定が、どちらも防ぎます。
10まず何から始めるか
1週目:撮影台を作る
出荷場の一角に、暗い色の布を背景にした撮影台と、上と横からの光、札を置く場所の印を用意します。タブレットの保存先を共有ドライブの日付のフォルダにし、ファイル名の付け方を決めます。
2週目:30鉢で試す
出荷前の30鉢を撮り、業務で契約したAIサービスで花とつぼみ、傷みの疑いを出させます。熟練の担当が数えた数と見比べ、重なった花と白い花で数え落としが出ていないかを最優先で見ます。
3週目:語彙と基準表を整える
咲いている花、咲きかけの花、つぼみの見分け方を農園の決まりとして決め、語彙に書きます。等級の基準表を、立ちの数と花の大きさの区分で引ける表に書き直します。
4週目:ドライブから一覧までをつなぐ
写真の拾い上げから Gemini API の呼び出し、枠を描いた写真と数を表に出すところまで作ります。この時点では等級の下書きを出さず、枠の付き方を担当が見比べます。
2か月目: 基準表と注文の指定との照らし合わせ、等級の下書き、取り違えの印を足します。担当が直した数を毎週数えます。3か月目以降: 1鉢3分が何分になったかを実測し、語彙と撮影台を直します。担当が直す数が少なくなり、等級の境目の鉢の扱いがそろった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
物体を検出して box_2d を [ymin, xmin, ymax, xmax] の順に0〜1000に正規化して返し、元の大きさに直して使うこと。画像を直接入れる場合は文の指示やシステムの指示を含めた依頼全体が20MBまでで、1回の依頼の画像が3,600枚までであること。対応する形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像1枚と文なら文を画像の前に置くこと。向きを確かめ、ぼやけていない画像を使うこと。384ピクセル以下は258トークン、大きい画像は768×768のタイルごとに258トークンであること。REST の例が Api-Revision のヘッダーを付けていること。物体を数える手引きが見当たらないこと | Google AI Studio: Image understanding | 2026-11-17 |
構造化出力を response_format(type を text、mime_type を application/json、schema)で指定すること。enum が使えること。数値の minimum/maximum と配列の minItems/maxItems は守られ、minLength/maxLength は外されること。値はアプリ側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-17 |
Interactions API の宛先が /v1beta/interactions であること。既定でやり取りを保存し(有料55日、無料1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-17 |
system_instruction を依頼の最上位の欄として渡すこと | Google AI Studio: Text generation | 2026-11-17 |
| 18歳以上が使うこと。無料の枠では入力と応答が改善に使われ人が読むことがあり、機密や個人の情報を送らないよう求めていること。有料の枠では改善に使わず、禁止された使い方の検出のために一定期間記録すること。生成された内容に頼る前に慎重に判断するよう求めていること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-17 |
searchFiles が条件に合うファイルを返すこと。ドライブの機能が Drive API の v2 を使い、条件の項目名が v3 と違うこと(例は modifiedDate と title) | Google Apps Script: Class DriveApp | 2026-11-17 |
| 時間主導のトリガーが最短で1分おきに動かせ、時刻が範囲の中でずれうること。設置型のトリガーが開く・編集・変更・フォームの送信・カレンダーの予定と時間主導であること。トリガーで動いたスクリプトが失敗すると失敗の要約がメールで届くこと | Google Apps Script: Installable triggers | 2026-11-17 |
出荷の等級、病気の見立て、出荷を止めるかどうかは、農園の検品の担当と栽培の責任者が現物を見て決めてください。 本記事は出荷前の鉢の写真から、等級の下書きを作るまでを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3603)についてのご相談はこちらから。
