果樹園が園地で撮った果実の写真を Gemini で見て、区画ごとの色づきと大きさの分布を記録し、収穫の時期の目安を出す
園地の担当者が標本の樹の果実を見本のカードと一緒に撮ると、Gemini が果実ごとの着色と地色の段階の候補を返します。カードの寸法から果径を計算し、区画ごとの分布として記録して、収穫を始める時期の目安の案を園主に出します。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他
- 対象部門
- 生産
- 対象業務
- 記録・議事録作成/集計・分析
- 主な課題
- 人手が足りない/判断に時間がかかる/属人化している
- AIで行う処理
- 画像認識
- 主な効果
- 判断支援/属人化解消/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 担当者が、その週に見回る区画の一覧を見て園地に出る
- 区画の標本の樹に着き、決めた枝の実を1個ずつ見る
- 品種ごとのカラーチャートを果実に当て、着色の段階と、品種によっては地色の段階を読んで野帳に書く
- ノギスで果径を測り、野帳に書く
- 20個を終えたら次の区画へ移る
- 事務所に戻り、野帳の数字をスプレッドシートに打ち直し、区画ごとの平均を出す
- 園主が表を見て、気になる区画を自分で回り、試し採りする区画と日を決める
- 人担当者が、その週の見回りの一覧をスマートフォンで開いて園地に出る
- 人標本の樹の決めた枝の実を、寸法と色の見本の付いたカードを横に添えて撮る
- 人区画ごとに、3個だけノギスで果径を測って入れる
- 自動区画の撮影を終えると写真がサーバーに送られ、向きと大きさを整える
- 自動Gemini API が、果実ごとの枠、着色の段階、地色の段階、見えない部分の候補を返す
- 自動カードの枠から果径を計算し、ノギスで測った3個と比べてずれを確かめる
- 自動区画ごとの着色の段階の分布と果径の分布を、前回の見回りと並べて記録する
- 自動満開日からの日数と分布から、試し採りに行く区画の候補と時期の目安の案を出す
- 人担当者が、印を描いた写真で外れを直す
- 人園主が候補の区画で試し採りをし、デンプン反応と糖度と食味で収穫を始める日を決める
各工程の詳しい説明を読む
- 担当者が、その週に見回る区画の一覧を見て園地に出る
- 区画の標本の樹に着き、決めた枝の実を1個ずつ見る
- 品種ごとのカラーチャートを果実に当て、着色の段階と、品種によっては地色の段階を読んで野帳に書く
- ノギスで果径を測り、野帳に書く
- 20個を終えたら次の区画へ移る
- 事務所に戻り、野帳の数字をスプレッドシートに打ち直し、区画ごとの平均を出す
- 園主が表を見て、気になる区画を自分で回り、試し採りする区画と日を決める
(a)読み方が人によって違う。 カラーチャートの段階は、同じ実を見ても担当者によって1段階ずれます。曇りの日と晴れの日、午前と夕方でも見え方が変わります。 光の当たらない向きで比べる、実のどの面に当てるかを決める、といった社内の決まりを作っても、園地で20個を急いで見るうちに崩れます。
(b)回れない区画の判断が遅れる。 ももと早生のりんごが重なる時期は、担当者4名で60区画を回りきれません。見回りが1週空いた区画は、気づいたときには採り遅れていることがあります。 逆に、先に色づいた区画の印象に引っぱられて、隣の区画を早採りすることもあります。
(c)平均だけでは分からない。 スプレッドシートに残るのは区画の平均です。平均が同じでも、外側の実だけが色づいている区画と、全体が揃って色づいている区画では、採り方が違います。 前者は外側から何回かに分けて採り、後者は一斉に採れます。
(d)転記と集計に時間が取られる。 野帳の数字を打ち直すだけで、1区画あたり数分かかります。繁忙期ほど、打ち直しが週末にまとめて行われ、表ができたときには数日前の数字になっています。
- 【人】 担当者が、その週の見回りの一覧をスマートフォンで開いて園地に出る
- 【人】 標本の樹の決めた枝の実を、寸法と色の見本の付いたカードを横に添えて撮る
- 【人】 区画ごとに、3個だけノギスで果径を測って入れる
- 【自動】 区画の撮影を終えると写真がサーバーに送られ、向きと大きさを整える
- 【自動】 Gemini API が、果実ごとの枠、着色の段階、地色の段階、見えない部分の候補を返す
- 【自動】 カードの枠から果径を計算し、ノギスで測った3個と比べてずれを確かめる
- 【自動】 区画ごとの着色の段階の分布と果径の分布を、前回の見回りと並べて記録する
- 【自動】 満開日からの日数と分布から、試し採りに行く区画の候補と時期の目安の案を出す
- 【人】 担当者が、印を描いた写真で外れを直す
- 【人】 園主が候補の区画で試し採りをし、デンプン反応と糖度と食味で収穫を始める日を決める
10番目が、この設計の分かれ目です。 写真から出るのは「試し採りに行く区画と日の候補」までで、収穫を始める日は、園主が実を切って決めます。 写真の色だけで採り始めると、色づきの早い品種では中身の熟し方が追いついていないことがあります。
3番目のノギスの3個は、省かないでください。 写真からの果径は、カードの位置と撮る角度でずれます。毎回3個を測っておけば、ずれが大きい写真の組を機械で見つけられます。
02今回想定するシステム構成
園地(標本の樹、寸法と色の見本のカード、スマートフォン) ▼ 担当者が区画ごとに20個を撮り、3個をノギスで測る 撮影用のWebの画面(スマートフォン) ▼【トリガー】1区画の撮影を終えたとき Python のサーバー ├── 写真の向き・大きさを整える ▼ Gemini API(画像の理解・構造化出力)── 1区画分の写真+段階の見本の写真 │ 果実ごとの枠、着色の段階、地色の段階、見えない部分 │ カードの枠 ▼ Python ── カードの枠から果径を計算 → ノギスの3個と比べる ▼ 区画の台帳 ── 着色の段階の分布、果径の分布、前回との差 ▼ 規則(満開日からの日数・品種ごとの目安)→ 試し採りの候補と時期の目安の案 ▼ 【人】担当者が外れを直す → 園主が試し採りして収穫を始める日を決める
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(果実の写真から果実ごとの枠と着色・地色の段階の候補を返す) | Claude API、OpenAI API |
| 連携 | Python(撮影の画面との受け渡し、前処理、呼び出し、果径の計算、分布の集計、目安の規則) | Google Apps Script |
| 端末 | 担当者のスマートフォン | タブレット |
| 記録 | 区画の台帳と見回りの記録(スプレッドシート) | - |
新しく足すのは、撮影用のWebの画面、Python のサーバー、Gemini API の契約、見本のカードです。 区画の台帳はこれまでのスプレッドシートを使い、見回りの記録の列に、分布と写真の場所を足します。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、1つのリクエストに複数の画像を入れられます。 画像を直接入れる場合は、指示の文と合わせたリクエスト全体が20MBまでで、それを超えるときは Files API を使うとされています。
位置は枠で返させます。 枠は box_2d として [ymin, xmin, ymax, xmax] の順で、画像の大きさに対して0〜1000に正規化されます。元の画像の大きさで画素の位置に戻すよう案内されています。果径は、この枠とカードの枠の比から計算します。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format で mime_type を application/json にし、schema にスキーマを入れます。文字列は enum で決まった値に絞れ、数値には minimum と maximum を付けられます。一方で minLength・maxLength などはエラーにならずに外されるとされ、値はアプリの側で検証するよう書かれています。
03どうやって実装するのか
処理の起点を決める
1区画の撮影を終えたときに動きます。 担当者が撮影の画面で区画を選び、20個の写真を撮り、3個の果径を入れて「この区画を終える」を押すと、写真がサーバーに送られます。ノギスの3個が入っていないと、終えるボタンを押せないようにします。 果径の計算のずれを確かめる手がかりが無くなるためです。
園地は電波の弱い場所があります。 画面は写真を端末に置いたまま撮り続けられるようにし、電波が戻ったところで区画の単位でまとめて送ります。 区画の途中で送らないのは、1区画の20個を1回の呼び出しで見るためです。
撮影の画面に入れるのは、18歳以上の担当者のアカウントだけにします。 Gemini API の規約は18歳以上であることを利用の条件とし、18歳未満の人が使う、または使う見込みのあるサービスでの利用を認めていません。夏休みに家族や学生のアルバイトが手伝う園地では、その人は撮影の係にせず、これまでどおり野帳に書く流れに残します。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 果実の写真 | 標本の樹の決めた枝の実を、カードを添えて1個ずつ撮ったもの(20枚) | 担当者のスマートフォン |
| ノギスの果径 | 区画ごとに3個、写真の番号と測った果径 | 撮影の画面 |
| 段階の見本の写真 | 品種ごとに、自社の園地で撮った着色・地色の各段階の実の写真 | サーバーに持たせる |
| 区画の情報 | 品種、満開日、植えた年、台木、前回の見回りの分布 | 区画の台帳 |
| 品種ごとの目安 | 試し採りを始める満開日からの日数の幅、着色の段階の線 | サーバーに持たせる |
質を決めるのは、段階の見本の写真です。 カラーチャートの段階を言葉だけでAIに伝えても、品種ごとの赤の出方は伝わりません。自社の園地で、カラーチャートを当てて段階を確かめた実を、同じカードを添えて撮っておき、毎回の呼び出しに見本として入れます。 段階の数は品種ごとのカラーチャートに合わせます。
地色を見るのは、地色が目安になる品種だけです。 岩手県農業研究センターの成果書では、ある赤色品種について、着色が果実全体に及ぶため地色による収穫期の判断が困難とされ、別の品種では地色のカラーチャート指数が目安の1つとして挙げられています。区画の台帳の品種に「地色を見るか」の印を持たせ、見ない品種では地色を返させません。
品種ごとの目安は、自社の園地の記録と県の資料から決めます。 同じ成果書では、収穫の目安としてデンプン反応指数、糖度、満開日起算日数が挙げられ、上記の指標とあわせて食味を確認して収穫期を判断するとされています。写真から出るのは色と大きさだけなので、目安の規則は「満開日からの日数の幅に入り、着色の段階の線を越えた実が一定の割合になったら試し採りの候補にする」という形にします。
データの取得方法を決める
写真は撮影の画面からサーバーに直接送ります。 画面は区画の番号、写真の番号、撮った時刻、ノギスの3個を一緒に送り、サーバーは写真を区画と日付のフォルダに置いてから Gemini API を呼びます。写真を先に保存するのは、呼び出しに失敗しても撮り直しをしなくて済むようにするためです。
Gemini API へは、1区画ごとに1回、まとめて渡します。 20枚の果実の写真の前に、その品種の段階の見本の写真を並べ、どの番号が見本で、どの番号が今回の実かを指示の文で決めて付けます。 公式の案内でも、1つのリクエストに複数の画像を入れられるとされています。
区画の情報は台帳から読むだけです。 品種、満開日、地色を見るかどうか、前回の見回りの分布を引きます。前回の分布は、AIには渡しません。 渡すと、前回より少し進んだ段階を返そうとします。前回との比べは、Python の側で数字どうしで行います。
有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日)、store=false で保存しないようにできると案内されています。写真は自社のサーバーに残すので、AIの側に残す必要はありません。
AIへ渡す前に整形する
- 向き … スマートフォンの写真の向きの情報で回っているだけのものは、画素を回転させます。公式の案内でも、画像の向きが正しいかを確かめるよう書かれています
- 縮小 … 長い辺を1,280ピクセル程度に縮めます。カードの目盛りと果実の輪郭が残る大きさにとどめます
- 枚数の確認 … 20枚とノギスの3個がそろっているかを見ます。足りない区画は「一部のみ」の印を付けて進めます
- カードの写り込みの確認 … カードが写っていない写真は、果径を計算しない写真として印を付けます
- 人の写り込み … 作業員の顔や手が大きく写った写真は、その部分を塗りつぶします
- 大きさの確認 … 見本と20枚と指示の文を合わせて20MBを超えないかを見ます。超えるときは縮小を強めるか、Files API で渡します
4番目を軽く見ないでください。 カードの無い写真でも、AIは果実の枠を返します。その枠から果径を出すと、撮る距離の違いがそのまま大きさの違いになります。 カードの無い写真は、色の段階だけを使い、果径の分布からは外します。
AIに処理させる
させるのは、写真ごとに果実とカードの位置を枠で返し、果実ごとに着色と地色の段階の候補と、見えない部分を返すことだけです。
| 返すもの | 中身 | 判断できないときの扱い |
|---|---|---|
| 果実の枠 | 写真の中の、撮る対象の実1個の枠 | 実が2個以上重なって1個を決められなければ multiple |
| カードの枠 | 寸法の分かる黒い枠の部分 | 写っていない、または斜めにつぶれていれば card_unusable |
| 着色の段階 | 見本の写真のどの段階に最も近いか | 見本の2段階の間なら、低い側の段階と between の印 |
| 地色の段階 | 地色を見る品種だけ。見本のどの段階に近いか | 葉の影で地色が見えなければ not_visible |
| 見えない部分 | 葉や枝、袋で隠れた部分、逆光で色が飛んだ部分 | 範囲が決められなければ写真ごと「見えない部分あり」 |
| 気になる見え方 | 日焼け、裂果、傷、病斑のように見える部分の有無 | 種類は決めず notice の印と位置だけ |
右端の列の考え方は、迷ったら低い側に倒すことです。 着色の段階が見本の2つの間にあるとき、高い側に付けると、区画の分布が実際より進んで見え、試し採りに早く行きすぎます。 早く行って「まだ早い」と分かるのは1回の手間で済みますが、分布が進んで見える癖が付くと、採り始めの判断そのものが前にずれます。
| させないこと | 理由 |
|---|---|
| 果径の mm を書くこと | 写真の大きさは撮る距離で変わる。カードとの比から計算で出す |
| 熟れているか・採ってよいかの判断 | デンプン反応・糖度・食味をあわせて園主が決める |
| 収穫を始める日の提案 | 満開日からの日数と分布から、規則で候補を出す |
| 糖度・デンプン反応の推定 | 写真からは測れない。試し採りで測る |
| 病害虫・障害の名前の特定 | 位置の印まで。見立ては園主と指導員が行う |
| 前回より進んだかどうかの判断 | 前回の分布は渡さない。比べるのは Python の側 |
2行目がいちばん起きやすい失敗です。 赤く色づいた実の写真を渡すと、AIは「収穫適期です」と書きたがります。この言葉が記録に残ると、担当者は試し採りを省いて採り始めてしまいます。 返すのは、見本のどの段階に近いかまでにします。
5行目も同じ理由です。 日焼けや病斑のように見える部分に名前を付けさせると、その名前で防除の相談が始まります。 返すのは「気になる見え方がある」という印と位置だけにし、何であるかは園主が実を見て決めます。
指示内容を固定する
あなたは果樹園で、樹上の果実の写真から色づきの段階を記録する手伝いをする係です。
画像1〜{n}は、品種「{品種}」の段階の見本です。番号と段階は次のとおりです。
{画像1: 着色の段階1, 画像2: 着色の段階2, ... 画像k: 地色の段階1, ...}
画像{n+1}〜{n+20}は、今回の区画で撮った実の写真です。
どの写真にも、黒い枠の付いた寸法と色の見本のカードが添えてあります。
地色を見るか: {はい/いいえ}
【やること】
1. 今回の写真ごとに、撮る対象の実1個の枠を返す。
2. 同じ写真で、カードの黒い枠の部分の枠を返す。
3. 枠は box_2d として [ymin, xmin, ymax, xmax] の順で、0〜1000 で返す。
4. 実の着色が、見本のどの段階に最も近いかを返す。
5. 地色を見る品種では、地色が見本のどの段階に近いかを返す。
6. 葉・枝・袋で隠れた部分と、逆光や白とびで色が分からない部分を返す。
7. 日焼け・裂果・傷・斑点のように見える部分があれば、位置だけを返す。
【厳守事項】
- 果実の大きさ(mm、cm)を書かないでください。推し量らないでください。
- 「収穫適期」「採ってよい」「熟している」「まだ早い」と書かないでください。
- 糖度、デンプン反応、食味を推し量らないでください。
- 見本の2つの段階の間に見えるときは、低い側の段階を選び、between を true にしてください。
- 実の陰の側や隠れた部分を、見えている部分から補って段階を付けないでください。
- 日焼け・裂果・病気・害虫の名前を書かないでください。notice と位置だけにしてください。
- 実が重なって1個に決められない写真は、multiple にして段階を付けないでください。
- 人、車、建物については何も書かないでください。
「低い側の段階を選ぶ」を入れないと、間の実は高い側に寄ります。 見本の写真より少し赤い実と少し薄い実が混ざると、区画の分布が全体として1段階近く進んで出ることがあります。 第8章の試しで、担当者がカラーチャートで読んだ段階と比べて確かめます。
「隠れた部分を補わない」も同じです。 樹上の実は陽光面しか写らないことが多く、陰の側の色づきは写真には出ません。 紅色の品種では果実全体の着色を確かめて採るとされているので、陰の側とていあ部の色は、試し採りのときに人が実を回して見ます。
出力形式を固定する
1区画ごとに、次の形の JSON で受け取ります。 color_stage と ground_stage は品種ごとの段階の数を minimum・maximum で決め、state は enum で絞ります。
{
"block_id": "B-27",
"photos": [
{ "photo": 12, "state": "ok | multiple | card_unusable | no_fruit",
"fruit_box": [212, 330, 640, 702],
"card_box": [700, 120, 930, 480],
"color_stage": 3, "between": true,
"ground_stage": null,
"hidden": [ { "area": "右上", "reason": "leaf | branch | bag | backlight" } ],
"notice": [ { "box_2d": [300, 420, 360, 500] } ] }
]
}
1つ目の理由は、fruit_box と card_box から果径を計算できることです。 Python は2つの枠を元の画像の画素に戻し、カードの黒い枠の実寸(例:50mm)と画素の比から、果実の枠の短い辺を mm に直します。 ノギスで測った3個と比べ、ずれが決めた幅を超える区画は、果径の分布に「要確認」を付けます。
2つ目は、分布を区画の単位で出せることです。 20個の color_stage を数え、段階ごとの個数と、線を越えた実の割合を記録します。区画の台帳には次の形で残ります。
| 区画 | 見回りの日 | 満開日からの日数 | 着色の段階の分布(1〜5) | 線を越えた割合 | 果径の中央値 | 前回との差 |
|---|---|---|---|---|---|---|
| B-27 | 9/18 | 128日 | 0・2・6・9・3 | 60% | 78mm | +3mm |
| B-28 | 9/18 | 128日 | 2・8・7・3・0 | 15% | 74mm | +4mm |
3つ目は、目安の規則が数字だけを読めばよいことです。
| 出す案 | 決め方の例(数字は品種ごとに自社で決める) |
|---|---|
| 試し採りの候補 | 満開日からの日数が品種の幅に入り、線を越えた実の割合が決めた値を超えた |
| 次回の見回りを早める | 線を越えた割合が前回から大きく伸びた |
| 分けて採る候補 | 線を越えた実が樹の外側の写真に偏っている(写真の番号で枝の位置を持たせる) |
| 共通 | card_unusable や multiple が5枚を超える区画は「撮り直し」を付け、案を出さない |
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 撮影用のWebの画面 | サーバーとの受け渡し | 写真とノギスの3個を受け、印を描いた写真と区画の分布を返す |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | 果実とカードの枠、着色・地色の段階、見えない部分、気になる見え方の位置 |
| 区画の台帳 | スプレッドシートの読み取りと、見回りの記録への書き込み | 品種・満開日を読み、分布・果径・写真の場所を書く |
| 園主への知らせ | 毎夕の一覧 | 試し採りの候補の区画、見回りを早める区画、撮り直しの区画 |
収穫の作業の予定表には、この構成から書き込みません。 収穫を始める日は、園主が試し採りをしてから決め、作業員の手配と選果場への連絡はこれまでどおり人が行います。 写真の分布から予定を自動で組むと、試し採りを飛ばした予定が先にできてしまいます。
人が確認する
- 印を描いた写真を流し見る … 区画の20枚を一覧で開き、果実の枠が違う実に付いていないかを見ます
- 外れを直す … 枠の付け違い、段階の明らかな外れを直します。直した写真の番号と理由を残します
- ノギスとのずれを見る … 「要確認」の付いた区画は、カードの写り方を見て撮り直すかを決めます
- 気になる見え方を見る …
noticeの付いた実は、次の見回りで実物を確かめます - 園主が試し採りをする … 候補の区画で実を採り、切って、デンプン反応と糖度と食味を見て、収穫を始める日を決めます
5番目は、この構成のどの段階でも人が行います。 写真の分布は、園主が60区画のうちどこから回るかを決めるための材料で、採り始めの判断そのものは変わりません。
目標は、120件をならして1件12分です。 撮影とノギスの3個で園地に約8分、外れを直すのに数分です。外れを直す写真が1区画で5枚を超えるなら、見本の写真か撮る角度が崩れています。
例外に対処する
| 起きること | 対応 |
|---|---|
| 電波が届かない | 写真を端末に置いたまま撮り続け、電波が戻ったところで区画ごとに送る |
| カードが写っていない・斜めにつぶれている | card_unusable。色の段階だけを使い、果径の分布から外す |
| 実が重なって1個に決められない | multiple。段階を付けず、件数が多い区画は撮り直し |
| 雨・朝露で実が光る、逆光で色が飛ぶ | hidden の backlight に入れ、その写真の段階を分布から外す |
| 袋をかけた品種 | 袋を外してから撮る時期まで、色の段階の見回りを行わない |
| ノギスとのずれが大きい | 区画の果径に「要確認」を付け、撮り方を確かめる |
結果の値が enum や段階の幅に無い | その写真を分布に入れず、担当者の一覧に回す |
| 18歳未満の手伝いの人 | 撮影の係にしない。野帳に書く流れにする |
| Gemini API が応答しない | 写真はサーバーに残し、時間をおいて区画ごとに呼び直す |
上から4行目までが大半を占めます。 どれもAIの精度の問題ではなく、撮る角度と光とカードの置き方の問題です。 撮影の手順を1枚の紙にまとめ、園地の入口に貼っておくほうが、指示の文をいじるより効きます。
記録を残す
- 区画ごとの写真と、Gemini API が返した JSON の全文
- 担当者が直した写真の番号と、直す前と後の段階
- ノギスで測った3個の果径と、計算した果径との差
- そのとき使った見本の写真の版と、品種ごとの目安の線
- 試し採りの結果(デンプン反応、糖度、食味)と、園主が決めた収穫を始めた日
- 収穫を終えたあとの、区画ごとの出荷の等級の割合
5つ目と6つ目が、翌年の目安の線を決める材料です。 「線を越えた割合が何割のときに試し採りをすると、ちょうどよかったか」が区画と品種ごとに残ります。3年分たまると、試し採りの候補を出す線を自社の園地に合わせて引き直せます。
4つ目で「そのときの見本の版」を残すのは、見本の写真を撮り直すためです。 見本を替えると、同じ実でも段階が1つずれることがあります。当時の見本が分からないと、前の年の分布と比べられません。
04実装レベルの3段階
最小構成では、60区画をさばけません。 写真を手で渡すので、繁忙期の見回りには使えません。見本の段階が合うかを確かめるための段階です。 半自動化で、1件30分が16分程度になります。 カラーチャートを当てる時間と打ち直しが無くなりますが、区画の表を見て候補を書き出す作業と、外れの直しに時間が残ります。本格構成で12分になり、この段階が本記事の想定です。 差が出るのは、前回との差と目安の規則が自動で並び、園主の一覧がそのまま回る順になるからです。 段階を飛ばさないでください。 半自動化の分布を1シーズン見ると、品種ごとに「線を越えた割合が何割で試し採りをするとよいか」の見当が付きます。その線を決めてから本格構成に進みます。
05工数削減シミュレーション
導入後 120件 × 12分 ÷ 60 = 24 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- りんご・もも・なしなどを数十の区画に分けて育て、品種と園地の条件で収穫の始まりが区画ごとにずれる農業法人や大きめの果樹農家。収穫を始める日の見極めが園主や古参の担当者の目に頼っていて、その人が回れない区画で早採り・採り遅れが出る場合。区画ごとの色づきと大きさを毎年の記録として残し、翌年の段取りに使いたい場合。園地で写真を撮る担当者を18歳以上に限れる場合。
- 園地が数区画で、園主が毎日すべての樹を見て回れる場合。品種が1つで、収穫の始まりが区画ごとにほとんどずれない場合。直売のもぎ取り園など、樹ごとに熟れたものから採るので区画単位の目安が要らない場合。なお、収穫を始める日の決定、食べてよいか・出荷してよいかの判断、デンプン反応や糖度の測定、病害虫の診断と防除の判断は、この構成では代替できません。
07最小構成で試す方法
- 色づき始めた区画を2つ選び、標本の樹から20個ずつ、カードを添えて撮る
- 同じ40個を、いちばん経験のある担当者がカラーチャートで読み、ノギスで測る
- 品種の段階の見本の写真を、カラーチャートを当てた実で撮っておく
- Gemini API の有料の利用枠で、見本と1区画の20枚をまとめて渡す
- 「実とカードの枠、見本のどの段階に近いか、見えない部分を返してください。大きさ、熟れているか、病気の名前は書かないでください。間に見えるときは低い側を選んでください」と指示する
- 出てきた段階と、担当者が読んだ段階を40個で突き合わせ、果径も計算して比べる
40個は必ずやってください。 画面を作る前に、「自社の品種と園地の光で、見本の段階と写真の段階が合うのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 担当者の読みと、1段階以内でほぼ合った | 撮影の画面とサーバーの作成に進む |
| 「収穫適期」や病気の名前を書いた | 指示の書き方で直る。構成は有効 |
| 段階が全体に高い側へずれた | 見本の写真の撮り方が先。 同じ光の条件で撮り直す |
| 果径がノギスと大きくずれた | カードの置き方が先。 果実と同じ距離の面に添える |
3行目と4行目が出ることは珍しくありません。 失敗ではなく、担当者が光の向きを気にして比べていた理由が1つ分かったということです。 曇りの日の見本と晴れの日の見本を分けて持つか、日傘で影を作って撮るかを決めて、同じ区画で撮り直してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| AIが果径の mm を書く | 指示で禁じる。 カードとの比から計算で出す |
| 「収穫適期」と書く | 指示で禁じ、出力に自由記述の欄を持たせない |
| 段階が全体に高い側へずれる | 間の実は低い側に倒させ、見本の写真を同じ光で撮り直す |
| カードの位置で果径がずれる | 果実と同じ距離の面に添える。ノギスの3個で毎回確かめる |
| 陰の側の色を補って段階を付ける | 隠れた部分を補わないと指示し、hidden に入れさせる |
| 前回の分布に引っぱられる | 前回の分布をAIに渡さない。 比べるのは Python の側 |
| 撮る枝が毎回変わる | 標本の樹と枝に札を付け、写真の番号と枝の位置を結び付ける |
| 見本を替えて前年と比べられない | 見本の版を記録に残し、替えた年は両方で読み比べる |
| 18歳未満の手伝いの人が撮る | 撮影の係にしない。アカウントを18歳以上に限る |
| 候補の一覧で採り始めてしまう | 試し採りの結果を入れないと「決定」の欄が埋まらない作りにする |
上の3行が、この構成の失敗のほとんどです。 どれもAIに写真以上のことを言わせてしまうところから始まります。数字は計算で、判断は園主で、AIは見本との比べだけ、という線を指示と出力の形の両方で守ります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 園地の果実の写真、区画の位置と品種、生育と収穫の記録です。個人の情報はほとんど含みませんが、写真に作業員の顔や近隣の家が写り込むことがあります。
- 写り込みを塗りつぶしてから渡す … 果実のまわりを切り出すか、人の写り込みを塗りつぶします。指示でも人や建物について書かないよう決めます
- 有料の利用枠で使い、保存しない … 無料の利用枠では、送った内容が製品の改善に使われ、人が読むことがあるとされています。有料の枠で
store=falseにします - 18歳未満の人が使える形にしない … Gemini API の規約に沿い、撮影の画面のアカウントを18歳以上の担当者に限ります
- この構成は収穫・出荷の判断を代替しません … 収穫を始める日、出荷してよいか、食べてよいかは、試し採りをした園主が決めます
- 障害や病害虫の見立てをAIに任せない …
noticeは位置の印だけです。防除の判断は、園主と営農の指導員が実物を見て行います - 記録は自社に残す … 写真と分布と試し採りの記録は、自社のサーバーと台帳に残します
誤りが起きた場合のリスクは、分布が進んで見えて早採りすることと、遅れて見えて採り遅れることの2つです。 前者は間の実を高い側に付けると起き、後者は逆光や陰の写真を分布に混ぜると起きます。どちらも、写真の段階と試し採りの結果を毎年並べて見ることで、早めに気づけます。
10まず何から始めるか
1週目:標本の樹と枝に札を付け、カードを作る
区画ごとに標本の樹5本と枝を決め、札を付けます。寸法の分かる黒い枠と、白と灰色の見本を印刷したカードを、担当者の人数分作ります。 毎回同じ枝を撮れるようにするのが最初の準備です。
2週目:見本の写真を撮る
品種ごとに、カラーチャートを当てて段階を確かめた実を、カードを添えて撮ります。曇りの日に、直射日光を避けて撮ります。 段階ごとに数枚ずつそろえます。
3週目:2区画40個で試す
いちばん経験のある担当者の読みと、写真から出た段階を突き合わせます。段階がどちらにずれるか、果径がノギスとどれだけずれるかを最優先で見ます。
4週目:撮影の画面から台帳までをつなぐ
撮影の画面、Python のサーバー、Gemini API、区画の台帳をつなぎ、分布と果径を台帳に書くところまで作ります。 この時点では試し採りの候補を出さず、分布の表だけを園主に見てもらいます。
2か月目: 前回との差と満開日からの日数を足し、試し採りの候補の一覧を毎夕出します。外れを直した写真の数を区画ごとに数えます。シーズンの終わり: 試し採りの結果と出荷の等級を並べ、品種ごとの線を引き直します。翌年の初めの見回りで、その線で候補が出るようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG、JPEG、WEBP、HEIC、HEIF であること。画像を直接入れる場合はリクエスト全体が20MBまでで、超えるときは Files API を使うこと。1つのリクエストに複数の画像を入れられること。枠が box_2d として [ymin, xmin, ymax, xmax] の順で0〜1000に正規化され、元の画像の大きさに戻すこと。画像の向きを確かめるよう書かれていること。384ピクセル以下は258トークン、それより大きい画像は768×768の区画ごとに258トークンであること。例が Interactions API で書かれていること | Google AI for Developers: Image understanding | 2026-10-27 |
構造化出力を /v1beta/interactions の response_format(mime_type・schema)で指定すること。enum、数値の minimum・maximum、配列の minItems・maxItems に対応すること。minLength・maxLength などはエラーにならず外されること。値をアプリ側で検証するよう書かれていること | Google AI for Developers: Structured output | 2026-10-27 |
Interactions API が既定でやり取りを保存し、有料の枠で55日、無料の枠で1日であること。store=false で保存しないようにできること | Google AI for Developers: Interactions API | 2026-10-27 |
| 利用が18歳以上に限られ、18歳未満の人が使う、または使う見込みのあるサービスでの利用が認められていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと。無料のサービスでは製品の改善に使われ、人が読むことがあること | Gemini API Additional Terms of Service | 2026-10-27 |
| 赤色品種「紅いわて」の収穫の目安がデンプン反応指数・糖度・満開日起算日数であり、指標とあわせて食味を確認して収穫期を判断すること。着色が果実全体に及ぶため地色による収穫期の判断が困難であること。ていあ部の着色を確認し、果実全体に完全に着色した果実を収穫すること | 岩手県農業研究センター: りんご「岩手7号(紅いわて)」の収穫適期判断(平成25年度成果書) | 2026-10-27 |
| りんご「大夢」の収穫適期判断の目安が、ふじ地色カラーチャート指数、ヨード反応指数、満開後日数、糖度、酸度の組み合わせで示されていること | 岩手県農業研究センター: りんご「大夢」の収穫適期判断(平成27年度成果書) | 2026-10-27 |
収穫を始める日と品種ごとの目安は、自社の園地の記録と、県の試験研究機関・営農の指導員の資料をもとに決めてください。 本記事は上記の資料で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2034)についてのご相談はこちらから。
