錦鯉の販売店が、ネットで売る鯉の写真を Gemini で見て、品種の候補・模様・体型の説明の下書きを作り、販売の担当が確かめる
ネットで売る錦鯉を1尾ずつ撮った写真を Gemini API に見せ、店の品種の一覧から選んだ品種の候補、紅と墨の模様の特徴、体型の見た目を書き出させます。販売の担当はその下書きを確かめ、品種を決めて商品の説明に仕上げます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- EC/その他/小売
- 対象部門
- マーケティング/営業
- 対象業務
- 内容確認・チェック/書類作成
- 主な課題
- 人手が足りない/属人化している/書類作成に時間がかかる
- AIで行う処理
- 画像認識
- 主な効果
- 品質標準化/属人化解消/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 仕入れた鯉に個体番号を付け、個体管理のスプレッドシートに仕入れ先・仕入れ日・体長を入れる
- 撮影用の容器に移し、上から1枚、頭の寄り1枚、斜めから1枚を撮る
- 担当が写真を見て、品種を見立てる。迷うものはベテランの担当に聞く
- 紅・墨・白地の出方と体型を見て、説明の文を書く
- 体長・産地・価格を個体管理の表から写し、説明の型に当てはめる
- 表記(品種名の書き方、「紅」「緋」の使い分けなど)を見直す
- ネットショップの管理画面に写真と説明を入れ、公開する
- 人仕入れた鯉に個体番号を付け、個体管理の表に仕入れ先・仕入れ日を入れる
- 人撮影の画面で個体番号を選び、物差しを写し込んで3枚を撮る。測った体長を入れる
- 自動撮影の画面から Google Apps Script が写真をドライブに保存し、Gemini API を呼ぶ
- 自動Gemini API が撮り方の不備(反射・ぶれ・物差しの有無・複数の魚)を返す
- 人不備があれば、鯉が容器にいるうちに撮り直す
- 自動Gemini API が品種の候補(2つまで)と根拠の模様、模様の特徴、体型の見た目を返す
- 自動Apps Script が個体管理の表の体長・産地・価格と、AI の記述を説明の型にはめた下書きを作る
- 人販売の担当が実物か写真を見て品種を決め、下書きを直す
- 人迷うものだけベテランに回す。決めた品種と直した文を表に残す
- 人ネットショップの管理画面に写真と説明を入れて公開する
各工程の詳しい説明を読む
- 仕入れた鯉に個体番号を付け、個体管理のスプレッドシートに仕入れ先・仕入れ日・体長を入れる
- 撮影用の容器に移し、上から1枚、頭の寄り1枚、斜めから1枚を撮る
- 担当が写真を見て、品種を見立てる。迷うものはベテランの担当に聞く
- 紅・墨・白地の出方と体型を見て、説明の文を書く
- 体長・産地・価格を個体管理の表から写し、説明の型に当てはめる
- 表記(品種名の書き方、「紅」「緋」の使い分けなど)を見直す
- ネットショップの管理画面に写真と説明を入れ、公開する
(a)見立てと書き出しに時間がかかる。 写真を拡大して、頭・背・尾の付け根の模様を順に見て文にします。1尾ごとに違うので、前の説明を使い回せません。
(b)見立てがベテランに偏る。 大正三色と昭和三色、紅白と丹頂のように、墨や紅の出方で分かれる品種は、新しい担当が自信を持てず、ベテランへの質問が1日に何度も来ます。 ベテランが休むと出品が止まります。
(c)書きぶりが担当ごとに違う。 同じような模様でも、ある担当は細かく書き、別の担当は一言で済ませます。お客様からは「この説明だけでは模様の位置が分からない」という問い合わせが来ます。
(d)撮り直しに気づくのが遅い。 書き始めてから、物差しが写っていない、水面が光って背の模様が見えないと気づきます。そのときには鯉はもう水槽に戻っています。
(e)説明の言葉が来歴と混ざる。 「〇〇産らしい骨格」「血統の良さを感じる」のように、写真の印象と仕入れの記録が一つの文に入ることがあります。どこまでが見えたことで、どこからが記録なのかが、読む側には分かりません。 仕入れ先の名前を書くなら仕入れの記録から写し、見た目の文と分けるのが本来の型です。
これらは担当の努力不足ではありません。 1尾ごとに模様が違う商品を、毎月数百尾、同じ型で書き続けること自体が重い作業です。写真を言葉にする最初の一手を機械に任せられれば、担当は見立てと直しに時間を使えます。
- 【人】 仕入れた鯉に個体番号を付け、個体管理の表に仕入れ先・仕入れ日を入れる
- 【人】 撮影の画面で個体番号を選び、物差しを写し込んで3枚を撮る。測った体長を入れる
- 【自動】 撮影の画面から Google Apps Script が写真をドライブに保存し、Gemini API を呼ぶ
- 【自動】 Gemini API が撮り方の不備(反射・ぶれ・物差しの有無・複数の魚)を返す
- 【人】 不備があれば、鯉が容器にいるうちに撮り直す
- 【自動】 Gemini API が品種の候補(2つまで)と根拠の模様、模様の特徴、体型の見た目を返す
- 【自動】 Apps Script が個体管理の表の体長・産地・価格と、AI の記述を説明の型にはめた下書きを作る
- 【人】 販売の担当が実物か写真を見て品種を決め、下書きを直す
- 【人】 迷うものだけベテランに回す。決めた品種と直した文を表に残す
- 【人】 ネットショップの管理画面に写真と説明を入れて公開する
5番目が、手戻りを減らす工程です。 撮り方の不備は、鯉が撮影の容器にいるうちに返さないと撮り直せません。品種の候補より先に、写真が使えるかを返します。
8番目で品種を決めるのは人です。 AI の候補が1つでも、そのまま採用せず担当が選ぶ操作をします。選んだ品種と AI の候補が違った記録が、品種の一覧の見分けの書き方を直す材料になります。
02今回想定するシステム構成
撮影用の容器(照明・容器の色・物差しの置き場を固定) │ 上から1枚、頭の寄り1枚、斜め1枚 ▼【トリガー】撮影の画面で3枚を撮り終える Google Apps Script(撮影の画面、写真の保存、呼び出し) ├── 店の品種の一覧と見分けの決まり(スプレッドシート) ▼ Gemini API ── 写真を見て書き出す │ ① 撮り方の不備 ② 品種の候補(2つまで)と根拠 │ ③ 紅・墨・白地の模様の特徴 ④ 体型の見た目 ▼ 撮り方の不備 ──▶ その場で撮り直し ▼ 説明の下書き(体長・産地・価格は個体管理の表から) ▼ 【販売の担当が品種を決め、文を直す】 ▼ ネットショップの管理画面へ(人が入れる)
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(写真からの品種の候補・模様・体型の書き出し、撮り方の不備の判定) | Claude API、OpenAI API |
| 連携 | Google Apps Script(撮影の画面、写真と記録の読み書き、呼び出し) | Python |
| 個体管理 | Google のスプレッドシート(個体番号、仕入れ先、体長、価格、決めた品種) | - |
| 写真の保管 | Google ドライブ(入荷日と個体番号のフォルダ) | - |
撮影の決まりが、この構成の半分です。 容器の色、照明の向き、カメラの高さを固定し、物差しをいつも同じ辺に置きます。 これが無いと、紅の色味の違いが鯉の違いなのか光の違いなのか分かりません。
品種を当てる専用のモデルを作らないのは、尾数と品種の数のためです。 品種ごとに何百枚もの写真を集めて学習させるには、月300尾の店では時間がかかりすぎます。品種の一覧に見分けの決まりを文で書き、それを毎回渡す形なら、店の言葉のまま動きます。
土台は Gemini API の画像の理解です。 公式の説明では、対応する形式は PNG・JPEG・WEBP・HEIC・HEIF で、1回の依頼に複数の画像を入れられます。 文と画像を直接入れる場合は、依頼全体(文、指示、画像のデータ)が20MBまでで、それより大きいときは File API を使うとされています。3枚の写真を1回の依頼で渡します。
物の位置は、0〜1000 に正規化した座標で返ります。 公式の説明では、枠は [ymin, xmin, ymax, xmax] の並びで、元の画像の大きさに戻して使います。模様の特徴ごとに位置を返させ、確認の画面で枠を描きます。 担当は文と写真の位置を見比べるだけで済みます。
03どうやって実装するのか
処理の起点を決める
担当が撮影の画面で、その鯉の3枚を撮り終えたことを起点にします。 撮影の画面は Google Apps Script の Web アプリで作り、撮影台の横のタブレットで開きます。最初に個体番号を選ぶと、仕入れ先と仕入れ日が出ます。
体長は、撮る前に測って入れます。 物差しの上で測った値を整数のセンチで入れないと、撮影に進めないようにします。AI に写真から体長を読ませないためです。
撮り終えたらすぐ処理を動かします。 撮り方の不備は、鯉が容器にいるうちに返す必要があるからです。まとめて夜に処理すると、撮り直しのためにもう一度網ですくうことになり、鯉の負担も担当の手間も増えます。
撮影の画面には、その日に撮る予定の個体の一覧と、撮り終えた数を並べます。撮り漏れの個体が画面で分かります。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 写真 | 上から1枚、頭の寄り1枚、斜め1枚。JPEG | 撮影の画面 |
| 個体の情報 | 個体番号、仕入れ先(生産者)、仕入れ日、測った体長、価格 | 個体管理の表 |
| 品種の一覧 | 店で扱う品種名、見分けの決まり(店の言葉)、まぎらわしい品種の組 | 品種の一覧の表 |
| 説明の型 | 説明の項目の順、用語の決まり(「紅」と書く、「緋」と書かない等) | 説明の型の表 |
| 撮影の決まり | 物差しの置き場、写すべき範囲 | 撮影の決まりの表 |
質を決めるのは、品種の一覧の見分けの決まりです。 「紅白:白地に紅の模様。墨は無い」「大正三色:白地に紅と墨。頭に墨が入らないことが多い」「昭和三色:黒地に紅と白。頭に墨が入る」のように、ベテランが実際に見ている所を店の言葉で書きます。 ここが一行の品種名だけだと、AI の候補の根拠も一行になります。
まぎらわしい品種の組も表に持ちます。 紅白と丹頂、大正三色と昭和三色、写り物と昭和三色のように、迷いやすい組と、その分かれ目を書きます。AI に候補を2つ挙げさせるとき、この組の片方だけを挙げることを防ぎます。
データの取得方法を決める
写真は撮影の画面から Google ドライブの「入荷日/個体番号」のフォルダに保存し、同時に Apps Script が Gemini API を呼びます。 依頼は Interactions API(/v1beta/interactions)に送り、input に指示の文と3枚の画像を並べます。
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 写真3枚 | 撮影の画面(ドライブに保存) | 画像として依頼に入れる |
| 体長・産地・価格 | 個体管理の表 | 下書きの数字と来歴の欄(AI には渡さない) |
| 品種の一覧と見分けの決まり | 品種の一覧の表 | 指示の文に入れる |
| 説明の型と用語の決まり | 説明の型の表 | 下書きの組み立てと、指示の文 |
体長・産地・価格は AI に渡しません。 渡すと、それを使って「〇cm の立派な個体」「〇〇産の血統」のような文を AI が書き、来歴の言葉が AI の文の中に混ざります。 数字と来歴は、Apps Script が表から説明の型の決まった欄にはめます。
依頼には store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持されます。会話の続きは使わないので、保存しない動きにします。
AIへ渡す前に整形する
- 形式の確認 … JPEG であることを確かめます。タブレットの設定で HEIC になっている場合も、対応する形式なのでそのまま渡せます
- 大きさの確認 … 3枚と指示の文を合わせて20MBを超えないように、長い辺を決めた大きさに縮めます。頭の寄りの写真だけは縮めすぎないようにします
- 向きの確認 … 公式の説明は、画像の向きが正しいことを確かめるよう求めています。タブレットの回転の情報を見て、頭が上になるように回します
- ぶれ・暗さの簡単な検査 … 明るさの平均が決めた範囲から外れる写真は、AI に渡す前に撮り直しを促します
- 品種の一覧の絞り込み … 季節によって扱わない品種を一覧から外し、指示の文を短くします
- 重複の検知 … 同じ個体番号の写真がすでにあれば、撮り直しとして古いものを残したまま新しい組で処理します
3番目を軽く見ないでください。 横向きに写った鯉は、頭と尾の向きを取り違えたまま「尾の付け根の紅」を「頭の紅」と書かれることがあります。頭が上という前提を、写真の側でそろえます。
AIに処理させる
させるのは、写真に見えることを決まった項目に書き出すことです。 品種の候補も、決めるためではなく、根拠の模様を並べるために挙げさせます。
| 見るもの | 書き出し方 | 判断できないときの扱い |
|---|---|---|
| 撮り方の不備 | 反射、ぶれ、物差しの有無、魚が2尾以上、体が曲がっている | 不備があれば retake |
| 品種の候補 | 品種の一覧から2つまで。それぞれの根拠の模様 | 一覧に合うものが無ければ not_in_list |
| 頭の模様 | 紅・墨の有無と位置(目・鼻先・えらぶたにかかるか) | 見えなければ not_visible |
| 背の模様 | 紅・墨の段の数、切れ目の位置、左右への巻き込み | 反射で見えなければ not_visible |
| 尾の付け根・ひれ | 尾の付け根の白の残り方、胸びれの墨 | 見えなければ not_visible |
| 白地・地肌 | 白地にしみ・くすみが見えるか | 光で判断できなければ uncertain |
| 体型の見た目 | 上から見た胴の太さの印象、左右の曲がりの有無 | 体が曲がっていれば retake |
右端の列が、いちばん大事な区別です。 not_visible は写真に写っていない、uncertain は写ってはいるが光で判断できない、という意味で、前者は撮り直し、後者は担当が実物で見るものです。混ぜると、反射で見えなかった墨を「墨なし」と書くことになります。
| させないこと | 理由 |
|---|---|
| 品種の確定 | 実物を見た担当が決める。写真の光で見え方が変わる |
| 体長・年齢・性別の推定 | 体長は測った値を使う。年齢・性別は写真から言えない |
| 産地・生産者・血統の推定 | 仕入れの記録から写す。見た目から書くと来歴を偽ることになる |
| 健康状態・病気の判断 | 写真で判断するものではない。気になる点は飼育の担当が実物で見る |
| 今後の模様の変化の予想 | 「これから紅が上がる」等は根拠を示せない |
| 価格や品質の格付け | 店が決める |
3行目がいちばん起きやすい失敗です。 模様の良い鯉の写真を渡すと、AI は「名門の血統らしい」のような言葉を書きがちです。来歴の言葉が説明に入ると、事実と違えば景品表示法の優良誤認の問題になりえます。 景品表示法第5条は、商品の品質その他の内容について実際のものより著しく優良であると示す表示を禁じています。来歴を AI の文から締め出すのは、そのためです。
指示内容を固定する
あなたは錦鯉の販売店で、ネットに出す鯉の写真を見て説明の材料を書き出す係です。
写真に見えることだけを書いてください。見えないことを推測で埋めないでください。
【写真】1枚目:上から 2枚目:頭の寄り 3枚目:斜め
写真では頭が上になっています。
【最初に確かめること(photo_check)】
- 水面の反射で背の模様が隠れていないか
- ぶれていないか
- 物差しが写っているか
- 魚が1尾だけ写っているか
- 体が大きく曲がっていないか
1つでも当てはまれば retake とし、理由を書いてください。
【品種の候補】
- 下の【品種の一覧】の品種名だけを使ってください。一覧に無い名前を作らないでください。
- 候補は2つまで。それぞれに、根拠にした模様を写真の位置とともに書いてください。
- 【まぎらわしい組】の片方を挙げるときは、もう片方を挙げない理由も書いてください。
- 一覧に合うものが無ければ not_in_list とし、見えた模様だけを書いてください。
- 品種を確定させる言い方(「〇〇です」)をしないでください。
【模様と体型】
- 頭・背・尾の付け根・ひれ・白地の順に、紅と墨の有無と位置を書いてください。
- 写っていない部分は not_visible、写っているが光で判断できない部分は uncertain。
見えなかったことを「無い」と書かないでください。
- 体型は上から見た印象だけを書き、良し悪しの評価をしないでください。
【書かないこと】
- 体長、年齢、性別、産地、生産者、血統、価格
- 健康状態や病気に関すること
- これから模様や色がどう変わるかの予想
- 「最高級」「極上」「名門」などの評価の言葉
【用語の決まり】{wording_rules}
【品種の一覧と見分けの決まり】{variety_list}
【まぎらわしい組】{confusing_pairs}
「見えなかったことを『無い』と書かない」を明記しないと、反射で隠れた墨が「墨なし」になります。 墨の有無は大正三色と紅白を分ける所で、ここを取り違えると品種の候補そのものがずれます。
評価の言葉を名指しで禁じているのも、同じ理由です。 「評価をしない」とだけ書くと、「美しい」「見事な」が入ります。禁じる語を具体的に並べると、下書きの直しが減ります。
出力形式を固定する
次の形のJSONで受け取ります。 構造化出力は response_format に mime_type を application/json として渡し、schema に形を書きます。
{
"individual_id": "",
"photo_check": { "status": "ok | retake", "reasons": [] },
"variety_candidates": [
{ "variety": "", "basis": "", "box_2d": [0, 0, 0, 0], "image_index": 1 }
],
"variety_status": "candidates | not_in_list",
"pattern": [
{ "part": "head | back | tail_base | fins | ground",
"status": "described | not_visible | uncertain",
"text": "", "box_2d": [0, 0, 0, 0], "image_index": 1 }
],
"body_shape": { "status": "described | retake", "text": "" },
"draft_lines": []
}
1つ目の理由は、候補の数を形で縛れることです。 公式の説明では、構造化出力は enum、minItems、maxItems、minimum、maximum を守らせます。variety_candidates に maxItems を2と書き、variety を品種の一覧の名前の enum にすると、一覧に無い品種名や3つ目の候補が出ません。
2つ目は、守られない制約をこちらで確かめる前提に立てることです。 公式の説明では minLength・maxLength は守られず、依頼のときに外されます。値はアプリの側で確かめるよう書かれています。draft_lines の1行の長さと、禁じた語が入っていないかは、Apps Script が確かめます。
3つ目は、status で人が見る所を絞れることです。 not_visible と uncertain の部位だけを確認の画面で色付けし、担当はそこだけ実物を見ます。
photo_check と variety_status | 下書きの扱い |
|---|---|
retake | 下書きを作らず、撮り直しを促す |
ok かつ candidates | 下書きを作り、担当が品種を選ぶ |
ok かつ not_in_list | 下書きを作るが、品種の欄を空にしてベテランに回す |
部位に uncertain がある | 下書きのその文に印を付け、実物で確かめる |
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 撮影の画面 | Apps Script の Web アプリ | 個体番号の選択、体長の入力、3枚の撮影 |
| Google ドライブ | Apps Script のドライブのサービス | 写真の保存 |
| Gemini API | Interactions API(store=false) | 撮り方の不備、品種の候補、模様と体型 |
| 個体管理の表 | Apps Script のスプレッドシートのサービス | 体長・産地・価格の読み出し、決めた品種と直した文の書き込み |
| ネットショップ | 人が管理画面に入れる | 写真と説明の公開 |
ネットショップへは自動で書き込みません。 担当が品種を決め、文を直したものだけを管理画面に入れます。公開までつなぐと、確かめる前の候補の品種名がそのまま売り場に出る経路ができます。
個体管理の表には、AI の候補と担当が決めた品種を別の列に書きます。同じ列に上書きすると、AI がどこで外したかが残りません。
人が確認する
販売の担当が全尾を確かめます。 ただし、見る所は確認の画面で絞られています。
- 品種を選ぶ … 候補が1つでも選ぶ操作をします。候補に無い品種も選べるようにします
- 色付けされた部位を見る …
uncertainの部位は、水槽の実物で紅と墨を確かめます - 下書きを直す … 枠の位置と文が合っているかを見ます。特に「頭」「背」の取り違えを見ます
- 体長・産地・価格の欄を確かめる … 表から入った値が、その個体のものかを見ます
- 迷うものはベテランに回す …
not_in_listと、候補と自分の見立てが違うもの
1番目で、候補を初期値にしないでください。 選択欄に AI の候補を最初から入れておくと、押すだけで確定する画面になります。 候補は並べて見せ、選ぶのは担当にします。
目標は、ならして1尾4分です。 色付けの無い個体は2〜3分、uncertain や not_in_list の個体は実物を見るので長くかかります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 水面の反射で背の模様が見えない | retake。照明の向きを直して撮り直す |
| 物差しが写っていない | retake。体長は測った値を使うが、写真にも物差しを残す |
| 魚が2尾写っている | retake。1尾ずつ容器に入れる |
| 体が大きく曲がって写る | retake。落ち着くのを待って撮る |
| 一覧に無い品種(変わり鯉など) | not_in_list。ベテランが決め、必要なら一覧に足す |
| 紅の色味が照明で違って見える | uncertain。実物で確かめ、照明の設定を見直す |
| 依頼が20MBを超える | 縮めて送り直す。頭の寄りの写真は縮めすぎない |
| 禁じた語や来歴の言葉が下書きに入る | Apps Script が語の一覧で検知し、その行を空にして担当に知らせる |
| API が応答しない | 写真は保存済みのまま「未処理」に残し、後で再実行する |
上から4行目までが大半を占めます。 どれも AI の問題ではなく、撮影の容器と照明と、鯉が落ち着くのを待つかどうかの問題です。 ここを直すほうが、指示の文を直すより効きます。
記録を残す
- 写真3枚と、撮影の日時・撮った担当
- Gemini API に渡した指示の文の版と、返ってきたJSONの全文
- AI の品種の候補と、担当が決めた品種(別の列)
- 担当が直した後の説明の文と、直した箇所
retakeの理由と回数(担当ごと・日ごと)- 公開した日時と、ネットショップの商品番号
3つ目が、品種の一覧を育てる材料です。 AI の候補と担当の判断が違った個体を月に一度集め、どの品種の組で外れたかを見て、見分けの決まりの文を直します。 一覧を直したら、指示の文の版を上げて記録します。
retake の回数は、撮影の決まりの見直しに使います。 特定の時間帯に反射が多いなら、窓からの光が原因です。
04実装レベルの3段階
最小構成では尾数がさばけません。 1尾ずつ貼るので、月300尾には使えません。確かめるための段階です。 半自動化で、1尾12分が4分程度になります。 撮影と同時に撮り方の不備が返り、模様の書き出しと型へのはめ込みが自動になるためです。この段階が本記事の想定です。 本格構成で増えるのは、見分けの決まりを直す仕組みと公開の下準備で、1尾の時間はあまり変わりません。 段階を飛ばさないでください。 半自動化で1か月回すと、外れやすい品種の組と、反射の多い時間帯が分かります。そこを直してから本格構成に進みます。
05工数削減シミュレーション
導入後 300件 × 4分 ÷ 60 = 20 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 錦鯉・金魚などの観賞魚を1尾ずつ写真で売る専門店や養鯉場の直売で、毎月数百尾をネットに出している場合。品種の見立てと模様の書き方がベテランの担当に偏り、説明文の書きぶりが担当ごとに違う場合。撮影の場所(撮影用の容器・照明・物差し)を一定にできる場合。
- 1か月に出品する尾数が数十尾で、ベテランの担当が全部書いて足りる場合。品評会の評価や血統・産地の価値を前面に出して売る高額の個体で、説明の一語一語を専門家が書くべき場合。写真の撮り方を一定にできず、水面の反射や濁りで模様が見えない写真が多い場合。なお、品種の確定・体長の計測・健康状態の判断・価格の決定は、この構成では代替できません。
07最小構成で試す方法
- 先月出品した鯉から30尾を選ぶ(うち数尾は、見立てに迷った個体を入れる)
- その30尾の写真と、実際に公開した説明を手元にそろえる
- 手元の Gemini の画面に1尾ずつ3枚の写真を貼り、品種の一覧と見分けの決まりを文で添える
- 「品種の候補を2つまで、根拠の模様とともに挙げてください。頭・背・尾の付け根・ひれ・白地の順に紅と墨の有無と位置を書いてください。見えない所は見えないと書き、体長・産地・血統・健康状態は書かないでください」と指示する
- 出てきた記述を、公開した説明と、ベテランの見立てと突き合わせる
30尾は必ずやってください。 Apps Script を組む前に、「店の撮り方の写真で、模様の位置を言葉にできるのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 模様の位置がベテランの説明と合う | 撮影の画面と下書きの組み立てに進む |
| 品種の候補が一覧の外の名前になる | 指示の書き方と enum で直る。構成は有効 |
| 反射や暗さで「見えない」が多い | 撮影の決まりが先。 AI の問題ではない |
3行目が出ても失敗ではありません。 新しい担当が見立てに迷っていた理由の一つが、写真の撮り方だったと分かったということです。照明を直して同じ30尾を撮り直し、記述がどこまで変わるかを見てください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 反射で見えない墨を「墨なし」と書く | not_visible と uncertain を分け、見えないことを「無い」と書かせない |
| 頭と尾の模様を取り違える | 写真の向きを前処理でそろえ、確認の画面で枠を描く |
| 一覧に無い品種名を作る | enum で縛る。一覧に無ければ not_in_list |
| 来歴・血統の言葉が文に入る | 体長・産地を AI に渡さない。語の一覧で検知する |
| 評価の言葉が並ぶ | 禁じる語を指示に具体的に書く |
| 候補をそのまま確定させる | 選択欄の初期値を空にし、担当が選ぶ |
| 紅の色味が日によって違う | 照明を固定し、uncertain は実物で見る |
| 撮り直しに気づくのが遅い | 撮影と同時に photo_check を返す |
| 依頼の大きさが上限を超える | 送る前に縮める。頭の寄りは縮めすぎない |
| 見分けの決まりが更新されない | 候補と判断の違いを月に一度集め、決まりを直す |
上の2行が、この構成の失敗のほとんどです。 どちらも、写真の見え方を事実のように書いてしまうことから起きます。見えないものと無いものを分けて書かせるかどうかで、下書きが使えるかが決まります。
下の2行は、運用が始まってから効いてきます。 撮影の決まりは、担当が入れ替わると少しずつ崩れます。見分けの決まりも、新しい品種を扱い始めると古くなります。retake の回数と、候補と判断の違いの数を月ごとに並べておくと、どちらが崩れたかが数字で分かります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 鯉の写真、個体番号、仕入れ先(生産者)の名前、価格です。お客様の個人情報は扱いません。
- 写真に人や伝票を写さない … 撮影の容器のまわりに、担当の顔や仕入れの伝票が写り込まないようにします。AI に渡すのは鯉と物差しだけにします
- 仕入れ先と価格を AI に渡さない … 説明の型の欄には Apps Script が表から入れます。仕入れの条件は店の機密です
- 有料の枠を使い、
store=falseを付ける … 無料の枠は製品の改善に使われます。既定の保存(有料の枠で55日)も使いません - 品種と来歴の表示は店の責任で決める … AI の候補は材料です。表示が実物と違えば、景品表示法上の問題になりえます
- 健康状態を写真で判断しない … 気になる所があれば、飼育の担当が実物で見ます。AI の文に健康や病気の言葉を入れさせません
- 使う人を店の担当に限る … Gemini API の規約は、API を使う人が18歳以上であることを求めています。この構成でAPIを使うのは店の担当だけで、お客様の画面にはつなぎません
動物の取扱業の規制との関係にも触れておきます。 動物の愛護及び管理に関する法律の第一種動物取扱業の登録は、哺乳類・鳥類・爬虫類に属する動物の販売等が対象で、魚類は条文の対象に入っていません。ただし、ほかに鳥や爬虫類も扱う店では登録の義務が生じます。 扱う動物に応じて、所管の自治体に確かめてください。
誤りが起きた場合のリスクは、品種を取り違えて売ることと、見えなかった模様を誤って書くことの2つです。 どちらも、AI の候補を確定させず、見えないことを無いと書かせない設計で抑えます。
10まず何から始めるか
1週目:撮影の決まりを固める
容器の色、照明の向き、カメラの高さ、物差しの置き場を決めます。同じ鯉を3人の担当がそれぞれ撮り、写真の違いを見比べます。 違いが大きいなら、固定具を足します。
2週目:見分けの決まりを書く
ベテランの担当に、扱う品種ごとの見分けの決まりと、まぎらわしい組の分かれ目を書いてもらいます。まず売れ筋の紅白・大正三色・昭和三色の3品種から始めます。
3週目:30尾で試す
先月の出品から30尾を選び、手元の Gemini の画面で模様と候補を書かせます。公開した説明とベテランの見立てに突き合わせ、「見えないのに無いと書いた」所が無いかを最優先で見ます。
4週目:撮影の画面をつなぐ
Apps Script で撮影の画面を作り、撮り方の不備を返すところまで組みます。この時点では品種の候補を出さず、photo_check だけを1週間使います。 撮り直しの回数が落ち着いたら、模様の書き出しを足します。
2か月目: 品種の候補と下書きの組み立てを足し、AI の候補と担当の判断を別の列に残します。3か月目以降: 候補と判断の違いを集計して見分けの決まりを直し、1尾12分が何分になったかを実測します。新しい担当がベテランに聞かずに出品できる品種が増えた時点で、この構成は役目を果たしています。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。1回の依頼に複数の画像を入れられること。文と画像を直接入れる依頼全体が20MBまでで、それより大きいときは File API を使うこと。物の位置が [ymin, xmin, ymax, xmax] の 0〜1000 に正規化した座標で返り、元の大きさに戻して使うこと。画像の向きを確かめるよう書かれていること | Google AI Studio: Image understanding | 2026-11-06 |
構造化出力を response_format(mime_type に application/json、schema)で指定すること。enum・minItems・maxItems・minimum・maximum が守られ、minLength・maxLength は外されること。値はアプリの側で確かめるよう書かれていること | Google AI Studio: Structured output | 2026-11-06 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-06 |
| API を使うには18歳以上であること。無料の枠では送った内容と応答が製品の改善に使われ、機密・個人の情報を送らないよう書かれていること。有料の枠ではプロンプトと応答を製品の改善に使わないこと | Gemini API 追加利用規約 | 2026-11-06 |
| 不当な表示の禁止(第5条)。商品の品質その他の内容について、実際のものより著しく優良であると示す表示を禁じること | e-Gov 法令API: 不当景品類及び不当表示防止法 | 2026-11-06 |
| 第一種動物取扱業の登録(第10条)の対象の動物が、哺乳類・鳥類・爬虫類に属するものに限られること | e-Gov 法令API: 動物の愛護及び管理に関する法律 | 2026-11-06 |
品種の見分けの決まりと、説明に載せる表示は、店の担当と責任者で決めてください。 本記事は公開仕様と法令で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3058)についてのご相談はこちらから。
