刺繍の加工所が仕上がりの写真を Gemini で見て、糸切れ・位置のずれ・糸の色の違いの候補を拾い、注文ごとの検品の記録を作る
刺繍機から外した品を検品台で撮り、Gemini に承認済みの見本と指示書に照らさせて、糸切れ・位置のずれ・糸の色の違いに見える箇所を枠で返させます。人が確かめた結果を、注文ごとの検品の記録にまとめます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/小売/製造
- 対象部門
- 品質管理/生産
- 対象業務
- 内容確認・チェック/記録・議事録作成
- 主な課題
- 属人化している/書類作成に時間がかかる/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 刺繍機の担当が、指示書を見て糸の色を機械に設定し、初品を刺す
- 検品の担当が初品を手に取り、指示書の図案と承認済みの見本と見比べる
- 刺繍の位置を、襟の中心や帽子の縫い目から定規で測り、指示書の位置と比べる
- 2枚目以降を1点ずつ手に取り、ジャンプの糸を切りながら、欠け・ずれ・糸のつれを見る
- 手直しで済むもの(糸切れの小さな欠け)と、刺し直しになるものを分け、用紙に正の字で数える
- 注文が終わったら、用紙の数を受注の表に書き写す
- 注文主から問い合わせがあれば、用紙と記憶をたどって答える
- 人刺繍機の担当が、指示書のバーコードを読み取り台にかざし、初品を刺す
- 人検品の担当が初品を検品台の決まった枠に置き、「初品」のボタンを押す
- 自動固定カメラが1枚撮り、サーバーが明るさ・ぶれ・置き方を確かめる
- 自動サーバーが指示書の情報(図案の画像、糸の色の番号、位置、大きさ)と見本の写真を引く
- 自動Gemini API が、初品の写真を見本と図案に照らし、欠け・色の違い・位置の目印の枠を返す
- 自動サーバーが位置のずれをミリに直し、指示書の許容と比べて、印を描いた写真を検品台の画面に出す
- 人担当が印を見て品を確かめ、初品の可否を主任に回す。可なら2枚目以降に進む
- 自動2枚目以降は置くたびに撮り、欠けとずれに絞った候補を出す
- 人担当が印の付いた箇所を手に取って確かめ、手直し・刺し直し・候補の誤りのどれかを押す
- 自動注文の終わりに、手直し・刺し直しの数と写真の組を検品の記録にまとめる
各工程の詳しい説明を読む
- 刺繍機の担当が、指示書を見て糸の色を機械に設定し、初品を刺す
- 検品の担当が初品を手に取り、指示書の図案と承認済みの見本と見比べる
- 刺繍の位置を、襟の中心や帽子の縫い目から定規で測り、指示書の位置と比べる
- 2枚目以降を1点ずつ手に取り、ジャンプの糸を切りながら、欠け・ずれ・糸のつれを見る
- 手直しで済むもの(糸切れの小さな欠け)と、刺し直しになるものを分け、用紙に正の字で数える
- 注文が終わったら、用紙の数を受注の表に書き写す
- 注文主から問い合わせがあれば、用紙と記憶をたどって答える
(a)見る人によって見落としが違う。 欠けやずれを見る目は担当の経験に頼っています。同じ注文でも、誰が見たかで手直しの数が変わります。 新しい担当が入る時期に返品が増えるのは、そのためです。
(b)位置を毎回定規で測っている。 初品の位置は定規で測りますが、品の置き方によって測る起点がぶれます。2枚目以降は目で見ているので、機械の枠の付け方がずれて少しずつ位置が動いても、気づくのが遅れます。
(c)記録が数だけで、写真が残らない。 用紙に残るのは良品と手直しの数だけです。注文主から「位置が違う」と言われたとき、出荷の時点でどう刺さっていたかを示せません。 担当が覚えているかどうかで答えが変わります。
(d)書き写しに時間がかかる。 注文ごとの用紙の数を、受注の表へ毎日まとめて書き写しています。書き写しの漏れがあると、手直しの数が月の集計から消えます。
- 【人】 刺繍機の担当が、指示書のバーコードを読み取り台にかざし、初品を刺す
- 【人】 検品の担当が初品を検品台の決まった枠に置き、「初品」のボタンを押す
- 【自動】 固定カメラが1枚撮り、サーバーが明るさ・ぶれ・置き方を確かめる
- 【自動】 サーバーが指示書の情報(図案の画像、糸の色の番号、位置、大きさ)と見本の写真を引く
- 【自動】 Gemini API が、初品の写真を見本と図案に照らし、欠け・色の違い・位置の目印の枠を返す
- 【自動】 サーバーが位置のずれをミリに直し、指示書の許容と比べて、印を描いた写真を検品台の画面に出す
- 【人】 担当が印を見て品を確かめ、初品の可否を主任に回す。可なら2枚目以降に進む
- 【自動】 2枚目以降は置くたびに撮り、欠けとずれに絞った候補を出す
- 【人】 担当が印の付いた箇所を手に取って確かめ、手直し・刺し直し・候補の誤りのどれかを押す
- 【自動】 注文の終わりに、手直し・刺し直しの数と写真の組を検品の記録にまとめる
7番目が、この設計の分かれ目です。初品の可否は主任が決めます。 AIの候補が無くても、主任が初品を見本と並べて確かめてから、2枚目以降に進みます。色の取り違えや位置の設定の誤りを、初品で止めるための関所です。
9番目で、印の無い品も手に取ります。 ジャンプの糸を切る作業は今のまま残るので、手に取ったついでに、印の無い箇所も目で見ます。 印は「ここを先に見てほしい」という順番で、検品の代わりではありません。
02今回想定するシステム構成
刺繍機から外した品(検品台の決まった枠に置く) ▼【トリガー】「初品」または「2枚目以降」のボタン 固定カメラ(検品台の上、決まった高さと照明)── 1枚撮る ▼ Python のサーバー ├── 指示書のバーコードから、図案の画像・糸の色・位置・大きさ・許容を引く ├── 写真の切り出し、明るさと色の確認(台の色見本)、ぶれ・手の写り込みの確認 ▼ Gemini API(画像の理解・構造化出力)── 品の写真、見本の写真、図案の画像 │ 刺繍の外形と位置の目印の枠、欠けに見える箇所、色の違いに見える箇所 ▼ Python ── 位置のずれをミリに直す、許容と比べる、印を描く ▼ 【人】検品の担当が印を確かめる/初品は主任が可否を決める ▼ 注文ごとの検品の記録(手直し・刺し直しの数+写真)→ 受注の表へ
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(刺繍の外形・位置の目印・欠けと色の違いの候補を枠で返す) | Claude API、OpenAI API |
| 連携 | Python(撮影の受け取り、指示書の引き当て、前処理、呼び出し、ずれの計算、印の描画、記録の組み立て) | Google Apps Script |
| 撮影 | 検品台の上の固定カメラ(決まった高さと照明、台の隅の色見本) | - |
| 指示書 | 注文ごとの図案の画像・糸の色の番号・位置・大きさ・許容を表にしたもの | - |
新しく足すのは、固定カメラと照明、Python のサーバー、Gemini API の契約です。 指示書と見本は今のものを使い、紙の指示書の位置と許容を、表の列に書き直す作業だけが加わります。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文などを合わせたリクエスト全体が20MBまでです。品の写真、見本の写真、図案の画像の3枚を1回の呼び出しにまとめても、縮めて送ればこの大きさに収まります。
位置は枠で返させます。 枠は [ymin, xmin, ymax, xmax] の順で、画像の大きさに対して0〜1000に正規化され、元の大きさに戻して使うよう案内されています。サーバーはこれを元の画素に戻し、カメラの縮尺(1ミリあたりの画素の数)でミリに直します。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format で mime_type を application/json にし、schema にスキーマを入れます。文字列の enum、配列の minItems・maxItems、数の minimum・maximum が使えます。minLength・maxLength はエラーにならずに外されるので、文の長さはサーバーで見ます。値が正しいかはアプリ側で検証するよう公式に書かれています。
03どうやって実装するのか
処理の起点を決める
品を検品台の決まった枠に置き、担当がボタンを押したときに1枚撮ります。 ボタンは「初品」と「2枚目以降」の2つにします。同じ写真でも、初品か2枚目以降かで AI にさせることが変わるので、押し分けを合図にします。
注文の始まりは、指示書のバーコードで決めます。 刺繍機の担当が初品を刺す前に、指示書のバーコードを読み取り台にかざします。かざさずに置いた品は、前の注文に入れず、「注文不明」として画面に出します。 図案や糸の色の取り違えは、そのまま検品の記録の誤りになるからです。
初品の可否を主任が押すまで、2枚目以降のボタンは押せないようにします。 初品で止める仕組みを画面で守ります。注文の最後の品のあとに、担当が「注文終了」を押し、これを合図にサーバーが記録をまとめます。 押し忘れのまま次の指示書がかざされたら、前の注文を閉じて、主任に「終了の押し忘れ」として知らせます。
連続で撮って動画のように流す形にはしません。 置く途中の傾いた写真や、手で生地を伸ばした写真が混ざり、同じ品が2回数えられます。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 品の写真 | 検品台の上から撮った1枚。撮った時刻、検品台の番号、初品か2枚目以降か | 固定カメラ |
| 指示書の情報 | 注文の番号、品の種類(作業着・ポロシャツ・帽子・タオル)、図案の画像、糸の色の番号の並び、刺繍の位置(起点と距離)、大きさ、位置と大きさの許容 | 指示書を表にしたもの |
| 承認済みの見本の写真 | 注文主が承認した試し刺しを、同じ検品台で撮ったもの | 主任が登録 |
| 位置の目印の決め方 | 品の種類ごとに、位置を測る起点(襟の中心の縫い目、前立ての端、帽子の正面の中心の縫い目) | サーバーに持たせる |
| カメラの縮尺 | 検品台の高さで、1ミリあたりの画素の数 | 台の目盛りで測っておく |
質を決めるのは、承認済みの見本の写真です。 図案の画像だけでは、糸の太さや縫い方による見え方の違いが分かりません。同じ検品台・同じ照明で撮った見本があれば、AIは「見本と違う」箇所に絞って候補を返せます。 くり返しの注文は、前回の見本の写真を使い回します。
位置の目印の決め方は、品の種類ごとに1行ずつ書きます。 左胸のロゴなら「襟の中心の縫い目から右へ何ミリ、下へ何ミリ」、帽子なら「正面の中心の縫い目に刺繍の中心を合わせる」のように、指示書の位置の書き方とそろえます。 起点が決まっていないと、AIに何を返させればよいかが決まりません。
データの取得方法を決める
写真は、固定カメラからサーバーが直接受け取ります。 カメラの製品によって受け取り方が違うので、使うカメラの連携の機能に合わせて作ります。スマートフォンを台に固定して撮る形でも始められます。 その場合は、撮った写真を決まったフォルダに送る仕組みを作ります。
指示書の情報は、注文の番号で表から引きます。 図案の画像は注文主から受け取った画像を、糸の色は色の番号と色の名前の並び(「1:紺、2:白、3:赤」)を写します。見本の写真は注文の番号で引き、くり返しの注文なら前回の注文の番号から引きます。
Gemini API へは、品の写真、見本の写真、図案の画像、指示書の情報をまとめて渡します。 渡す順番を毎回同じにし、指示の文で「1枚目が品、2枚目が見本、3枚目が図案」と書きます。順番が揺れると、見本の欠けを品の欠けとして返す答えが混ざります。
有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできると案内されています。store=false では前のやり取りを引き継げないので、毎回、写真と見本と図案をそろえて送ります。
AIへ渡す前に整形する
- 枠の切り出し … 検品台の枠の印を手がかりに、品の部分だけを切り出します。台の外の糸くずの箱やはさみを写真から外します
- 明るさと色の確認 … 台の隅に置いた色見本の板(白・灰・紺・赤の4色)の色が、決まった範囲にあるかを見ます。色の違いは色で見るので、色がずれた写真は渡しません
- ぶれの確認 … 置く途中で撮れたぶれた写真は、撮り直しにします
- 手の写り込みの確認 … 品の上に手や指がかかっていれば、撮り直しにします
- 刺繍の周りの切り出し … 位置の目印と刺繍を含む範囲を、品の種類ごとに決めた大きさで切り出します。細かな文字の欠けが見える大きさを残します
- 向きの確認 … 品の向きが決まった向きでなければ、回転させます
2番目を省かないでください。 照明が1本切れただけで、紺の糸が黒に、白の糸が灰色に見え、色の違いの候補が一度に増えます。 色見本の板の色が決まった範囲を外れたら、その写真はAIに渡さず、担当の画面に「照明を確かめてください」と出します。
5番目の大きさは、文字の細かさで決めます。 名入れの小さな文字の欠けは、品の全体を写した写真を縮めると消えます。刺繍の周りを切り出した写真と、位置の目印を含む写真の2枚を渡す形にすると、欠けと位置の両方が見えます。
AIに処理させる
させるのは、刺繍の外形と位置の目印を枠で返すこと、見本と違って見える箇所を種類ごとに返すこと、判断のつかない箇所を分けることだけです。
| 返すもの | 中身 | 判断できないときの扱い |
|---|---|---|
| 刺繍の外形 | 刺繍全体を囲む枠 | 生地のしわで外形が切れて見えれば unclear |
| 位置の目印 | 品の種類ごとに決めた起点(襟の中心の縫い目など)の枠 | 起点が写っていない・隠れていれば not_visible |
| 欠けに見える箇所 | 見本では糸があるのに品では生地が見える箇所、文字の一部が切れて見える箇所 | 影や糸の光り方か分からなければ unclear |
| 色の違いに見える箇所(初品のみ) | 見本と比べて、糸の色の番号の並びの何番目が違って見えるか | 照明や生地の透けで分からなければ unclear |
| 糸のつれ・生地の波打ち | 刺繍の周りの生地が引きつれて見える箇所 | 置き方のしわか分からなければ unclear |
ずれを AI に測らせないのが、この構成の要です。 「何ミリずれていますか」と聞くと、AIはもっともらしい数を答えます。写真の縮尺を知らないAIの数は、許容の判定に使えません。 枠だけを返させ、ミリへの換算と許容との比較はサーバーが行います。
色の違いは、初品だけで見させます。 糸の色の取り違えは、機械の糸立てに置いた糸を間違えたときに起き、初品で出なければ、2枚目以降で急に出ることはほとんどありません。 2枚目以降でも色を見させると、置き方による光の当たり方の違いを色の違いとして返し、候補が増えて担当が読まなくなります。 ただし、糸を替えた・機械の糸が切れて付け直したと担当が押したときは、その次の1点を初品と同じに見ます。
| させないこと | 理由 |
|---|---|
| 出荷してよいかの判断 | 注文主との取り決めで決まる。主任が決める |
| 手直しか刺し直しかの判断 | 糸を足せば直るかは、手に取って裏を見ないと分からない |
| ずれのミリ数を答えること | 写真の縮尺を知らない。サーバーが計算する |
| 刺繍の裏側、生地の伸び・縮みを書くこと | 表の写真には写らない |
| 刺繍機の担当の腕や責任について書くこと | 検品の記録が人への評価になってしまう |
1行目がいちばん起きやすい失敗です。 候補が無いと、AIは「見本どおりで問題ありません」と書きたがります。その言葉が検品の記録に入ると、表の写真1枚で出荷を保証することになります。 返すのは見え方までにし、可否は記録に書かせません。
指示内容を固定する
あなたは刺繍の加工所で、刺繍機から外した品の写真を見る手伝いをする係です。
1枚目は品の写真、2枚目は注文主が承認した見本の写真、3枚目は図案の画像です。
品の種類は {ポロシャツ(左胸)}、この写真は {初品} です。
糸の色の番号の並びは {1:紺、2:白、3:赤} です。
位置の起点は {襟の中心の縫い目} です。
【やること】
1. 刺繍全体を囲む枠と、位置の起点の枠を [ymin, xmin, ymax, xmax] の順で、
0〜1000 に正規化して返す。起点が写っていなければ not_visible にする。
2. 見本と比べて、次の種類の違いに見える箇所を探し、枠と種類を返す。
missing_stitch(糸があるはずの所に生地が見える・文字が切れて見える)、
puckering(刺繍の周りの生地の引きつれ)、loose_thread(残った糸・ループ)
3. この写真が初品のときだけ、color_mismatch(見本と色が違って見える)も探し、
糸の色の番号の何番目が違って見えるかを返す。
4. 影・糸の光り方・生地のしわか、違いか分からないものは unclear にする。
【厳守事項】
- ずれの長さ(ミリ・センチ)を書かないでください。枠だけを返してください。
- 違いが無い箇所について、見本どおりだ、問題ない、出荷できる、と書かないでください。
- 手直しで直るか、刺し直しが必要かを書かないでください。
- 刺繍の裏側、生地の伸び縮み、糸の強さについて何も書かないでください。
- 2枚目の見本の写真にある欠けやしわを、品の違いとして返さないでください。
- 人の手や指が写っていても、それについて何も書かないでください。
- 糸の色の番号は、渡した並びの番号だけを使ってください。色の名前を作らないでください。
「ずれの長さを書かない」を置くのは、数がひとり歩きするのを防ぐためです。 何も言わないと、AIは note に「約3ミリ右にずれています」と書きます。その数が記録に残ると、サーバーが計算した数と食い違い、どちらが正しいかで担当が迷います。 数はサーバーだけが書きます。
「見本の写真にある欠けを、品の違いとして返さない」は、3枚を渡す形とセットで効きます。 見本の試し刺しにも小さな糸のループがあることがあり、それを品の側の違いとして返す答えが混ざります。 1枚目が品だと書き、2枚目の扱いを禁じると減ります。
月末の取引先への報告の文は、別の呼び出しで作ります。 主任が直した後の1か月分の集計だけを渡し、「数は渡した表から写す」「原因を断定しない」「改善を約束する言葉を書かない」を入れます。数そのものはサーバーが入れ、AIには文のつなぎだけを書かせます。
出力形式を固定する
品1点ごとに、次の形の JSON で受け取ります。 kind と status は enum で決まった文字列に絞り、findings は maxItems で数を抑えます。
{
"order_no": "E-1029-031",
"piece_no": 1,
"is_first_piece": true,
"design_box": { "box_2d": [402, 515, 520, 760], "status": "seen | unclear" },
"anchor_box": { "box_2d": [88, 470, 120, 530], "status": "seen | not_visible" },
"findings": [
{ "kind": "missing_stitch | puckering | loose_thread | color_mismatch | unclear",
"box_2d": [455, 690, 478, 712],
"color_index": 0,
"note": "社名の最後の文字の右の縦の線が、見本より短く、生地が見える" }
]
}
1つ目の理由は、ずれの計算をサーバーの側に置けることです。 サーバーは design_box の中心と anchor_box の中心の距離を、カメラの縮尺でミリに直し、指示書の位置と許容に照らします。
| サーバーの計算の結果 | 画面の印 |
|---|---|
| 指示書の位置との差が許容の半分まで | 印なし |
| 許容の半分を超え、許容まで | 黄(担当が定規で測る) |
| 許容を超える | 赤(初品なら主任に回す) |
anchor_box が not_visible | 灰(置き直して撮り直す) |
黄の範囲を設けるのは、写真からの計算に誤差があるからです。 品の置き方や生地のたるみで、数ミリはすぐに揺れます。許容の境目に近いものだけ定規で測る形にすると、全部を測るより速く、全部を目で見るより確かです。
2つ目は、findings の番号が画面の印と記録の鍵になることです。 担当が画面で「この欠けは見本どおり」と押せば、その候補だけが記録から外れます。何を直したかが残るので、AIと人の見え方の違いを後から数えられます。
3つ目は、注文の集計をそのまま検品の記録にできることです。
| 注文 | 品・位置 | 点数 | 手直し(人が確かめた後) | 刺し直し | 主な種類 |
|---|---|---|---|---|---|
| E-1029-031 | ポロシャツ・左胸 | 40 | 3 | 1 | 欠け3、位置1 |
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 固定カメラ | サーバーが受け取る | 品1点ごとの写真 |
| 指示書の表 | 読み取り | 図案の画像・糸の色・位置・大きさ・許容 |
| 見本の写真の置き場 | 読み取り | 注文ごとの承認済みの見本 |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | 外形・目印・違いの候補、月末の報告の文の下書き |
| 検品台の画面 | サーバーが表示する | 印を描いた写真、直すための操作、初品の可否のボタン |
| 受注の表 | 書き込み | 注文ごとの手直し・刺し直しの数 |
指示書の表へは書き込みません。 位置の設定を直すのは刺繍機の担当と主任の仕事で、自動で書き戻すと、AIの見え方が次の注文の設定を動かします。
受注の表へ書くのは、主任が注文の記録を確かめた後の数だけです。 AIの候補の数を書くと、候補の誤りが手直しの数として残ります。
人が確認する
- 初品は主任が見本と並べて確かめる … AIの候補が無くても、色・位置・欠けを見本と見比べ、可否を押します
- 黄の印は定規で測る … 起点から測り、許容の内か外かを押します
- 赤の印から順に手に取る … 欠けは裏返して、糸が切れているのか、表に出ていないだけかを確かめます
- 印の無い品も流し見る … ジャンプの糸を切りながら、印の無かった欠けは画面で足します
- 主任が1日の終わりに記録を見る … 人が直した数の多かった注文だけ写真を開きます
4番目を省かないでください。 生地の色と糸の色が近いと、写真では欠けが見えにくく、手に取って光に当てたときにしか分からない欠けがあります。 印の無い品を見ない運用にすると、記録の数は速く出ても、返品が減りません。
目標は、600件をならして1件2分です。 くり返しの注文で候補の少ないものは1分ほどで済み、新しい図案の初品や、名入れの細かな文字の注文は数分かかります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 色見本の板の色が範囲を外れた | AIに渡さず、照明を確かめてから撮り直す |
| 手が写った・ぶれた | 撮り直す。3回続けば担当が目で見て用紙に書く |
anchor_box が not_visible | 起点が写るように置き直して撮る。帽子は向きを決めた台に載せる |
| 指示書のバーコードをかざさずに置いた | 「注文不明」として出し、かざすまで記録に入れない |
| 見本の写真が登録されていない | 候補は出さず、主任に見本の登録を頼む。初品は主任が見本と並べて見る |
| 金糸・ラメ糸の注文 | 色の違いは見させず、欠けとずれだけにする |
| 指示に反してミリ数・可否・手直しの要否を書いた | その出力を保存せずに捨て、呼び直す |
JSON の値が enum に無い・枠の値が0〜1000を外れる | 候補を出さず、担当が目で見る |
| API が応答しない | 写真を残し、その間は従来どおり用紙に正の字で数える |
上から3行目までが大半を占めます。 どれもAIの精度の問題ではなく、照明と置き方の問題です。 7行目は、note に「ミリ」「センチ」「出荷」「問題ない」の言葉が入っていないかをサーバーで見ます。最後の行のために、正の字の用紙は検品台から片付けません。
記録を残す
- 品ごとの元の写真と、切り出してAIに渡した写真
- 渡した指示書の情報と見本の写真の版、Gemini API が返した JSON
- サーバーが計算したずれのミリ数と、担当が定規で測った数
- 候補ごとに担当が直した内容(確かめた・候補の誤り・足した)
- 初品の可否を押した主任と時刻、注文ごとの集計
3つ目の2つの数の差が、カメラの縮尺と起点の決め方を直す材料になります。 計算した数と定規の数がいつも同じ向きにずれるなら、縮尺か起点の枠の取り方がずれています。品の種類ごとに差を見て、差の大きい種類から起点の決め方を見直します。
4つ目は、見本の写真の撮り直しの材料にもなります。 同じ注文で「候補の誤り」が続くなら、見本の写真の照明が品の写真と違っています。担当ごとの直し方の違いも出せますが、評価に使うかは別に話し合って決めます。
04実装レベルの3段階
最小構成では件数がさばけません。 1日30件の注文の品を1点ずつ貼るのは無理です。確かめるための段階です。 半自動化で、1件5分が3分程度になります。 書き写しは減りますが、写真が注文の後にまとめて処理されるので、検品の場で印を見ることができず、初品で止める仕組みにもなりません。 本格構成で2分になり、この段階が本記事の想定です。 段階を飛ばさないでください。 半自動化の1か月で、どの品の種類で起点が写らないか、どの糸の色で光り方を欠けと言うかが分かります。
05工数削減シミュレーション
導入後 600件 × 2分 ÷ 60 = 20 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- アパレルの会社・ユニフォームの販売店・ノベルティの会社から、ロゴや名入れの刺繍を1日に数十件の注文で受け、刺繍機から外した品を人が目で見て、注文ごとの検品の記録を紙や表に手で書いている加工所。注文ごとに承認済みの見本(試し刺し)と、糸の色の番号と刺繍の位置を書いた指示書がある場合。検品台の上にカメラを固定でき、品を置く向きを決められる場合。
- 1日の注文が数件で、担当が全部を手に取って見ても時間が足りている場合。刺繍の裏側の糸の処理や、生地の伸び・縮みの確認が検品の中心で、表の写真に写らない点が多い場合。金糸・ラメ糸のように光で見え方が大きく変わる糸が大半の場合。なお、出荷してよいかの判断、注文主の色の承認、刺し直しにするか手直しで済ませるかの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月の注文から30件を選ぶ(うち数件は、注文主から欠けや位置で問い合わせのあった注文を入れる)
- その30件について、当時の検品の用紙の数と、残っていれば品や見本を集める
- 品と見本を同じ台でスマートフォンで撮り、図案の画像と一緒に手元の Gemini の画面に貼り付ける
- 「1枚目が品、2枚目が見本です。見本と比べて、糸が欠けて見える箇所、色が違って見える箇所を答えてください。ずれの長さや、出荷してよいかは書かないでください」と指示する
- 出てきた結果を、当時の担当の数と、主任が改めて見た結果と突き合わせる
30件は必ずやってください。 カメラを固定する前に、「今の照明と撮り方で、欠けと色の違いが写真に出るのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 主任が手直しにする欠けが、候補に出た | 固定カメラとサーバーの作成に進む |
| ずれの長さや「問題ない」を書いた | 指示の書き方で直る。構成は有効 |
| 糸の光り方や生地のしわを欠けと言う候補が多い | 照明と撮る高さが先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、担当が品を傾けて光に当てて見ていた理由が1つ分かったということです。 照明を上からの散った光にして、同じ30件を撮り直してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 候補が無い品が「見本どおり」と記録に残る | 指示で禁じ、記録では「写真で候補の無かった品」と書く |
| AIの答えたミリ数が記録に入る | ミリ数を書かせない。 枠だけを返させ、サーバーが計算する |
| 照明で糸の色が変わり、色の候補が増える | 色見本の板で色を見て、外れた写真は渡さない |
| 2枚目以降でも色を見させ、候補が読まれなくなる | 色は初品と、糸を替えた次の1点だけにする |
| 見本の写真の欠けを品の違いとして返す | 渡す順番を固定し、2枚目の扱いを指示で禁じる |
| 起点が写らず位置が計算できない | 品の種類ごとに置く向きを決め、帽子は台に載せる |
| 写真からの計算を許容の判定にそのまま使う | 黄の範囲を設け、境目に近いものは定規で測る |
| 印の無い品を見なくなる | 印は順番で、検品の代わりではない |
| 注文の取り違え | 指示書をかざさない品は記録に入れない |
| 担当の直し方が評価に使われる | 人について書かせず、評価に使うかは別に決める |
上の2行が、この構成の失敗のほとんどです。 どちらも「AIの言葉が、そのまま記録に入る」ことから出ています。AIには見え方だけを返させ、数と可否は人とサーバーが書くのが、指示と運用の両方で守る線です。
下の2行も、早く効いてきます。 印に慣れると、印の無い品を手に取る時間が短くなります。手に取る作業を残すことを、最初に決めておきます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 注文主のロゴ・社名・名入れの図案、品の写真、注文主ごとの手直しの数です。名入れには個人の名前が入ることがあり、写真には検品の担当の手や腕が写り込むことがあります。
- 注文主の図案を外に広げない … 発売前の商品のロゴや、社名の新しい図案が含まれます。写真と記録を見られる人を検品と主任に限り、報告はその注文主にだけ送ります
- 名入れの名前を記録の必要な範囲に留める … 個人の名前を刺す注文では、記録に残すのは注文の番号と数までにし、写真の保存の期間を決めて、過ぎたら消します
- AIの候補を出荷の可否にしない … 出荷を決めるのは主任です。記録に「問題なし」と書かせないのは、表の写真の1枚で出荷を保証しないためです
- 人を写さない・評価に使わない … 撮る範囲を検品台の枠に絞り、手や腕が写れば撮り直します。担当の直し方の違いを評価に使うかは、AIの導入とは別に話し合って決めます
- 使うのは社内の担当だけにする … Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。検品台の画面を使うのは社内の担当だけにし、注文主や着る人がAIに触れる画面は作りません。 学校の体操着や部活動のユニフォームの注文でも、AIに触れるのは加工所の担当だけです
- AI側にやり取りを残さない … 有料の利用枠で使い、
store=falseを付けます。無料の枠では入力が製品の改善に使われ、人が読むことがあると規約に書かれているので、注文主の図案を無料の枠に送りません
誤りが起きた場合のリスクは、欠けや色の違いのある品を出荷してしまうことと、問題の無い品を刺し直しに回してしまうことの2つです。 前者は印の無い品を見なくなると起き、後者はAIの候補をそのまま手直しの数にすると起きます。どちらも、見え方と判断を分けることから外れたときに起きるので、そこを設計で守ります。
10まず何から始めるか
1週目:指示書の位置の書き方をそろえる
主任と刺繍機の担当で、品の種類ごとに位置の起点と、位置・大きさの許容を1行ずつ書き出します。くり返しの多い注文の見本を、同じ台で撮り直しておきます。注文の多い上位5社の図案から始めます。
2週目:30件で試す
先月の注文の品と見本の写真を30件分そろえ、手元の Gemini の画面で候補を答えさせます。ずれの長さを書いていないか、糸の光り方を欠けと言っていないかを最優先で見ます。
3週目:照明と撮る高さを決める
検品台の上にカメラと照明を仮に固定し、色見本の板と目盛りを置きます。紺・白・赤の糸の品を、照明の明るさを変えて撮り、色が変わらない置き方を決めます。 台の目盛りで縮尺を測ります。
4週目:まとめて候補の一覧を出す
担当が1日分の写真をまとめて API に渡し、注文ごとの候補の一覧と印の付いた写真を作るところまで作ります。この時点では検品の場に画面を置かず、担当の用紙の数と並べて見ます。
2か月目: 品を置くたびに動かすトリガーと検品台の画面、ずれの計算と初品の可否のボタンを足します。3か月目以降: 受注の表への書き込みと月末の報告の下書きを足し、1件5分が何分になったかを実測します。注文主からの問い合わせに、出荷時の写真で答えるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文などを合わせたリクエスト全体が20MBまでであること。位置が [ymin, xmin, ymax, xmax] の順で0〜1000に正規化されて返り、元の大きさに戻して使うこと。例が /v1beta/interactions に送る形で書かれていること | Google AI for Developers: Image understanding | 2026-10-29 |
構造化出力を /v1beta/interactions の response_format(mime_type に application/json、schema)で指定すること。enum、minItems・maxItems、minimum・maximum が使えること。minLength・maxLength はエラーにならずに外されること。値はアプリ側で検証するよう書かれていること | Google AI for Developers: Structured output | 2026-10-29 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること。store=false では前のやり取りを引き継ぐ使い方ができないこと | Google AI for Developers: Interactions API | 2026-10-29 |
| 利用には18歳以上であることが必要で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと。無料のサービスでは入力と出力を人が読むことがあり、機密の情報を送らないよう書かれていること | Gemini API Additional Terms of Service | 2026-10-29 |
どの欠けやずれを手直し・刺し直しにするか、出荷してよいかは、注文主との取り決めと自社の品質の決まりに合わせて主任が決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2346)についてのご相談はこちらから。
