めっきの工場が、出荷前に撮った部品の外観の写真を Gemini で限度見本と見比べ、しみ・ムラ・色の違いの疑いを拾って、検査員が目視するロットの順番を決める
めっきを終えたロットの部品をトレーに並べて撮り、Gemini でその品番の見本と見比べて、しみ・ムラ・色の違いの疑いと位置を返させます。処理の側で疑いの重さと納期からロットを並べ、検査員が目視する順番の表を作ります。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- 製造
- 対象部門
- 品質管理/生産
- 対象業務
- 内容確認・チェック/分類・仕分け
- 主な課題
- 人手が足りない/判断に時間がかかる/属人化している
- AIで行う処理
- 画像認識
- 主な効果
- 判断支援/品質標準化/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 乾燥を終えたロットの箱が、品質管理課の棚に納期の順に並ぶ
- 検査員が箱を開け、抜き取りの部品を照明の下に並べて見回す
- 気になる所があれば、品番の限度見本を棚から出して並べて見る
- 全数の選別が要りそうなロットに印を付け、検査の順番を組み直す
- 見回した結果を検査の記録の表に書き、製造課に気になるロットを伝える
- 順番に沿って外観検査を行い、合否と手直しを決める
- 人乾燥を終えたロットから部品を取り出し、撮影箱のトレーに並べて、ロットの番号の札を置く
- 自動撮影箱のカメラが、拡散の光と斜めの光で1枚ずつ撮り、ロットの番号を付けて保存する
- 自動処理が写真を受け取り、生産管理のシステムから品番と納期を引き、その品番の見本の写真を用意する
- 自動写真と見本を Gemini API に渡し、部品ごとの疑いと位置、見本と比べた色の見え方、写りの問題を返させる
- 自動処理の側で、自社の規則により疑いの重さを決め、重さと納期でロットの検査の順番の表を作る
- 人検査員が順番の表を確かめ、必要なら入れ替えて確定する
- 人検査員が表の順に、写真の印の位置を見ながら現物で外観検査を行い、合否と手直しを決める
各工程の詳しい説明を読む
- 乾燥を終えたロットの箱が、品質管理課の棚に納期の順に並ぶ
- 検査員が箱を開け、抜き取りの部品を照明の下に並べて見回す
- 気になる所があれば、品番の限度見本を棚から出して並べて見る
- 全数の選別が要りそうなロットに印を付け、検査の順番を組み直す
- 見回した結果を検査の記録の表に書き、製造課に気になるロットを伝える
- 順番に沿って外観検査を行い、合否と手直しを決める
(a)どのロットから見るかが、納期の順だけで決まる。 棚の並びが納期の順なので、色の違いのあるロットが午後の最後に回ると、気づいたときには再めっきの時間が残っていません。 朝のうちに分かっていれば、その日の段取りに入れられた話です。
(b)見回しの目が、人によって違う。 同じロットでも、ベテランが見れば色の違いに気づき、経験の浅い検査員は見本を出すまで気づきません。2番の見回しの質が、その日に誰が棚の前にいたかで変わります。
(c)光の映り込みと本物のムラを、照明の下で見分けるのに時間がかかる。 光沢のある面は、角度を変えるたびに見え方が変わります。部品を手で回しながら見る時間が、見回しの大半を占めます。
(d)見回しの結果が、次の検査員に残らない。 4番の印は箱に貼った付箋で、なぜ印を付けたのかが記録に残りません。 午後に交代した検査員は、もう一度同じ見回しをします。
- 【人】 乾燥を終えたロットから部品を取り出し、撮影箱のトレーに並べて、ロットの番号の札を置く
- 【自動】 撮影箱のカメラが、拡散の光と斜めの光で1枚ずつ撮り、ロットの番号を付けて保存する
- 【自動】 処理が写真を受け取り、生産管理のシステムから品番と納期を引き、その品番の見本の写真を用意する
- 【自動】 写真と見本を Gemini API に渡し、部品ごとの疑いと位置、見本と比べた色の見え方、写りの問題を返させる
- 【自動】 処理の側で、自社の規則により疑いの重さを決め、重さと納期でロットの検査の順番の表を作る
- 【人】 検査員が順番の表を確かめ、必要なら入れ替えて確定する
- 【人】 検査員が表の順に、写真の印の位置を見ながら現物で外観検査を行い、合否と手直しを決める
6番目が、この設計の分かれ目です。 検査員は、箱を開けて部品を回しながら見回す代わりに、写真の印と疑いの重さを見て、順番を確かめます。 見るべき所が分かっているので、7番目の検査も印の位置から始められます。
5番目で順番を規則で決めているのも、意図してのことです。 Gemini には疑いの種類と位置を返させるだけで、どの疑いを重く見るかは、取引先の要求と工場の手直しの段取りで決まります。 規則にしておけば、取引先ごとの重さを品質管理課で直せます。
02今回想定するシステム構成
めっき・乾燥を終えたロット │ 部品を撮影箱のトレーに並べ、ロットの札を置く ▼【トリガー】撮影箱で2枚を撮って保存 Python(受け取り・見本の用意・順番づけ・記録) ├── 生産管理のシステム(ロット → 品番、取引先の記号、納期) ├── 品番ごとの見本の写真(良品の見本、限度見本) ├── 疑いの重さの規則(取引先ごと) ▼ Gemini API(画像の理解+構造化出力) │ 部品ごとの疑いと位置、見本と比べた色の見え方、写りの問題 ▼ Python ── 疑いの重さ × 納期 → ロットの検査の順番の表 ▼ 【検査員が順番を確定 → 印の位置から現物で外観検査 → 合否と手直し】
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(部品ごとの疑いと位置、見本と比べた色の見え方、写りの問題) | Claude API、OpenAI API |
| 連携 | Python(写真の受け取り、見本の用意、順番づけ、表示、記録) | Google Apps Script |
| 撮影 | 撮影箱(拡散の照明と斜めの照明、固定のカメラ、灰色の板) | - |
| 台帳 | 生産管理のシステム、見本の写真の置き場、検査の記録の表 | - |
土台は Gemini API の画像の理解です。 公式の説明では、Gemini は画像の説明、分類、質問への回答に加えて、物体の検出で精度を高めるよう訓練されていて、位置を画像の大きさに対して0〜1000に正規化した座標で返し、元の画像の大きさに直して使います。 この位置を、検査員の画面の写真に四角で描きます。
1回の依頼に複数の画像を入れられます。 公式の説明では、input の配列に画像を並べて渡すことができ、1回の依頼に入れられる画像は3,600枚までです。ロットの写真2枚と、見本の写真2〜3枚を1回の依頼にまとめます。 部品を見本と並べて見比べさせるためです。
小さな傷やしみを拾うには、解像度の設定が効きます。 公式の説明では、media_resolution は画像1枚あたりに割り当てるトークンの上限を決め、Gemini 4 と Gemini 3 では画像ごとに設定でき、画像には high(1120トークン)が勧められています。 ロットの写真は high に、見本の写真は試して差が無ければ medium に下げます。
Gemini の返事は検査の材料で、判定ではありません。 規約は、生成された内容に頼る前に慎重に判断するよう求めています。合否も手直しも、検査員が現物と限度見本で決めます。
03どうやって実装するのか
処理の起点を決める
撮影箱で2枚を撮り終えたことを起点にします。 作業者がトレーに部品を並べ、ロットの番号の札を写る位置に置いて撮影のボタンを押すと、拡散の光で1枚、斜めの光で1枚を続けて撮り、ロットの番号をファイル名に付けて受け取りのフォルダに置きます。 処理はフォルダを数秒おきに見に行き、2枚がそろったロットから送ります。
撮るのは乾燥を終えた後、箱に詰める前です。 乾燥の前の濡れた部品では、水滴がしみに見えます。乾燥の後に必ず撮ることを、作業の手順に書きます。 ロットの数が多いバレルの品は、箱から1つかみを取り出してトレーに広げます。
順番の表は、30分ごとに組み直します。 撮影が進むたびに表が入れ替わると、検査員はどれから見るかを決められません。表を組み直す時刻を決め、その間に届いた結果は次の組み直しで入れます。 未着やふくれの疑いだけは、組み直しを待たずに検査員の画面に出します。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| ロットの写真 | 拡散の光の1枚、斜めの光の1枚。JPEG。撮った日時 | 撮影箱のカメラ |
| ロットの情報 | ロットの番号、品番、めっきの種類、取引先の記号、納期、数量 | 生産管理のシステム |
| 見本の写真 | 品番ごとの良品の見本、色の濃い側と薄い側の限度見本。同じ撮影箱で撮ったもの | 見本の写真の置き場 |
| 疑いの語彙 | しみ、ムラ、色の違い、未着、ふくれ、傷、異物の付着と、それぞれの見え方の説明 | 品質管理課で用意する語彙 |
| 疑いの重さの規則 | 疑いの種類と数ごとの重さ、取引先ごとの上乗せ | 品質管理課で用意する規則 |
Gemini に渡すのは、ロットの写真、見本の写真、疑いの語彙だけです。 取引先の名前は渡さず、品番も工場の中の記号にします。部品の写真は取引先の図面に当たる情報なので、渡す範囲を写真そのものに絞ります。
質を決めるのは、見本の写真の撮り方です。 見本を事務所の机で撮ると、照明の色が違うだけで、ロットの全部が「色の違い」になります。 見本は、必ずロットと同じ撮影箱で、同じ灰色の板と一緒に撮り直します。
疑いの語彙には、検査員が見分けている手がかりを書きます。 たとえば「しみ:乾いた水滴の形の輪郭が残り、斜めの光で縁が光る」「映り込み:斜めの光の写真にだけ現れ、拡散の光の写真には無い」です。2枚の写真のどちらに出ているかで、映り込みと本物を分ける手がかりになります。
データの取得方法を決める
写真は受け取りのフォルダから、ファイル名のロットの番号で拾います。 ロットの番号で生産管理のシステムを引き、品番、めっきの種類、取引先の記号、納期を取ります。品番から見本の写真を引き、見本が無い品番には印を付けます。
見本の写真は、Files API で上げておいて使い回します。 公式の説明では、Files API は同じファイルを何度も使うときや大きなファイルに勧められていて、上げたファイルは48時間で自動で消えます。 そのため、処理はその日に流れる品番の見本を毎朝上げ直し、ファイルの URI を品番ごとに控えておきます。48時間を過ぎた URI を使わないよう、上げた日時も控えます。
ロットの写真は、依頼の中に直接入れます。 公式の説明では、画像を直接入れる場合は、文の指示とシステムの指示を含めた依頼全体の大きさが20MBまでです。撮影箱の写真は1枚あたり数MBなので、2枚を直接入れても収まります。 収まらないときは縮小せず、Files API に上げて渡します。縮小すると小さなしみが消えるからです。
Gemini API には Interactions API で依頼し、store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持します。store=false を付ければ保存されません。 1ロットごとに完結する依頼で、前のやり取りを引き継ぐ必要もありません。
AIへ渡す前に整形する
- ロットの番号を確かめる … 札の番号とファイル名の番号が生産管理のシステムにあるか
- 2枚がそろっているかを確かめる … 拡散の光と斜めの光の両方があるか
- 明るさと白飛びを確かめる … 光を返す面が真っ白に飛んでいる割合が多い写真に印を付ける
- 灰色の板で色を確かめる … 写真の灰色の板の色が決めた範囲から外れていれば、照明か設定の狂いとして印を付ける
- 見本を用意する … 品番の見本の URI が48時間以内のものかを確かめ、古ければ上げ直す
- 語彙と規則の版を付ける … そのとき使った語彙と疑いの重さの規則の版を記録に残す
4番目が、この構成でいちばん効く前処理です。 照明の電球が古くなると、写真全体の色が少しずつずれます。灰色の板の色を毎回測っておけば、色の違いの疑いがロットのせいか撮影箱のせいかを分けられます。 外れた写真は送らずに撮り直しを求めます。
3番目で白飛びの多い写真に印を付けるのは、公式の勧めにも沿っています。 公式の説明では、ぶれていないはっきりした画像を使い、向きが正しいことを確かめるよう書かれています。白く飛んだ所には何も写っていないので、そこに疑いが無いことにはなりません。
AIに処理させる
させるのは、トレーの部品ごとに疑いの種類と位置を返し、見本と比べた色の見え方と、写りの問題を返すことだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 部品ごとの疑い | 語彙の種類ごとに、位置とどちらの写真に出ているか | 小さい、一部しか見えなければ uncertain |
| 見本と比べた色 | 良品の見本に近い、濃い側の限度に近い、薄い側の限度に近い、限度の外に見える | 判断できなければ cannot_tell |
| ロットの中のばらつき | トレーの部品どうしで色や光沢がそろっているか | 部品が少なければ cannot_tell |
| 写りの問題 | 白飛び、ピントのずれ、部品の重なり、札の読めなさ | 理由を挙げる |
| 見えた部品の数 | トレーの上で疑いを見られた部品の数 | 数えられなければ cannot_tell |
右から2列目の「見本と比べた色」が、この構成で大事な欄です。 色の違いを「黄色が濃い」のような言葉だけで返させると、どれだけ濃いのかを検査員が読み取れません。 見本の写真を並べて渡し、良品の見本と2つの限度見本のどれに近いかで返させます。
疑いの重さと順番は、処理の側で決めます。 Gemini の返事から、未着とふくれの疑いがあれば重さを最も高くし、しみ・色の違いの疑いの部品が多いほど重くし、取引先ごとの上乗せを足して、重さと納期で並べます。 写りの問題があるロットは、疑いが無くても「撮り直しか現物で見る」として表の上の方に置きます。
| させないこと | 理由 |
|---|---|
| 外観の合否を決めること | 図面の指定と面の重要度、限度見本との比べ方で決まる |
| 膜厚を見積もること | 写真には写らない。膜厚計で測る |
| 耐食性や密着の良し悪しを書くこと | 見た目では決まらない。試験で確かめる |
| 手直しや再めっきの要否を決めること | 製造課の段取りと取引先との取り決めで決める |
| 原因を書くこと | 液の状態や工程の条件の話で、写真からは決まらない |
| 白飛びした所を推し量って埋めること | 「写りの問題」として残す |
2行目と3行目は、とくに守らせます。 色の違いの疑いがあると、Gemini は「膜厚が薄い可能性」と原因らしいことを書き足すことがあります。その一文が記録に残ると、検査員は膜厚を測らずに薄いと読みます。 膜厚は膜厚計で測るものとして、写真からは書かせません。
指示内容を固定する
あなたはめっきの工場の品質管理の検査員を補助する立場で、
出荷の前のロットの部品の写真から、外観の疑いを書き出します。
【渡すもの】
- 写真1:ロットの部品をトレーに並べ、拡散の光で撮ったもの
- 写真2:同じトレーを斜めの光で撮ったもの
- 写真3:この品番の良品の見本
- 写真4:色の濃い側の限度見本、写真5:色の薄い側の限度見本
- 疑いの語彙と、それぞれの見え方の説明:{defect_vocab}
【やること】
1. トレーの部品ごとに、語彙の疑いがあれば、種類、位置(box_2d、
[ymin, xmin, ymax, xmax]、0〜1000)、写真1と写真2のどちらに
出ているかを返してください。小さい、一部しか見えない物は
uncertain にしてください。
2. ロットの部品の色を写真3〜5と見比べ、どれに近いかを返してください。
3. トレーの部品どうしで、色や光沢がそろっているかを返してください。
4. 白飛び、ピントのずれ、部品の重なり、札が読めないなど、
写りの問題があれば理由と位置を返してください。
【厳守事項】
- 合格か不合格かを書かないでください。
- 膜厚、耐食性、密着の良し悪しを書かないでください。
- 不具合の原因を書かないでください。
- 写真2にだけ出ていて写真1に無い光の筋は、映り込みの疑いとして
返し、ムラとして扱わないでください。
- 白く飛んだ所にある物を推し量らないでください。
- 疑いが見つからなかったときに「問題なし」と書かないでください。
「写真2にだけ出ている光の筋は映り込みの疑いとして返す」を明記しないと、斜めの光の写真の光の帯をムラとして並べます。 光沢のあるめっきでは、そのたびに全ロットが「ムラの疑い」になり、検査員は印を信用しなくなります。 2枚の写真で出方を比べる手がかりを、指示に書きます。
「問題なし」と書かせないのは、写りの問題を隠さないためです。 白飛びの多い写真で疑いが返らなかったとき、Gemini は「目立つ不具合は見当たりません」と書き足すことがあります。その一文で、見えていないロットが見たロットとして記録に残ります。
出力形式を固定する
次の形のJSONで受け取ります。
{
"lot_no": "",
"parts_seen": 0,
"suspects": [
{ "type": "stain | uneven | color | bare | blister | scratch | foreign | glare",
"photo": "diffuse | oblique | both", "box_2d": [0, 0, 0, 0],
"certainty": "visible | uncertain" }
],
"color_vs_sample": "near_good | near_dark_limit | near_light_limit | beyond_limit | cannot_tell",
"lot_uniformity": "uniform | varied | cannot_tell",
"photo_issues": [ { "reason": "overexposed | out_of_focus | overlapped | tag_unreadable",
"photo": "diffuse | oblique", "box_2d": [0, 0, 0, 0] } ]
}
構造化出力は response_format で指定します。 公式の説明では、type を text、mime_type を application/json にして、schema に JSON Schema を渡します。type、color_vs_sample、reason は enum にします。 語彙に無い言葉、とくに「不合格」「膜厚不足」のような判定の言葉が返らないようにするためです。box_2d は整数の配列にし、minimum を0、maximum を1000、minItems と maxItems を4にします。公式の説明では、数値の minimum/maximum と配列の minItems/maxItems は守られ、文字列の minLength/maxLength は外されます。
公式は、構文として正しい JSON でも値は自分の側で確かめるよう書いています。 処理の側では、box_2d の上下・左右の順が正しいか、parts_seen が0なのに color_vs_sample が near_good になっていないかを確かめます。食い違いがあれば、そのロットを「現物で見る」に寄せます。
処理の側で組んだ順番の表は、たとえば次のように検査員の画面に出します。
【検査の順番】10:30 組み直し
1. L-1107-022 品番 Z3-118(亜鉛・3価クロメート)納期 本日15時
重さ 高:未着の疑い 1か所(拡散の光の写真・左上の部品)
2. L-1107-031 品番 N-204(ニッケル)納期 本日17時
重さ 中:しみの疑い 4部品/色 見本に近い
3. L-1107-018 品番 Z3-090 納期 本日17時
写りの問題:白飛び(斜めの光)→ 撮り直しか現物で見る
4. L-1107-040 品番 Z3-118 納期 明日
重さ 中:色 濃い側の限度に近い/部品どうしでばらつき
「重さ」は処理の側の規則で付けた印です。 Gemini の返事には入っていません。検査員は、どの段階の印かを見分けられます。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 撮影箱のカメラ | 受け取りのフォルダを処理が見に行く | 拡散の光と斜めの光の2枚 |
| 生産管理のシステム | 書き出しを読む | ロットの番号、品番、めっきの種類、取引先の記号、納期 |
| 見本の写真の置き場 | 読み取り | 品番ごとの良品の見本と限度見本 |
| Gemini API | API呼び出し | 部品ごとの疑いと位置、色の見え方、写りの問題 |
| 検査員の画面 | 処理が書き込む | 順番の表、四角を描いた写真 |
| 検査の記録の表 | 検査員の確定の後に書き込む | 合否、手直し、印が当たったか |
生産管理のシステムには書き込みません。 処理が書くのは順番の表と記録の下書きだけで、合否と手直しの記録は検査員が確定します。 取引先への連絡も自動では行いません。
人が確認する
検査員は、表の順に全部のロットを見ます。 印の無いロットを見ないで出荷する運用にはしません。変わるのは、見る順番と、見始める場所です。
- 順番の表を確かめる … 30分ごとの組み直しの後に、上から5ロットほどを見て、入れ替えが要れば入れ替えます
- 重さの高いロットから見る … 未着とふくれの疑いは、写真の四角の位置から現物を見ます
- 色の疑いは限度見本で見る … 写真の比べ方に頼らず、棚の見本を出して現物と並べます
- 写りの問題のロットは、撮り直すか現物で見る
- 結果を記録する … 合否と手直しに加えて、印が当たったか、印の無い所に不具合があったかを残します
3番目を省かないでください。 写真の色は、撮影箱の照明と灰色の板で合わせていても、現物を見本と並べたときの見え方とは違うことがあります。 色の合否は、必ず現物と見本で決めます。
目標は、1,200ロットをならして1ロット2分です。 箱を開けて部品を回しながら見回す時間が、表と写真の印を確かめて記録する時間に置き換わります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が1枚しか撮れていない | 送らずに撮り直しを求める。2枚で映り込みを分けるため |
| 灰色の板の色が範囲の外 | 撮影箱の照明か設定の狂いとして、撮り直す前に照明を確かめる |
| 白飛びが多い | 「写りの問題」として表の上の方に置き、撮り直すか現物で見る |
| 見本の写真が無い品番 | 見本との比べ方を飛ばし、疑いだけを返させて「見本なし」と印を付ける |
| 見本の URI が48時間を過ぎていた | 上げ直してから依頼する |
| ロットの番号が引けない | 送らずに、作業者に札の番号を確かめてもらう |
box_2d の値の順がおかしい | 四角を描かず、写真全体を見るよう案内する |
| Gemini が応答しない | 「判定なし」として表に出し、従来どおり箱を開けて見回す |
上から3行目までが大半を占めます。 どれもAIの問題ではなく、撮影箱の照明と、作業者の撮り方の問題です。 照明の交換の時期を決め、撮り方を作業の手順に書くほうが、判定の精度を上げるより効きます。
最後の行で「判定なし」を出すのは、止まったことを見えるようにするためです。 結果が出ないまま表が組まれると、検査員は疑いの無いロットと読みます。
記録を残す
- ロットの番号、撮った日時、2枚の写真、灰色の板の色の測った値
- Gemini が返した JSON の全文と、そのとき使った見本の写真・語彙・規則の版
- 処理の側で付けた重さと、組み直しの時刻ごとの順番の表
- 検査員が確かめた結果(合否、手直し、印が当たったか、印の無い所に不具合があったか)
- 検査員が順番を入れ替えた記録と、その理由
2行目で「そのときの見本の写真」を残すのは、見本が後から入れ替わるためです。 取引先と限度見本を作り直すと、過去の「濃い側の限度に近い」の意味が変わります。 当時の見本が残っていないと、見直しの範囲が決まりません。
04実装レベルの3段階
最小構成ではロットの数がさばけません。 1ロットずつ上げるので、月1,200ロットには使えません。確かめるための段階です。 半自動化で、1ロット5分が3分程度になります。 疑いの書き出しは自動になりますが、一覧を見て順番を組み直す作業が検査員に残ります。本格構成で2分になり、この段階が本記事の想定です。 差が大きいのは、順番の組み直しが、ロットごとに納期と疑いを見比べる手作業だからです。 段階を飛ばさないでください。 半自動化の結果を1か月見ると、映り込みと間違えやすい品番と、見本の撮り直しが要る品番が先に分かります。そこを撮影箱と見本に戻してから順番づけに進むほうが、重さの空振りが減ります。
05工数削減シミュレーション
導入後 1,200件 × 2分 ÷ 60 = 40 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 亜鉛めっきとクロメート、ニッケル、クロムなどの電気めっきを受託し、多くの取引先の小さな部品をロットで流している工場。出荷の前の外観検査で、どのロットから見るかが納期の順だけで決まり、しみや色の違いのあるロットに気づくのが夕方の出荷の直前になる場合。乾燥の後にロットから部品を取り出して、決まった撮影箱で撮る場所を作れる場合。
- 1日のロットが数本で、検査員が全部を順に見て足りる場合。大きな構造物や長尺の部材のように、撮影箱に収まらず決まった光で撮れない品が中心の場合。取引先との機密保持の契約で、部品の写真を社外のサービスに送ることが認められていない場合。なお、外観の合否、膜厚や耐食性の判断、手直しや再めっきの要否は、この構成では代替できません。
07最小構成で試す方法
- 先月の出荷のロットから30ロットを選ぶ(うち数ロットは、しみ・色の違い・未着で手直しをしたロットを入れる)
- 30ロットの部品と見本を、同じ照明の下で2枚ずつ撮る
- 業務で契約したAIサービスの画面に、ロットの写真と見本の写真を上げ、疑いの語彙を貼り付ける
- 「部品ごとに疑いの種類と位置を挙げてください。見本と比べて色がどれに近いかを書いてください。合否、膜厚、原因は書かないでください」と指示する
- 出てきた結果を、当時の検査の記録と見比べる
30ロットは必ず検査員が見比べてください。 確かめたいのは、手直しをしたロットが、疑いの重いロットとして上に来るかです。
| 出てきた内容 | 判断 |
|---|---|
| 手直しをしたロットの多くに疑いが付いた | 撮影箱と API の仕組みに進む |
| 合否や膜厚、原因を書いた | 指示の書き方と enum で直る。構成は有効 |
| ほとんどのロットに映り込みのムラが付く | 撮影箱の照明が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 事務所の蛍光灯の下で撮ると、光沢のある面に照明の形がそのまま映ります。その場合は、拡散の光を作る撮影箱を先に用意し、同じ30ロットで撮り直してください。 試しの段階では、無料の枠を使わないでください(第11章)。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 光の映り込みがムラとして並ぶ | 拡散の光と斜めの光の2枚を撮り、片方にしか出ない筋を映り込みとして返させる |
| 全ロットが色の違いになる | 見本をロットと同じ撮影箱で撮り直し、灰色の板の色を毎回測る |
| 照明の劣化で色が少しずつずれる | 灰色の板の色が範囲を外れたら撮り直し、照明の交換の時期を決める |
| 合否や膜厚を書く | enum で判定の言葉を返せなくし、指示で禁じる |
| 白飛びした所を問題なしと読む | 「写りの問題」を別の欄にし、表の上の方に置く |
| 見本の URI が切れる | 48時間で消えるので、毎朝上げ直し、上げた日時を控える |
| 縮小して小さなしみが消える | 大きい写真は縮小せず Files API に上げる |
| 順番が頻繁に入れ替わって使えない | 組み直しの時刻を決め、未着とふくれの疑いだけを先に出す |
| 印の無いロットを見ずに出荷する | 全ロットを見る運用は変えないと決めておく |
| やり取りが保存される | store=false を付ける |
| 印の当たり外れが残らない | 検査員が結果を毎回記録する |
上の3行が、この構成の失敗のほとんどです。 どれも、めっきの面が光を返すことと、色が照明で変わることから来ています。撮影箱、2枚の写真、灰色の板の3つで、写真の条件を毎回そろえる設計が、運用に乗るかを決めます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 取引先の部品の写真、品番、めっきの種類、納期です。部品の形は取引先の図面に当たる情報で、取引先によっては機密保持の契約の対象です。
- 取引先との契約を先に確かめる … 部品の写真を社外のサービスに送ってよいかを、機密保持の契約で確かめます。 送れない取引先の品番は、この構成から外します
- 渡すのは写真と工場の中の記号だけにする … 取引先の名前も、図面も、Gemini に渡しません
- 有料の枠で使い、
store=falseを付ける … 規約では、有料の枠では入力と応答を製品の改善に使わない一方、禁止の使い方の検出のために一定期間記録するとされています - 合否を AI に決めさせない … 規約は、生成された内容に頼る前に慎重に判断するよう求めています。合否と手直しは検査員が現物と限度見本で決めます
- 写真を残す期間を決める … ロットの写真をいつまで残すかを、検査の記録の保存の決まりと合わせて先に決めます
- 検査員を評価しない … 印の当たり外れの記録は、撮影箱と語彙を直すための材料で、検査員の見落としの数え上げには使いません
誤りが起きた場合のリスクは、写真で疑いの付かなかったロットを後回しにして手直しに間に合わないことと、映り込みを不具合と疑って検査の手間を増やすことの2つです。 前者は取引先の納期に響きます。全ロットを見る運用、写りの問題の欄、2枚の写真の比べ方が、どちらも防ぎます。
10まず何から始めるか
1週目:撮影箱と灰色の板を決める
拡散の光と斜めの光で撮れる撮影箱を用意し、トレーの位置、カメラの設定、灰色の板の色の範囲を決めます。 品質管理課の棚の近くに置き、乾燥の後に撮る手順を作業の手順に書きます。
2週目:30ロットで試す
先月のロットから30ロットを選び、業務で契約したAIサービスで疑いと見本との比べ方を出させます。検査員が当時の検査の記録と見比べ、映り込みをムラとして並べていないかを最優先で見ます。
3週目:見本と語彙を整える
流れの多い品番から、良品の見本と限度見本を撮影箱で撮り直します。 疑いの語彙の見え方の説明と、取引先ごとの重さの上乗せを品質管理課で決めます。
4週目:撮影箱から一覧までをつなぐ
撮影、写真の受け取り、見本の用意、Gemini API の呼び出し、結果を一覧に出すところまで作ります。この時点では順番を組まず、疑いの一覧を検査員が見回しの横に置いて見比べます。
2か月目: 疑いの重さの規則と順番の表の組み直しを足し、検査員の画面に出します。印が当たった数と、印の無いロットの不具合の数を毎週数えます。3か月目以降: 1ロット5分が何分になったかを実測し、語彙と規則を直します。手直しの要るロットが朝のうちに表の上に来るようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
画像の説明・分類・質問への回答に使え、物体の検出で精度を高めていること。位置が画像の大きさに対して0〜1000に正規化され、元の大きさに直して使うこと。input の配列に複数の画像を並べられること。1回の依頼の画像が3,600枚までであること。画像を直接入れる場合は依頼全体が20MBまでで、大きいものは Files API を使うこと。正しい向きで、ぶれていないはっきりした画像を使う勧め | Google AI Studio: Image understanding | 2026-11-17 |
media_resolution が画像1枚あたりのトークンの上限を決めること。Gemini 4 と Gemini 3 で画像ごとに設定できること。画像のトークンが low 280、medium 560、high 1120 であること。画像には high が勧められていること | Google AI Studio: Media resolution | 2026-11-17 |
構造化出力を response_format(type を text、mime_type を application/json、schema)で指定すること。enum が使えること。数値の minimum/maximum と配列の minItems/maxItems は守られ、minLength/maxLength は外されること。構文として正しい JSON でも値はアプリ側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-17 |
Interactions API が既定でやり取りを保存し(有料55日、無料1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-17 |
| Files API が大きなファイルや同じファイルを繰り返し使う場合に勧められていること。上げたファイルが48時間で自動で消えること | Google AI Studio: Files API | 2026-11-17 |
| 無料の枠では入力と応答が製品の改善に使われ人が読むことがあり、機密の情報や個人の情報を送らないよう求めていること。有料の枠では改善に使わず、禁止の使い方の検出のために一定期間記録すること。生成された内容に頼る前に慎重に判断するよう求めていること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-17 |
外観の合否、膜厚や耐食性の確認、手直しと再めっきの要否は、検査員と製造課が限度見本、測定、取引先との取り決めで決めてください。 本記事は写真の疑いから、検査員が見るロットの順番を組むまでを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3523)についてのご相談はこちらから。
