チョコレートの製造所が、型抜き後の検査の画像からブルーム・欠け・気泡を Python で検出し、型の穴ごとの傾向と検品の担当が確かめる一覧を作る
型抜きした直後のチョコレートをカメラで撮り、Python の画像認識のモデルでブルーム・欠け・気泡の候補を1粒ずつ検出します。ロットごとに検品の担当が確かめる一覧と、型の穴ごとの不良の集計を作ります。
- 連携・自動化
- Python
- 対象業界
- 小売/製造
- 対象部門
- 品質管理/生産
- 対象業務
- 内容確認・チェック/集計・分析
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★★★★★
- 実装レベル
- 本格構成
- 費用感
- 個別開発(大)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- ロットの始まりから決めた間隔で、型抜き後のトレーを抜き取る
- 光にかざし、1粒ずつ表面と縁を見る
- ブルーム・欠け・気泡を見つけたら、チェックシートに種類ごとに正の字で書く
- 不良が多いと感じたら、製造課に口頭で伝える
- ロットの終わりに、チェックシートを集計してロットの記録に写す
- 不良の割合が自社の基準を超えたロットは、責任者に回して扱いを決める
- 自動型抜き後のコンベアの上で、カメラが型1枚分の製品をまとめて撮る。型の番号を読み取る装置か、型の流れる順から型の番号を付ける
- 自動Python が画像を受け取り、製品1粒ずつの位置を切り出し、型の穴の番号を付ける
- 自動画像認識のモデルが、ブルーム・欠け・気泡の領域を検出し、種類・確からしさ・面積を返す
- 自動規則で、粒ごとに「要確認」「候補なし」を決め、粒の面積に対する不良の領域の割合を出す
- 自動ロットごとに要確認の粒の切り出し画像を一覧にし、型の穴ごとの不良の数を集計する
- 人検品の担当が一覧の画像を見て、不良か不良でないかを決める
- 人検品の担当が、候補なしの粒からも決めた数を抜き取って見る
- 自動担当の判定をロットの記録に書き、同じ穴から続く不良とブルームの多いロットに印を付ける
- 人製造課が印を見て、型の点検とテンパリングの温度を確かめる
- 人品質管理の責任者が、基準を超えたロットの扱いを決める
各工程の詳しい説明を読む
- ロットの始まりから決めた間隔で、型抜き後のトレーを抜き取る
- 光にかざし、1粒ずつ表面と縁を見る
- ブルーム・欠け・気泡を見つけたら、チェックシートに種類ごとに正の字で書く
- 不良が多いと感じたら、製造課に口頭で伝える
- ロットの終わりに、チェックシートを集計してロットの記録に写す
- 不良の割合が自社の基準を超えたロットは、責任者に回して扱いを決める
(a)「白っぽい」の線引きが担当で違う。 ブルームは、はっきり白いものから、角度によってわずかにつやが落ちて見えるものまで連続しています。ベテランの担当は軽いものも数え、慣れない担当は見逃します。 同じロットでも、誰が見たかで不良の数が変わります。
(b)抜き取りでしか見られない。 1ロットの製品の数は数万粒で、見ているのはそのうちの一部です。抜き取りの間に起きた不良は、出荷先で見つかります。
(c)型のどの穴から出たかを追えない。 抜き取ったトレーの上では、どの粒がどの型のどの穴から出たかが分かりません。同じ穴から欠けが続いていても、チェックシートには「欠け 12」としか残らず、型の傷に気づくのが遅れます。
(d)ブルームが出ても、原因の側へ返らない。 白っぽいロットがあっても、チェックシートの数字は翌日に集計され、その時刻のテンパリングの温度と並べて見る人がいません。 製造課は「最近白いのが多い」と口頭で聞くだけで、どの時間帯に何が起きたかを確かめられません。
(e)書いて集計する時間がかかる。 正の字を数え、ロットの記録に写し、製造課への説明の材料を作る。見る時間と同じくらい、書く時間がかかっています。
- 【自動】 型抜き後のコンベアの上で、カメラが型1枚分の製品をまとめて撮る。型の番号を読み取る装置か、型の流れる順から型の番号を付ける
- 【自動】 Python が画像を受け取り、製品1粒ずつの位置を切り出し、型の穴の番号を付ける
- 【自動】 画像認識のモデルが、ブルーム・欠け・気泡の領域を検出し、種類・確からしさ・面積を返す
- 【自動】 規則で、粒ごとに「要確認」「候補なし」を決め、粒の面積に対する不良の領域の割合を出す
- 【自動】 ロットごとに要確認の粒の切り出し画像を一覧にし、型の穴ごとの不良の数を集計する
- 【人】 検品の担当が一覧の画像を見て、不良か不良でないかを決める
- 【人】 検品の担当が、候補なしの粒からも決めた数を抜き取って見る
- 【自動】 担当の判定をロットの記録に書き、同じ穴から続く不良とブルームの多いロットに印を付ける
- 【人】 製造課が印を見て、型の点検とテンパリングの温度を確かめる
- 【人】 品質管理の責任者が、基準を超えたロットの扱いを決める
6番と7番を人に残しているのが、この設計の要です。 モデルが「候補なし」と出した粒にも、見落としはありえます。7番の抜き取りは、モデルの見落としの割合を毎ロット測るための作業です。 この割合が上がったら、照明か製品の変化を疑います。
ラインを止める装置にはつなぎません。 モデルの誤りでラインが止まると、固まりかけのチョコレートが型の中で無駄になります。止めるかどうかは、印を見た人が決めます。
02今回想定するシステム構成
型抜き後のコンベア │ 型1枚分をまとめて撮る(照明を固定) ▼【トリガー】型の通過を検知するセンサー カメラ → 検査用のPC(GPU) ▼ Python ── 粒ごとの切り出し、型の番号・穴の番号を付ける ▼ torchvision Mask R-CNN(ブルーム・欠け・気泡の3種類+背景) │ 領域・種類・確からしさ ▼ Python ── 粒ごとの判定の規則、面積の割合、型の穴ごとの集計 ▼ 確認の一覧(切り出し画像つき) ▼ 【検品の担当が判定 → 製造課が型とテンパリングを確かめる】 ▼ ロットの記録・テンパリングの温度の記録と並べる
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 実行環境 | Python(PyTorch・torchvision) | - |
| 処理エンジン | torchvision の Mask R-CNN(maskrcnn_resnet50_fpn_v2 を自社の画像で学び直す) | Detectron2 の Mask R-CNN |
| 集計 | Python(粒ごとの判定、型の穴ごとの集計、見落としの割合) | 表計算の計算式 |
| 保管 | 社内のファイルサーバー(画像、検出の結果、担当の判定) | - |
新しく足すのは、カメラと照明、検査用のPC、Python の処理です。 ロットの記録とテンパリングの温度の記録は、これまでどおり使います。検出の結果は確認の一覧に書き出し、担当の判定は Python がロットの記録の隣のシートに書きます。
モデルは torchvision の Mask R-CNN です。 箱で囲むだけでなく、不良の領域を画素の単位で切り出せるので、ブルームのように輪郭のぼやけた不良の面積を出せます。 公式のページでは、入力は画像ごとに [C, H, W] の形で 0〜1 の範囲のテンソルのリストで、画像ごとに大きさが違ってもよいとされています。推論の出力は画像ごとに、箱(boxes)、種類(labels)、確からしさ(scores)、0〜1の範囲の領域(masks)で、領域は一般に0.5でしきい値を切るとされています。
クラスの数には背景を含めます。 公式のページでは、num_classes は背景を含めた出力のクラスの数とされ、チュートリアルでは0を背景に取っておき、実際のクラスは1から始めるとされています。ブルーム・欠け・気泡の3種類なら、num_classes は4です。 学習済みの重みは COCO で学んだもの(COCO_V1)が用意されていますが、チョコレートの不良は含まれないので、頭の部分を3種類用に取り替えて自社の画像で学び直します。 公式のページは、検出のモジュールを Beta の段階で後方互換を保証しないとしているので、torchvision の版を固定して使います。
03どうやって実装するのか
処理の起点を決める
型がカメラの下を通ったことを、コンベアのセンサーで検知して撮ります。 型1枚分の24粒を1枚の画像に収めると、画像の中の位置がそのまま穴の番号になります。粒を1つずつ撮るより、穴の番号を付ける手間がかかりません。
| 段 | いつ | すること |
|---|---|---|
| 1. 撮影と検出 | 型が通るたび | 撮る、切り出す、検出する、粒ごとの判定 |
| 2. ロットの一覧 | ロットの終わり | 要確認の粒の一覧と、型の穴ごとの集計 |
| 3. 学び直し | 月に1回 | 担当の判定を正解に加えて学び直す |
検出は撮るたびに行いますが、担当が見るのはロットの終わりでも構いません。 ただし、同じ穴から欠けが3回続いたときは、ロットの途中でも製造課に知らせます。 型の傷は、そのロットのあいだ欠けを生み続けるからです。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 製品の画像 | 型1枚分の24粒、撮った時刻 | カメラ |
| 型の番号 | 型に刻まれた番号、または流れる順から付けた番号 | 型の番号を読む装置か、ラインの記録 |
| ロットの情報 | 品目、ロット番号、ラインの番号 | ロットの記録 |
| テンパリングの温度 | 時刻ごとの温度 | テンパリング機の記録 |
| 正解の画像 | 不良の領域を塗った画像と種類 | 検品の担当が塗ったもの |
質を決めるのは、照明です。 チョコレートの表面はつやがあり、照明が映り込むと、その部分が白く光ってブルームに見えます。照明の位置と明るさを固定し、映り込みを減らす拡散した光にします。 照明を変えたら、それまでの正解の画像では学び直しが必要になると考えてください。
品目によって色が違います。 ミルク・ビター・ホワイトでは、ブルームの見え方がまったく違い、ホワイトのチョコレートの上のブルームは、人の目でも見えにくいものです。 品目の列を必ず持たせ、ホワイトの品目は最初の対象から外すか、別に学びます。
カメラが見るのは、型に触れていた面だけです。 型を返して抜くと、上を向くのは型の底に触れていた表の面で、つやと模様のある面です。気泡は、この面では小さな穴やくぼみとして見えますが、裏の面(型に流したときの上の面)の気泡は写りません。 裏の面の気泡は、包装の前の工程で目で見るか、この構成の対象の外と決めておきます。決めずに始めると、「気泡の見落とし」が数えられ続け、モデルの見直しの議論が空回りします。
型の番号は、最初に確かめておく入力です。 型の側面に刻まれた番号を読む装置が置けない場合は、ラインに型を入れる順番を記録し、センサーの通過の回数から型の番号を付けます。型を途中で抜いた・足したときに順番がずれるので、ずれを直す手順もあわせて決めます。
データの取得方法を決める
| 取るもの | どこから | 使い道 |
|---|---|---|
| 画像 | カメラから検査用のPCへ直接 | 検出 |
| 型の番号 | センサーとラインの記録 | 穴の番号を付ける |
| テンパリングの温度 | テンパリング機の記録の書き出し | ブルームの多いロットと並べる |
| 担当の判定 | 確認の一覧で担当が付けた結果 | ロットの記録と学び直し |
正解の画像は、検品の担当が塗ります。 最初は、過去のロットで不良と判定された粒を中心に、種類ごとに数百粒を集めます。チュートリアルの例では、170枚の画像と345の対象で頭を取り替えて学んでいます。3種類を見分けるには、種類ごとにそれより多い数を目安にします。 塗るときは、ブルームの縁をどこで切るかを、担当どうしで決めてから始めます。
ブルームの見分けの手がかりも、担当で揃えます。 明治のページでは、ブルームはカビとは異なり口にしても問題はないが風味が損なわれ口どけが悪くなるとされ、ファットブルームはココアバターの結晶が粗大化して表面が白く見え、温めて白さが消えればファットブルームと判断できるとされています。シュガーブルームは、結露の水分に砂糖がとけ出して再結晶したもので、白い部分が消えずざらざらするとされています。型抜きの直後に出るのは、多くはテンパリングに関わる前者です。 正解の種類は「ブルーム」の1つにまとめ、原因の見分けは製造課の仕事にします。
AIへ渡す前に整形する
- 歪みの補正 … レンズの歪みを、撮影の位置を決めたときに作った補正の値で直します
- 型の位置合わせ … 型の四隅の印を見つけ、型が真上から見た位置になるように画像を整えます
- 粒の切り出し … 型の穴の並びに合わせて、24粒の領域を切り出します。切り出しの番号が穴の番号です
- 粒の輪郭 … 背景のコンベアの色との差で、粒の輪郭(製品の領域)を取ります。面積の割合の分母に使います
- 明るさの確かめ … 画像の平均の明るさが、決めた範囲に入っているかを見ます。外れたら照明の異常として印を付けます
- 0〜1への換算 … 画素の値を0〜1に直し、[C, H, W] の形のテンソルにします
- 空の穴 … 粒が抜けていない・入っていない穴は、輪郭の面積で見つけて「空」と印を付けます
2番の位置合わせを丁寧にしないと、穴の番号がずれます。 型がコンベアの上で少し斜めに流れるだけで、隣の穴の粒を切り出します。穴の番号がずれると、型の穴ごとの集計がすべて意味を失います。 四隅の印が見つからない画像は、検出に回さずに印を付けます。
5番は、照明の切れと汚れに気づくためです。 照明の一部が暗くなると、その位置の粒だけ影ができ、欠けの候補が増えます。 モデルの誤りに見えて、原因は照明にあります。
AIに処理させる
させるのは、粒の画像の中から、ブルーム・欠け・気泡の領域を切り出し、種類と確からしさを返すことだけです。
| させること | させないこと |
|---|---|
| 3種類の不良の領域・種類・確からしさ | 不良かどうかの最終の判定(担当が決める) |
| 領域の面積(画素の数) | ロットの扱いの判断(責任者が決める) |
| ブルームの原因の見分け(製造課が温度の記録で見る) | |
| ラインの停止(人が決める) |
判定の規則は、Python の側に置きます。
| 規則 | 内容 |
|---|---|
| 要確認 | 欠け・気泡が確からしさ0.3以上で1つでもある、またはブルームの面積の割合が決めた値以上 |
| 候補なし | 上のどれにも当たらない |
| 照明の印 | 画像の明るさが範囲外、または型の四隅が見つからない |
しきい値を0.3と低めに置いているのは、見逃しを減らすためです。 確からしさの高い候補だけを回すと、担当が見る数は減りますが、薄いブルームや小さな気泡を見落とします。検品で困るのは、余計に見ることより見逃すことです。 しきい値は、7番の抜き取りの見落としの割合を見ながら月に1回見直します。
ブルームは数ではなく面積で見ます。 薄いブルームは、1粒の表面にまだらに広がり、領域がいくつにも分かれて検出されます。数で数えると、まだらなほど多く数えてしまいます。 粒の領域に対するブルームの領域の割合で見ます。
指示内容を固定する
この構成の中心は生成AIではなく画像認識のモデルなので、プロンプトの代わりに、学習と検出の設定を示します。
import torch, torchvision
from torchvision.models.detection import maskrcnn_resnet50_fpn_v2
from torchvision.models.detection.faster_rcnn import FastRCNNPredictor
from torchvision.models.detection.mask_rcnn import MaskRCNNPredictor
CLASSES = {1: "bloom", 2: "chip", 3: "bubble"} # 0 は背景
num_classes = 4
model = maskrcnn_resnet50_fpn_v2(weights="DEFAULT")
in_f = model.roi_heads.box_predictor.cls_score.in_features
model.roi_heads.box_predictor = FastRCNNPredictor(in_f, num_classes)
in_m = model.roi_heads.mask_predictor.conv5_mask.in_channels
model.roi_heads.mask_predictor = MaskRCNNPredictor(in_m, 256, num_classes)
# 学習の正解(粒の画像1枚ごと)
# target = {"boxes": FloatTensor[N,4] x1,y1,x2,y2,
# "labels": Int64Tensor[N](1〜3),
# "masks": UInt8Tensor[N,H,W]}
頭の取り替えは、公式のチュートリアルと同じ形です。 箱の予測の部分を FastRCNNPredictor に、領域の予測の部分を MaskRCNNPredictor に取り替え、どちらにも背景を含めた4を渡します。種類の番号を0から振ると、ブルームが背景として扱われます。
model.eval()
with torch.no_grad():
out = model([img])[0] # img: [3,H,W]、0〜1
res = []
for box, lab, sc, m in zip(out["boxes"], out["labels"], out["scores"], out["masks"]):
if sc < 0.3:
continue
area = int((m[0] >= 0.5).sum()) # 領域は0.5で切る
res.append({"type": CLASSES[int(lab)], "score": float(sc),
"area_px": area, "box": [round(float(v)) for v in box]})
bloom_ratio = sum(r["area_px"] for r in res if r["type"] == "bloom") / piece_area_px
領域を0.5で切るのは、公式のページの書き方に合わせたものです。 出力の masks は0〜1の値で返るので、そのまま足すと面積が小さく出ます。しきい値で0か1にしてから画素を数えます。 確からしさのしきい値(0.3)と、領域のしきい値(0.5)は別のものです。前者は候補として残すかどうか、後者は画素を領域に含めるかどうかを決めます。
学習の検証は、ロットで分けます。 同じロットの粒は、同じテンパリングの条件で作られ、ブルームの出方が似ています。行のまま分けると、同じロットの粒が学習と検証に入り、当たり方を甘く見ます。
学習の画像を増やす加工は、明るさを動かさないものに限ります。 左右・上下の反転や90度の回転は、粒の形が対称なら使えます。明るさやコントラストを大きく振る加工は使いません。 ブルームは「表面が白っぽく明るい」ことそのものが手がかりなので、明るさを振ると、正常な粒をブルームに、ブルームを正常な粒に見せる画像を自分で作ることになります。照明を固定しているのは、この加工を要らなくするためでもあります。
欠けと気泡は、ブルームより数が少ない不良です。 正解の画像を集めると、ブルームの粒ばかりが増えます。欠けと気泡の粒は、過去のロットの保管分から意識して集め、学習のときに種類ごとの粒の数が大きく偏らないようにします。
出力形式を固定する
粒ごとの結果を、次の形で記録します。
{
"lot": "L-1117-2A",
"line": 2,
"mold_no": 37,
"cavity": 14,
"shot_at": "2026-11-17T10:42:15",
"piece_area_px": 18450,
"detections": [
{"type": "bloom", "score": 0.62, "area_px": 2210, "box": [12, 30, 96, 88]},
{"type": "bubble", "score": 0.41, "area_px": 35, "box": [120, 44, 128, 52]}
],
"bloom_ratio": 0.12,
"decision": "needs_review",
"light_flag": false,
"inspector_result": null
}
decision は規則で決め、inspector_result は担当が埋めます。 両方を残すので、モデルが要確認とした粒のうち、担当が不良とした割合と、候補なしの抜き取りで見つかった不良の割合を、毎ロット出せます。
ロットの一覧は、要確認の粒の切り出し画像を並べた形にします。 画像の上に、検出した領域の輪郭を重ねて描きます。担当は画像を見て、不良・不良でない・判断できない、のどれかを押すだけにします。
型の穴ごとの集計は、次の表にします。
| 列 | 中身 |
|---|---|
| 型の番号・穴の番号 | 集計の単位 |
| 撮った数 | そのロットでその穴から出た粒の数 |
| 欠け・気泡・ブルームの数 | 担当が不良と判定した数 |
| 続けて出た回数 | 同じ穴から続けて出た不良の最大の回数 |
| 印 | 同じ穴から3回続いた/ロットの平均の3倍以上 |
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| カメラとセンサー | 検査用のPCに直接つなぐ | 型の通過を検知して撮る |
| ロットの記録 | スプレッドシートを読む・隣のシートに書く | 品目・ロット番号、担当の判定と不良の数 |
| テンパリング機の記録 | 書き出したファイル | ロットの時間帯の温度 |
| 確認の一覧 | 社内の画面(検査用のPCの上の簡単な画面) | 要確認の粒の画像と判定のボタン |
ラインの制御の仕組みにはつなぎません。 第5章のとおり、止めるかどうかは人が決めます。ロットの記録の元のシートにも書き込まず、隣のシートに書きます。
画像は社内に置きます。 検査用のPCで検出し、画像と結果は社内のファイルサーバーに保存します。外部のサービスへ画像を送らないので、製品の形や新しい品目の見た目が外に出ません。
人が確認する
- 要確認の粒を見る … 一覧の画像を見て、不良・不良でない・判断できないを決めます
- 判断できない粒は現物を見る … ロットの保管分から該当する時刻の製品を出して確かめます
- 候補なしの粒を抜き取って見る … 毎ロット決めた数を見て、見落としを数えます
- 型の印を製造課へ渡す … 同じ穴から続く不良は、型の点検に回します
- ブルームの多いロットを製造課へ渡す … テンパリングの温度の記録と並べて見てもらいます
1番の画面は、1粒を2秒ほどで判定できる形にします。 切り出しの画像を大きく出し、検出した領域の輪郭を重ね、横に種類と確からしさを並べます。画像の拡大や、同じ粒の照明の違う写真を探す操作が要る画面にすると、全数の候補を見る時間に収まりません。 判断できない粒はボタン1つで2番に回します。
3番を省かないでください。 見落としの割合は、モデルが今も使えるかの物差しです。この割合が上がるのは、多くの場合、照明の劣化、型の替えどき、新しい品目の追加のどれかです。
例外に対処する
| 起きること | 対応 |
|---|---|
| 型の四隅が見つからない | 検出に回さず、照明の印を付ける。続くならカメラの位置を確かめる |
| 画像の明るさが範囲外 | 照明の異常として印を付け、そのあいだの粒は抜き取りの検品に戻す |
| 穴が空・粒が割れて2つになる | 輪郭の面積で見つけ、「空」「割れ」の印を付ける |
| 新しい品目・新しい型 | 学び直すまでは、全数を抜き取りの検品に戻す |
| ホワイトの品目 | 最初は対象から外す。別に学んでから加える |
| 検査用のPCが止まる | 撮った画像だけを保存し、その間の検品は従来どおり |
| 担当の判定が人によって割れる | 同じ画像を2人に見せ、割れた画像を集めて線引きを話し合う |
| 見落としの割合が上がる | しきい値を下げる前に、照明と型を確かめる |
記録を残す
- 撮った画像と時刻、型の番号・穴の番号
- 検出の結果(種類・確からしさ・面積・箱)と、規則による判定
- 担当の判定と、判定した人・時刻
- 候補なしの抜き取りの結果(見落としの割合)
- 型の穴ごとの集計と、製造課に渡した印、型の点検の結果
- モデルの版、学習に使った画像の範囲、しきい値
担当の判定を残すのは、次の学び直しの正解になるからです。 担当が「不良でない」とした候補は、モデルが間違えやすい見た目の例です。月に1回、それらを正解に加えて学び直します。
04実装レベルの3段階
本記事の想定は本格構成です。 1件30分が9分になるのは、見る数を候補に絞り、書く・集計するがなくなるからです。残る9分は、候補の画像を見て、抜き取りで見落としを数え、製造課に印を渡す時間です。 半自動化で、照明としきい値を決めてから本格構成に進みます。 抜き取ったトレーで試すと、照明を変えても製造を止めずに済みます。コンベアの上にカメラを据えるのは、照明の位置が決まってからにします。
05工数削減シミュレーション
導入後 80件 × 9分 ÷ 60 = 12 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 型に流して固めるチョコレート(板・一口サイズ・ボンボン)を1日に数ロット作る製造所で、型抜き後の外観の検品を、担当が抜き取りのトレーを光にかざして目で見ている場合。ブルーム・欠け・気泡の数をチェックシートに手で書き、型のどの穴から出たかまでは追えていない場合。検品の担当によって「白っぽい」の線引きが違い、出荷先から外観の指摘を受けることがある場合。型抜きの後にカメラを据える場所と、照明を整える余地がある場合。
- 1日の生産が少なく、全数を目で見ても時間が足りる場合。手づくりで形や模様が1つずつ違い、正常な見た目を決められない場合。カメラの前で製品の向きや位置がそろわず、照明も整えられない場合。なお、出荷するかどうか、ロットを止めるかどうかは品質管理の責任者が決めます。この構成は不良を自動ではじく装置ではなく、確かめる候補を示すものです。
07最小構成で試す方法
- 過去のロットの抜き取りから、ブルーム・欠け・気泡の粒と、正常な粒を種類ごとに50粒ずつ選ぶ
- 照明の下で、決めた位置から1粒ずつ写真に撮る
- 検品の担当2人が、同じ写真を見て不良の種類と程度を付ける
- 2人の付け方が割れた写真を集め、線引きを話し合う
- 照明を2〜3通り変えて同じ粒を撮り、ブルームの見え方を比べる
| 出てきた内容 | 判断 |
|---|---|
| 2人の付け方がおおむね揃い、照明で見え方が安定した | 正解の画像を集めて学習に進む |
| 2人の付け方が大きく割れる | 線引きを決めるのが先。 モデルを作っても基準が無い |
| 照明でブルームが見えたり消えたりする | 照明を決めるのが先 |
5番では、ファットブルームの粒を温めて白さが消えるかも確かめておくと役に立ちます。 担当の目で「ブルーム」と付けた粒が、実際に表面の脂の結晶によるものか、照明の映り込みや汚れなのかを、この段階で分けておけます。正解の画像の質は、ここで決まります。
この段階ではモデルを作りません。 2人の担当の線引きが揃わないうちに学ばせると、モデルは2人の線引きの間のどこかを覚え、どちらから見ても誤りの多いものになります。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 照明の映り込みをブルームと取る | 拡散した光にして位置を固定する。照明を変えたら学び直す |
| 種類の番号を0から振る | 0は背景。実際の種類は1から振り、num_classes に背景を含める |
| 領域の面積が小さく出る | masks を0.5で切ってから画素を数える |
| 穴の番号がずれる | 型の四隅で位置を合わせ、見つからない画像は検出に回さない |
| まだらなブルームを多く数える | 数ではなく粒に対する面積の割合で見る |
| 同じロットの粒が学習と検証に入る | ロットで分けて検証する |
| 担当の線引きが割れたまま学ぶ | 学習の前に2人で同じ画像を見て揃える |
| torchvision の版の更新で動きが変わる | 検出のモジュールは Beta。版を固定する |
| ホワイトの品目でブルームが見えない | 最初は対象から外し、別に学ぶ |
| 候補なしの見落としに気づけない | 毎ロット抜き取りで見落としの割合を測る |
| 明るさを振る加工でブルームを作ってしまう | 学習の加工は反転と回転に限る |
| 裏の面の気泡を見落としとして数える | カメラの見る面を決め、裏の面は対象の外と書いておく |
| 型を抜き差しして型の番号がずれる | 型を入れる順の記録と、ずれを直す手順を決める |
上の2行は、モデルの外の問題です。 照明と番号の振り方の誤りは、学習の時間をいくらかけても直りません。
下の3行は、始めてから数か月たって効いてくる失敗です。 どれも最初の数週間は目立たず、見落としの割合や型の穴ごとの集計が少しずつおかしくなる形で現れます。集計の数字に違和感を覚えたら、モデルの前に、画像の作り方と番号の付け方を確かめてください。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 製品の画像、型の番号、ロットの記録、テンパリングの温度。個人の情報は原則として扱いません。
- 作業者が写らないようにする … カメラの向きと範囲を、コンベアの上の製品だけに絞ります。手や顔が写る位置には据えません
- 画像を外部へ送らない … 検査用のPCと社内のサーバーで処理します。新しい品目の形や模様は、発売前の情報です
- 不良の判定を自動にしない … 出すのは候補で、担当が決めます。ラインの停止にもつなぎません
- 担当の判定を担当の評価に使わない … 誰が何を見落としたかは記録に残りますが、目的は線引きを揃えることと、モデルの見落としを測ることです
- モデルの版と判定の記録を残す … 出荷先から外観の指摘を受けたとき、そのロットで何を候補にし、誰が何と判定したかを示せるようにします
- 食べても害の無い不良であることを、扱いの判断と分けて考える … ブルームは口にしても問題ないとされていますが、出荷するかどうかは自社の規格と出荷先との約束で決めます
画像の保存の期間も決めておきます。 全数を撮ると、1日に数万枚の画像がたまります。候補の画像と抜き取りの画像は学び直しと説明のために長めに残し、候補なしの画像は出荷先からの指摘に答えられる期間だけ残す、のように分けると、保存の量を抑えながら説明の材料を残せます。
誤りが起きた場合のリスクは、見落とした不良が出荷先に届くことと、不良でない粒を不良として捨てることの2つです。 前者は低めのしきい値と抜き取りで抑え、後者は担当の確認で防ぎます。
10まず何から始めるか
1週目:線引きを揃える
第8章のとおり、種類ごとに50粒を撮り、担当2人で付け方を比べます。割れた写真を集めて、ブルームの縁をどこで切るかを決めます。
2週目:照明を決める
同じ粒を照明を変えて撮り、ブルームが安定して見える照明を選びます。映り込みが出ない位置を決め、そこから動かさないようにします。
3週目:正解の画像を塗り始める
決めた照明の下で、抜き取ったトレーを撮り、不良の領域を塗ります。ホワイトの品目は後回しにします。
4週目:抜き取り分で試す
頭を取り替えたモデルを学び、抜き取ったトレーで候補を出して、担当の判定と比べます。見落としの割合をこの段階から数え始めます。
2か月目: コンベアの上にカメラを据え、型の位置合わせと穴の番号付けを作ります。3か月目以降: 型の穴ごとの集計を製造課に渡し、月に1回の学び直しを続けます。見落としの割合が安定し、型の傷とテンパリングの乱れに担当が早く気づけるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
| num_classes が背景を含めたクラスの数であること、重みが COCO_V1(DEFAULT)であること、入力が 0〜1 に直されること、検出のモジュールが Beta で後方互換を保証しないこと | torchvision: maskrcnn_resnet50_fpn_v2 | 2026-11-17 |
| 入力が [C, H, W] の 0〜1 のテンソルのリストで画像ごとに大きさが違ってよいこと、学習の正解(boxes・labels・masks)の形、推論の出力(boxes・labels・scores・masks)と、領域を一般に0.5で切ること | torchvision: maskrcnn_resnet50_fpn | 2026-11-17 |
| FastRCNNPredictor と MaskRCNNPredictor による頭の取り替え、0を背景に取っておくこと、例のデータが170枚・345の対象であること | PyTorch: TorchVision Object Detection Finetuning Tutorial | 2026-11-17 |
| ブルームがカビとは異なり口にしても問題ないが風味と口どけが落ちること、ファットブルームとシュガーブルームの原因と見分け方 | 明治: チョコレートのブルーム現象の解説 | 2026-11-17 |
出荷するかどうか、ロットを止めるかどうかは、品質管理の責任者が決めてください。 本記事は上の公式のページで確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3645)についてのご相談はこちらから。
