溶接の後に撮ったビードの画像から、ピット・アンダーカット・溶け込みの不足の兆候などの外観の不良の候補を見分け、検査の担当に確かめる箇所を示す

処理の起点を決める

ファイルサーバーに画像が保存されたことを起点に、部品ごとに動かします。 1個の部品の画像がそろうのを待つため、製造番号ごとに、決めた枚数がそろったか、最後の画像から30秒たったかのどちらかで処理を始めます。部品単位で動かすのは、検査員が部品単位で判定するからです。

夜勤の時間帯も同じように動かします。 第3章の（c）は、画像の確認が朝にまとめて回ることから起きていました。候補の絞り込みが夜のうちに終わっていれば、朝の検査員は「候補あり」の部品から始められます。

毎朝6時に、前の日の画像の取りこぼしを確かめます。 生産管理システムの完成の記録と、処理済みの製造番号を突き合わせ、処理されていない部品を流し直します。

入力データを集める

質を決めるのは、学習用の正解です。 枠をどこまで広く付けるか、ピットが3つ並んだら3つの枠か1つの枠か、検査員のあいだで付け方がそろっていないと、モデルは迷った付け方を覚えます。 付け方の決まりを、最初に文書にします。

限度見本の画像は、学習には使わず、検査の画面に並べて表示します。 検査員が候補の箇所と限度見本を同じ画面で見比べられるようにするためです。

溶接の記録は、モデルの入力には使いません。 画像だけで候補を見つけ、溶接の記録は判定の後の集計に使います。 条件の値を入力に入れると、「この条件なら不良は無い」とモデルが画像を見ずに決める余地ができます。

データの取得方法を決める

品質の水準で、しきい値の組を切り替えます。 水準 B の部品は、小さなピットでも限度を超えることがあるので、確からしさのしきい値を低くして候補を多めに出します。 水準 D の部品と同じしきい値にすると、B の部品で見逃しが増えます。

学習用のデータは、検査の画面の判定の記録から作ります。 検査員が枠を直したもの、候補を消したもの、見逃しに枠を足したものが、そのまま次の追加学習の正解になります。 正解を作るための別の作業を増やさないための設計です。

学習と評価のデータは、撮影の月で分けます。 同じ部品の6枚の画像は似ているので、ばらばらに分けると、同じ部品の画像が学習と評価の両方に入り、評価が良く見えすぎます。 評価には、学習に使った期間より後の月の画像を使い、製造番号が学習と重ならないようにします。

不良の画像は少ないので、集める期間を見込みます。 不良の無い部品が大半を占めるので、1か月に集まる不良の画像は種類によっては数枚です。割れのように稀な種類は、過去の画像を検査の記録から探し出して集めます。 集まらない種類は、しばらくのあいだ候補の種類から外し、検査員が全数で見る種類として扱います。

AIへ渡す前に整形する

1. 画像のそろいの確認 … 製造番号ごとに、決めた枚数の画像があるかを確かめます
2. 明るさの確認 … 画素の明るさの分布を見て、暗すぎるもの・白飛びしたものに「撮り直し」の印を付けます
3. ぼけの確認 … 輪郭の鋭さの指標が、照明とカメラを据えたときの基準より低いものに印を付けます
4. ビードの収まりの確認 … 溶接の番号ごとに決めた画面の範囲に、ビードが写っているかを見ます
5. 範囲の切り出し … 溶接の番号ごとに、ビードの周りの範囲を切り出します
6. 大きさの統一 … 学習のときと同じ大きさと色の扱いにそろえます

2番目から4番目で「撮り直し」とした画像は、モデルに渡しません。 暗い画像を渡すと、モデルは「何も見つからない」と返します。それは「不良が無い」ではなく「見えない」です。 第1章で書いた見逃しの多くは、ここで混ざります。

3番目のぼけは、カメラの保護のカバーにスパッタが付くことで起きます。 溶接のセルの近くでは避けられないので、ぼけの印が続いたセルは、カバーの清掃を製造課に頼む通知を出します。

AIに処理させる

させるのは、切り出した画像の中に、決めた種類の不良の候補があるかを見つけ、位置の枠と確からしさを返すことだけです。

種類の呼び方は、ISO 6520-1 の分類に合わせます。 ISO 6520-1 は溶融溶接の幾何学的な不完全部を分類し、種類ごとに定義と説明を与えて取り違えを避けるための規格とされています。社内の呼び方と規格の呼び方の対応表を作り、学習の正解もこの呼び方で付けます。

最後の行だけは、性質が違います。 溶け込みの不足は内部の状態で、表面の画像からは確かめられません。モデルが出すのは「兆候」で、検査員は社内の基準に沿って断面の確認や非破壊の検査に回すかを決めます。 検査の画面にも「兆候」と表示し、不良と書きません。

2行目がいちばん起きやすい誤りです。 アンダーカットの深さやピットの大きさは、品質の水準の限度と比べて合否を決めるものですが、画像の枠の大きさは、撮る角度と距離で変わります。 枠の大きさを寸法として扱うと、限度の判定を誤ります。

しきい値は、見逃しの数から決めます。 確からしさのしきい値を下げるほど見逃しは減り、余計な候補は増えます。評価のデータで、種類ごとに「しきい値を変えたときに見逃した不良の数」と「候補あり になる部品の割合」を並べ、見逃しを品質管理課が決めた数に収めたうえで、候補ありの割合がいちばん低くなる点を選びます。割れは見逃しを0にする前提で、ほかの種類より低く置きます。

候補ありの割合が高すぎると、この構成は回りません。 部品の半分が候補ありになれば、検査員の手間は今と変わりません。候補ありが3割を超えるしきい値しか選べないなら、学習のデータか撮影の条件が足りていません。 しきい値を上げて見逃しを増やすのではなく、データを集める側で解きます。

指示内容を固定する

この構成は生成AIに指示を出しません。 指示にあたるのは、学習と推論の設定と、検査員が正解を付けるときの決まりです。

【学習の設定】
- モデル：fasterrcnn_resnet50_fpn_v2（COCO の事前学習の重み）
- 箱の予測の部分を差し替える：num_classes = 不良の種類の数 6 ＋ 背景 1 ＝ 7
  （モデルはクラス 0 を背景として扱う。不良の種類のラベルは 1 から付ける）
- 学習のデータ：直近12か月の画像。不良ありの画像と、不良なしの画像の両方
- 評価のデータ：学習に使っていない、後の2か月の画像
- 評価の見方：種類ごとに、決めたしきい値で見逃した不良の数

【推論の設定】
- 品質の水準ごとのしきい値の組（例：水準 B は低め、水準 D は高め）
- 割れの候補は、しきい値を他の種類より低くする
- 1枚の画像で候補が10を超えたら、部品ごと「要確認（候補が多すぎる）」にする

【正解の付け方の決まり（検査員向け）】
- 枠は、不良の見えている範囲をちょうど囲む大きさにする
- ピットが離れて並んでいるときは1つずつ枠を付ける。重なっているときは1つにまとめる
- 迷ったものは「判断保留」として付け、学習に使わない
- 限度の内側（合格）でも、種類として見えるものには枠を付け、「限度内」の印を付ける
- 溶け込みの不足の兆候は、断面や非破壊の検査の結果が分かったものだけ正解にする

「限度の内側でも枠を付ける」が、この決まりの要です。 合格の画像に枠を付けないと、モデルは「小さいピットは不良ではない」ではなく「小さいピットは見えないもの」として覚えます。品質の水準が厳しい部品が来たときに、見つけられなくなります。見つけるのはモデル、限度と比べるのは検査員、と役割を分けるための決まりです。

「溶け込みの不足の兆候は、検査の結果が分かったものだけ」も同じ考えです。 表面の見た目だけで「兆候あり」と付けると、検査員の勘をそのまま覚え、勘の外れも一緒に覚えます。

出力形式を固定する

部品ごとに、次の形のJSONで検査の画面に渡します。

{
  "serial_no": "",
  "part_no": "",
  "quality_level": "B | C | D",
  "model_version": "",
  "status": "candidates | no_candidates | retake",
  "images": [
    {
      "weld_no": "",
      "image_path": "",
      "quality_check": { "brightness": "ok", "sharpness": "ok", "framing": "ok" },
      "detections": [
        { "type": "pore | undercut | overlap | crack | discontinuity | lack_of_fusion_sign",
          "box": [0, 0, 0, 0], "score": 0.0 }
      ]
    }
  ],
  "urgent": false
}

1つ目の理由は、quality_check と detections を分けられることです。 画像の質が足りないものは detections を空にせず、status を retake にします。 「何も見つからない」と「見えない」を、出力の形で取り違えないようにします。

2つ目は、score を残せることです。 検査員は確からしさの低い候補から見ても高い候補から見ても構いませんが、後で見逃しを数えるときに、どのしきい値なら見つけられたかを検算できます。

3つ目は、model_version で、どのモデルの出力かが分かることです。 追加学習でモデルを入れ替えた前後で、候補の出方が変わります。変わった理由をたどるために、部品ごとにモデルの版を残します。

システムへ連携する

生産管理システムと制御盤には書き込みません。 判定の結果を生産管理システムに入れるのは、検査員が判定を終えた後の、従来の手順です。モデルの出力が合否として流れる経路を作りません。

集計は、判定の後の記録から作ります。 セル・溶接の番号・時間帯ごとに、検査員が不合格とした不良の種類を数え、製造課が溶接の条件を見直す材料にします。 第3章の（d）への答えです。

人が確認する

検査員が判定するのは全部の部品です。 違うのは、見る順番と、1個にかける時間です。

1. urgent の部品を最初に見る … 割れの候補。現物を確かめ、製造課と一緒にセルを止めるかを決めます
2. 「候補あり」の部品を見る … 枠の付いた画像を開き、限度見本と比べます。限度に近いものは現物を確かめます
3. 「撮り直し」の部品を処理する … 現物を目で見るか、撮り直してから判定します
4. 「候補なし」を抜き取りで見る … 部品の一覧を流し見し、決めた割合で画像を開きます
5. 当否を記録する … 候補が当たっていたか、外れていたか、見逃しがあったかを、画面で付けます

4番目の割合は、最初は高めにします。 導入の最初の3か月は「候補なし」の2割、見逃しの数が落ち着いたら1割に下げます。 割合を下げる判断は、品質管理課の責任者が見逃しの記録を見て行います。

5番目の当否の記録は、次の3つを分けて付けます。 「候補が当たっていた」「候補が外れていた（スパッタや汚れ、照明の反射を不良と見た）」「候補の無い所に不良があった」。3つ目が見逃しで、種類と位置の枠を検査員が足します。 2つ目は、余計な候補の原因の材料で、反射やスパッタが多いセルの撮影の条件を見直す手がかりになります。

目標は、1,800件をならして1件1分です。 「候補なし」の部品は一覧で数秒、「候補あり」の部品は画像と現物で数分かかります。

例外に対処する

割れの候補の通知は、外れても構わない前提で出します。 割れの候補の多くは、スパッタの筋や研削の跡であることが分かるはずです。それでも通知を止めないのは、本物の割れを1つ見逃したときの損失が、外れの通知を何十回確かめる手間より大きいからです。 外れが続くセルは、撮影の条件と照明の反射を先に疑います。

上から3行目を軽く見ないでください。 新しい品番の部品は、ビードの形も撮る向きも学習した画像と違います。モデルに渡すと、それらしい候補を出したり、何も出さなかったりします。 学習のデータがそろうまでは、モデルを通さない決まりにします。

記録を残す

• 元の画像と、製造番号・溶接の番号・撮影の時刻
• 画像の質の確認の結果と、モデルの出力（種類・枠・確からしさ）と、モデルの版
• 検査員の判定と、候補の当否、見逃しの記録
• 抜き取りで開いた「候補なし」の部品の一覧
• 追加学習に使ったデータの範囲と、評価の結果
• 照明とカメラの位置を変えた日と、その理由

画像の保存の期間は、トレーサビリティの決まりに合わせます。 顧客との取り決めで部品の記録を何年残すかが決まっていれば、画像とモデルの出力も同じ期間残します。不具合の問い合わせのときに、当時のモデルが何を示し、検査員がどう判定したかを並べて示せるようにするためです。

最後の行は、見逃しが増えたときにいちばん先に見る記録です。 照明を交換した、カメラを掃除のついでに少し動かした、といった変化は、モデルの精度の低下よりも先に起きていることが多いからです。