防除の会社が、食品工場に置いたカメラの録画から Python でねずみの写り込みを検出し、出没の時刻と場所の表を作って月次の報告に回す
食品工場に置いた赤外線のカメラの夜間の録画から、Python でねずみの写り込みを検出します。検出をまとめて出没の日時・カメラ・区域の表にし、技術員が確かめてから顧客への月次の報告に回します。
- 連携・自動化
- Python
- 対象業界
- その他/物流/製造
- 対象部門
- 品質管理
- 対象業務
- 内容確認・チェック/記録・議事録作成
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 品質標準化/対応スピード向上/工数削減
- 導入難易度
- ★★★★★
- 実装レベル
- 本格構成
- 費用感
- 個別開発(大)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 技術員が毎週、顧客の工場でレコーダーから録画を書き出して持ち帰る
- カメラごとに、録画を1本ずつ開いて早送りで見る
- ねずみらしい影があれば、止めてコマ送りで確かめる
- ねずみと判断したら、日時・カメラ・場所を表に書き、画面を切り出して保存する
- 月末に、カメラごと・時間帯ごとに件数を数える
- 報告の様式に一覧と代表の画像を貼り、所見を書いて顧客に出す
- 人顧客の工場のレコーダーから、前の晩の録画を所定のフォルダに書き出す設定にする(初回だけ)
- 自動毎朝5時、Python の処理が前の晩の録画を取り込む
- 自動背景差分で動きのあるフレームを選ぶ(照明の切り替えの直後は除く)
- 自動学び直した物体検出の模型で、ねずみ・人・台車などの枠と確からしさを出す
- 自動続くフレームのねずみの検出を、1回の出没にまとめる
- 自動出没の枠の位置を、カメラごとに決めた区域に当てはめる
- 自動出没の表(日時・カメラ・区域・確からしさ・フレームの数・切り出しの画像)を作る
- 人技術員が、確からしさの低い出没と区域の境の出没を映像で確かめる
- 自動確かめた結果で表を確定し、区域の出没が急に増えたら顧客の担当に知らせる下書きを作る
- 人月末に、技術員が表と時間帯ごとの件数を見て所見を書き、報告を出す
各工程の詳しい説明を読む
- 技術員が毎週、顧客の工場でレコーダーから録画を書き出して持ち帰る
- カメラごとに、録画を1本ずつ開いて早送りで見る
- ねずみらしい影があれば、止めてコマ送りで確かめる
- ねずみと判断したら、日時・カメラ・場所を表に書き、画面を切り出して保存する
- 月末に、カメラごと・時間帯ごとに件数を数える
- 報告の様式に一覧と代表の画像を貼り、所見を書いて顧客に出す
(a)ねずみでない録画を見る時間が大半。 2番目の早送りのほとんどは、照明の切り替えや虫の録画を開いて閉じる作業です。1晩に数十本の録画を、ねずみが写っていないと確かめるためだけに開いています。
(b)見落としと拾い方が技術員で違う。 画面の端を一瞬だけ横切った影を、ねずみと数える人と数えない人がいます。同じ1匹が何度か行き来した場面を、1件と数える人と3件と数える人がいます。 月ごとの件数の比べ方が、担当が替わるとずれます。
(c)場所の書き方がそろわない。 「壁際」「シャッターの横」「パレットの下」と技術員が言葉で書くので、同じ場所が月によって違う言葉になります。 区域ごとの推移を追えません。
(d)報告が月末にまとまってしか出ない。 録画を週に1回持ち帰り、月末にまとめて見るので、原料の倉庫で出没が急に増えても、顧客が知るのは数週間後です。
- 【人】 顧客の工場のレコーダーから、前の晩の録画を所定のフォルダに書き出す設定にする(初回だけ)
- 【自動】 毎朝5時、Python の処理が前の晩の録画を取り込む
- 【自動】 背景差分で動きのあるフレームを選ぶ(照明の切り替えの直後は除く)
- 【自動】 学び直した物体検出の模型で、ねずみ・人・台車などの枠と確からしさを出す
- 【自動】 続くフレームのねずみの検出を、1回の出没にまとめる
- 【自動】 出没の枠の位置を、カメラごとに決めた区域に当てはめる
- 【自動】 出没の表(日時・カメラ・区域・確からしさ・フレームの数・切り出しの画像)を作る
- 【人】 技術員が、確からしさの低い出没と区域の境の出没を映像で確かめる
- 【自動】 確かめた結果で表を確定し、区域の出没が急に増えたら顧客の担当に知らせる下書きを作る
- 【人】 月末に、技術員が表と時間帯ごとの件数を見て所見を書き、報告を出す
8番目が、この設計の分かれ目です。 技術員が開くのは、出没の候補のうち確からしさの低いものと、区域の境のものだけです。ねずみの写っていない録画を開いて閉じる作業が無くなります。
9番目で、報告を月末に待たずに知らせられます。 原料の倉庫の区域で出没が前の週より大きく増えたら、翌朝には顧客の品質管理の担当に知らせる下書きが技術員の手元に出ます。 送るかどうかは技術員が決めます。
02今回想定するシステム構成
顧客の工場のレコーダー(動体検知の夜間の録画)
│ 毎晩、所定のフォルダへ書き出し
▼【トリガー】毎朝 5:00
Python(OpenCV)
├──▶ 背景差分(MOG2)で動きのあるフレームを選ぶ
▼
torchvision の Faster R-CNN(自社の確認済みの映像で学び直し)
│ ねずみ・人・台車などの枠と確からしさ
▼
Python ── 続くフレームを1回の出没にまとめる、区域に当てはめる、表と切り出し
▼
【技術員が確からしさの低い出没と境の出没を映像で確かめる】
▼
出没の表 → 月次の報告の下書き/急な増加の知らせの下書き| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 実行環境 | Python(OpenCV・PyTorch・torchvision・pandas) | - |
| 処理エンジン | torchvision の Faster R-CNN(fasterrcnn_resnet50_fpn を自社の映像で学び直し) | torchvision の RetinaNet、torchvision の FCOS |
| 処理 | OpenCV の背景差分(createBackgroundSubtractorMOG2) | OpenCV の createBackgroundSubtractorKNN |
| 集計 | Python(出没のまとめ、区域の当てはめ、時間帯ごとの件数) | 表計算の計算式 |
| 保管 | 自社のサーバー(録画の候補の切り出し、出没の表、確かめた記録) | - |
新しく足すのは、録画を処理する自社のサーバーと Python の処理です。 顧客の工場のカメラとレコーダーはそのまま使い、録画の書き出しの先を決めるだけです。 報告の様式もこれまでのものを使います。
物体検出には、torchvision の Faster R-CNN を使います。 PyTorch の公式のチュートリアルでは、COCO で学習済みの fasterrcnn_resnet50_fpn(weights="DEFAULT") から始め、枠の予測の頭(FastRCNNPredictor)を自分の区分の数に差し替えて学び直します。 区分の数は背景を含めて数え、区分0は背景として扱われます。
動きのあるフレームの選び出しには、OpenCV の MOG2 を使います。 OpenCV の公式の定義では、createBackgroundSubtractorMOG2 の既定は history=500・varThreshold=16・detectShadows=true で、影は前景の画像の中で値127として印が付きます。 赤外線の映像では、ねずみの影も壁に映るので、影の扱いを第7章で決めます。
処理を自社のサーバーで完結させるのは、顧客の工場の映像を外へ出さないためです。 クラウドの画像の認識のサービスを使う形も考えられますが、映像を社外へ送ることを顧客が認めるかが先の問題になります。 学び直しを自社で持つ手間と引き換えに、この構成では社外へ送らない形を本命にしています。
03どうやって実装するのか
処理の起点を決める
毎朝5時に、自社のサーバーの定時の実行で動かします。 顧客の工場のレコーダーから前の晩の録画が所定のフォルダに届いていることを確かめ、届いていないカメラは「録画なし」として表に残します。 技術員が出社する前に出没の表をそろえ、午前中に確かめます。
録画の取り込みは、顧客ごとに経路が違います。 工場のネットワークから自社のサーバーへ書き出せる顧客もあれば、外とつながない顧客もあります。後者は、技術員が週に1回レコーダーから書き出して持ち帰り、届いた日にその週の分をまとめて動かします。 知らせが早くなるのは前者の顧客だけです。
夜間の録画だけを対象にします。 昼間は人と台車の往来が多く、ねずみの出没の調べとしては夜間ほど役に立ちません。夜間の範囲は、顧客の工場ごとに照明を落とす時刻と点ける時刻で決め、カメラの表に持たせます。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 夜間の録画 | カメラごとの動体検知の録画のファイル、録画の開始の時刻 | 顧客の工場のレコーダー |
| カメラの表 | 顧客、カメラ、置き場所、夜間の範囲、区域の多角形、昼夜の切り替えの時刻 | 技術員が作る表 |
| 学び直しの材料 | 過去に技術員が確かめた出没の場面の画像と枠、ねずみでなかった場面の画像 | 自社の過去の確認の記録 |
| 確かめた記録 | 出没ごとの技術員の判断(ねずみ・ねずみでない・判断できない) | この構成で毎日たまる |
質を決めるのは、学び直しの材料です。 COCO で学習済みの模型は、ねずみを区分として持っていません。自社の顧客の工場の、赤外線の白黒の映像で、壁際やパレットの下を走るねずみの枠を数百件以上描き直す必要があります。 過去の報告で切り出して保存した画像が、その出発点になります。
ねずみでなかった場面も集めます。 虫が光ってレンズの前を横切る場面、段ボールの切れ端が風で動く場面、夜勤の清掃の人の足元は、模型がねずみと取り違えやすい場面です。 学び直しのあとの確かめの材料に必ず入れます。
区域の多角形は、カメラの画面の上で技術員が描きます。 「壁際の通り道」「シャッターの内側」「パレットの列の下」のように、報告に書く場所の言葉と1対1で決めます。 第3章の(c)の言葉のずれを、ここで止めます。
データの取得方法を決める
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 録画のフレーム | 録画のファイルを OpenCV で読み、一定の間隔で取り出す | 背景差分と検出 |
| フレームの時刻 | 録画の開始の時刻 + フレームの番号 ÷ 毎秒のフレーム数 | 出没の日時 |
| 動きのある領域 | MOG2 の前景の画像 | 検出に回すフレームの選び出し |
| 枠・区分・確からしさ | 学び直した Faster R-CNN | 出没の候補 |
| 区域 | カメラの表の多角形と、枠の下辺の中央の点 | 出没の場所 |
フレームは毎秒数枚に間引いて取り出します。 ねずみが画面を横切るのは数秒なので、毎秒のフレームを全部見なくても、続く数枚に写ります。 間引く間隔はカメラの毎秒のフレーム数から決め、カメラの表に持たせます。
時刻は、録画のファイルの開始の時刻から計算します。 レコーダーの時計がずれていることがあるので、月に1回、技術員が工場の時計とレコーダーの表示を見比べ、ずれをカメラの表に書きます。
区域の当てはめは、枠の下辺の中央の点で行います。 枠の中心で当てはめると、壁際を走るねずみの枠が壁の側の区域に入ります。足元の位置にあたる下辺の中央が、床の上のどの区域にいたかを表します。
AIへ渡す前に整形する
- 夜間の範囲だけを読む … カメラの表の夜間の範囲の外の録画は読みません
- 照明の切り替えの直後を外す … 照明が落ちた・点いた直後の数秒は、画面全体が前景になるので外します
- 背景差分で選ぶ … 前景の画素が区域の中に一定以上あるフレームだけを検出に回します
- 白黒を3つの色の層にそろえる … 赤外線の白黒の映像は、同じ値を3つの層に写してから模型に渡します
- 画面の外の区域を切り出す … 天井や機械の上など、ねずみの通らない部分は区域の外として検出に回しません
- 0から1の値にする … 画素の値を0から1の範囲に直します
2番目を落とすと、照明の切り替えのたびに模型が呼ばれます。 背景差分は、画面の明るさが一度に変わると画面全体を前景にします。照明の落ちた直後の数秒は、背景を学び直すまで前景の画像が使えません。 カメラの表の切り替えの時刻の前後を外し、MOG2 もその時点から学び直させます。
影の扱いは、前景の画像の値で分けます。 detectShadows が有効なら影は127、動いた物は255として印が付くので、選び出しには255の画素だけを数えます。 赤外線の光で壁に映ったねずみの影を、2匹目として数えないためです。
4番目と6番目は、公式の入力の形に合わせるためです。 torchvision の公式のページでは、模型の入力は形が [C, H, W] のテンソルの並びで、値は0から1の範囲、画像ごとに大きさが違ってもよいとされています。
AIに処理させる
させるのは、選んだフレームの中のねずみ・人・台車などの位置を枠で示し、区分と確からしさを付けることです。 出没にまとめることと区域に当てはめることは、決まった規則の計算です。
| 区分の番号 | 区分 | 扱い |
|---|---|---|
| 0 | 背景 | 模型の決まりで背景にあてる |
| 1 | ねずみ | 出没の候補にする |
| 2 | 人 | 出没に数えない。切り出しの画像を残さない |
| 3 | 台車・フォークリフト | 出没に数えない |
| 4 | その他の動く物(段ボール、シート、猫など) | 出没に数えない。確からしさが高ければ技術員に回す |
人を区分に入れているのは、数えないためです。 夜勤の清掃の人の足元は、赤外線の白黒の映像でねずみと形が似ることがあります。人として見分けられれば、ねずみの候補から外せます。
| させないこと | 理由 |
|---|---|
| ねずみの種類の同定 | クマネズミとドブネズミの見分けは、映像の大きさと動きだけでは決めない。技術員が判断する |
| 侵入の経路の特定 | 出没の場所と経路は別。現場の調べで決める |
| 駆除の方法と薬剤の選定 | 防除の専門の判断 |
| 食品の安全の判断 | 顧客の品質管理と保健所の判断 |
| 個体の数を数える | 同じ1匹が何度来たかは映像だけでは分からない。出没の回数として数える |
最後の行が、報告の言葉を決めます。 表に出すのは「何匹いたか」ではなく「何回写ったか」です。報告の様式にも「出没の回数」と書き、個体の数と取り違えられないようにします。
指示内容を固定する
生成AIを使わないので、プロンプトはありません。 かわりに、学び直しと検出の中身を示します。
import cv2
import torch
import torchvision
from torchvision.models.detection.faster_rcnn import FastRCNNPredictor
NUM_CLASSES = 5 # 背景・ねずみ・人・台車・その他の動く物
def build_model():
model = torchvision.models.detection.fasterrcnn_resnet50_fpn(
weights="DEFAULT", min_size=1080, max_size=1920,
box_score_thresh=0.3)
in_features = model.roi_heads.box_predictor.cls_score.in_features
model.roi_heads.box_predictor = FastRCNNPredictor(in_features, NUM_CLASSES)
return model
# 学び直しの枠は [x0, y0, x1, y1]。幅か高さが0の枠は取り除いてから渡す
def clean_boxes(boxes):
return [b for b in boxes if b[2] > b[0] and b[3] > b[1]]
bg = cv2.createBackgroundSubtractorMOG2(history=500, varThreshold=16,
detectShadows=True)
def select_frame(frame_gray, zone_mask, min_pixels):
fg = bg.apply(frame_gray)
moving = (fg == 255) & zone_mask # 影(127)は数えない
return moving.sum() >= min_pixels
min_size と max_size を変えているのが、この中身の要の1つ目です。 torchvision の Faster R-CNN の定義では、既定は min_size=800・max_size=1333 で、入力の画像はこの範囲に縮めてから模型に入ります。 1920×1080 のカメラの映像は、既定のままだと約7割に縮みます。画面の奥を走るねずみは数十画素しかなく、縮めると見分けにくくなります。 カメラの映像の大きさのまま入れる値にしています。
box_score_thresh を0.3にしているのが、2つ目の要です。 定義では既定が0.05で、確からしさが0.05を超える枠はすべて返ります。 1晩に数千のフレームを見るので、既定のままでは低い確からしさの枠が積み上がります。0.3より下は表に出さず、0.3から0.7を技術員の確かめ、0.7以上を出没の候補にします。 境の値は、確かめた記録で見直します。
幅か高さが0の枠を取り除くのは、学び直しが止まるからです。 torchvision の模型は、学び直しのときに枠の幅と高さが正であることを確かめ、そうでない枠があると止まります。 画面の端でクリックを1回だけした枠が、描き直しの道具から混ざることがあります。
出没へのまとめは、時刻の間で行います。 同じカメラで、ねずみの枠が出たフレームから次のフレームまでが10秒以内なら同じ出没にします。10秒は自社で決める値で、確かめた記録を見て直します。 1回の出没には、最初と最後の時刻、確からしさの最大の値、ねずみの写ったフレームの数、確からしさの最も高いフレームの切り出しを残します。
出力形式を固定する
出没の表は、1回の出没ごとに次の列を書き出します。
{
"customer": "C-04",
"camera": "C-04-CAM-11",
"event_id": "C-04-CAM-11-20261116-0213-01",
"start": "2026-11-16T02:13:41",
"end": "2026-11-16T02:13:49",
"zone": "原料倉庫・パレット列B下",
"zone_border": false,
"max_score": 0.91,
"rodent_frames": 23,
"snapshot": "C-04-CAM-11-20261116-021345.jpg",
"status": "auto_candidate",
"reviewed": null
}
1つ目の理由は、報告の表がそのまま作れることです。 日時・カメラ・区域が列で並ぶので、月末にカメラごと・区域ごと・時間帯ごとの件数を数えるのは計算だけです。 区域の名前はカメラの表から写すので、月をまたいでも同じ言葉になります。
2つ目は、status で技術員の見る順を決められることです。
status | 付け方 | 人が見ること |
|---|---|---|
auto_candidate | 確からしさの最大が0.7以上、境でない | 切り出しの画像を流し見る |
needs_review | 確からしさの最大が0.3から0.7 | 前後の映像を見て、ねずみかを決める |
zone_border | 枠の下辺の中央が区域の境から一定の画素の内 | どちらの区域に数えるかを決める |
person_overlap | 同じフレームに人の枠がある | 人の足元の取り違えでないか |
no_recording | 夜間の録画が届いていない | 顧客にレコーダーの状態を確かめる |
spike | 区域の出没の回数が前の週の同じ曜日の平均の2倍を超えた | 顧客への知らせの下書きを送るか |
reviewed には、技術員の判断を入れます。 rodent・not_rodent・unclear の3つで、not_rodent と判断した出没も消さずに残します。 これが次の学び直しの材料になります。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 顧客の工場のレコーダー | 所定のフォルダへの書き出し、または持ち帰り | 夜間の録画 |
| カメラの表 | 自社のサーバーの表を読む | 夜間の範囲・区域・時計のずれ |
| 出没の表 | 自社のサーバーに書き出す | 出没ごとの行 |
| 報告の様式 | 出没の表から下書きの表と図を作る | 月次の報告 |
| 技術員の連絡 | 社内のメールに下書きを置く | 急な増加の知らせ |
顧客の工場のレコーダーには書き込みません。 録画の設定を変えるのは、顧客と取り決めたうえで技術員が行います。この構成は、書き出された録画を読むだけです。
顧客への知らせは自動で送りません。 spike の下書きを技術員の手元に置き、技術員が映像を確かめてから送ります。 誤った知らせは、顧客の工場の夜間の点検を無駄に増やします。
人が確認する
技術員が開くのは、needs_review・zone_border・person_overlap の出没だけです。 auto_candidate は切り出しの画像を一覧で流し見ます。
needs_reviewを前後の映像で見る … 切り出しの画像だけで決めず、出没の前後の数秒を見るzone_borderの区域を決める … どちらの区域に数えるかを決め、多い場合は区域の線を描き直すauto_candidateを流し見る … 一覧で切り出しの画像を見て、明らかな取り違えをnot_rodentにする- 月末に所見を書く … 時間帯ごと・区域ごとの件数と、前の月との違いを見て書く
1番目で、前後の映像を見るのを省かないでください。 1枚の切り出しでは、丸まった布とうずくまったねずみの見分けがつかないことがあります。動いたかどうかが、いちばん確かな手がかりです。
目標は、120台をならして1件8分です。 出没の無いカメラは数十秒、出没の多い原料の倉庫のカメラは20分以上かかります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 夜間の録画が届かない | no_recording を付け、顧客にレコーダーの状態を確かめる |
| カメラの向きが変わった | 区域の多角形が合わなくなる。月1回の画面の確かめで描き直す |
| 録画のファイルが壊れている | 読めた範囲だけ処理し、読めなかった時刻を表に残す |
| 照明の切り替えの時刻が変わった | 画面全体の前景が続くので、カメラの表を直して再実行 |
| レンズに虫が止まって画面を覆う | 前景の画素が多すぎるフレームが続けば印を付けて技術員へ |
| 新しい顧客のカメラ | 学び直しの材料にその工場の映像が無い。最初の1か月は全件を needs_review |
確かめた記録の not_rodent が増えた | 取り違えの場面を集めて、学び直しの材料に足す |
| サーバーが止まった | 翌朝にまとめて処理する。録画は顧客の側に残っている |
多いのは、2行目と6行目です。 カメラの向きは、清掃や設備の移動でずれます。ずれたまま動かすと、壁際の出没が別の区域に数えられます。 月1回、技術員がカメラの画面と区域の多角形を見比べます。
記録を残す
- 出没ごとの行(日時・カメラ・区域・確からしさ・フレームの数・
status・技術員の判断) - 出没ごとの切り出しの画像と、前後の数秒の映像
- 模型の版、学び直しの日、境の値(0.3と0.7、まとめる10秒)
- カメラの表の版(区域の多角形、夜間の範囲、時計のずれ)
- 技術員が直した区域と、
not_rodentにした理由
前後の数秒の映像を残すのは、顧客から問い合わせがあったときのためです。 報告に載せた出没について「本当にねずみか」と聞かれたとき、切り出しの1枚より前後の映像のほうが確かめやすいからです。
模型の版と境の値を残すのは、月ごとの件数を比べるためです。 学び直しのたびに模型の拾い方は変わります。件数が増えたのが出没の増加なのか、模型の変化なのかを、版で分けられるようにします。
04実装レベルの3段階
半自動化で、①の大半が無くなります。 ねずみの写っていない録画を開かなくてよくなります。本格構成で②と③が無くなり、この段階が本記事の想定です。 差が大きいのは、同じ1匹の行き来を何件と数えるかと、場所の言葉を技術員が決めなくてよくなるからです。 段階を飛ばさないでください。 半自動化で2か月動かすと、どのカメラで取り違えが多いかが分かります。その場面を学び直しに足してから出没の表に進むほうが、顧客への報告の件数の信用を保てます。
05工数削減シミュレーション
導入後 120件 × 8分 ÷ 60 = 16 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 食品工場や食品の倉庫と防除の契約を結び、ねずみの出没の調べにカメラを使っていて、レコーダーが残す動体検知の録画を技術員が早送りで見て、時刻と場所を表に書き写している防除の会社。カメラが数十台以上あり、照明の切り替え・虫・人の通行で残る録画が多く、ねずみの写る場面を探すのに時間がかかっている場合。過去に技術員が確かめた出没の場面が数百件以上残っている場合。食品工場の品質管理の部署が自社でカメラを置いて調べている場合にも使える。
- カメラが数台で、録画を見る時間が負担になっていない場合。粘着シートや捕獲器の点検だけで調べていて、カメラを使っていない場合。過去の確認済みの場面が少なく、学び直しの材料が無い場合。顧客がカメラの映像を社外に出すことを認めず、自社の設備でも処理できない場合。なお、ねずみの種類の同定、侵入の経路の特定、駆除の方法と薬剤の選定、食品の安全と衛生の判断は、この構成では代替できません。
07最小構成で試す方法
- 顧客1社のカメラ5台を選び、過去1か月分の夜間の録画と、そのとき技術員が書いた出没の表を用意する
- 技術員が過去に確かめた出没の場面から、ねずみの枠を200件ほど描き直す
- Python で背景差分だけを動かし、検出に回すフレームがどれだけ減るかを数える
- 第7章の中身で模型を学び直し、同じ1か月を当てさせる
- 技術員の出没の表と、模型の出没の表を、日時と区域で突き合わせる
3番目だけでも、効き方が分かります。 背景差分で動きのあるフレームを選ぶだけで、照明の切り替えと虫の多いカメラでは、見る量が大きく減ることがあります。
| 出てきた内容 | 判断 |
|---|---|
| 技術員の表の出没を模型がほぼ拾い、技術員の見落としも見つかった | カメラを増やす |
| 拾うが、人の足元や段ボールの取り違えが多い | 取り違えの場面を学び直しに足す。構成は有効 |
| 画面の奥の出没を拾えない | min_size と、カメラの画角と置き場所を見直す |
2行目はよく出ます。 学び直しの材料がねずみの場面だけだと、動く物は全部ねずみに見えます。 人・台車・その他の動く物の枠も描き足してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 画面の奥のねずみを拾えない | 既定の min_size=800・max_size=1333 で縮む。映像の大きさに合わせる |
| 低い確からしさの枠が積み上がる | 既定の box_score_thresh=0.05 を上げ、0.3から0.7を人へ |
| 学び直しが途中で止まる | 幅か高さが0の枠を取り除く |
| 区分0に、ねずみを入れてしまう | 区分0は背景。ねずみは1から数える |
| 照明の切り替えで全フレームが選ばれる | 切り替えの前後を外し、背景を学び直させる |
| 壁に映った影を2匹目と数える | 前景の画像の127(影)を数えない |
| 同じ1匹を何十件にも数える | 10秒以内の検出を1回の出没にまとめる |
| 区域が枠の中心で決まり、壁の側に入る | 枠の下辺の中央で当てはめる |
| カメラの向きがずれて区域が合わない | 月1回、画面と多角形を見比べる |
| 人の足元をねずみと取り違える | 人の区分を学ばせ、同じフレームの人の枠で印 |
| 回数を個体の数と読まれる | 報告に「出没の回数」と書く |
上の3行は、どれも torchvision の既定の値から起きます。 縮める大きさ、返す枠の下限、枠の形の確かめは、どれも既定のままでは小さく素早い動物の録画に合いません。 学び直しの前に、既定の値を1つずつ確かめてください。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 顧客の工場の中の映像(設備の配置、原料と製品、夜勤の従業員の姿)、出没の記録です。出没の記録は、顧客にとって外に知られたくない衛生の情報です。
- 映像を外部のサービスに出さない … 処理は自社のサーバーで行います。クラウドの画像の認識に送る場合は、顧客の書面の同意を先に取ります
- 人の映った画像を残さない … 人の区分で検出したフレームは、出没の切り出しに使いません。
person_overlapの確かめが終わったら、その前後の映像は保存の期間を短くします - 従業員への知らせは顧客と決める … 夜間のカメラに従業員が映ることがあるので、カメラの置き場所と目的を従業員にどう知らせるかを、顧客と取り決めます
- 出没の記録を顧客の外に出さない … 報告と知らせの宛先は、契約で決めた顧客の担当に限ります
- 衛生の判断に使わない … この表は出没の記録です。別表第十七の基準をどう満たすか、製品に影響があるかは、顧客の品質管理と保健所が判断します
- 知らせを自動で送らない … 技術員が映像を確かめてから送ります
誤りが起きた場合のリスクは、出没を見落として顧客の手当てが遅れることと、ねずみでない物を出没として報告し顧客に余計な点検をさせることの2つです。 前者は境の値を低めに置いて needs_review で人が見る設計で、後者は前後の映像を見てから確定する手順で守ります。
10まず何から始めるか
1週目:カメラの表を作る
顧客1社のカメラ5台について、置き場所、夜間の範囲、照明の切り替えの時刻、区域の多角形を表にします。区域の名前は、報告に書く言葉と1対1で決めます。
2週目:枠を描く
過去の報告で切り出した画像から、ねずみの枠を200件、人・台車・その他の動く物の枠を合わせて200件描きます。赤外線の白黒の場面を多めに選びます。
3週目:5台で試す
第8章の手順を行います。技術員の出没の表と、模型の出没の表を、日時と区域で突き合わせます。
4週目:境の値を決める
確からしさの0.3と0.7、まとめる10秒を、突き合わせの結果で決めます。技術員が見落としていた出没が出たら、その場面を報告の様式の見本に加えます。
2か月目: 顧客1社の全カメラで毎朝処理し、候補のフレームの一覧を技術員が使います。3か月目以降: 出没へのまとめ、区域、status、報告の表を足し、ほかの顧客に広げて、1件40分が何分になったかを実測します。確かめた記録の not_rodent の割合が下がり、技術員が録画を開かずに月次の報告を出せるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
COCO で学習済みの fasterrcnn_resnet50_fpn(weights="DEFAULT") から学び直し、FastRCNNPredictor(in_features, num_classes) で枠の予測の頭を差し替えること。区分の数は背景を含めて数え、区分0が背景として扱われること。学び直しの枠が [x0, y0, x1, y1] であること。評価のときに boxes・labels・scores を返すこと | PyTorch: TorchVision Object Detection Finetuning Tutorial | 2026-11-17 |
入力が形 [C, H, W] のテンソルの並びで値が0から1、画像ごとに大きさが違ってよいこと。num_classes が背景を含む区分の数であること。trainable_backbone_layers の既定が3であること | torchvision: fasterrcnn_resnet50_fpn | 2026-11-17 |
FasterRCNN の既定が min_size=800・max_size=1333・box_score_thresh=0.05・box_detections_per_img=100 であること | torchvision のソース: faster_rcnn.py | 2026-11-17 |
| 学び直しのときに枠の幅と高さが正であることを確かめ、そうでない枠があると「All bounding boxes should have positive height and width.」で止まること | torchvision のソース: generalized_rcnn.py | 2026-11-17 |
createBackgroundSubtractorMOG2 の既定が history=500・varThreshold=16・detectShadows=true であること。影が前景の画像で既定の値127として印が付くこと | OpenCV のソース: background_segm.hpp | 2026-11-17 |
| 食品衛生法施行規則の別表第十七第五号が、ねずみ及び昆虫の駆除作業を1年に2回以上実施し記録を1年間保存すること、ただし発生場所・生息場所・侵入経路・被害の状況を定期に統一的に調査し結果に基づき必要な措置を講ずる等の方法であれば施設の状況に応じた方法と頻度で実施できることを定めていること(2026-04-01 施行の版) | e-Gov 法令API: 食品衛生法施行規則 | 2026-11-17 |
ねずみの種類の同定、侵入の経路、駆除の方法、衛生の基準をどう満たすかは、防除の専門の技術員と顧客の品質管理、保健所で判断してください。 本記事は公式のページで確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3565)についてのご相談はこちらから。
