研究開発の試験で撮る顕微鏡の画像から粒子・気泡・欠陥を数えて大きさの分布を出し、試料ごとの測定記録と見直す画像を出す

処理の起点を決める

フォルダへの画像の保存を起点にします。 共有フォルダを数分おきに確かめ、新しい画像があれば処理します。試料の撮影が終わるのを待たず、1枚ずつ処理します。 撮影している間に最初の画像の質の印が返ってくれば、顕微鏡の前にいるうちに撮り直せます。

試料ごとのまとめは、そのフォルダに「撮影終了」の印のファイルが置かれた時点で行います。 枚数で判断すると、10枚の予定で12枚撮った試料が途中で締められます。印は担当が置き、置き忘れは翌朝に一覧で知らせます。

入力データを集める

質を決めるのは、2行目の校正値です。 倍率を変えたのに校正値の表が古いままだと、すべての大きさが同じ割合でずれ、誰も気づきません。 校正値には校正した日を付け、一定の期間を過ぎたら知らせます。

3行目のレシピは、試料の種類ごとに分けます。 塗料の顔料の粒子と、フィルムの気泡では、背景と対象の明るさの関係が逆のことがあります。1つの設定で全部を処理しようとすると、どちらかが必ず崩れます。

データの取得方法を決める

画像は、フォルダ名が「試料番号＿倍率」の形になっている前提で読み込みます。フォルダ名から試料番号と倍率を取り出せないものは、処理せずに知らせます。 倍率の分からない画像を処理すると、実寸が出せないからです。

レシピは版を付けて管理し、測定記録にはその版を書きます。 しきい値の方法や最小の大きさを変えると、同じ画像でも数が変わります。版が記録に無いと、去年の試料と今年の試料の数を比べてよいかが分かりません。

AIへ渡す前に整形する

1. 画像の質の測定 … ピントの指標（明るさの細かい変化の量）、明るさのむら（画像の四隅と中央の差）、白飛びの割合を測り、基準に届かない画像に印を付けます
2. むらの補正 … 照明のむらが基準内でも残る場合は、背景を大きくぼかした画像で割って平らにします
3. しきい値 … 背景が平らな試料は threshold_otsu、むらが残る試料は threshold_local を使います。どちらを使うかはレシピで決めます
4. 小さすぎる対象の除外 … レシピで決めた最小の大きさ（µm）より小さい対象はノイズとして除き、その大きさを測定記録に「検出の下限」として書きます
5. くっついた対象の分離 … 背景からの距離を計算し、その頂点を目印にして watershed で分けます
6. 端にかかった対象 … clear_border で、画像の端に接する対象を数から外します。外した数を記録します

3番目の使い分けには根拠があります。 ドキュメントでは、threshold_otsu は画像全体から1つのしきい値を返し、それより明るい画素を前景とみなします。threshold_local は、画素ごとに近くの範囲の重み付きの平均から定数を引いた値をしきい値にします。照明のむらがある画像に全体で1つのしきい値を当てると、画像の片側で粒子が消えます。

6番目は、分布に偏りを生みます。 大きな対象ほど画像の端にかかりやすいため、端の対象を外すと大きな対象が少なめに数えられます。 外した数を記録しておけば、偏りの大きさを後から確かめられます。視野を広く撮れる試料なら、倍率を下げて端にかかる割合を減らすほうが確実です。

AIに処理させる

この構成の「AI」は2つの部品に分かれます。 対象を切り出して測るのが scikit-image の処理、切り出した対象を種類に分けるのが分類モデルです。どちらも、試料の良し悪しは決めません。

分類に使う特徴量は、regionprops_table で測る値です。 面積（area）、円相当径（equivalent_diameter_area、同じ面積の円の直径）、凸包に対する画素の割合（solidity）、楕円の離心率（eccentricity、0なら円）、最大のフェレ径（feret_diameter_max）、明るさの平均と標準偏差です。気泡は丸く（離心率が小さく）、中が明るく縁が暗いことが多く、欠陥は細長いか形がいびつです。 こうした違いを、担当の手作業の分類から学ばせます。

確率がいちばん高い区分でも0.7に届かない対象は、「自信が無い」として人に回します。 0.7はレシピで決める値で、運用を始めてから見直します。画像のなかで「自信が無い」対象が多い画像は、見直す画像の一覧に載せます。

大きさの分布は、円相当径の累積で出します。 小さいほうから数えて10％・50％・90％の位置の径を D10・D50・D90 とし、試料ごとに記録します。ただし、これは画像の上の個数の分布です。 体積や重さの分布とは違うため、別の測定法の結果と比べるときはその違いを記録に書きます。

指示内容を固定する

この構成では、生成AIへのプロンプトの代わりに、処理の設定（レシピ）が指示にあたります。 試料の種類ごとに次のような設定を版付きで持ちます。

{
  "recipe_id": "film-bubble",
  "version": "1.3",
  "sample_type": "機能性フィルムの気泡と欠陥",
  "threshold": { "method": "local", "block_size": 51, "offset": 0.02 },
  "polarity": "dark_objects_on_bright",
  "min_size_um": 2.0,
  "watershed": { "min_distance_um": 3.0 },
  "exclude_border": true,
  "quality": { "focus_min": 120.0, "uneven_max": 0.15, "saturated_max": 0.01 },
  "classifier": { "model_version": "2026-10-01", "min_proba": 0.7 }
}

処理の中心は次のとおりです。 spacing に校正値を渡して、測定値を µm で受け取ります。

from skimage import filters, measure, segmentation
import pandas as pd

um = calib[magnification]                       # 倍率ごとの1画素の大きさ（µm）
if recipe["threshold"]["method"] == "local":
    th = filters.threshold_local(img, block_size=recipe["threshold"]["block_size"],
                                 offset=recipe["threshold"]["offset"])
else:
    th = filters.threshold_otsu(img)
mask = img < th if recipe["polarity"] == "dark_objects_on_bright" else img > th
labels = segmentation.watershed(-distance, markers, mask=mask)   # 背景からの距離の頂点を目印に
labels = segmentation.clear_border(labels)
props = measure.regionprops_table(
    labels, intensity_image=img, spacing=(um, um),
    properties=("label", "area", "equivalent_diameter_area", "eccentricity",
                "solidity", "feret_diameter_max", "intensity_mean", "intensity_std"))
df = pd.DataFrame(props)
df = df[df["equivalent_diameter_area"] >= recipe["min_size_um"]]
proba = clf.predict_proba(df[FEATURES])           # 粒子／気泡／欠陥／ごみ

polarity を設定に持つのは、対象が背景より暗いか明るいかが試料で逆になるからです。 透過の照明で撮るフィルムの気泡は暗く、反射で撮る塗膜の粒子は明るいことがあります。これを処理の中で自動判定させると、背景のほうを対象として数える画像が出ます。

min_size_um を画素ではなく µm で持つのは、倍率を変えても同じ基準にするためです。 画素で持つと、倍率を上げた画像では同じ大きさの対象が多くの画素になり、検出の下限が倍率ごとに変わります。

出力形式を固定する

次の形のJSONを、画像ごとと試料ごとに作ります。

{
  "sample_id": "F-2026-1006-12",
  "image": "F-2026-1006-12_x200_07.tif",
  "magnification": "x200",
  "um_per_px": 0.55,
  "recipe": "[email protected]",
  "quality": { "focus": 142.3, "uneven": 0.08, "saturated": 0.002, "pass": true },
  "counts": { "particle": 0, "bubble": 18, "defect": 3, "debris": 5, "uncertain": 2 },
  "border_excluded": 4,
  "detection_limit_um": 2.0,
  "review": { "needed": false, "reasons": [] },
  "overlay": "overlay/F-2026-1006-12_x200_07.png"
}

{
  "sample_id": "F-2026-1006-12",
  "images_total": 10,
  "images_used": 9,
  "images_excluded": [{ "image": "..._03.tif", "reason": "focus" }],
  "area_mm2": 2.43,
  "bubble_per_mm2": 7.8,
  "defect_per_mm2": 1.2,
  "bubble_diameter_um": { "D10": 3.1, "D50": 6.4, "D90": 14.8 },
  "recipe": "[email protected]",
  "model_version": "2026-10-01",
  "checked_by": "",
  "checked_at": ""
}

1つ目の理由は、数と根拠を同じ記録に置けることです。 recipe、um_per_px、detection_limit_um が数と同じ行にあるので、後から「この数はどの基準で数えたか」を答えられます。

2つ目は、除外した画像を記録に残すことです。 試料の平均は images_used の画像だけで出し、外した画像と理由は images_excluded に残します。10枚撮って9枚で出した平均を、10枚の平均と区別できます。

3つ目は、overlay です。 切り出した輪郭と区分を色で重ねた画像を保存し、人が確かめるときは元の画像ではなくこれを開きます。

システムへ連携する

測定記録の表へは、担当が確かめた後にだけ書き出します。 確かめる前の数が研究者に届くと、撮り直す前のぼけた画像の数で試作の判断が始まります。

人が確認する

人が開くのは、見直す画像の一覧に載った画像だけです。

1. 画像の質の印を見る … ピントやむらの印が付いた画像は、撮り直すか除外するかを決めます。撮影中なら、その場で撮り直します
2. 「自信が無い」対象の多い画像を見る … 重ね描きで、どの対象が迷われたかを見て、正しい区分に直します
3. 数が試料の他の画像から大きく外れた画像を見る … 視野に異物が入っていないか、対象が重なりすぎていないかを確かめます
4. 試料ごとの集計を確かめる … 除外した画像の数と理由を見て、測定記録として返してよいかを決めます

一覧に載らなかった画像からも、毎週ランダムに数枚を開きます。 印が付かないまま数がずれていく変化（レンズの汚れ、照明の劣化）は、一覧だけを見ていると気づけません。

目標は、1,200枚をならして1枚1分です。 一覧に載らない画像は重ね描きを流し見るだけで、一覧に載った画像に時間を使います。

例外に対処する

5行目の学習に無い形は、新しい種類の欠陥の可能性があります。 既存の区分に無理に入れると、試作の条件を変えたことで出た新しい欠陥が、ごみとして消えます。 担当が新しい区分を足すかどうかを決めます。

記録を残す

• 元の画像と、切り出しの重ね描きの画像
• 対象ごとの測定値（regionprops_table の表）と、分類の区分と確率
• 画像ごと・試料ごとの集計、レシピの版、校正値、分類モデルの版
• 画像の質の測定値と、除外した画像とその理由
• 人が直した分類の記録 … どの対象を、どの区分からどの区分へ直したか
• 担当が確かめた日時と担当者

3つ目の版の記録が、この構成でいちばん大事です。 数が試料の違いで変わったのか、数え方の違いで変わったのかを、後から切り分けられるのはこの記録だけです。