研究開発部が分析装置から出る測定データを Python で毎日集め、条件ごとの外れ値と装置の不調の兆しを判定して、測り直しと点検の候補を担当者に返す

処理の起点を決める

1時間ごとの定時実行で、装置のフォルダに新しく書き出されたCSVを集めます。 測定のたびに動かすことも考えましたが、装置ごとに書き出しのタイミングが違い、書き出しの途中のファイルを読む事故が起きやすくなります。 1時間ごとに、更新から5分以上たったファイルだけを読みます。

管理試料の判定は、毎朝の管理試料の測定が書き出された後の回で行います。 装置の担当が朝の点検の結果を見る前に、EWMA の判定が出ているようにします。

IsolationForest の学習し直しは月に1回です。 装置の点検や部品の交換の後は、記録のいつもの状態が変わるので、点検の記録がある装置は、点検後のデータがたまってから学習し直します。

入力データを集める

質を決めるのは、3番目の試料系と条件の番号です。 外れ値の判定は「同じ条件の過去の測定」と比べるので、条件の番号が無いと、比べる相手が決まりません。 予約の画面に1項目足し、研究者に選んでもらいます。番号の一覧は分析室が管理します。

装置の記録の項目は、装置によって違います。 液体クロマトグラフは圧力とベースライン、粒度分布計はレーザーの強度と背景の散乱、というように、装置ごとに使う項目を決めて設定ファイルに書きます。

データの取得方法を決める

装置ごとのフォルダを1時間ごとに見て、前回の実行の後に更新され、更新から5分以上たったCSVを読みます。読んだファイルの名前と更新日時を記録し、二度読まないようにします。

CSVの形式は、装置のメーカーと制御ソフトの版で違います。 列の名前、日付の書き方、小数点の記号、文字コードが装置ごとに違うので、装置ごとに読み方を設定ファイルに書き、読み込んだ後は共通の形の台帳にそろえます。 制御ソフトの版が上がったら、設定を確かめ直します。

予約の記録と測定の結び付けは、装置と時刻で行います。 予約の時間帯に、その装置で書き出された測定を、その予約の試料系・条件に結び付けます。時間帯から外れた測定は、結び付けずに研究者に問い合わせます。

AIへ渡す前に整形する

1. 共通の形にそろえる … 装置ごとの列の名前・日付・単位を、台帳の形にそろえます
2. データの問題を規則で確かめる … 欠測、装置の測定範囲の外の値、単位の取り違え（mg と μg など）、同じ試料番号の重複を確かめます
3. 管理試料と実試料を分ける … 試料の番号の決まりで管理試料を見分け、別の台帳に入れます
4. 比べる相手を決める … 同じ装置・同じ試料系・同じ条件の、過去180日の測定を比べる相手にします
5. 点検の前後を分ける … 装置の点検・部品交換の前の測定は、装置の記録の学習から外します
6. 相手の数を確かめる … 比べる相手が10件に満たない条件は、外れ値の判定をせず「判定の材料不足」とします

2番目を、判定より前に置きます。 単位の取り違えで千倍になった値は、外れ値の判定に回すまでもなく誤りです。データの問題を先に分けないと、外れ値の一覧が入力の誤りで埋まります。

6番目は、新しい試料系を始めたばかりの研究者に関わります。 過去の測定が少ない条件で無理に判定すると、数件の値のばらつきだけで外れ値と出て、研究者が無駄に測り直します。

AIに処理させる

させるのは、測定ごとに3種類の判定を出し、根拠の数値を添えることだけです。

ロバストZは、(測定値 − 中央値) ÷ MAD で計算します。 中央値と MAD は、比べる相手（同じ条件の過去180日の測定）から計算します。3.5は仮の値で、過去のデータで印の数が研究者の見られる数に収まるように決めます。

EWMA の管理限界は、NIST の手引きの式に従います。 目標の値（過去の管理試料の平均）に、k × s_ewma を足し引きします。s_ewma の2乗は λ/(2−λ) × s² で近似され、k は通常3とされています。s は、装置が正常だった期間の管理試料の標準偏差です。

IsolationForest の判定は、decision_function の負の値で見ます。 公式ページでは、値が低いほど異常で、負の値は外れ値、正の値は正常を表すとされています。1回だけの負の値は、試料による一時的な揺れのことがあるので、同じ装置で2回以上続いたときに印を付けます。

λ を0.2にするのは、管理試料を毎朝1回しか測らないためです。 λ を小さくするほど過去の値の重みが増え、ゆっくりしたずれに敏感になりますが、急な変化への反応は遅くなります。 急な変化は装置の記録の判定と、従来どおりの管理試料の範囲の確認で拾い、EWMA にはゆっくりしたずれを任せる、という分担にします。

3つの判定を重ねて読むと、返す先の判断が確かになります。 ある測定が外れ値と判定され、同じ時間帯にその装置の記録も異常と判定されていれば、原因は試料より装置の側にある可能性が高いと見て、研究者への返し方を変えます。

指示内容を固定する

生成AIは使わないので、プロンプトではなくPython の判定の要点を示します。

import numpy as np
import pandas as pd
from scipy.stats import median_abs_deviation
from sklearn.ensemble import IsolationForest

def robust_z(value, ref):
    med = np.median(ref)
    mad = median_abs_deviation(ref, scale="normal", nan_policy="omit")
    return np.nan if (len(ref) < 10 or mad == 0) else (value - med) / mad

def ewma_flags(x, target, s, lam=0.2, k=3.0):
    z, out = target, []
    lim = k * s * np.sqrt(lam / (2 - lam))
    for v in x:
        z = lam * v + (1 - lam) * z
        out.append((z, abs(z - target) > lim))
    return out

log = pd.read_parquet("device_log_lc02.parquet")
cols = ["pressure_mean", "pressure_sd", "temp_dev", "baseline_noise"]
train = log[log["after_last_service"] & ~log["flagged"]]
iso = IsolationForest(n_estimators=200, contamination="auto",
                      random_state=0).fit(train[cols])
log["iso_score"] = iso.decision_function(log[cols])

決まりは3つです。 1つ目は、比べる相手が10件未満、または MAD が0のときは判定しないことです。値が全部同じ条件で MAD が0になると、わずかな違いで無限大の離れになります。2つ目は、IsolationForest の学習には、最後の点検の後で、印の付いていない期間のデータだけを使うことです。不調の期間を学習に混ぜると、不調の状態を「いつもの状態」として覚えます。3つ目は、λ・k・3.5 などの値を、装置ごとの設定ファイルに置くことです。

EWMA の目標と s は、装置が正常だった期間から決めます。 点検で部品を替えると管理試料の値の水準が変わることがあるので、点検の後は、装置の担当が目標を決め直します。

出力形式を固定する

判定は、測定1件ごとに次の形で台帳に残します。

{
  "measurement_id": "LC02-20261026-0931-07",
  "instrument": "LC02",
  "sample_system": "SYS-114",
  "condition": "C-07",
  "data_issue": null,
  "outlier": { "flag": true, "robust_z": 4.2, "median": 12.81, "mad": 0.31, "n_ref": 46 },
  "device": { "iso_flag": true, "iso_score": -0.08, "ewma_flag": false },
  "route": "researcher_wait_service",
  "message": "同条件の過去46件の中央値12.81に対し14.11。装置LC02の記録にも異常の兆しあり。点検の結果を待ってから測り直しを検討してください"
}

route で返す先と返し方を決めます。 researcher_remeasure（測り直しの候補）、researcher_wait_service（点検待ち）、service_only（装置の担当だけ）、data_issue（データの問題）の4つです。

JSONで残す理由は、判定の根拠を数値のまま残すためです。 「外れ値」という印だけでは、研究者は自分の値がどれくらい外れているのか分かりません。中央値、MAD、比べた件数を一緒に返すと、研究者は自分で妥当さを判断できます。 n_ref が少ないときは、判定の重みが軽いことも伝わります。

研究者への知らせは、1日1回まとめて送ります。 1時間ごとの判定のたびに送ると、知らせが多すぎて読まれなくなります。 点検待ちのように急ぐものだけ、その回で送ります。

研究者に届く1日分の知らせは、次のような形です。

【本日の測定の判定（10/26）】
■ 測り直しの候補 1件
  LC02 SYS-114 C-07 試料07：14.11（同条件46件の中央値12.81、ロバストZ 4.2）
  → 装置LC02に異常の兆しあり。点検の結果を待ってから判断してください
■ データの問題 1件
  PSD01 試料03：単位が μm でなく nm の列で書き出されています
■ 判定の材料不足 2件（条件C-21は過去の測定が6件）
■ 問題なし 9件

問題の無い測定も件数で示します。 何も届かない日は、判定が動いていないのか問題が無いのかが分かりません。「問題なし9件」と書くことで、判定が全部の測定に届いたことを研究者が確かめられます。

システムへ連携する

電子実験ノートとは、つなぎません。 研究者は判定を見たうえで、自分のノートに測り直しの理由を書きます。判定を自動でノートに書き込むと、研究者が判断した記録と、機械が付けた印の区別が付かなくなります。

人が確認する

1. 研究者が測り直しの候補を見る … 中央値・MAD・比べた件数を見て、試料と手順を確かめます
2. 研究者が扱いを決めて理由を書く … 測り直す、そのまま使う、条件の番号が違っていた、のどれかを選び、理由を一言書きます
3. 装置の担当が点検の候補を見る … EWMA の推移と装置の記録の図を見て、点検するかを決めます
4. 点検したら結果を書く … 不調があったか、何を直したかを点検の記録に書きます
5. 不調があったら影響の一覧を確かめる … 自動で作られた一覧を研究者ごとに送り、研究者が自分の測定を見直します

2番目で「そのまま使う」を選べることが大事です。 外れた値が新しい現象の手がかりのこともあります。判定は研究者の判断を縛らず、判断の理由を残すことだけを求めます。

判断の記録は、判定の基準を見直す材料になります。 「そのまま使う」が多い条件は基準が厳しすぎ、点検で不調が見つからなかった印が多い装置は、IsolationForest の項目を見直します。

例外に対処する

上の3行が、運用の最初の数か月に多く出ます。 どれも判定の方法ではなく、データの入り口の問題です。 予約の画面と書き出しの設定を整えると、自然に減っていきます。

記録を残す

• 読んだCSVのファイル名・更新日時と、台帳にまとめた測定
• 測定ごとの判定（outlier・device・route）と根拠の数値
• 研究者と装置の担当の判断と理由
• 装置ごとの設定（λ・k・基準・IsolationForest の項目）と、その変更の履歴
• IsolationForest のモデルの版と、学習に使った期間
• 不調と判定した期間と、影響の一覧を送った記録

判断の記録には、判断した人と日時を必ず付けます。 「そのまま使う」と決めた値が後から問題になったとき、誰がどの根拠を見て決めたかをたどれるようにするためです。

元のCSVは消さず、そのまま残します。 台帳は元のファイルから作り直せる派生物として扱い、判定の誤りが見つかったときに、元のデータからやり直せるようにします。