組立ラインの作業を撮った動画から手の動きで要素作業を区切って時間を測り、標準時間とのずれとムダの候補を生産技術に出す

処理の起点を決める

毎晩21時に、受付フォルダの未処理の動画を処理します。 30分の動画を1コマずつ両手と体の位置を取ると、パソコンの性能によっては動画の長さ以上の時間がかかります。撮影した日の夜に回せば、翌朝には結果がそろっています。

撮影の直後にその場で回すことはしません。撮影中の工程の横で処理を待つ必要は無く、夜間なら生産技術課のパソコンを占有できます。 処理が終わった動画は処理済みフォルダへ移し、移すのは結果の表を書き終えたときだけにします。受付フォルダに残っている本数が、そのまま未処理の本数です。

1晩に処理する本数は、朝までに終わる本数に限ります。 受付フォルダに多く置かれた日は、撮影の日付が古いものから処理し、残りは翌晩に回します。

動画のファイル名には、工程の番号と撮影の日付を入れる決まりにします。 工程の番号から、その工程の領域と区切りの決まりの表を引きます。表の無い工程の動画は処理せず、担当者に「領域の設定が必要」と知らせます。

入力データを集める

質を決めるのは、3行目の区切りの決まりの表です。 たとえば次のように書きます。

表は、作業標準書の要素作業の分け方にそろえます。 標準時間と同じ単位で区切らないと、比べることができません。

作業者の氏名は入力に含めません。 撮影の条件に残すのは経験の区分だけで、誰の作業かではなく、どの工程のどの作業かを測ります。

データの取得方法を決める

動画は、Python から OpenCV で開き、1コマずつ読み出します。 読み出したコマを MediaPipe の画像に変換し、Hand Landmarker と Pose Landmarker に、そのコマの時刻（ミリ秒）とともに渡します。

手の位置の代表点は、人差し指の先と手首の2点にします。 部品箱に手を入れるとき、先に入るのは指先です。指先だけで決めると、箱の縁をかすめただけで「入った」になるので、指先と手首の両方が領域に入ったときを「入った」とします。

右手と左手が交差する作業では、判別が入れ替わることがあります。 部品を持ち替える瞬間に両手が重なると、右手と左手の判別が数コマだけ逆になります。前後のコマで手首の位置が大きく飛んだときは、入れ替わったとみなして直します。 直したコマの数は結果の表に残します。

毎秒30コマの動画なら、1コマは約33ミリ秒です。 標準時間が秒単位なので、時間を測る精度としては十分です。処理を軽くするために、毎秒15コマに間引いてから渡すこともできますが、間引いたことを結果の表に記録します。

AIへ渡す前に整形する

1. カメラの位置の確かめ … 最初のコマを領域の表と重ねて表示し、作業台がずれていないかを確かめます。ずれていたら領域を描き直します
2. コマの速さの確かめ … 動画の毎秒のコマ数を読み、時刻の計算に使います。可変のコマの速さで録られた動画は、一定の速さに変換してから処理します
3. 手の見えないコマの扱い … 手が部品や体に隠れて検出されないコマは、前後のコマの位置で埋めず「見えない」とします。0.5秒を超えて見えない区間は、区切りを付けずに確認の対象にします
4. 位置のぶれを抑える … 指先の座標はコマごとに細かく揺れます。前後数コマの中央値で整え、領域の縁で入った・出たが細かく繰り返すのを防ぎます
5. 最小の滞在時間 … 領域に入ってから出るまでが0.1秒未満のものは、通り過ぎたとして出来事にしません
6. サイクルの区切り … 「検査して置く」の終わりを1サイクルの終わりとし、次のコマから次のサイクルとします

3番目を軽く見ないでください。 隠れたコマを前後の位置で埋めると、手が見えていない間に起きたことを、見えていたかのように区切ってしまいます。 見えない区間があるサイクルは、時間を測ったうえで「区切りに自信が無い」の印を付け、担当者が動画で確かめます。

4番目のしきい値（中央値を取るコマ数、0.1秒）は、工程ごとに変えません。 工程によって変えると、工程どうしの時間が比べられなくなります。変えるときは全工程で一度に変え、版を残します。

AIに処理させる

この構成の「AI」は2段に分かれます。 手と体の位置を取るのは MediaPipe で、要素作業の区切りと時間の計算は Python の決まりで行います。生成AIは区切りも時間も決めません。 生成AIにさせるのは、出そろった表から担当者向けの所見の下書きを作ることだけです。

ムダの候補は、Python の決まりで次のように印を付けます。

1行目がいちばん起きやすい失敗です。 表を渡して「要約して」と頼むと、生成AIは平均を計算し直して書き、表と違う数字の入った所見ができます。 所見に書く数字は、表にある値をそのまま写させます。

指示内容を固定する

あなたは工場の生産技術課で、作業の時間測定の結果を整理する立場です。
渡された表だけを使って、担当者向けの所見の下書きを作ってください。

【作るもの】
1. 標準時間とのずれが大きい要素作業を、ずれの大きい順に3つまで
   （各要素作業の平均、標準時間、ずれの割合は表の値をそのまま写す）
2. ムダの候補ごとに、件数と、担当者が動画で確かめる時刻の一覧（最大5か所）
3. 区切りに自信が無いサイクルの番号と、その理由（手が見えない区間など）

【厳守事項】
- 数字は表にある値だけを使い、計算し直したり丸め方を変えたりしないでください。
- 原因を断定しないでください。「〜の可能性がある」とも書かず、
  「動画で確かめる箇所」として時刻を示すにとどめてください。
- 作業者の良し悪し、熟練度、態度について書かないでください。
- 標準時間をいくつに変えるべきかを書かないでください。
- 表に無い要素作業やムダの候補を足さないでください。
- 区切りに自信が無いサイクルの時間を、ずれの根拠に使わないでください。
- 情報が足りないときは missing_info に項目名を入れ、推測で補わないでください。

【工程】{process_id}（{process_name}）
【要素作業ごとの時間と標準時間】{element_table}
【ムダの候補の一覧】{waste_candidates}
【区切りに自信が無いサイクル】{low_confidence_cycles}

「原因を断定しない」に加えて「可能性がある」も禁じるのは、言い回しを変えた断定になるからです。 「部品箱の配置が原因の可能性があります」と書かれた所見を読むと、担当者は動画を見る前に配置を疑います。 所見は、どこを見ればよいかを示すところで止めます。

「区切りに自信が無いサイクルを根拠に使わない」も明記します。 手が見えずに区切りがずれたサイクルは、時間が極端に長く出ることがあり、そのまま平均に入るとずれが大きく見えます。

出力形式を固定する

次の形のJSONで受け取ります。 Claude API の構造化出力（output_config.format に type: "json_schema" を指定）で、この形に固定します。

{
  "video_id": "P047_20261006",
  "process_id": "P047",
  "cycles": 38,
  "elements": [
    { "name": "部品Aを取る", "mean_sec": 0.0, "std_sec": 0.0,
      "standard_sec": 0.0, "deviation_pct": 0.0 }
  ],
  "waste_candidates": [
    { "type": "search | one_hand_wait | regrip | leave_station",
      "count": 0, "check_times": ["00:12:41"] }
  ],
  "low_confidence_cycles": [ { "cycle": 17, "reason": "hand_not_visible" } ],
  "summary_draft": "",
  "missing_info": []
}

cycles elements waste_candidates low_confidence_cycles は Python が埋め、summary_draft と missing_info だけを生成AIが埋めます。

1つ目の理由は、数字と文章を別の層に置けることです。 数字の欄は Python が書くので、生成AIが数字を書き換える経路がありません。 受け取った後に、summary_draft の中の数字が elements の値と一致するかを Python で照らし、一致しない数字があれば下書きを出しません。

2つ目は、確かめる時刻がそのまま動画の再生位置になることです。 check_times を再生ソフトに入れれば、候補の数秒だけを見られます。

構造化出力では、数値の範囲（minimum／maximum）や文字数の制約が使えず、additionalProperties は false にする必要があるとされています。summary_draft の長さの確認は、受け取った後に Python で行います。

システムへ連携する

Claude API に渡すのは、時間と候補の表だけで、動画も画像も渡しません。 手と体の位置を取る処理は手元のパソコンで完結し、作業者の映った動画が社外に出る経路はありません。

標準時間の表は読み取りだけです。 測った時間がずれていても、表を書き換えるのは会議の後に担当者が行います。

人が確認する

担当者が動画を見るのは、次の2種類の箇所だけです。

1. 区切りに自信が無いサイクル … 手が見えない区間があったサイクルを動画で見て、境目を手で直します。直した区切りは結果の表に「手で修正」と残します
2. ムダの候補の箇所 … check_times の前後数秒を見て、候補を採るか捨てるかを決めます。捨てた理由（部品の補充をしていた、など）を一言書きます
3. 所見の下書きを直す … ずれの大きい要素作業について、現場で確かめることを書き足します
4. 会議にかける工程を選ぶ … 標準時間の見直しか、作業のやり方の見直しかを決めるのは課内の会議です

1番目を省かないでください。 区切りに自信の無いサイクルをそのまま平均に入れると、ずれの大きい要素作業が、測り方の誤りから生まれます。 その結果で標準時間を見直すと、現場に合わない標準時間ができます。

目標は、1本をならして36分です。 区切りに自信の無いサイクルが少ない工程は候補を見るだけで済み、手が隠れやすい工程は区切りの直しに時間がかかります。36分を大きく超える工程は、カメラの位置か領域の描き方を見直します。

例外に対処する

上から2行目と3行目が、最初の数か月で最も多く出ます。 どちらも画像認識の問題ではなく、カメラの置き方の問題です。 固定の金具でカメラを留め、手が部品で隠れにくい真上から撮ると、確認の対象がぐっと減ります。

記録を残す

• 元の動画と、撮影の条件（工程、日付、品番、作業者の経験の区分）
• そのとき使った領域の表と区切りの決まりの表の版
• コマごとの両手と体の目印の座標と信頼度（動画より小さく、区切りのやり直しに使える）
• 要素作業の区切り、サイクルごとの時間、ムダの候補の印
• 担当者が手で直した区切りと、候補を捨てた理由
• 生成AIに渡した表と、返ってきた所見の下書き

3つ目の座標を残すのは、決まりを直したときに動画を処理し直さずに済むからです。 区切りの決まりを変えても、座標から区切りをやり直せば数秒で終わります。

5つ目の手の直しは、決まりを直す材料になります。 同じ工程で同じ境目が毎回直されていれば、その区切りの決まりが現場の動きと合っていません。

2つ目の表の版は、前回と今回を比べるときに要ります。 区切りの決まりを途中で変えた工程では、変える前と後の時間をそのまま比べられません。 比べるときは、残した座標から新しい決まりで前回分も区切り直します。