製造現場の生産管理板（ホワイトボード）の写真から時間帯ごとの計画・実績と停止の理由を読み取り、生産日報にそろえて計画との差が大きい時間帯を拾う

処理の起点を決める

班長が撮影した写真が共有フォルダに保存されたことを起点にします。 タブレットの撮影画面で、ライン番号と直を選んでから撮るようにし、ファイル名を「ライン番号_直_日付」にそろえます。 ファイル名からどのラインのどの直かが決まるので、写真の中の文字からラインを読み取らせる必要がありません。

保存されたら、すぐに読み取りを始めます。班長が片付けをしている間に結果が出て、退勤前に確定できるのが狙いです。読み取りの結果が出るまで板を消さないように、撮影の画面に「確定するまで消さない」と表示しておきます。

撮り直しの写真が来たときは、新しいほうを使います。 同じラインの同じ直で2枚目が来たら、1枚目の読み取り結果は破棄し、どちらを使ったかを記録に残します。

入力データを集める

質を決めるのは、2つ目と4つ目です。 書式の説明が無ければ、AIはどの列が「累計実績」かを字の位置から推すことになります。列の並びを先に教えておけば、AIは決まった枠のどこに何が書かれているかを読むだけで済みます。

3つ目の計画を渡すのは、読み取りの確かめのためです。 板の「計画」の欄は班長が手で書いたもので、生産計画の表と食い違っていれば、どちらかが誤っています。 読み取りの誤りか、書き間違いか、計画の変更かを、班長が確かめるきっかけになります。

5つ目の上限の目安は、読み違いを拾うためのものです。 1時間に60個が上限のラインで「160」と読めたら、「1」が余分に読まれたか、書き間違いかのどちらかです。

データの取得方法を決める

写真は、タブレットから共有フォルダへ保存されたものを Python が読みます。読み取りは、1枚の写真を1回のAPI呼び出しで送ります。 写真は画像のブロックとして先に置き、指示の文はその後に置きます。公式のページでは、画像を文より先に置くほうが良い結果になるとされています。

前の直の確定した値も読みます。 板の「累計」が直の初めから数えるのか、日の初めから数えるのかは工場によって違います。日の初めから数える書式なら、前の直の最後の累計と、この直の最初の累計がつながるかを確かめます。

停止の区分の一覧には、言い換えの例を必ず添えます。 「段取」「段替え」「品種切替」「型替え」を「段取り」に、「材待ち」「部品待ち」「欠品」を「材料待ち」に、という対応です。区分の候補は、この言い換えの表と板の言葉を Python で照らして付けます。 表に無い言葉は候補を付けず、班長が選びます。新しい言い方が出るたびに表に足せば、第3章の（c）の割れは月を追って減っていきます。

AIへ渡す前に整形する

1. ファイル名の確認 … ライン番号、直、日付がそろっていないものは止めて、班長に撮り直しを頼みます
2. 向きの補正 … 縦横が逆、上下が逆の写真を直します。公式のページは、回転した画像で誤ることがあるとしています
3. 板の部分の切り出し … 板の四隅の位置を決め、板の外を落とします。決まった位置から撮る前提で、床の撮影位置に目印を貼っておきます
4. 縮小 … 長辺をモデルが扱う範囲に収めます
5. 明るさと反射の確認 … 白く飛んだ部分が多い写真は、撮り直しを頼みます
6. 大きさの確認 … 1枚10MBを超えないようにし、形式を JPEG か PNG にそろえます
7. 人の映り込みの確認 … 板の前に人が立っている写真は、撮り直しを頼みます

5番目がいちばん多い撮り直しの理由になるはずです。 ホワイトボードは天井の照明を反射し、ちょうど数字が書かれた欄の上に白い帯が乗ります。 撮る位置と角度を一度決めて、反射の出ない場所に目印を貼るのが確実です。

7番目は、読み取りのためでもあり、写真の扱いのためでもあります。 板の前に人が立つと、その後ろの欄が読めません。加えて、作業者の顔が写った写真を外部に送る理由はありません。

AIに処理させる

させるのは、決まった書式の枠の中に書かれた字を、欄ごとに読み、どれくらい読めたかを付けることだけです。

2行目がいちばん起きやすい失敗です。 実績の欄がかすれて読めないとき、前後の時間帯が「58」「58」なら、AIは「58」と書きたくなります。その推測が当たっていても外れていても、班長はその欄を見直しません。 読めないものは unreadable として返させ、班長の目に必ず届くようにします。

「差」の欄も、計算せずに書かれたまま読みます。 板の「差」は班長が暗算で書いたもので、プログラムで計算した差と違っていれば、班長の書き間違いか、読み取りの誤りです。 どちらにしても、日報に入れる前に直すべき箇所が1つ見つかったことになります。

指示内容を固定する

添付の写真は、製造ラインの生産管理板（ホワイトボード）を直の終わりに撮ったものです。
板の書式は次のとおりです。

【書式】
- 行：時間帯が8行。上から {time_slots}
- 列：左から「時間帯」「計画」「実績」「累計計画」「累計実績」「差」
       「停止・異常の内容」「記入者」
- 「記入者」の列は読まないでください。

【読み方】
- 各欄に書かれた字を、書かれたとおりに読んでください。
- 数字は、計算・補完・修正をしないでください。前後の行から推して
  埋めないでください。
- 欄に何も書かれていなければ status を empty にしてください。
- 字が書かれているが読み取れない、または2通り以上に読めるときは
  status を unreadable にし、読める候補があれば candidates に挙げてください。
- 消し跡が残っていて、どれが最新の記入か分からないときも unreadable です。
- 「差」の欄は、＋、－、▲などの記号も含めてそのまま写してください。
- 「停止・異常の内容」は、書かれた言葉をそのまま写してください。
  言い換え、要約、原因の推測をしないでください。
  一部しか読めないときは、読めた部分だけを写し、status を partial にしてください。
- 迷ったときに ok を選ばないでください。

【写真そのものについて】
- 板の一部が写っていない、反射で欄が見えない、板の前に物や人がある場合は、
  photo_issues にその行と列を書いてください。
- 写真から人を特定したり、人について述べたりしないでください。

「迷ったときに ok を選ばない」を最後に置くのは、誤りの向きをそろえるためです。 読めたものを unreadable にしても、班長が1欄見る手間が増えるだけです。読めていないものを ok にすると、その誤りは日報まで素通りします。

「消し跡」を名指しで書いているのは、ホワイトボードに特有の失敗だからです。 書き直した欄には、前の数字が薄く残っています。AIはどちらか一方を選んで ok にしがちで、それが古いほうだと誤った実績が日報に入ります。

出力形式を固定する

次の形のJSONで受け取ります。

{
  "line_id": "",
  "shift": "",
  "date": "",
  "rows": [
    {
      "time_slot": "08:00-09:00",
      "cells": {
        "plan":        { "text": "", "status": "ok | empty | unreadable", "candidates": [] },
        "actual":      { "text": "", "status": "ok | empty | unreadable", "candidates": [] },
        "cum_plan":    { "text": "", "status": "ok | empty | unreadable", "candidates": [] },
        "cum_actual":  { "text": "", "status": "ok | empty | unreadable", "candidates": [] },
        "diff":        { "text": "", "status": "ok | empty | unreadable", "candidates": [] },
        "stop_note":   { "text": "", "status": "ok | empty | partial | unreadable" }
      }
    }
  ],
  "photo_issues": [ { "time_slot": "", "column": "", "issue": "" } ]
}

Claude の構造化出力は、output_config.format に type: "json_schema" を指定すると返答がスキーマに沿ったJSONになります。enum の大文字・小文字は保証されないとされているので、status の値は小文字にそろえてから比べます。

1つ目の理由は、プログラムで確かめられることです。 受け取ったJSONに対して、Python が次の規則を当てます。

2つ目は、確認の画面を作りやすいことです。 時間帯と列ごとに値と印が分かれているので、写真の横に表を出し、印の付いた欄だけ色を変える画面がすぐに作れます。

3つ目は、photo_issues で撮り直しを判断できることです。 反射で見えない欄が3つ以上ある写真は、確認より撮り直しのほうが早く終わります。

「差が大きい」の基準は、ラインごとに生産管理課が決めます。 80％はここでの仮の値です。

システムへ連携する

生産日報への書き込みは、班長の確定を待ちます。 読み取りの直後に書き込むと、印の付いた欄が誤ったまま日報に入り、班長が直し忘れたときにそのまま集計に使われます。 確定のボタンが押されたときに初めて書きます。

停止の区分は、日報の別の列に入れます。 板に書かれた言葉はそのまま「停止の内容」の列に、区分は班長が選んだものを「停止の区分」の列に入れます。元の言葉を消さないので、区分の付け方を後から見直せます。

人が確認する

班長が、退勤の前に確定します。 確認の画面では、写真の横に読み取り結果の表が出て、印の付いた欄が色付きで表示されます。

1. 「読めない」の欄を写真で見て入力する … 写真でも読めなければ、板を見て入力します。このため、確定するまで板を消しません
2. 「累計が合わない」「差が合わない」を確かめる … 板の書き間違いだったときは、正しい値を入れ、備考に「板の記入誤り」と残します
3. 「計画が合わない」を確かめる … 直の途中で計画が変わったなら、その旨を備考に入れます
4. 停止の区分を選ぶ … 候補が出ていればそれを確かめ、無ければ一覧から選びます
5. 確定する

2番目で「板の記入誤り」を残すのは、班長の書き方の癖を責めるためではありません。 同じラインで同じ誤りが続くなら、板の書式（累計の列の位置など）を見直す材料になります。

係長は、確定した後に届く知らせを見ます。 差が大きい時間帯と、その停止の内容が並んだ知らせです。夜の直の知らせは、翌朝の打合せを待たずに、次の直の班長への申し送りに使えます。

例外に対処する

上の2行が、運用の初めの数週間に集中して起きます。 どちらもAIの問題ではなく、撮る手順が定着するかどうかの問題です。 板の脇に撮影の手順と目印を貼り、撮り忘れの件数を週ごとに数えます。

8行目は、Claude の構造化出力のページの注意に合わせたものです。 拒否や出力の上限で止まった応答は、スキーマに沿わないことがあるとされています。止まった理由を確かめてから読み込みます。

記録を残す

• 元の写真と、切り出し・縮小した後の写真
• AIの応答のJSONの全文と、Python が付けた印
• 班長が直した欄と、直す前後の値、備考
• 確定した日時と、確定した班長
• 係長への知らせと、その後の申し送り
• 撮り直しの回数と理由

1つ目で写真を残すのは、板が消えた後に記録をさかのぼれる唯一の手段だからです。 日報の数字に疑いが出たとき、写真があれば、板に何が書かれていたかを後から確かめられます。 保存期間は、日報の保存期間に合わせて決めます。

3つ目の「直す前後の値」は、読み取りの弱いところを見つける材料です。 特定の数字（「1」と「7」など）や、特定のラインの書き癖で直しが集中していれば、指示文に例を足すか、班長に書き方を相談するかを決められます。