小売店の売場で撮ったプライスカード・POPの写真から売価と商品を読み取り、売価マスタと特売の登録に食い違う表示を拾って店へ直しを頼む

処理の起点を決める

本部の受付のフォルダに写真が保存されたことを起点にします。 Make の Google Drive の Watch Files in a Folder を使い、作成された日時（By Created Time）で新しいファイルを見ます。 更新された日時で見ると、店が同じ写真を上書きしたときにもう一度動き、照合の一覧に同じ行が二重に入ります。

1回の実行で取り出す枚数の上限（Limit）を決めておきます。 木曜に数百枚がまとめて入ったとき、1回で全部を処理しようとすると、実行の時間が延びて途中で止まります。上限を数十枚にし、実行の間隔を短くして順に処理します。

写真の種類は、Watch Files in a Folder のファイルの種類の指定で画像に絞ります。 店が誤って動画やPDFを入れても、シナリオには流れてきません。処理した写真は、店ごと・週ごとの保管のフォルダへ Move a File で移します。 受付のフォルダに残っている写真が、そのまま未処理の写真になります。

入力データを集める

質を決めるのは、写真の撮り方です。 1枚に棚の一段を丸ごと収めると、値札の数字が小さくなり読めません。撮り方の決まりを店に配ります。

2行目と4行目は、OpenAI の公式の説明に挙げられている苦手な画像に対応したものです。 回転した文字や上下が逆の画像、パノラマや魚眼の画像は読み違えやすいとされています。読み取りの精度を上げるより、苦手な写真を撮らないほうが早く効きます。

データの取得方法を決める

売価マスタは、店番号と商品コードの2つで引きます。 同じ商品でも店によって売価が違うことがあるので、商品コードだけで引くと、別の店の売価と比べてしまいます。 Search Rows のフィルタに2つの条件を入れます。

特売の登録は、撮影日を含む期間の行を探します。 撮影日が特売の開始日から終了日の間にあれば、その特売の売価と比べます。撮影日を含む特売が無いのに、写真に特売のPOPがあれば、それは「終わった特売のPOP」か「始まる前の特売のPOP」です。

AIへ渡す前に整形する

1. ファイル名を確かめる … 「店番号_撮影日_連番」の形でないものは、照合せずに「ファイル名の誤り」として店へ戻します
2. 撮影日を確かめる … ファイル名の撮影日が、今日から7日より前なら、古い写真として人へ回します
3. 重複を除く … 同じファイル名の写真がすでに照合の一覧にあれば、処理しません
4. 大きさを確かめる … 写真が極端に小さいものは、読み取らずに撮り直しを頼みます
5. 画像の細かさの指定を決める … 小さな数字を読むので、画像を縮めすぎない指定で渡します

5番目は、OpenAI の画像の入力の detail の指定のことです。 公式の説明では、low は粗い理解、high は標準の高い精度、original はOCRや小さな物の検出のように細かい部分が要る作業向けとされています。値札の数字を読むので、high か original で試し、読み取りの結果と費用を比べて決めます。 Make のモジュールの画面で指定できない場合は、OpenAI アプリの Make an API Call で API を直接呼びます。

AIに処理させる

させるのは、写真に写っている値札とPOPを1枚ずつ見分け、書かれている数字と文字をそのまま読むことだけです。

商品コードの「桁を補わない」が、この構成でいちばん大事な制約です。 13桁のうち1桁が読めないとき、AIはもっともらしい数字で埋めることがあります。埋まった商品コードは、別の商品のマスタの行に当たることがあり、 その場合は食い違いが出るか、たまたま一致して見落とすかのどちらかです。

AIにマスタを渡さないのは、意図してのことです。 マスタの売価を一緒に渡すと、ぼやけた「198」をマスタの「198」に寄せて読みます。表示が「189」だったとしても、です。 読み取りの段階では、正解を知らせないようにします。

指示内容を固定する

あなたは小売チェーンの本部で、売場の値札とPOPの写真を読み取る立場です。
写真に書かれている数字と文字を、そのまま読み取ってください。
正しいかどうかの判断はしないでください。

【やること】
写真に写っている値札（棚札）と特売のPOPを1枚ずつ見分け、
それぞれについて次の項目を返してください。
- label_type ...... shelf_label（棚札）／promo_pop（特売のPOP）／unknown
- product_code .... 印字された商品コード（数字）をそのまま
- price_tax_in .... 税込の売価の数字
- price_tax_ex .... 本体価格の数字（表示があれば）
- promo_period .... 特売の期間として書かれた文字をそのまま
- product_name .... 商品名として書かれた文字（読めた範囲で）
- read_status ..... clear／partial／unreadable

【厳守事項】
- 数字は1桁でも読めなければ、その項目を null にしてください。
  読めない桁を推測で埋めないでください。
- 商品コードを商品名から推定しないでください。
- 売価のカンマや「円」は含めず、数字だけを返してください。
- 写真の端で切れている値札や、手や商品で一部が隠れている値札は
  read_status を partial にしてください。
- 期間は「10/9（木）〜10/15（水）」のように書かれたとおりに写してください。
  日付に直したり、年を補ったりしないでください。
- 値札が1枚も写っていなければ、labels を空の配列にしてください。
- 写真の向きが回転している、または上下が逆だと判断したら、
  rotated を true にしてください。

「1桁でも読めなければ null」を書かないと、AIは数字を埋めます。 13桁の商品コードや4桁の売価は、1桁欠けると別の値になります。読めた桁だけを返されても照合には使えないので、 全部読めたか、読めなかったかの2つにします。

rotated を返させるのは、苦手な写真を店へ戻すためです。 回転した写真は読み違えやすいとされているので、回転していると判断された写真は、読み取りの結果を使わずに撮り直しを頼みます。

出力形式を固定する

Generate a Response の出力の形を JSON schema にし、strict を有効にして、次の形で受け取ります。

{
  "rotated": false,
  "labels": [
    {
      "label_type": "shelf_label | promo_pop | unknown",
      "product_code": "4901234567894",
      "price_tax_in": 213,
      "price_tax_ex": 198,
      "promo_period": null,
      "product_name": "",
      "read_status": "clear | partial | unreadable"
    }
  ]
}

1つ目の理由は、値札の枚数だけ照合を回せることです。 labels の要素1つが値札1枚で、Make はこの配列を1枚ずつ取り出してマスタと比べます。 1枚の写真に4枚の値札があれば、照合の一覧に4行が入ります。

2つ目は、読めなかったことを null で表せることです。 構造化出力では、値が無いかもしれない項目をnull を含む型で定義します。product_code を「文字列または null」にしておけば、読めなかった商品コードは空の文字列ではなく null で返り、 照合の前に確実に見分けられます。

3つ目は、照合の規則を Make の側に表で持てることです。

「期間外のPOP」の判断に、POPに書かれた期間の文字は使いません。 書かれた期間は人が確かめるための参考にとどめ、判断は撮影日と特売の登録で行います。 手書きの期間の文字を日付として読むと、読み違いがそのまま判断に入ります。

応答を断った場合は、スキーマどおりにならないことがあります。 公式の説明では、その場合は refusal という項目が返るとされているので、それがあれば照合をせずに「読み取れない」として人へ回します。

システムへ連携する

照合の一覧には、写真へのリンクを必ず入れます。 担当者は一覧の「食い違い」の行から、ワンクリックで写真を開いて確かめます。 リンクが無いと、店のフォルダから写真を探すところから始まり、第3章の（a）に戻ります。

店への依頼は、担当者が確かめた後にだけ作ります。 「食い違い」と出た行に担当者が「確認済み」を付けると、その店の確認済みの行をまとめて、直しの依頼の文を作ります。 読み違いによる誤った依頼が店に届くと、店は正しい値札を貼り替えることになります。

人が確認する

人が開くのは、「食い違い」「期間外のPOP」「読み取れない」「マスタに無い」の写真だけです。 「一致」の写真は店ごとの件数を見て、極端に少ない店が無いかだけを確かめます。

1. 「食い違い」を写真で確かめる … 表示の売価を目で読み、マスタの売価と比べます。読み違いなら「読み違い」の印を付けます
2. 「期間外のPOP」を写真で確かめる … POPの期間の文字を読み、終わった特売のものかを確かめます
3. 「読み取れない」を見る … 写真が悪いなら撮り直しを頼み、写真が良いのに読めないなら目で読んで照合します
4. 「マスタに無い」を見る … 商品コードの読み違いか、新商品でマスタの出力に入っていないかを確かめます
5. 確認済みの行から直しの依頼を作り、店へ送る

1番目で付ける「読み違い」の印が、この構成の精度を測る記録です。 「食い違い」のうち読み違いの割合が高い店は、写真の撮り方に原因があることが多いので、 撮り方の決まりを店と見直します。

目標は、1,800枚をならして1枚1分です。 「一致」が大半で、人が開くのは2〜3割という想定です。

例外に対処する

6行目を軽く見ないでください。 特売の切り替えの朝に、マスタの出力が前日のままだと、新しい特売のPOPがすべて「期間外のPOP」になります。 照合を始める前に、出力の日付を1回確かめる手順を置きます。

記録を残す

• 元の写真と、撮影日・店番号（保管のフォルダに店ごと・週ごとに残す）
• AIの出力（labels の全体と rotated）
• 照合の結果と、そのとき参照した売価マスタと特売の登録の出力日
• 人が「読み違い」とした記録 … どの項目を、何から何に読み違えたか
• 店へ直しを頼んだ日時と、直した後の写真が届いた日時
• Make のシナリオの実行の履歴

3つ目でマスタの出力日を残すのは、売価が日ごとに変わるためです。 後から「この照合は正しかったか」を確かめるとき、その日のマスタが分からないと、照合をやり直せません。

5つ目は、店ごとの直しの速さを見るためです。 直しの写真が届くまでの時間が長い店には、依頼の送り方や時間帯を変える相談をします。