ポスティングの会社が、配布員の撮った配布の証跡の写真を Gemini で見て、集合ポストへの投函と配布の禁止の表示を判定し、確認の一覧を作る
配布員が集合住宅ごとに撮る集合ポストの写真を Gemini で見て、投函の跡と配布の禁止の表示を見つけます。禁止の表示があるのに投函した疑いの写真と、証跡にならない写真だけを、配布管理の担当の確認の一覧に出します。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- 不動産/小売/広告
- 対象部門
- 品質管理
- 対象業務
- 内容確認・チェック/台帳・マスタ管理
- 主な課題
- 人手が足りない/期限・対応漏れが起きる/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/工数削減/機会損失防止
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 必須
01導入前 / 導入後の業務フロー
- 配布員が集合住宅に投函した後、集合ポストを撮り、建物名を添えてチャットに送る
- 配布管理課の担当が、区域ごとにチャットの写真を開く
- 集合ポストが写っているか、チラシが投函口から見えるかを1枚ずつ見る
- 貼り紙やプレートが写っていれば、拡大して文字を読み、禁止の表示かを確かめる
- 禁止の表示があれば、配布の禁止の物件の一覧を開き、載っているかを確かめる
- 載っていなければ一覧に足し、配布員に次から配らないよう連絡する
- 写真が暗い・ぼけている・建物名が無いものは、配布員に撮り直しや説明を求める
- 人配布員が投函した後、集合ポストの全体を1枚、貼り紙があれば近くから1枚撮り、Google フォームで区域の番号と建物の番号を選んで送る
- 自動Google Apps Script が数分おきにフォームの回答を拾い、写真をドライブから取り出す
- 自動写真の形式・大きさ・向きを確かめ、区域の表から建物の情報を引く
- 自動Gemini API に写真を渡し、集合ポスト・投函の跡・貼り紙の文字・写真の不備を返させる
- 自動返った文字を禁止の言葉の一覧と照らし、配布の禁止の物件の一覧と突き合わせる
- 自動組ごとに `ok` / `suspect_posted` / `new_sign` / `weak_evidence` / `needs_human` を付け、確認の一覧に書く
- 自動`suspect_posted` と `new_sign` は、その場で担当のチャットに知らせる
- 人担当が `ok` 以外の写真だけを開き、表示の文言と投函の跡を確かめる
- 人新しい表示は一覧に足すかを決め、配布員に連絡する
- 人投函した疑いが本当なら、管理組合・住民への対応と配布員への説明を決める
各工程の詳しい説明を読む
- 配布員が集合住宅に投函した後、集合ポストを撮り、建物名を添えてチャットに送る
- 配布管理課の担当が、区域ごとにチャットの写真を開く
- 集合ポストが写っているか、チラシが投函口から見えるかを1枚ずつ見る
- 貼り紙やプレートが写っていれば、拡大して文字を読み、禁止の表示かを確かめる
- 禁止の表示があれば、配布の禁止の物件の一覧を開き、載っているかを確かめる
- 載っていなければ一覧に足し、配布員に次から配らないよう連絡する
- 写真が暗い・ぼけている・建物名が無いものは、配布員に撮り直しや説明を求める
(a)全部の写真を見られない。 3,000組を3名で見ると、1組2分でも月100時間です。広告主への配布の報告の締めが近い週は、区域の一部だけを見て残りを省くことになります。
(b)禁止の表示への投函が、苦情で初めて分かる。 写真に貼り紙が写っていたのに、担当が拡大して読まなかった。証跡に写っていたという苦情がいちばん重くなります。
(c)新しい表示が一覧に入るのが遅れる。 配布員が気づいてもチャットに一言書いて流れ、翌週に別の配布員がまた投函します。
(d)表示の文言がまちまちで、判断が人によって違う。 「チラシ・広告物お断り」「ポスティング禁止(管理組合の配布物を除く)」「不要なチラシは入れないでください」。条件の付いた表示を、ある担当は禁止と読み、別の担当は対象外と読みます。
- 【人】 配布員が投函した後、集合ポストの全体を1枚、貼り紙があれば近くから1枚撮り、Google フォームで区域の番号と建物の番号を選んで送る
- 【自動】 Google Apps Script が数分おきにフォームの回答を拾い、写真をドライブから取り出す
- 【自動】 写真の形式・大きさ・向きを確かめ、区域の表から建物の情報を引く
- 【自動】 Gemini API に写真を渡し、集合ポスト・投函の跡・貼り紙の文字・写真の不備を返させる
- 【自動】 返った文字を禁止の言葉の一覧と照らし、配布の禁止の物件の一覧と突き合わせる
- 【自動】 組ごとに
ok/suspect_posted/new_sign/weak_evidence/needs_humanを付け、確認の一覧に書く - 【自動】
suspect_postedとnew_signは、その場で担当のチャットに知らせる - 【人】 担当が
ok以外の写真だけを開き、表示の文言と投函の跡を確かめる - 【人】 新しい表示は一覧に足すかを決め、配布員に連絡する
- 【人】 投函した疑いが本当なら、管理組合・住民への対応と配布員への説明を決める
8番目が、この設計の分かれ目です。人が見るのは全件ではありません。 ok の組は区域ごとの件数を流し見るだけにし、禁止の表示に関わる組と、証跡にならない組にだけ時間を使います。 全件を開く設計にすると、100.0時間はほとんど減りません。
6番目の区分は、スクリプトの規則で決めます。 どの文言を禁止とみなすかは会社の取り決めで、規則の側に置けば、直すのは言葉の一覧だけです。
02今回想定するシステム構成
配布員のスマートフォン(会社の Google アカウントでログイン) │ Google フォーム:区域の番号・建物の番号・写真(全体1枚+貼り紙の近く1枚) ▼ 回答はスプレッドシート、写真はドライブのフォルダへ 【トリガー】Google Apps Script の時間主導のトリガー(数分おき) ├──▶ 未処理の回答を拾う/写真の形式・大きさ・向きを確かめる ├──▶ 区域の表から建物の情報、禁止の物件の一覧から登録の有無を引く ▼ Gemini API(Interactions API・構造化出力・store=false) │ 集合ポストの位置、投函口に見えるチラシ、貼り紙・プレートの文字、写真の不備 ▼ Google Apps Script ├──▶ 禁止の言葉の一覧と照らす(条件付きの文言は needs_human) ├──▶ 禁止の物件の一覧と突き合わせる └──▶ 区分を付けて確認の一覧へ/急ぐものはチャットへ通知 ▼ 【配布管理の担当が ok 以外だけ確認】→ 禁止の物件の一覧の更新・配布員への連絡
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(集合ポスト・投函の跡・貼り紙の文字・写真の不備を返す) | Claude API、OpenAI API |
| 連携 | Google Apps Script(写真の拾い上げ、一覧との照合、確認の一覧への書き込み) | Python |
| 受付 | Google フォーム(ファイルのアップロードの質問) | 配布管理のアプリの写真の書き出し |
| 保管 | Google ドライブとスプレッドシート(写真、確認の一覧、禁止の物件の一覧) | 社内のファイルサーバー |
新しく足すのは、Gemini API の有料の枠と、Google Apps Script のスクリプトだけです。 区域の表と禁止の物件の一覧は、いまのスプレッドシートをそのまま使います。
写真の受け取りは、チャットから Google フォームに替えます。 公式のヘルプでは、ファイルのアップロードの質問は回答者が Google アカウントにログインする必要があり、アップロードされたファイルはフォームの持ち主のドライブの新しいフォルダに保存されます。受け付けるファイルの種類、1人が上げられる数、1ファイルの最大の大きさをフォームの側で決められます。配布員には会社の Google アカウントを渡し、スマートフォンでログインしたまま使ってもらいます。 公式のヘルプでは、フォームを共有ドライブに置いた場合と、管理者がデータ損失防止を有効にしている場合は、この質問を使えないとされています。フォームはマイドライブに置きます。
03どうやって実装するのか
処理の起点を決める
Google Apps Script の時間主導のトリガーで、数分おきに未処理の回答を拾います。 公式の説明では、インストール型のトリガーには時間主導のトリガーとフォームの送信時のトリガーがあり、トリガーは作った人のアカウントで動きます。 配布管理課の共用のアカウントでトリガーを作り、担当が異動しても止まらないようにします。
フォームの送信時のトリガーを使わないのは、夕方にまとめて送られると Gemini を呼ぶ処理が重なるからです。 時間主導のトリガーで1回に決まった件数だけを順に処理します。公式の説明では、時間主導のトリガーの時刻は少しずれることがありますが、数分の遅れは問題になりません。
処理が終わった行には、成功したときだけ区分を書きます。 区分の列が空の行が、そのまま未処理の行です。公式の説明では、トリガーが失敗するとまとめの通知のメールが届きます。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 証跡の写真 | 集合ポストの全体の写真1枚と、貼り紙の近くの写真(あれば)1枚 | Google フォームのアップロード(ドライブ) |
| 回答の情報 | 送信の日時、配布員のアカウント、区域の番号、建物の番号 | フォームの回答のスプレッドシート |
| 建物の情報 | 建物の番号、建物名、戸数、配布の対象の広告主 | 区域の表 |
| 禁止の物件 | 建物の番号、登録の日、表示の文言、条件(管理組合の配布物を除くなど) | 配布の禁止の物件の一覧 |
| 禁止の言葉 | 「お断り」「禁止」「入れないで」など、禁止とみなす言葉と、条件を示す言葉 | 会社で作る言葉の一覧 |
質を決めるのは、下の2つです。 禁止の物件の一覧に建物の番号が無ければ、写真と一覧を突き合わせられません。禁止の言葉の一覧が無ければ、Gemini が写した文字を禁止の表示と読むかどうかが担当によって変わり、第3章の(d)がそのまま残ります。
データの取得方法を決める
写真は、回答の行に入るファイルの識別子からドライブで取り出し、全体と貼り紙の2枚を同じ依頼に並べます。
Gemini API には、Interactions API で依頼します。 公式の説明では、https://generativelanguage.googleapis.com/v1beta/interactions に model と input を送り、input に文の部品("type": "text")と画像の部品("type": "image"、data、mime_type)を並べます。Google Apps Script からは UrlFetchApp で同じ形の JSON を送り、公式の例と同じく x-goog-api-key と Api-Revision のヘッダーを付けます。 公式の説明では、画像1枚と文なら文を画像の前に置くとされていて、2枚でも文の指示を先に置き、全体、貼り紙の順に並べます。
依頼には store=false を付けます。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠で55日、無料の枠で1日保持されます。store=false を付ければ保存されません。 公式の説明では store=false は background の実行と併用できないので、写真ごとに同期で呼びます。 1組ごとに1回で終わる依頼なので、前のやり取りを続ける必要もありません。
構造化出力で、返す形を決めます。 公式の説明では、response_format に type を text、mime_type を application/json として、schema に JSON Schema を渡します。enum で区分の値を決め、配列の maxItems で貼り紙の数の上限を決めます。 公式の説明では minLength と maxLength は守られず外されるので、文字の長さはスクリプトの側で確かめます。
AIへ渡す前に整形する
- 組をそろえる … 同じ回答の行の写真を、全体、貼り紙の順に並べる。全体の写真が無い組は
weak_evidenceにして Gemini を呼ばない - 形式を確かめる … PNG、JPEG、WEBP、HEIC、HEIF 以外は渡さず、印を付ける
- 大きさを確かめる … 写真と指示を合わせて20MBに収まるかを確かめる。超える組は縮小してから渡す
- 向きを確かめる … 横向きに保存された写真を正しい向きに直す
- 建物を引く … 建物の番号で区域の表と禁止の物件の一覧を引き、戸数と登録の有無を取る
- 同じ建物の重なりを見る … 同じ日に同じ建物の回答が2つあれば、後のほうを
needs_humanにする - 版を付ける … そのとき使った禁止の言葉の一覧の版を、確認の一覧の行に控える
3番目と4番目は、公式の説明にあることです。 依頼1件20MBまでで、それより大きいものは File API を使います。また、向きを確かめ、ぼやけていない画像を使うよう勧めています。 撮り方の手順に「貼り紙は近くからもう1枚」と書くのは、このためです。
AIに処理させる
させるのは、写真に写っている集合ポストと投函口の位置、投函口から見えるチラシ、貼り紙やプレートに書かれた文字、写真の不備を返すことだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| 集合ポスト | 集合ポストの全体を枠で囲む。全体が写真に収まっているか | 一部しか写っていなければ partial |
| 投函口のチラシ | 投函口からチラシの端が見える口の位置を枠で囲む | 影かチラシか迷えば uncertain |
| 貼り紙・プレート | 集合ポストの周りの貼り紙・プレートを枠で囲み、文字を書かれたとおりに写す | 読めなければ空欄にして unreadable |
| 写真の不備 | ぼけ、暗さ、反射、指で隠れている | 迷えば uncertain |
| 集合ポスト以外 | 戸別のポスト、宅配ボックス、掲示板だけが写っている | 何か分からなければ unknown_object |
投函口のチラシは、「自社のチラシか」を見させません。 投函口から見えるのは紙の端だけで、どの広告主のチラシかは写真からは分かりません。見るのは、投函した跡が写真に残っているかだけです。
禁止の表示かどうかは、スクリプトの側で決めます。 Gemini が写した文字を禁止の言葉の一覧と照らし、「お断り」「禁止」などがあれば禁止の表示、「ただし」「を除く」などの条件の言葉があれば needs_human にします。条件の付いた表示を機械で読み分けようとしないのが、第3章の(d)への答えです。 判断は担当に寄せ、判断の結果を禁止の物件の一覧の「条件」の列に残します。
| させないこと | 理由 |
|---|---|
| 禁止の表示に当たるかの結論 | 写された文字を規則で照らし、条件付きは人が決める |
| 違反か、配布員の落ち度かの判断 | 配布員の処遇に関わる。担当が写真と事情を確かめる |
| 表札・ポストの名前の文字を写すこと | 配布の確認に要らない。住民の個人の情報を一覧に残さない |
| かすれた貼り紙の文字を補うこと | 書かれたとおりに写す。読めない文字は unreadable |
| 写っていない場所の貼り紙を推し量ること | 写真に見えたものだけを返させる |
| どの広告主のチラシかの推測 | 投函口から見える紙の端では分からない |
3行目は、とくに守らせます。 集合ポストの写真には、部屋の番号と名前の札がそのまま写ります。Gemini が気を利かせて名前を写すと、確認の一覧が住民の名簿になります。 出力の形に名前の欄を作らず、指示でも禁じます。
指示内容を固定する
あなたはポスティングの会社で、配布員が撮った集合ポストの写真を確かめる係です。
写真に見えているものだけを返してください。推測で補わないでください。
【写真】
1枚目:集合ポストの全体(投函した後に撮ったもの)
2枚目:集合ポストの周りの貼り紙を近くから撮ったもの(無い場合があります)
【返すもの】
1. mailbox:集合ポストの全体を囲む枠。全体が写真に収まっていれば framing を full、
一部しか写っていなければ partial、集合ポストが見えなければ not_found
2. slots_with_paper:投函口からチラシなどの紙の端が見える口の枠の一覧。
紙か影か迷う口は status を uncertain にしてください
3. signs:集合ポストの周り、掲示、プレートに見える貼り紙・表示の一覧。
text には書かれた文字をそのまま写してください(改行は空白に)
4. photo_issues:blur(ぼけ)、dark(暗い)、glare(反射)、occluded(指や物で隠れている)
5. other_objects:集合ポスト以外に主に写っているもの(individual_mailbox、
delivery_box、bulletin_board、unknown_object)
【枠の書き方】
box_2d は [ymin, xmin, ymax, xmax] を 0〜1000 に正規化した値で返してください。
【厳守事項】
- 表札、部屋の名前の札、宛名など、人の名前の文字は写さないでください。
signs にも入れないでください。部屋の番号も写さないでください。
- 貼り紙の文字は書かれたとおりに写してください。かすれた文字を補ったり、
言い換えたり、要約したりしないでください。読めない部分は「□」とし、
全体が読めなければ text を空にして status を unreadable にしてください。
- 貼り紙が「禁止」「お断り」に当たるかは書かないでください。
- 写真に写っていない場所の貼り紙を推し量らないでください。
- 投函口に見える紙が、どの会社のチラシかは書かないでください。
- 配布員が正しく配ったか、違反かは書かないでください。
- 2枚目の写真が1枚目と別の建物に見える場合は、same_place を false にしてください。
【この建物の情報】戸数:{units}
「表札の文字を写さない」を最初に書くのは、ここがいちばん漏れやすいからです。 写真の中で最も目立つ文字は、たいてい名前の札です。何も言わなければ、貼り紙を探す途中で名前の札も「表示」として写します。 出力の形に名前の欄が無くても、signs の text に入り込むので、指示で禁じたうえでスクリプトでも確かめます。
「言い換えない」も大事です。 「ご遠慮ください」を「お断り」と言い換えられると、物件の一覧に残る文言が実物と違ってしまいます。
出力形式を固定する
次の形の JSON で受け取ります。
{
"same_place": true,
"mailbox": { "framing": "full | partial | not_found", "box_2d": [0, 0, 0, 0] },
"slots_with_paper": [
{ "box_2d": [0, 0, 0, 0], "status": "visible | uncertain" }
],
"signs": [
{ "box_2d": [0, 0, 0, 0], "image": 1, "text": "", "status": "read | unreadable" }
],
"photo_issues": ["blur | dark | glare | occluded"],
"other_objects": ["individual_mailbox | delivery_box | bulletin_board | unknown_object"]
}
1つ目の理由は、写っているものと区分を別の層に置けることです。 JSON は Gemini が埋め、区分はスクリプトが規則で決めます。公式の説明でも、構造化出力は形の正しい JSON を返すが、値の中身はアプリの側で確かめるよう求めています。
| 区分 | 条件 |
|---|---|
suspect_posted | signs の文字に禁止の言葉があり、条件の言葉が無く、slots_with_paper に visible がある |
new_sign | 禁止の言葉のある貼り紙があり、その建物が禁止の物件の一覧に無い |
weak_evidence | framing が full でない、photo_issues がある、slots_with_paper が空 |
needs_human | 条件の言葉がある、unreadable がある、same_place が false、uncertain がある |
ok | 上のどれにも当たらない |
2つ目は、禁止の物件の一覧にある建物の扱いを、規則で分けられることです。 一覧に載っている建物で投函の跡が見えれば、貼り紙が写っていなくても suspect_posted にします。表示が剥がされても、一覧から外すかは担当が決めることです。
3つ目は、box_2d で確認が速くなることです。 公式の説明では、枠は0〜1000に正規化した値で返り、元の大きさに直して使います。枠を描いた確認用の画像で、担当は枠の場所だけを見ます。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| Google フォームの回答 | スプレッドシートの読み取り | 未処理の回答の行と写真のファイルを拾う |
| Gemini API | UrlFetchApp での API 呼び出し | 写真ごとの集合ポスト・投函の跡・貼り紙の文字 |
| 区域の表・禁止の物件の一覧 | スプレッドシートの読み取り | 建物の戸数と、禁止の物件の登録の有無 |
| 確認の一覧 | スプレッドシートへの書き込み | 区分、根拠の文字、枠を描いた画像へのリンク |
| 配布管理課のチャット | 通知 | suspect_posted と new_sign をその場で知らせる |
禁止の物件の一覧へは書き込みません。 新しい表示は確認の一覧に new_sign として出すだけで、一覧に足すかは担当が決めます。 条件付きの表示を誤って禁止として足すと、配ってよい物件まで地図から外れ、広告主に約束した部数が届きません。
配布員への連絡も自動で送りません。 報酬に関わる連絡で、読み違いで送ると信頼を失います。
人が確認する
人が開くのは ok 以外の組だけです。 ok の組は区域ごとの件数を流し見ます。全件を開く設計にすると、第10章の25.0時間には収まりません。
suspect_postedを先に見る … 枠を描いた画像で、貼り紙の文字と投函口のチラシを確かめます。本当なら、その日のうちに管理組合への対応を決めますnew_signを見て、一覧に足すかを決める … 文言をそのまま一覧の「表示の文言」の列に写し、条件があれば「条件」の列に書きますneeds_humanを見る … 条件付きの文言は、会社の取り決めに照らして読み分けます。決めた読み方を禁止の言葉の一覧に足し、次から規則で分かれるようにしますweak_evidenceを区域ごとにまとめる … 同じ配布員に偏っていれば、撮り方を説明します- 判定を覆したら記録する … どの組を、どの区分に変えたかを残します
1番目を急ぐのは、苦情の前に謝りに行けるかで管理組合の受け止め方が変わるからです。
目標は、3,000組をならして1組0.5分です。 開くのは2割前後という想定で、それより多い月は、撮り方が崩れているか、禁止の言葉の一覧が足りていません。
例外に対処する
| 起きること | 対応 |
|---|---|
| 全体の写真が無い | Gemini を呼ばず weak_evidence。配布員に撮り直しを頼むかは担当が決める |
| 対応していない形式の写真 | PNG・JPEG・WEBP・HEIC・HEIF 以外は渡さず、変換してから再投入 |
| 依頼が20MBを超える | 縮小して再投入。縮小で文字が読めなくなれば needs_human |
| 2枚目が別の建物に見える | same_place が false。同じ建物の写真かを担当が確かめる |
| 貼り紙の文字が読めない | unreadable。禁止の表示ではないと扱わない。 needs_human へ |
| 名前らしい文字が返った | その貼り紙を一覧に書かず needs_human。返った文字は保存しない |
| 建物の番号が区域の表に無い | 配布員の選び間違いか新しい建物。担当が区域の表を確かめる |
| Gemini が応答しない・形の違う JSON | 区分の列を空のまま残し、次の回で再び処理する |
| 同じ建物の回答が同じ日に2つ | 後のほうを needs_human。二重の投函か撮り直しかを確かめる |
上から5行目が、いちばん大事な行です。 読めない貼り紙を「禁止の表示ではない」と扱うと、読めなかっただけの禁止の表示を、何も無かったことにしてしまいます。 読めないものは必ず人へ回します。
記録を残す
- 元の写真と、送信の日時・配布員のアカウント・区域の番号・建物の番号
- Gemini が返した JSON の全文(名前らしい文字が入っていた貼り紙を除く)
- 区分と、そのとき使った禁止の言葉の一覧の版、参照した禁止の物件の一覧の内容
- 人が区分を覆した記録 … どの組を、どの区分に変えたか
- 禁止の物件の一覧に足した日、足した担当、根拠にした写真
- 配布員ごと・区域ごとの
weak_evidenceの割合
3つ目で「そのときの一覧の内容」を残すのは、一覧が日々変わるためです。 苦情を受けて写真を見直すとき、その日に一覧に載っていたかどうかで会社の落ち度の重さが変わります。
写真は、広告主への報告に要る期間だけ残します。 名前の札が写っているので、いつまでも残しません。
04実装レベルの3段階
最小構成では件数がさばけません。 1組ずつ送って結果を手で比べるので、3,000組には使えません。確かめるための段階です。 半自動化で、1組2分が1分程度になります。 読み取りは自動になりますが、禁止の物件の一覧との照合と区分は担当が一覧を見ながら行います。本格構成で0.5分になり、この段階が本記事の想定です。 差が大きいのは、禁止の物件の一覧との照合と、枠の場所を探す作業が、1組ずつの手作業だからです。 段階を飛ばさないでください。 半自動化の一覧を1か月見ると、条件付きの文言の型が先に分かり、言葉の一覧を整えてから進むほうが needs_human が減ります。
05工数削減シミュレーション
導入後 3,000件 × 0.5分 ÷ 60 = 25 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 地域の小売・不動産・飲食・塾などの広告主からチラシのポスティングを請け負い、業務委託の配布員が数十人いて、集合住宅ごとに集合ポストの写真を証跡として撮らせている会社。写真が月に数千枚たまり、配布管理の担当が全部を見られず、禁止の表示のある物件への投函の苦情が来てから写真を探している場合。配布の禁止の物件の一覧を持っているが、新しく貼られた表示が一覧に入るのが遅れている場合。配布員に会社の Google アカウントを渡せる場合。
- 配布が月に数百件で、担当が全部の写真を見て足りる場合。戸建てだけを配り、集合ポストの写真を撮らない場合。配布の証跡を GPS の軌跡だけで取り、写真を撮らない場合。配布員に18歳未満の人がいる、または入りうる場合。なお、表示に従うべきかの判断、配布員の処遇、苦情への回答、広告主への報告の中身は、この構成では代替できません。
07最小構成で試す方法
- 先月の写真から50組を選ぶ(うち数組は、禁止の表示が写っていると分かっているもの、暗い・ぼけたものを入れる)
- その50組について、担当が当時どう判断したかを確認の記録から書き出す
- Gemini API の有料の枠のキーで、Google Apps Script から1組ずつ依頼する(AI Studio の画面で試さない)
- 第7章の指示を使い、集合ポスト・投函の跡・貼り紙の文字・写真の不備を返させる
- 返った結果を、当時の担当の判断と突き合わせる
画面で試さないのは、規約のためです。 無料のサービスに送った内容は改善に使われ人が読むことがあるとされ、名前の札が写る写真は送れません。
| 出てきた内容 | 判断 |
|---|---|
| 当時見つけた禁止の表示の文字が写せた | 規則とスプレッドシートの連携に進む |
| 名前の札の文字が返った | 指示の書き方とスクリプトの確かめで直る。構成は有効 |
| 暗い・ぼけた写真で貼り紙が読めない | 撮り方の手順が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 「貼り紙は近くからもう1枚」の手順を足した写真で、撮り直して比べてください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 名前の札の文字が返る | 指示で禁じ、スクリプトでも名前らしい文字を確かめる |
| 読めない貼り紙を「表示なし」と扱う | unreadable は必ず needs_human。無かったことにしない |
| 条件付きの文言を機械で読み分けようとする | 条件の言葉があれば人へ。決めた読み方を一覧に足す |
| 貼り紙の文言を言い換えて写す | 書かれたとおりに写させる。一覧の文言が実物と違ってしまう |
| 集合ポストの一部しか写っていない | partial を weak_evidence に。撮り方の手順に「全体を1枚」 |
store=false と background を一緒に使う | 併用できない。写真ごとに同期で呼ぶ |
| フォームを共有ドライブに置いた | ファイルのアップロードの質問が使えない。マイドライブに置く |
| AI Studio の画面で写真を試す | 無料のサービスは改善に使われ人が読みうる。有料の枠の API で試す |
| 禁止の物件の一覧へ自動で書き足す | 担当が決める。 条件付きを足すと配ってよい物件まで外れる |
| 配布員への連絡が自動で飛ぶ | 担当が送る。 報酬に関わる連絡を読み違いで送らない |
上の2行が、この構成の失敗のほとんどです。 住民の名前は写させず、読めない表示は無かったことにしない。この2つで運用に乗るかが決まります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 集合住宅の集合ポストの写真(部屋の番号と住民の名前の札が写る)、建物名、配布員のアカウントと配布の日時、禁止の物件の一覧です。
- 名前の札の文字を一覧に残さない … 指示で禁じ、スクリプトでも確かめます。確認の一覧が、建物ごとの住民の名簿にならないようにします
- 有料の枠で使い、
store=falseを付ける … 公式の規約では、無料のサービスでは入力と応答が改善に使われ人が読むことがあり、有料の枠では改善に使わない一方、禁止された使い方の検出のために一定期間記録するとされています - 使う人を18歳以上に限る … 公式の規約は、API を使う人が18歳以上であることを求め、18歳未満に向けた、または18歳未満が使いうるサービスでの利用を禁じています。 配布員は18歳以上と契約で決め、Gemini の結果は社内の担当だけが見ます
- 写真の保存の期間を決める … 広告主への報告に要る期間だけ残し、過ぎたら消します
- 配布員の評価に使わない …
weak_evidenceの割合は撮り方の説明の材料にします。区分の件数だけで報酬や契約を決めません - 生成された結果をそのまま使わない … 公式の規約も、生成された内容に頼る前に慎重に判断するよう求めています
禁止の表示の扱いは、会社の取り決めです。 練馬区の消費生活のページは、チラシをポストに投函することを規制する法律はないと書いています。どの表示に従うかは会社と広告主が決め、この構成はその約束が守られているかを写真で確かめるだけです。
誤りが起きた場合のリスクは、禁止の表示を見落とすことと、配ってよい物件を禁止にしてしまうことの2つです。 どちらも「迷うものは人へ」という同じ線で防ぎます。
10まず何から始めるか
1週目:建物の番号をそろえる
禁止の物件の一覧に建物の番号の列を足し、区域の表と同じ番号にそろえます。苦情の多い区域から埋めます。
2週目:50組で試す
先月の写真から50組を選び、有料の枠の API で第7章の指示を試します。名前の札の文字が返っていないか、読めない貼り紙を無かったことにしていないかを最優先で見ます。
3週目:禁止の言葉と条件の言葉を決める
どの文言を禁止の表示とみなすかを、営業の担当と決めます。 「ご遠慮ください」「不要です」をどう読むか、「管理組合の配布物を除く」をどう扱うかを、言葉の一覧に書きます。ここが決まらないうちに区分を出すと、担当ごとに読み方が分かれたままになります。
4週目:フォームから確認の一覧までをつなぐ
配布員の写真の受け取りを Google フォームに替え、時間主導のトリガーで Gemini を呼び、返った JSON を確認の一覧に書き出すところまで作ります。この時点では区分を出さず、写された文字と枠だけを見ます。
2か月目: 禁止の物件の一覧との照合と区分の規則を足し、suspect_posted と new_sign の通知を始めます。区分ごとの件数を毎週数えます。3か月目以降: 枠を描いた確認用の画像を足し、1組2分が何分になったかを実測します。新しい禁止の表示が一覧に入るまでの日数が縮んだ時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
Interactions API の宛先が /v1beta/interactions で、input に文の部品と画像の部品(data、mime_type)を並べること。REST の例が x-goog-api-key と Api-Revision のヘッダーを付けていること。対応する形式が PNG・JPEG・WEBP・HEIC・HEIF であること。文の指示と画像を合わせて依頼1件20MBまでで、超えるものは File API を使うこと。画像1枚と文なら文を画像の前に置くこと。枠を box_2d の [ymin, xmin, ymax, xmax] で0〜1000に正規化して返し、元の大きさに直して使うこと。向きを確かめ、ぼやけていない画像を使うこと。384ピクセル以下は258トークン、大きい画像は768×768のタイルごとに258トークンであること | Google AI Studio: Image understanding | 2026-11-19 |
構造化出力を response_format(type を text、mime_type を application/json、schema)で指定すること。enum、minItems/maxItems が使え、minLength/maxLength は守られず外されること。値はアプリの側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-19 |
Interactions API が既定でやり取りを保存し(有料55日、無料1日)、store=false で保存しないこと。store=false が background の実行と併用できないこと | Google AI Studio: Interactions API | 2026-11-19 |
| API を使う人が18歳以上であること。18歳未満に向けた、または18歳未満が使いうるサービスでの利用を禁じていること。無料のサービスでは入力と応答が改善に使われ人が読むことがあり、機密や個人の情報を送らないよう求めていること。有料のサービスでは改善に使わず、禁止された使い方の検出のために一定期間記録すること。生成された内容に頼る前に慎重に判断するよう求めていること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-19 |
| インストール型のトリガーに時間主導とフォームの送信時があること。作った人のアカウントで動くこと。時間主導のトリガーの時刻が少しずれうること。失敗するとまとめの通知のメールが届くこと | Google Apps Script: Installable triggers | 2026-11-19 |
| ファイルのアップロードの質問は回答者が Google アカウントにログインする必要があること。ファイルがフォームの持ち主のドライブの新しいフォルダに保存されること。種類・数・最大の大きさを決められること。共有ドライブに置いたフォームと、データ損失防止が有効な場合は使えないこと | Google ドキュメント エディタ ヘルプ: ファイルのアップロード | 2026-11-19 |
| チラシをポストに投函することを規制する法律はないとしていること | 練馬区: ポスティングされたチラシを見て安易に電話をしないようにしましょう | 2026-11-19 |
どの表示に従うか、どの文言を禁止とみなすかは、自社と広告主で決めてください。 本記事は公式のページで確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-4191)についてのご相談はこちらから。
