産業廃棄物の収集運搬の業者が積込みのときに撮った荷の写真を Gemini で見て、契約にない廃棄物や混ぜてはいけないものの候補を拾う
運転手が積込みのときに撮った荷台と容器の写真を Gemini API で見て、写っている物の候補を枠つきで返します。その排出事業者との契約にない品目に見える物と、他と分けて運ぶべき物の候補を、出発前に知らせます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/建設/物流/製造
- 対象部門
- 品質管理
- 対象業務
- 内容確認・チェック/記録・議事録作成
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/対応スピード向上
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 運転手が排出事業者の現場で積込みを終え、荷台と容器の写真を撮って社内のチャットに送る
- 業務課の担当が、手が空いたときにチャットを開き、写真と配車の表から排出事業者を突き合わせる
- 委託契約の一覧を開き、その排出事業者と契約している品目を確かめる
- 写真を拡大しながら、契約にない品目や、分けて運ぶべき物が写っていないかを目で見る
- 気になる物があれば運転手に電話し、現場にまだいれば排出事業者の担当と話してもらう
- 積込みの記録の表に、日時・排出事業者・品目・気になった点を書く
- 処分場から混入の連絡が来たら、その日の写真をさかのぼって経緯を調べる
- 人運転手が積込みの後、業務用アプリで配車の番号を選び、荷台と容器の写真を撮って送る
- 自動サーバーが写真を受け取り、配車の番号から排出事業者と契約の品目を引く
- 自動写真の向きと大きさを整え、人の顔や車の番号が写っていれば塗りつぶす
- 自動Gemini API が、写っている物の候補を枠と見え方の種類で返し、見えない範囲を返す
- 自動プログラムが、見え方の種類を自社の対応表で品目に読み替え、契約の品目と照らす
- 自動`clear`(確かめる物なし)/ `check`(確かめる物あり)/ `photo_retake`(写真の撮り直し)を規則で付ける
- 自動`check` と `photo_retake` は、運転手のアプリと業務課の画面に同時に知らせる
- 人業務課の担当が、印の付いた写真を見て、運転手に確かめてもらう点を決める
- 人運転手が現場で排出事業者の担当と確かめ、分ける・そのまま運ぶ・持ち帰りを相談して結果を入れる
- 自動積込みの記録に、写真・候補・人の判断・結果を残す
各工程の詳しい説明を読む
- 運転手が排出事業者の現場で積込みを終え、荷台と容器の写真を撮って社内のチャットに送る
- 業務課の担当が、手が空いたときにチャットを開き、写真と配車の表から排出事業者を突き合わせる
- 委託契約の一覧を開き、その排出事業者と契約している品目を確かめる
- 写真を拡大しながら、契約にない品目や、分けて運ぶべき物が写っていないかを目で見る
- 気になる物があれば運転手に電話し、現場にまだいれば排出事業者の担当と話してもらう
- 積込みの記録の表に、日時・排出事業者・品目・気になった点を書く
- 処分場から混入の連絡が来たら、その日の写真をさかのぼって経緯を調べる
(a)写真を見るのが遅い。 2番目の「手が空いたとき」は、たいてい運転手が次の現場に向かった後です。気になる物に気づいても、もう荷は現場を離れています。 そこから排出事業者に連絡して引き取りの調整をするのは、現場で分けるよりずっと重い仕事です。
(b)契約の一覧を引くのに時間がかかる。 排出事業者は約400件あり、同じ会社でも現場ごとに契約が分かれていることがあります。
(c)見る人によって拾う物が違う。 混ざった荷の中から、束ねた蛍光管、ガスボンベ、電池、断熱材の切れ端を見つけるには慣れが要ります。慣れた1名とそうでない2名で、同じ写真から拾う物の数が違います。
(d)全部を見る仕組みになっていない。 月900件を3名で8分ずつ見ると、月120時間です。忙しい日から順に写真は見られなくなり、処分場からの苦情で初めて開くという形が続いています。
- 【人】 運転手が積込みの後、業務用アプリで配車の番号を選び、荷台と容器の写真を撮って送る
- 【自動】 サーバーが写真を受け取り、配車の番号から排出事業者と契約の品目を引く
- 【自動】 写真の向きと大きさを整え、人の顔や車の番号が写っていれば塗りつぶす
- 【自動】 Gemini API が、写っている物の候補を枠と見え方の種類で返し、見えない範囲を返す
- 【自動】 プログラムが、見え方の種類を自社の対応表で品目に読み替え、契約の品目と照らす
- 【自動】
clear(確かめる物なし)/check(確かめる物あり)/photo_retake(写真の撮り直し)を規則で付ける - 【自動】
checkとphoto_retakeは、運転手のアプリと業務課の画面に同時に知らせる - 【人】 業務課の担当が、印の付いた写真を見て、運転手に確かめてもらう点を決める
- 【人】 運転手が現場で排出事業者の担当と確かめ、分ける・そのまま運ぶ・持ち帰りを相談して結果を入れる
- 【自動】 積込みの記録に、写真・候補・人の判断・結果を残す
7番目が、この設計の分かれ目です。 結果が届くのが運転手が現場にいるうちでなければ、分ける機会がなくなり、AIを入れても今と同じく処分場で気づくことになります。 写真が届いてから結果を返すまでを、数分に収める設計にします。
6番目を規則で決めているのも、意図してのことです。 どの見え方を「確かめる」に回すかは、自社の対応表と契約の一覧で決めます。 契約も対応表も後から変わるからです。
02今回想定するシステム構成
運転手の業務用アプリ(配車の番号を選んで写真を送る) ▼【トリガー】写真が届いたとき Python のサーバー ├── 配車の番号 → 排出事業者 → 委託契約の品目を引く ├── 写真の向き・大きさを整える、顔と車の番号を塗りつぶす ▼ Gemini API(画像の理解・構造化出力)── 積込み1回分の写真 │ 写っている物の候補と枠、見え方の種類、見えない範囲 ▼ Python ── 見え方の種類 → 自社の対応表で品目に読み替え → 契約と照らす ▼ clear / check / photo_retake ▼ 運転手のアプリと業務課の画面に知らせる ▼ 【人】業務課が写真を確かめる → 運転手が現場で確かめる → 結果を記録
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(積込みの写真から写っている物の候補と枠、見えない範囲を返す) | Claude API、OpenAI API |
| 連携 | Python(写真の受け取り、前処理、呼び出し、対応表と契約の照合、通知) | Google Apps Script |
| 契約の一覧 | 排出事業者ごとの委託契約の品目(スプレッドシート) | - |
| 写真の送り | 運転手の業務用アプリ(フォーム) | - |
新しく足すのは、Python のサーバーと Gemini API の契約、自社の対応表です。 委託契約の一覧は今のものを使い、運転手の写真の送り先を社内のチャットからアプリのフォームに変えます。 チャットのままだと、どの写真がどの配車のものかを後から結び付けられません。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文と合わせたリクエスト全体が20MBまでです。大きいファイルや、同じ画像をくり返し使う場合は Files API を使うよう案内されています。
位置は枠で返させます。 枠は [ymin, xmin, ymax, xmax] の順で、画像の大きさに対して0〜1000に正規化されるため、元の画像の大きさに戻してから印を描きます。物の輪郭まで要るときは、枠・ラベル・多角形の mask を返す分割(セグメンテーション)もあり、公式は思考の設定を minimal にすると結果がよいとしています。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format で mime_type を application/json にし、schema にスキーマを入れます。文字列は enum で決まった値に絞れ、配列の minItems・maxItems は守られます。値が正しいかはアプリ側で検証するよう公式に書かれています。
03どうやって実装するのか
処理の起点を決める
写真が届いたときに、1回の積込みごとに動きます。 運転手は積込みが終わったら、アプリで配車の番号を選び、写真を撮って送ります。配車の番号を先に選ばせるのは、写真と排出事業者を確実に結び付けるためです。 写真の撮影場所や時刻から推し量る方式にすると、隣り合う現場を取り違えます。
撮るのは、積み終えてシートや蓋をかける前です。 シートをかけた後の写真では中身が写りません。アプリの画面に「シートをかける前に、後ろから1枚・横から1枚・容器の中を1枚」と例の写真を出しておきます。写真が2枚に満たない送信は受け付けず、その場で撮り足してもらいます。
この構成を使うのは業務課と運転手だけで、全員が18歳以上の社員です。 Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。排出事業者や一般の人がこの画面を使うことはありません。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 積込みの写真 | 荷台の後ろ・横、容器の中、気になる物の近く | 運転手の業務用アプリ |
| 配車の情報 | 配車の番号、車両、運転手、排出事業者、現場、日時 | 配車の表 |
| 委託契約の品目 | その排出事業者・現場と契約している廃棄物の種類と数量の欄 | 委託契約の一覧 |
| 見え方の種類の一覧 | 木材、コンクリート片、金属、プラスチック、紙・段ボール、ガラス・陶磁器、繊維、石こうボード、断熱材、蛍光管、電池、ガスボンベ・スプレー缶、液体の容器、家電、タイヤ、その他 | サーバーに持たせる |
| 自社の対応表 | 見え方の種類ごとに、どの品目に当たりうるか、分けて運ぶ物か、必ず人が見る物か | スプレッドシート |
質を決めるのは、いちばん下の対応表です。 AIが返す見え方の種類と、契約の品目は1対1に対応しません。たとえば「プラスチック」に見える物は、廃プラスチック類のこともあれば、電線の被覆や家電の外装のこともあります。 対応表には「この見え方なら、どの品目のどれかに当たりうる」を書き、1つに決めきれない見え方は必ず人が見る側に置きます。
委託契約の品目は、契約書の欄をそのまま一覧にします。 廃棄物処理法の施行令の委託の基準は、委託契約を書面で行い、委託する産業廃棄物の種類及び数量などの条項を含めることを求めています。照らす先は、この契約の欄だけにします。 運転手の記憶や「いつも運んでいる物」を照らす先にすると、契約の外の物が慣れで通ります。
分けて運ぶ物は、対応表で必ず人が見る側に置きます。 施行令の収集・運搬の基準では、石綿を含む産業廃棄物や水銀を使った製品の産業廃棄物を運ぶときは、他の物と混ざるおそれのないように区分して運ぶとされています。写真から石綿を含むかは分かりません。 だからこそ、断熱材・吹付けの材料・古い建材に見える物と、蛍光管・体温計のように見える物は、見え方だけで人に回します。
データの取得方法を決める
写真はアプリのフォームからサーバーに直接届きます。 届いたら、配車の番号のフォルダに元の写真を保存し、保存が終わってから AI を呼びます。 呼び出しに失敗しても写真が残り、後から同じ写真で呼び直せます。
配車の番号から、排出事業者と現場、契約の品目を引きます。 委託契約の一覧は、排出事業者・現場・契約の期間・品目の4列を持たせ、積込みの日が契約の期間の中にあるかも同時に確かめます。 期間の切れた契約にしか当たらないときは、写真の結果を待たずに check にします。
Gemini API へは、積込み1回ごとに1回、写真をまとめて渡します。 後ろと横と容器の中を一緒に渡すと、同じ物が別の写真に写っているときに、別々の候補として数えずに済みます。 写真の番号を指示の文で伝え、候補ごとにどの写真の物かを返させます。
有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日)、store=false で保存しない動きにできると案内されています。写真は自社のフォルダに残すので、AI側に残す必要はありません。
AIへ渡す前に整形する
- 向きの補正 … スマートフォンの写真の向きの情報で回転しているだけのものは、画素を回転させます
- 縮小 … 長い辺を2,000ピクセル程度に縮めます。気になる物の近くの写真は、細かさが分かるよう大きめに残します
- 塗りつぶし … 人の顔、車両の番号、現場の看板にある個人の名前を塗りつぶします
- 明るさの確認 … 暗い・ぶれている写真は、AIに渡さずに
photo_retakeにします - 枚数の確認 … 後ろ・横・容器の中のどれが欠けているかを、アプリで選んだ写真の種類から確かめます
- 大きさの確認 … 写真と指示の文を合わせて20MBを超えないかを見ます。超えるときは縮め直します
3番目を軽く見ないでください。 建設現場の写真には、作業員の顔と、現場の看板の責任者の名前がよく写ります。物の候補を探すのに人の顔は要りません。塗りつぶした写真だけを渡し、元の写真は自社のフォルダにだけ残します。
4番目は、AIに判断させません。 暗い写真を渡すと、AIは見えない部分も「特になし」と返しがちです。写真の明るさとぶれは、画素の値からプログラムで測ります。 下回ったものはその場で撮り直しを頼みます。
AIに処理させる
させるのは、写真に写っている物の候補を枠で返して見え方の種類を付けることと、見えない範囲を返すことだけです。
| 返すもの | 中身 | 判断できないときの扱い |
|---|---|---|
| 写っている物の候補 | 写真の番号、枠、見え方の種類(一覧の中から)、見え方の短い説明 | 何か分からなければ unknown として候補に入れる |
| 主な中身 | 荷の大部分を占めているように見える種類 | 混ざりすぎて分からなければ mixed |
| 見えない範囲 | 荷の下・奥、容器の底、袋の中など、写真から中身が見えない範囲 | 範囲がはっきりしなければ写真ごと「見えない範囲あり」 |
| 写真の状態 | 中身がどの程度写っているか | 中身がほとんど写っていなければ insufficient |
右端の列の考え方は、迷ったら人が見る側に倒すことです。 何か分からない物を、ありそうな種類に寄せて返させません。unknown の候補は、対応表で必ず人が見る側に回ります。
| させないこと | 理由 |
|---|---|
| 法令上の廃棄物の種類を決めること | 同じ見た目でも由来で種類が変わる。自社の対応表と人が決める |
| 契約の品目に当たるかの結論 | 契約の一覧との照合はプログラムが行う |
| 石綿や水銀などを含むかの判断 | 写真では分からない。分析や排出事業者の情報による |
| 積み込むか断るかの決定 | 排出事業者との相談と、会社の取り決めで決める |
| 重さ・量の見積り | 写真からは決められない。計量の記録を使う |
| 排出事業者の過失や違反を書くこと | 見え方の候補で人を責める文にしない |
3行目がいちばん起きやすい失敗です。 古い建材の切れ端の写真を渡すと、AIは「石綿を含む可能性が高い」「アスベスト含有建材」と書きたがります。その言葉が記録に残ると、確かめる前に事実のように扱われます。 返すのは「断熱材のように見える」「吹付けの材料のように見える」までにします。
6行目は、運転手が排出事業者に見せる画面にも響きます。 運転手が現場で写真の印を見せながら話すとき、画面に「違反」「不適正」と出ていれば、相手は責められたと受け取ります。 画面に出す言葉は「契約の一覧にない種類に見える物があります。確かめてください」にそろえます。
確かめる物の振り分けは、プログラムが次のように行います。
| 振り分け | 付け方の例(自社で決める) |
|---|---|
| 必ず人が見る | 対応表で「分けて運ぶ物」の見え方(断熱材・吹付けの材料・蛍光管・電池・ガスボンベ・液体の容器)、unknown |
| 契約の品目と照らす | 対応表で当たりうる品目が、どれも契約の品目に無ければ check |
| そのまま | 当たりうる品目のどれかが契約の品目にあり、分けて運ぶ物でない |
| 写真の撮り直し | 写真の状態が insufficient、または後ろ・横・容器の中のどれかが欠けている |
指示内容を固定する
あなたは産業廃棄物の収集運搬の会社で、積込みのときに撮った荷の写真を見る手伝いをする係です。
写真の番号と種類は次のとおりです。
{1: 荷台の後ろから, 2: 荷台の横から, 3: 容器の中 ...}
【やること】
1. 写真に写っている物の候補を探す。見え方の種類は次の一覧から選ぶ。
wood, concrete, metal, plastic, paper, glass_ceramic, textile,
gypsum_board, insulation, spray_material, fluorescent_tube, battery,
gas_cylinder_spray_can, liquid_container, appliance, tire, unknown
2. 候補ごとに、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で、
0〜1000 に正規化して返す。見え方を短く書く。
3. 同じ物が別の写真にも写っているときは、1つの候補にまとめ、
写真の番号をすべて書く。
4. 荷の大部分を占めているように見える種類を書く。
5. 荷の下や奥、容器の底、袋の中など、写真から中身が見えない範囲を書く。
6. 写真に中身がどの程度写っているかを sufficient / partial / insufficient で書く。
【厳守事項】
- 法令上の廃棄物の種類(廃プラスチック類、がれき類など)を書かないでください。
- 石綿(アスベスト)、水銀、PCB などの物質を含むかどうかを書かないでください。
「断熱材のように見える」「吹付けの材料のように見える」までにしてください。
- 積んでよいか、断るべきかを書かないでください。
- 重さや量を書かないでください。
- 「違反」「不適正」「過失」など、人を責める言葉を使わないでください。
- 何か分からない物は unknown として候補に入れてください。
ありそうな種類に寄せないでください。
- 見えない範囲について「問題なし」「混入なし」と書かないでください。
- 人、車両の番号、看板の文字については何も書かないでください。
「見えない範囲について問題なしと書かない」を入れないと、荷の表面だけを見て「混入物は見当たりません」と返します。 その一文が記録に残ると、荷の下に何があったかを誰も確かめていないのに、確かめたことになります。 見えない範囲は見えない範囲として、そのまま記録に残します。
出力形式を固定する
積込み1回ごとに、次の形の JSON で受け取ります。 kind、coverage、main_content は enum で決まった文字列に絞り、photos には minItems を付けて写真の番号を必ず1つ以上入れさせます。
{
"dispatch_id": "D-20261027-0412",
"findings": [
{ "photos": [1, 2], "box_2d": [610, 140, 720, 260],
"kind": "fluorescent_tube",
"note": "荷の右下に、細長い白い管を束ねたように見える物" }
],
"main_content": "wood | concrete | metal | plastic | paper | mixed | unknown",
"not_visible": [ { "photo": 1, "area": "荷の下半分", "reason": "covered | container_bottom | bagged | dark" } ],
"coverage": "sufficient | partial | insufficient"
}
1つ目の理由は、findings の kind だけで対応表を引けることです。 プログラムは kind から当たりうる品目を引き、契約の品目と照らして、候補ごとに「必ず人が見る」「契約と照らして外れ」「そのまま」を付けます。 AIの説明文には頼りません。
2つ目は、box_2d で写真に印を描けることです。 運転手のアプリと業務課の画面には、印を描いた写真と、候補の一覧を並べて出します。運転手は印のある所を見に行けばよく、写真を拡大して探す必要がありません。
3つ目は、not_visible と coverage を記録にそのまま残せることです。 後から処分場で混入が見つかったとき、「写真で見えていたのに拾わなかった」のか「見えない範囲にあった」のかを分けて振り返れます。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 運転手の業務用アプリ | サーバーが受け取り、結果を返す | 写真と配車の番号。結果の一覧と印を描いた写真 |
| 配車の表 | 読み取り | 配車の番号から排出事業者・現場・車両を引く |
| 委託契約の一覧 | 読み取り | 品目と契約の期間 |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | 写っている物の候補、見えない範囲、写真の状態 |
| 業務課の画面 | 書き込み | check と photo_retake の一覧 |
| 積込みの記録 | 書き込み | 写真、候補、人の判断、現場での結果 |
委託契約の一覧には書き込みません。 契約にない品目が見つかっても、一覧に品目を書き足すのは、排出事業者と契約を結び直した後に人が行うことです。 この構成から書き足す経路を作ると、現場の判断がそのまま契約の記録になります。
排出事業者へは、この構成から連絡を送りません。 現場で話すのは運転手、後から連絡するのは業務課の担当です。AIの候補の一覧が、そのまま排出事業者に届く経路は作りません。
運転手のアプリへの返しは、短くします。 運転中に読まないよう、結果は車両が停まっている積込みの場で読める長さにし、clear のときは「確かめる物はありません。見えない範囲:荷の下」とだけ出します。
人が確認する
- 業務課の担当が
checkを先に見る … 印のある写真を開き、候補が本当にそう見えるかを確かめます。明らかな見間違いはその場で外します - 運転手に確かめてもらう点を決める … 「荷の右下の白い管」のように、場所と物を一言で伝えます
- 運転手が現場で確かめる … 排出事業者の担当と物を見て、分ける・そのまま運ぶ・持ち帰りを相談し、アプリで結果を選びます
- 分けて運ぶ物は、業務課の責任者が扱いを決める … 別の車両や容器で運ぶか、別の日に回すかを決めます
- 外した候補を記録する … 金属の光をガスボンベと言った、白い塩ビ管を蛍光管と言った、などの理由を残します
4番目を省かないでください。 石綿を含むおそれのある物や蛍光管を、運転手の判断だけで混ぜて運ぶことがないように、責任者が決める手順にします。写真からは含むかどうかは分かりません。
目標は、900件をならして1件2分です。 clear の多くは、業務課の担当が一覧で流し見るだけで済みます。check の写真を確かめて運転手に伝えるのに数分かかります。 check が半分を超える日が続くなら、対応表が厳しすぎるか、写真の撮り方が伝わっていません。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が暗い・ぶれている・中身が写っていない | photo_retake。その場で撮り直してもらう |
| 配車の番号が選ばれていない | 受け付けず、選び直してもらう |
| 契約の期間が切れている | 写真の結果を待たずに check。業務課の担当が契約を確かめる |
| 電波が弱くて写真が送れない | アプリに残し、電波が戻ったら送る。出発前に結果が返らなかったことを記録する |
| Gemini API が応答しない・時間がかかる | 一定時間で打ち切り、業務課の担当が写真を直接見る |
JSON の値が enum に無い・枠が写真の外 | 候補を出さず、業務課の担当が写真を見る |
| 安全の仕組みで応答が止まる | 写真を担当が直接見る。指示の文を直すのは後で行う |
| 現場で分けられない | 業務課の責任者に回し、運ぶか持ち帰りかを決める |
上から4行目までが大半を占めます。 どれもAIの精度の問題ではなく、写真の撮り方と、アプリの使い方の問題です。 4行目の「結果が返らなかった」記録は、電波の弱い現場の一覧になり、その現場だけは積込みの前に写真を送るといった手順に直す材料になります。
記録を残す
- 配車ごとの元の写真と、塗りつぶして AI に渡した写真
- Gemini API が返した JSON の全文
- そのときの対応表と委託契約の一覧の版、付けた振り分け
- 候補ごとに業務課の担当が付けた「確かめる」「外す」と、外した理由
- 運転手が現場で選んだ結果(分けた・そのまま運んだ・持ち帰り)と時刻
- 処分場から後で混入の連絡があった配車と、そのときの候補の有無
最後の行が、対応表を直す材料です。 処分場で見つかった物が、写真の候補にあったのか、見えない範囲にあったのか、候補にあったのに人が外したのかを分けて数えます。人が外したものが多ければ、その見え方は外さない側に置き直します。
写真は、配車の番号で後から引けるようにします。 処分場との話し合いでは「その日の積込みのときに何が写っていたか」を示すことになります。元の写真と AI に渡した写真の両方を、同じ番号で残します。
04実装レベルの3段階
最小構成では件数がさばけません。 1組ずつ貼り付けるので、900件には使えません。確かめるための段階です。 半自動化で、1件8分が4分程度になります。 写真を拡大して探す作業は減りますが、契約の一覧を引く作業と、記録の表への記入が残ります。そして結果が出るのは、運転手が現場を離れた後です。 本格構成で1件2分になり、この段階が本記事の想定です。差が大きいのは、契約との照合と記録が、1件ずつの手作業だからです。 段階を飛ばさないでください。 半自動化の一覧を1か月見ると、どの見え方の候補を人が外すことが多いかが分かります。そこを対応表に入れてから本格構成に進むほうが、運転手への知らせの空振りが減ります。
05工数削減シミュレーション
導入後 900件 × 2分 ÷ 60 = 30 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 建設現場・工場・店舗など多くの排出事業者を回り、契約ごとに運べる品目が違う産業廃棄物の収集運搬の業者。運転手に積込みの写真を撮ってもらっているが、事務所で全部を見る時間がなく、処分場の受入れで混入を指摘されてから気づくことがある場合。積込み前後の写真を送る仕組み(スマートフォンの業務用アプリやフォーム)がすでにある場合。
- 排出事業者が数社に限られ、品目が毎回同じで目視で足りる場合。密閉した容器やタンクで運ぶ液状の廃棄物が中心で、写真に中身が写らない場合。特別管理産業廃棄物を中心に扱い、分析の結果で受け入れを決めている場合。なお、廃棄物の種類の法的な区分、有害な物質を含むかの判断、積み込むか断るかの決定は、この構成では代替できません。
07最小構成で試す方法
- 先月の積込みの写真から30組を選ぶ(うち数組は、処分場で混入を指摘されたものを入れる)
- その30組について、どの排出事業者のどの契約の品目だったかを書き出す
- 30組の写真を、手元の Gemini の画面に1組ずつ貼り付ける
- 「この写真に写っている物を、木材・コンクリート片・金属・プラスチック・断熱材・蛍光管・電池・ガスボンベなどの見え方で、場所とあわせて挙げてください。見えない範囲も書いてください。法令上の種類や、石綿を含むかは書かないでください」と指示する
- 出てきた候補を、契約の品目と処分場の指摘とに突き合わせる
30組は必ずやってください。 アプリやサーバーを作る前に、「自社の荷の写真から、見つけたい物が候補に出るのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 処分場で指摘された物が候補に出た | サーバーと対応表の作成に進む |
| 石綿を含むかなど、書かせない事を書いた | 指示の書き方で直る。構成は有効 |
| 荷の表面しか写っておらず、候補が出ない | 写真の撮り方が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、処分場で気づくことになっていた理由が1つ分かったということです。 シートをかける前に撮る形に変えて取り直し、候補がどこまで変わるかを見てください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 荷の表面だけを見て「混入なし」と返す | 見えない範囲を返させ、「問題なし」と書かせない |
| 石綿を含む・含まないを書く | 指示で禁じ、見え方の言葉に限る |
| 見え方の候補を契約違反として扱う | 照合はプログラムが対応表で行い、画面の言葉を「確かめてください」にそろえる |
| 結果が返るのが現場を離れた後 | 写真が届いたら1件ずつ動かし、一定時間で打ち切って担当が直接見る |
| どの写真がどの配車か分からない | アプリで配車の番号を先に選ばせる |
| シートをかけた後の写真しか届かない | アプリに例の写真を出し、2枚に満たない送信を受け付けない |
| 自由な言葉の種類で対応表が引けない | kind を enum で縛る |
| 白い塩ビ管を蛍光管と言う | 外した理由を記録し、それでも分けて運ぶ物は外さない側に置く |
| 期間の切れた契約で積み込む | 契約の期間も同時に確かめる |
| 作業員の顔や看板の名前が写る | 塗りつぶしてから渡す |
| 知らせの空振りで運転手が読まなくなる | 半自動化の1か月で外されやすい見え方を対応表に入れる |
上の3行が、この構成の失敗のほとんどです。 どれも「AIの言葉が、そのまま事実や判断として扱われる」ことから出ています。AIが返すのは見え方まで、決めるのは対応表と人という線を、指示と画面の言葉の両方で守ります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 排出事業者の名前と現場、委託契約の品目、積込みの写真、運転手と車両の情報です。写真には、作業員の顔、現場の看板、車両の番号が写り込みます。
- 写真から人を外す … 物の候補を探すのに人の顔は要りません。塗りつぶした写真だけを渡し、指示でも人について書かせません
- AIの言葉を排出事業者への連絡に使わない … 排出事業者には、業務課の担当と運転手が確かめた事実だけを伝えます。「違反」「不適正」と書いた文が、AIの候補から作られて届くことがないようにします
- この構成は廃棄物の種類の法的な区分を代替しません … どの種類の産業廃棄物に当たるか、有害な物質を含むか、積み込むか断るかは、会社と排出事業者が決めることです。 この構成が出すのは、写真にどう見えたかという候補だけです
- 石綿や水銀を含むおそれのある物は、見え方だけで人に回す … 写真からは分かりません。「含まない」とも「含む」とも書かせず、分けて運ぶかは責任者が決めます
- 18歳以上の社員だけが使う … Gemini API の規約の条件です。排出事業者や一般の人がこの画面を使う形にしません
- AI側にやり取りを残さない … 有料の利用枠で使い、
store=falseを付けます。写真の保管は自社のフォルダで行い、保存の期間を決めます
誤りが起きた場合のリスクは、混ざっていた物を見落として運ぶことと、混ざっていない物で排出事業者を疑うことの2つです。 前者は見えない範囲を「問題なし」と扱うと起き、後者は見え方の候補を事実として扱うと起きます。どちらも、AIの言葉をどこまでとするかの線から出ているので、そこを設計で守ります。
10まず何から始めるか
1週目:対応表の下書きを作る
見え方の種類の一覧(木材、コンクリート片、金属、プラスチック、断熱材、蛍光管、電池、ガスボンベなど)ごとに、当たりうる品目と、分けて運ぶ物かを書きます。業務課の慣れた1名と、処分場との窓口の担当で作ります。すべての見え方を一度に決める必要はありません。 分けて運ぶ物の行を先に決めます。
2週目:30組で試す
先月の積込みの写真から30組を選び、手元の Gemini の画面に貼って候補を挙げさせます。処分場で指摘された物が候補に出るか、見えない範囲を「問題なし」と書いていないかを最優先で見ます。
3週目:写真の撮り方を決める
シートをかける前に、後ろ・横・容器の中の3枚を撮ることを、運転手と決めます。例の写真を作り、アプリの画面に載せます。 あわせて、委託契約の一覧に現場と契約の期間の列をそろえます。
4週目:まとめて候補を出す
業務課が1日分の写真をまとめて API に渡し、印の付いた写真と候補の一覧を作るところまで作ります。この時点では運転手に知らせず、業務課だけで候補を見ます。
2か月目: 外されやすい見え方を対応表に入れ、契約の品目との照合を足して、check の件数を毎週数えます。3か月目以降: 運転手のアプリから自動で動かし、現場にいるうちに知らせます。1件8分が何分になったかを実測します。処分場から後で混入の連絡があった配車を、候補にあった・見えない範囲にあった・人が外した、に分けて数えるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文と合わせたリクエスト全体が20MBまでで、大きいファイルには Files API を使うこと。物の位置が [ymin, xmin, ymax, xmax] の順で0〜1000に正規化されて返ること。分割で枠・ラベル・多角形の mask が返り、思考を minimal にするとよいとされていること。384ピクセル以下の画像が258トークン、それより大きい画像は768×768のタイルごとに258トークンであること。Gemini 3 から media_resolution があること。例が /v1beta/interactions に送る形であること | Google AI for Developers: Image understanding | 2026-10-27 |
構造化出力を /v1beta/interactions の response_format(type、mime_type に application/json、schema)で指定すること。文字列の enum、配列の minItems・maxItems が使えること。値はアプリ側で検証するよう書かれていること | Google AI for Developers: Structured output | 2026-10-27 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること | Google AI for Developers: Interactions API | 2026-10-27 |
| 利用には18歳以上であることが必要で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと | Gemini API Additional Terms of Service | 2026-10-27 |
| 委託の基準として、委託契約を書面で行い、委託する産業廃棄物の種類及び数量などの条項を含めること。収集・運搬の基準として、石綿を含む産業廃棄物や水銀を使った製品の産業廃棄物を、他の物と混ざるおそれのないように区分して運ぶこと | e-Gov 法令API: 廃棄物の処理及び清掃に関する法律施行令 | 2026-10-27 |
どの物を分けて運ぶか、どの見え方をどの品目に読み替えるかは、自社の許可の内容、処分場の受入れの条件、排出事業者との契約に合わせて決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2030)についてのご相談はこちらから。
