社員食堂の運営会社が、返却口で撮った食器の写真を Gemini で見て料理ごとの残り具合を推定し、献立ごとの残食の傾向をまとめる
社員食堂の返却口で撮ったトレーの写真を Gemini に見せ、その日の献立の料理ごとに「残りなし・少し・半分・ほとんど・手付かず」の5段階で残り具合を推定させます。推定を献立ごとに集計し、残食の傾向の表と委託元への報告の下書きを作ります。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/製造/飲食
- 対象部門
- 品質管理/生産
- 対象業務
- 記録・議事録作成/集計・分析
- 主な課題
- データ分析に時間がかかる/入力作業が多い/属人化している
- AIで行う処理
- 画像認識
- 主な効果
- 判断支援/品質標準化/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 昼の返却の時間に、栄養士が返却口に立ち、トレーを目で見る
- 料理ごとの残り具合を、記録表の献立の欄に正の字で付ける
- 厨房の担当が、残菜を料理の種類ごとに分けて量り、計量の記録に書く
- 午後、栄養士が記録表と計量の記録を表計算に入力する
- 献立ごとに、残りの多かった料理を拾い、短いメモを付ける
- 月末に、1か月分を集計し、委託元への報告と本部への報告を書く
- 本部の献立の担当が、8食堂の報告を読んで、献立の見直しを考える
- 人朝、栄養士がその日の献立を撮影の画面で確かめる(献立の管理表から自動で出る)
- 自動返却口の真上に固定したカメラが、トレーが撮影の枠に置かれるたびに1枚撮る
- 自動撮影の画面が、写真のぼやけ・暗さと、枠からのはみ出しを確かめる
- 自動昼の返却の時間が終わったら、本部のサーバーがトレーの写真を1枚ずつ Gemini API に渡し、料理ごとの段階を返させる
- 自動スクリプトが段階を献立ごとに集計し、1人分の量から残食の量の目安を出して、厨房の残菜の計量と並べる
- 人栄養士が、抜き取りで20枚の写真と推定を見比べ、目安と計量の差を確かめて、その日の記録を確定する
- 自動確定した記録から、献立ごとの傾向の表と、委託元への報告の下書きを作る
- 人栄養士が報告の下書きに所見を書き足し、本部の献立の担当と委託元に送る
各工程の詳しい説明を読む
- 昼の返却の時間に、栄養士が返却口に立ち、トレーを目で見る
- 料理ごとの残り具合を、記録表の献立の欄に正の字で付ける
- 厨房の担当が、残菜を料理の種類ごとに分けて量り、計量の記録に書く
- 午後、栄養士が記録表と計量の記録を表計算に入力する
- 献立ごとに、残りの多かった料理を拾い、短いメモを付ける
- 月末に、1か月分を集計し、委託元への報告と本部への報告を書く
- 本部の献立の担当が、8食堂の報告を読んで、献立の見直しを考える
(a)見られるトレーが一部だけ。 300食の食堂で栄養士が見られるのは40〜50枚です。返却の早い時間に来る人と遅い時間に来る人で食べ方が違うので、見た時間で記録が偏ります。
(b)見る人で段階がずれる。 「半分残っている」と見るか「少し残っている」と見るかは、栄養士ごとに違います。8食堂の記録を本部で並べても、食堂の違いなのか記録する人の違いなのかが分かりません。
(c)入力と集計に午後が消える。 正の字の記録表を表計算に打ち直し、計量の記録と並べて、残りの多かった料理を拾う。毎日のことなので、忙しい日から抜けます。
(d)料理ごとの傾向が見えにくい。 同じ料理が月に2回出ても、別の日の記録として残るだけです。「この煮物は毎回半分残る」という傾向は、栄養士の記憶に頼っています。
- 【人】 朝、栄養士がその日の献立を撮影の画面で確かめる(献立の管理表から自動で出る)
- 【自動】 返却口の真上に固定したカメラが、トレーが撮影の枠に置かれるたびに1枚撮る
- 【自動】 撮影の画面が、写真のぼやけ・暗さと、枠からのはみ出しを確かめる
- 【自動】 昼の返却の時間が終わったら、本部のサーバーがトレーの写真を1枚ずつ Gemini API に渡し、料理ごとの段階を返させる
- 【自動】 スクリプトが段階を献立ごとに集計し、1人分の量から残食の量の目安を出して、厨房の残菜の計量と並べる
- 【人】 栄養士が、抜き取りで20枚の写真と推定を見比べ、目安と計量の差を確かめて、その日の記録を確定する
- 【自動】 確定した記録から、献立ごとの傾向の表と、委託元への報告の下書きを作る
- 【人】 栄養士が報告の下書きに所見を書き足し、本部の献立の担当と委託元に送る
6番目が、この設計の前提です。 推定は写真からの見立てで、器の影になった料理や、汁物の残りの深さは外れることがあります。 栄養士が抜き取りで見比べ、計量の総重量との差が大きい日は、記録を確定しません。
4番目を昼の返却の時間の後にまとめて動かすのは、昼の忙しい時間に何も求めないためです。 返却口でトレーを置く人も、厨房の担当も、撮影のために何かをする必要はありません。
02今回想定するシステム構成
返却口の真上のカメラ(撮影の枠の中にトレーが置かれると1枚撮る) │ 食堂の番号・撮影の時刻つき ▼【トリガー】昼の返却の時間の終了(食堂ごとの時刻) Python(本部のサーバー) ├── ぼやけ・暗さ・はみ出しの確認、献立の管理表からその日の料理名を引く ▼ Gemini API(画像の理解+構造化出力。store=false) │ その日の料理名ごとに、残り具合を5段階で返す │ 人の写り込み・料理の見えない器も返す ▼ Python ── 献立ごとに集計/1人分の量から残食の量の目安/残菜の計量と並べる ▼ 栄養士の画面(抜き取りの20枚、目安と計量の差、献立ごとの表) ▼ 【栄養士が確かめて確定】 └──▶ 献立ごとの傾向の表、委託元への報告の下書き
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(トレーの写真から料理ごとの残り具合の推定) | Claude API、OpenAI API |
| 連携 | Python(写真の受け取り、献立との照合、集計、報告の下書き) | Google Apps Script |
| 撮影 | 返却口の真上に固定したカメラと撮影の台 | - |
| 台帳 | 献立の管理表、残菜の計量の記録、残食の記録 | - |
新しく作るのは、撮影の台と、献立の管理表の「器」の列です。 撮影の台は返却口の手前に置き、トレーを置く場所に枠を引きます。献立の管理表には、料理ごとに「どの器に盛るか」を足します。 主菜は大きな角皿、小鉢は小さな丸鉢、というように器が決まっていれば、写真の中の器と料理名を結び付けやすくなります。
残食の記録の目的は、委託元の栄養管理を助けることです。 厚生労働省の通知(特定給食施設における栄養管理に関する指導・支援等について)は、特定給食施設を1回100食以上または1日250食以上を継続的に出す施設とし、提供した食事の摂取状況を定期的に把握し、その評価に基づいて食事計画の改善を図ることを留意事項に挙げています。給食業務を委託している場合でも、栄養管理の責任は施設側にあり、委託事業者の業務の状況を定期的に確かめるとされています。運営会社の残食の記録は、委託元がその確認をするための材料です。
画像の理解は、Gemini API の機能を使います。 公式の説明では、対応する画像の形式は PNG・JPEG・WEBP・HEIC・HEIF で、物の位置を box_2d として0〜1000に正規化した座標で返せます。料理ごとに器の位置を付けさせ、栄養士の画面で写真に描きます。
03どうやって実装するのか
処理の起点を決める
食堂ごとに決めた「昼の返却の時間の終わり」の時刻に動かします。 12時から13時半の食堂なら13時45分です。その日に撮った写真を、撮影の時刻の順にまとめて送ります。 返却の時間の中で1枚ずつ送らないのは、通信が詰まった時に返却口の撮影が止まらないようにするためです。
撮影そのものは、トレーが枠に置かれたことで動きます。 撮影の画面は、枠の中の動きが止まってから1枚撮り、同じトレーを二度撮らないよう、枠が空になるまで次を撮りません。 撮れなかったトレーは数えません。この構成の集計は、撮れた写真の中での割合で見ます。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| トレーの写真 | 食堂の番号・撮影の時刻つきの、真上から撮ったトレーの写真 | 返却口のカメラ |
| その日の料理 | 献立ごとの料理名、器の種類、1人分の量(グラム) | 献立の管理表 |
| 残菜の計量 | 厨房で量った、料理の種類ごとの残菜の重さ | 残菜の計量の記録 |
| 食数 | 献立ごとの出た数 | 食券・レジの集計 |
Gemini に渡すのは、トレーの写真と、その日の料理名と器の種類だけです。 1人分の量と残菜の計量は渡しません。量を渡すと、段階ではなくグラムで答えようとし、写真から分からない数字が返ってきます。量への換算はスクリプトが行います。
質を決めるのは、器の種類の書き方です。 「主菜(白の角皿)」「小鉢(藍の丸鉢)」のように、写真で見分けられる言葉で書きます。同じ器に別の献立の料理を盛る日は、料理名に献立の名前を付けます(「A定食の主菜」「B定食の主菜」)。トレーに載っているのがどちらの献立かは、Gemini が器と料理の見た目から答えます。
食数は、集計の重みに使います。 撮れた写真の数は出た数と一致しません。返却口を通らずに下げられたトレーや、撮影の枠に置かれなかったトレーがあるからです。献立ごとに「出た数のうち何枚を撮れたか」を出し、撮れた割合が低い日は、報告にその割合を添えます。 割合が低いまま傾向を語ると、たまたま撮れたトレーの癖を料理の傾向として読むことになります。
データの取得方法を決める
写真は、返却口のカメラから本部のサーバーへ送り、食堂の番号と撮影の時刻を付けて保存します。 その日の料理は、献立の管理表から食堂と日付で引きます。
Gemini API には、Interactions API で依頼します。 公式の説明では、https://generativelanguage.googleapis.com/v1beta/interactions に依頼を送り、公式の例は API キーを x-goog-api-key のヘッダーで渡し、Api-Revision のヘッダー(例では 2026-05-20)を付けています。同じ形で付けます。 画像1枚と文の組み合わせでは、公式の例に合わせて文の指示を画像の前に置きます。
1回の依頼に入れるのはトレー1枚です。 公式の説明では、1回の依頼に画像を3,600枚まで入れられますが、1枚ずつにしておけば、人が写った写真だけを捨て、その1枚の推定だけをやり直せます。 1日に数百枚になるので、公式の例のモデルでは思考の段階(thinking_level)の既定が高く、低くすると多量の処理で待ち時間を減らせるとされている点を使い、試しの段階で段階ごとの当たり方を比べてから決めます。
依頼には store=false を付け、有料の枠で送ります。 公式の説明では、Interactions API は既定でやり取りを保存し、有料の枠では55日、無料の枠では1日保持され、store=false はバックグラウンドの実行と一緒には使えません。同期で呼び、数本を並べて動かします。 規約では、無料のサービスに送った内容は製品の改善に使われ人が読みうるとされ、Gemini API が有料になるのは請求先の有効な Cloud のプロジェクトから使う場合とされています。
AIへ渡す前に整形する
- ぼやけと暗さを測る … 湯気でくもった写真、トレーが動いたままの写真を外す
- はみ出しを見る … トレーの端が枠の外に出ていれば、写っていない料理があるかもしれないので印を付ける
- 向きをそろえる … トレーの長い辺が横になるように回す
- 大きさをそろえる … 公式の説明では、画像を依頼に直接入れる場合は文の指示を含めた依頼全体が20MBまで。トレーが写真の大半を占めるように切り出す
- その日の料理を引く … 食堂と日付で献立の管理表を引き、料理名と器の種類の一覧を作る
- 版を控える … 指示の版と、献立の管理表の版を、写真の行に控える
1番目は、温かい料理を出す食堂ならではの前処理です。 返却口に置かれた直後の汁椀からは湯気が上がり、くもった写真では汁の残りの深さが見えません。 公式も、向きを確かめ、ぼやけていない画像を使うよう勧めています。外した写真は、推定に回さずに数だけを残します。
AIに処理させる
させるのは、その日の料理名ごとに、トレーの上の器を見つけ、残り具合を5段階で答えることだけです。
| 見るもの | 見方 | 判断できないときの扱い |
|---|---|---|
| どの献立のトレーか | 器と料理の見た目から、その日の献立のどれかを選ぶ | 決められなければ unknown |
| 料理ごとの残り具合 | none(残りなし)・little(少し)・half(半分)・most(ほとんど)・untouched(手付かず) | 器が重なって見えなければ not_visible |
| 器がトレーに無い | 献立にある料理の器が載っていない | absent(取らなかった・別に返した) |
| 献立に無いもの | ふりかけの袋、持ち込みの菓子、紙ナプキン | 段階を付けず extra に名前の候補だけ |
| 汁物 | 器の深さに対する残りの高さ | 湯気で見えなければ not_visible |
| 人の写り込み | 手・顔・社員証・名札が写っているか | 少しでも疑わしければ true |
3行目の absent と none を分けるのが、この構成の決め事です。 小鉢が載っていないのは「取らなかった」ことで、「全部食べた」ことではありません。混ぜると、取られない小鉢が「よく食べられている料理」として集計されます。
5段階の物差しは、本部が写真の見本で決めます。 料理ごとに「少し」「半分」の見本の写真を3枚ずつ用意し、栄養士が同じ物差しで見られるようにします。AI にも人にも同じ見本を使うことで、第3章の(b)のずれを物差しの側でそろえます。
| させないこと | 理由 |
|---|---|
| グラムでの量の推定 | 写真から重さは分からない。量への換算はスクリプトが1人分の量で行う |
| 料理のおいしさや味付けの評価 | 残った理由は写真から分からない。所見は栄養士が書く |
| 栄養価や摂取量の計算 | 一人ひとりの栄養管理はこの構成の外 |
| 写っている人についての説明 | 写真ごと捨てる |
| 献立に無い料理名の段階付け | 集計の欄が無い。名前の候補だけを extra に |
2行目は、報告の下書きを作るときに起きやすい失敗です。 「残食が多いので味付けを見直すべき」と書かせると、写真から分からない理由を、それらしく書きます。 理由を考えるのは、献立と現場を知っている栄養士の仕事です。
指示内容を固定する
あなたは社員食堂の返却口で、トレーの写真から残食の記録を作る補助をします。
渡される写真は、返却されたトレーを真上から撮ったものです。
【今日の献立と料理】{menu_items}
(例:A定食=ご飯(白の茶碗)/みそ汁(黒の汁椀)/主菜 鶏の照り焼き(白の角皿)/
副菜 ひじきの煮物(藍の丸鉢)/小鉢 冷ややっこ(ガラスの小鉢)
B定食=…)
【やること】
1. このトレーが【今日の献立と料理】のどの献立のものかを選んでください。
決められなければ unknown にしてください。
2. 選んだ献立の料理の1つずつについて、器の位置を box_2d
([ymin, xmin, ymax, xmax]、0〜1000)で付け、残り具合を次から選んでください。
none(残りなし)/little(少し)/half(半分)/most(ほとんど)/
untouched(手付かず)/not_visible(見えない)/absent(器が無い)
3. 献立に無いものが載っていれば、extra に名前の候補だけを書いてください。
【厳守事項】
- 器が載っていない料理を none にしないでください。absent にしてください。
- 器が重なっている、湯気でくもっているなどで残りが見えない料理は、
not_visible にしてください。推して段階を付けないでください。
- 残った量をグラムで書かないでください。
- 残った理由、味、おいしさを書かないでください。
- 写真に手・顔・社員証・名札が少しでも写っている、または写っている疑いが
あるときは、person_present を true にし、items を空にしてください。
写っている人について何も説明しないでください。
「器が無い料理を none にしない」を最初の厳守事項に置くのは、上の absent の区別を守るためです。 何も言わなければ、器が無いことを「残りが無い」と読みます。
献立の例を指示の中に書いているのは、器と料理名の結び付きを先に見せるためです。 器の種類が書いてあれば、角皿の上の料理を「主菜」として探せます。
出力形式を固定する
次の形のJSONで受け取ります。
{
"photo_id": "C05-20261119-0412",
"person_present": false,
"menu": "A | B | noodle | bowl | unknown",
"items": [
{
"name": "主菜 鶏の照り焼き",
"box_2d": [0, 0, 0, 0],
"level": "none | little | half | most | untouched | not_visible | absent"
}
],
"extra": []
}
構造化出力は response_format で指定します。 公式の説明では、type を text、mime_type を application/json にして、schema に JSON Schema を渡します。menu と level は enum にし、name もその日の料理名の enum にします。 献立の管理表から毎日スキーマを作り直すことで、献立に無い料理名が items に入る道を閉じます。 box_2d は minimum 0・maximum 1000 で縛ります。公式の説明では、minLength/maxLength はエラーにならずに外されるとされ、値は自分の側で確かめるよう求めています。
スクリプトは、段階を次の割合に置き換えて集計します。
level | 残りの割合の目安 | 集計の扱い |
|---|---|---|
none | 0% | 食べた料理として数える |
little | 25% | 同上 |
half | 50% | 同上 |
most | 75% | 同上 |
untouched | 100% | 同上 |
not_visible | - | 分母から外し、件数だけを残す |
absent | - | 「取らなかった」として別に数える |
割合は本部が決める目安で、段階の見本の写真と一緒に版で持ちます。 献立ごとに「出た数 × 1人分の量 × 残りの割合の平均」で残食の量の目安を出し、厨房で量った残菜の重さと並べます。 目安と計量が大きく離れた日は、栄養士の画面に印を付けます。
栄養士の画面は、たとえば次のようになります。
【C05 第二工場 食堂/2026-11-19 昼】写真 286枚(推定 271/くもり等で除外 12/人の写り込み 3)
A定食(出た数 132)主菜 little 18%/副菜 ひじきの煮物 half 47%/小鉢 absent 31枚
B定食(出た数 98) 主菜 none 9%/汁物 not_visible 22枚
目安と計量:目安 9.8kg/計量 11.2kg(差 1.4kg)→ 抜き取り 20枚を表示 システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 返却口のカメラ | 本部のサーバーへ写真を送る | 食堂の番号・撮影の時刻つきのトレーの写真 |
| 献立の管理表 | Python が読む | その日の料理名、器、1人分の量 |
| Gemini API | Python からの HTTPS の呼び出し(store=false) | 料理ごとの残り具合の段階 |
| 残菜の計量の記録 | Python が読む | 料理の種類ごとの残菜の重さ |
| 栄養士の画面 | Python が集計と抜き取りを並べる | 献立ごとの表、目安と計量の差、抜き取りの写真 |
| 残食の記録 | 栄養士が確定した日の分だけ書き込む | 食堂・日付・献立ごとの段階の集計 |
残食の記録には、栄養士が確定した日の分だけを書きます。 目安と計量の差が大きいまま記録にすると、月末の報告で、その日だけ料理の傾向が変わったように見えます。
人が確認する
栄養士は、毎日の推定を次の順に確かめます。
- 目安と計量の差を見る … 差が大きい日は、どの献立で離れているかを見ます
- 抜き取りの20枚を見る … 写真と推定を並べ、段階が見本の写真と合っているかを見ます
not_visibleとabsentの多い料理を見る … 器の置き方や盛り付けで見えなくなっていないかを確かめます- 直した写真に理由を選ぶ … 「段階の読み違い」「器の取り違え」「献立の取り違え」から選びます
- その日の記録を確定する … 差の理由が分からない日は、確定せずに翌日の抜き取りを増やします
1番目を最初に置くのは、計量が推定の物差しの外側にあるからです。 推定の段階がそろっていても、ご飯の大盛りが多い日は目安が軽く出ます。 計量と並べることで、段階では表せない量の違いに気づけます。
新しい献立の初日は、抜き取りを40枚に増やします。 見本の写真がまだ無い料理は、段階の物差しが定まっていないからです。初日に栄養士が付けた段階から、その料理の見本の写真を3枚選び、翌日から使います。
目標は、160件をならして1件15分です。 差の小さい日は抜き取りの確認だけで10分ほど、新しい献立の日や差の大きい日は30分近くかかります。
例外に対処する
| 起きること | 対応 |
|---|---|
人が写った(person_present が true) | 写真と応答を捨てる。件数だけを残す |
| 湯気・動きでぼやけた | 推定に回さず、件数だけを残す |
献立が決められない(unknown) | 集計から外す。多い日は器の書き方を見直す |
| 臨時の献立・品切れの差し替え | 栄養士が献立の管理表を直してから、その日の分を再実行する |
| 目安と計量が大きく離れた | 記録を確定せず、抜き取りを増やす |
| 安全のための仕組みで応答が止まった | その写真を推定なしとして数え、栄養士が見る写真に入れる |
| Gemini が応答しない | 再試行し、続けて失敗したら翌朝にその日の分を回す |
| カメラが止まっていた | 撮れた時間帯だけで集計し、報告に撮影の欠けを書く |
4行目は、運用でいちばん多い例外です。 品切れで主菜を差し替えた日に元の献立のまま推定すると、差し替えた料理の器が「主菜」として数えられます。 差し替えは厨房から栄養士に伝わるようにし、献立の管理表を直してから集計します。
6行目は、止まった写真を none にしないことが大事です。 規約は有害な内容を止める安全の仕組みがあるとしており、止まった写真を「残りなし」と扱うと、その料理がよく食べられたように見えます。
記録を残す
- 食堂の番号・撮影の時刻つきのトレーの写真(人が写って捨てたものを除く)
- Gemini が返した JSON の全文
- その日に使った献立の管理表の版、指示の版、段階の割合の版
- 目安と計量の差と、栄養士が直した写真とその理由
- 推定から外した写真の件数(くもり・人の写り込み・献立不明・止まった応答)
- 確定した残食の記録と、委託元への報告
4つ目が、この構成の質を測る材料です。 「器の取り違え」が多い料理は器の書き方を、「段階の読み違い」が多い料理は見本の写真を見直します。
写真の保存は短くします。 記録が確定したら、抜き取りで見た写真と直した写真だけを残し、ほかの写真は決めた日数で消します。 残す写真にも人は写っていませんが、誰がいつ返却したかの時刻は残るので、時刻は分単位まで丸めて持ちます。
04実装レベルの3段階
半自動化で、1件45分が25分程度になります。 返却口に立つ時間は無くなりますが、計量との突き合わせと、残りの多い料理を拾う作業が残ります。本格構成で15分になり、この段階が本記事の想定です。 本格構成で効くのは、同じ料理の記録が並ぶことです。 月に2回出た煮物の段階が、食堂ごとに並んで出ます。「この煮物は毎回半分残る」が、栄養士の記憶ではなく表で見えるようになります。 段階を飛ばさないでください。 半自動化を1か月回すと、not_visible の多い料理と、器の取り違えの多い献立が先に分かります。そこを直してから報告の下書きに進むと、委託元に出す数字が安定します。
05工数削減シミュレーション
導入後 160件 × 15分 ÷ 60 = 40 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 工場や事業所の社員食堂を複数受託し、各食堂の栄養士が返却口でトレーを目で見て残食を記録し、委託元への月次の報告と献立の見直しに使っている運営会社。1食堂で1日に数百食を出し、全部のトレーを見ることができず、見る日と見る人で記録がばらつく場合。返却口の上に撮影の台を置ける場合。
- 1日の食数が数十食で、栄養士が全部のトレーを見れば足りる場合。返却口に人が並び、利用者の顔や社員証が写らない置き方ができない場合。食堂を18歳未満が利用し、使う人を18歳以上に限れない場合。なお、利用者一人ひとりの摂取量や栄養状態の評価、献立の栄養価の判断は、この構成では代替できません。
07最小構成で試す方法
- 1つの食堂を選び、返却口の真上にタブレットを固定して、1週間トレーを撮る
- 同じ週、栄養士はこれまでどおり返却口で40枚ほどに段階を付ける
- 料理ごとに「少し」「半分」の見本の写真を3枚ずつ選ぶ
- 請求先の有効なプロジェクトの API キーで、第7章の指示を使って1枚ずつ送る
- 栄養士が段階を付けたトレーの推定と見比べ、献立ごとの集計を計量と並べる
AI Studio の画面に貼り付けて試すことはしません。 請求先の無いアカウントでは規約上、無料のサービスの扱いになるからです。最初の週は、委託元に撮影の目的と、人が写らない置き方を説明してから始めます。
| 出てきた内容 | 判断 |
|---|---|
| 栄養士の段階と1段階以内でそろい、計量とも近かった | 8食堂に撮影の台を広げる準備に進む |
absent と none が混ざった | 指示の厳守事項を強め、器の書き方を見直す |
汁物と重なった器で not_visible が多い | 撮影の台が先。 トレーを置く向きと枠の大きさを見直す |
3行目が出ることは珍しくありません。 失敗ではなく、返却されたトレーの上で器がどう重なるかが分かったということです。返却口に「器を重ねないでください」の掲示を置くだけで変わることもあります。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 取らなかった小鉢が「残りなし」になる | absent と none を分け、指示の最初に書く |
| 献立に無い料理名で集計が割れる | その日の料理名を enum にしてスキーマを毎日作る |
| 汁物の残りが見えない | 湯気の写真を外し、not_visible を分母から外す |
| 品切れの差し替えが反映されない | 献立の管理表を直してから再実行する |
| グラムで答えさせてしまう | 段階で答えさせ、量への換算はスクリプトで |
| 残った理由を書かせてしまう | 所見は栄養士が書く |
| 手や社員証が写る | 撮影を真上に限り、person_present で写真ごと捨てる |
| AI Studio の画面で試してしまう | 請求先の無いアカウントでは無料のサービス。請求先の有効なプロジェクトの API で送る |
| 安全の仕組みで止まった写真が「残りなし」になる | 推定なしとして数え、栄養士が見る |
| 推定だけで記録を確定する | 計量との差と抜き取りを見てから確定する |
上の2行が、この構成の失敗のほとんどです。 どちらも、集計の数字がもっともらしく見えるのに、中身が料理の傾向を表していないという同じ形で現れます。指示とスキーマの両方で止めます。
4行目は、厨房と栄養士の連絡の問題です。 品切れの差し替えは昼の忙しい時間に起き、記録に残らないまま終わりがちです。差し替えたら献立の管理表の「差し替え」の欄に厨房が1行書く決まりにすると、集計の前に栄養士が気づけます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 返却されたトレーの写真、その日の献立、残菜の計量、献立ごとの残食の集計です。利用者の氏名・社員番号は扱いません。扱わないように設計します。
- 人が写る経路を作らない … 撮影は真上からに限り、枠の外は写しません。手・顔・社員証が写った写真は
person_presentで捨て、何が写っていたかを残しません - 誰が残したかを記録しない … 推定は献立ごとに集計し、食券やレジの記録と写真を結び付けません。撮影の時刻も丸めて持ちます
- 有料の枠で、保存させずに送る … 規約では、無料のサービスに送った内容は製品の改善に使われ人が読みうるとされ、機密や個人の情報を送らないよう求めています。請求先の有効なプロジェクトの API キーを使い、
store=falseを付けます - 使う人を18歳以上に限る … 規約は、API を使えるのは18歳以上とし、18歳未満が使う、または使いうるサービスへの組み込みを認めていません。栄養士の画面は運営会社の社員だけが開けるようにします
- 栄養管理の判断を AI に任せない … 厚生労働省の通知は、摂取状況の把握と評価に基づいて食事計画を改善するよう求めています。この構成が出すのは段階の推定の集計だけで、評価と献立の見直しは栄養士と委託元が行います
- 委託元に説明する … 返却口での撮影は、委託元の社員の目に入ります。撮影の目的、人を記録しないこと、写真の保存期間を、委託元の総務と合意し、返却口に掲示します
誤りが起きた場合のリスクは、外れた推定が報告に出て献立の見直しを誤らせることと、利用者が写った写真が外に出ることの2つです。 前者は計量との突き合わせと抜き取りで防ぎ、後者は撮影の向きと person_present で防ぎます。後者は一度起きれば取り返しがつかないので、撮影の台の段階で止めます。
10まず何から始めるか
1週目:献立の管理表に器の列を足す
翌月の献立の料理ごとに、器の種類を写真で見分けられる言葉で書き足します。あわせて、委託元の総務に撮影の目的と人を記録しないことを説明します。
2週目:1つの食堂で撮る
返却口の真上にタブレットを固定し、1週間トレーを撮ります。手や社員証が写らないか、器が重なって見えないかを、栄養士が写真で確かめます。
3週目:見本の写真を決めて試す
料理ごとに「少し」「半分」の見本を3枚ずつ選び、請求先の有効なプロジェクトの API キーで第7章の指示で送ります。栄養士の段階と見比べ、absent と none が混ざっていないかを最優先で見ます。
4週目:計量と並べる
献立ごとの残食の量の目安を出し、厨房の残菜の計量と並べます。目安と計量の差が、どの献立で大きくなるかを見ます。
2か月目: 返却の時間の終わりに自動で送る仕組みと栄養士の画面を作り、1食堂で毎日回します。直した写真の理由を毎週数えます。3か月目以降: 残りの7食堂に撮影の台を広げ、傾向の表と委託元への報告の下書きを足して、1件45分が何分になったかを実測します。8食堂の記録が同じ物差しで並び、本部が献立の見直しを表から決められるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
| 特定給食施設が継続的に1回100食以上または1日250食以上を供給する施設であること。提供した食事の摂取状況を定期的に把握し、総合的な評価に基づいて食事計画の改善を図ること。給食業務を委託している場合も栄養管理の責任は施設側にあり、委託事業者の業務の状況を定期的に確認すること | 厚生労働省: 特定給食施設における栄養管理に関する指導・支援等について(令和2年3月31日 健健発0331第2号) | 2026-11-19 |
対応する画像の形式(PNG・JPEG・WEBP・HEIC・HEIF)、依頼に直接入れる場合の依頼全体の20MBの上限、1回の依頼の画像の上限3,600枚、box_2d が0〜1000に正規化されること、向きを確かめぼやけていない画像を使う勧め、画像1枚では文の指示を画像の前に置く例、例のモデルの thinking_level の既定が high で低くすると多量の処理の待ち時間を減らせること、Interactions の端点と x-goog-api-key・Api-Revision のヘッダー | Google AI Studio: Image understanding | 2026-11-19 |
response_format に type を text、mime_type を application/json として schema を渡すこと。enum・minimum・maximum が使え、minLength・maxLength はエラーにならず外されること。値は自分の側で確かめるよう求めていること | Google AI Studio: Structured output | 2026-11-19 |
Interactions API が既定でやり取りを保存し、有料の枠で55日・無料の枠で1日保持すること。store=false で保存しないようにでき、バックグラウンドの実行とは併用できないこと | Google AI Studio: Interactions API overview | 2026-11-19 |
| API を使えるのは18歳以上で、18歳未満が使う・使いうるサービスに組み込めないこと。無料のサービスの内容が製品の改善に使われ人が読みうること、機密・個人の情報を送らないよう求めていること。Gemini API が有料のサービスになる条件。有害な内容を止める仕組みがあること | Google AI Studio: Gemini API Additional Terms of Service | 2026-11-19 |
残食の段階の物差しと報告の項目は、委託元の栄養管理の方針と所管の保健所の指導に合わせて決めてください。 本記事は厚生労働省の通知と製品の公開仕様で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-4188)についてのご相談はこちらから。
