パソコンの修理店が受付で撮った本体と付属品の写真を Gemini で見て、傷・割れ・付属品の有無を受付票に記録し、預かりの控えの下書きを作る
預かるノートパソコンと付属品を店員がタブレットで撮り、Gemini API で傷・割れ・へこみの候補と付属品の有無を返します。受付票と、お客様に渡す預かりの控えの下書きを作ります。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- IT・SaaS/その他/小売
- 対象部門
- カスタマーサポート
- 対象業務
- 内容確認・チェック/書類作成
- 主な課題
- 属人化している/書類作成に時間がかかる/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★☆☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- お客様から本体と付属品を受け取り、症状と、データの扱いの希望を聞く
- 本体を回して天板・底面・側面・画面・キーボードを見て、傷・割れ・へこみを受付票に書く
- 底面のラベルから型番と製造番号を書き写す
- 付属品を並べ、種類と数を受付票に書く
- 預かりの控えに外観と付属品を書き写し、お客様に読んでもらって署名をもらう
- 本体と付属品を袋に入れ、受付の番号を付けて棚に置く
- 人お客様から本体と付属品を受け取り、症状とデータの扱いの希望を聞く
- 人店員が本体の電源が切れていることを確かめ、タブレットの画面で6枚を撮る
- 自動画面の裏で動く Google Apps Script が写真を縮め、Gemini API を呼ぶ
- 自動Gemini API が底面のラベルの型番と製造番号を、書かれたとおりに書き写す
- 自動Gemini API が外装・画面の傷みと筐体の浮きの候補を枠で返し、付属品の種類と数を挙げる
- 自動スクリプトが、付属品のチェックリストと照らし、受付票と預かりの控えの下書きを作る
- 人店員がお客様と一緒に画面の印と本体を見比べ、候補を「確認済み」「外す」に分け、付属品の数を数える
- 人店員が控えをお客様に見せて確かめてもらい、署名をもらって預かる
各工程の詳しい説明を読む
- お客様から本体と付属品を受け取り、症状と、データの扱いの希望を聞く
- 本体を回して天板・底面・側面・画面・キーボードを見て、傷・割れ・へこみを受付票に書く
- 底面のラベルから型番と製造番号を書き写す
- 付属品を並べ、種類と数を受付票に書く
- 預かりの控えに外観と付属品を書き写し、お客様に読んでもらって署名をもらう
- 本体と付属品を袋に入れ、受付の番号を付けて棚に置く
(a)外観の書き方が人によって違う。 2番目で、どこまで細かく書くかが店員の判断です。位置の書き方もばらばらで、「右上」が天板の右上なのか、開いたときの右上なのかが票からは分かりません。
(b)型番と製造番号の書き写しを誤る。 3番目のラベルは文字が小さく、似た文字(0とO、1とI、8とB)の取り違えが起きます。製造番号が違うと、メーカーの保証の確かめや部品の手配で手戻りになります。
(c)付属品が票と袋で合わない。 4番目で、お客様が後から「これも」と渡したケーブルが票に載らないことがあります。返すときに袋の中身を票と突き合わせても、票のほうが足りていないので、どちらが正しいか分かりません。
(d)1台9分が積み重なる。 月300台を5名で受けると、月45時間です。混む時間には書く量が減り、記録の質が時間帯で揺れます。
- 【人】 お客様から本体と付属品を受け取り、症状とデータの扱いの希望を聞く
- 【人】 店員が本体の電源が切れていることを確かめ、タブレットの画面で6枚を撮る
- 【自動】 画面の裏で動く Google Apps Script が写真を縮め、Gemini API を呼ぶ
- 【自動】 Gemini API が底面のラベルの型番と製造番号を、書かれたとおりに書き写す
- 【自動】 Gemini API が外装・画面の傷みと筐体の浮きの候補を枠で返し、付属品の種類と数を挙げる
- 【自動】 スクリプトが、付属品のチェックリストと照らし、受付票と預かりの控えの下書きを作る
- 【人】 店員がお客様と一緒に画面の印と本体を見比べ、候補を「確認済み」「外す」に分け、付属品の数を数える
- 【人】 店員が控えをお客様に見せて確かめてもらい、署名をもらって預かる
7番目が、この設計の分かれ目です。 AI が返すのは候補までで、本体はカウンターの上にあります。 印の所をお客様と一緒に見て「確かにありますね」と言い合った傷みだけが控えに載り、返却のときにはその控えと写真を見せられます。
6番目で付属品を規則で照らしているのも、意図してのことです。 チェックリストは店で決めた項目で、AI に「付属品はそろっている」と判断させると、店のリストを推し量ろうとします。 AI には写っているものを挙げさせ、足りないかどうかはスクリプトが決めます。
02今回想定するシステム構成
店頭の受付・宅配の開梱でノートパソコンを預かる ▼【トリガー】店員が電源を切ったまま6枚を撮って「見る」を押す Google Apps Script(ウェブアプリ) ├── 写真を縮めて、撮った向きの名前を付ける ▼ Gemini API(画像の理解・構造化出力) │ 底面のラベルの型番・製造番号の書き写し │ 外装・画面の傷みと筐体の浮きの候補と枠、付属品の種類と数 ▼ Google Apps Script ── 付属品のチェックリストと照合 → 受付票と預かりの控えの下書き ▼ タブレットの画面に、印の付いた写真と控えの下書き ▼ 【人】店員とお客様が本体を見て確かめ、署名して預かる
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(ラベルの書き写しと、外観の傷みと付属品の候補) | Claude API、OpenAI API |
| 連携 | Google Apps Script(タブレットの画面、呼び出し、チェックリストとの照合、記録) | Python |
| 受付票 | Google のスプレッドシート(受付の番号、外観、付属品、症状) | - |
| 端末 | 店のタブレット(2店舗と宅配の開梱の台に1台ずつ) | - |
新しく足すのは、タブレットで開く画面と Gemini API の契約だけです。 受付票は今のスプレッドシートを使い、付属品のチェックリスト(アダプター、電源ケーブル、マウス、変換の部品、外付けの機器、箱、その他)を別のシートに書き出します。 預かりの控えは画面の下書きを印刷し、お客様の署名をもらいます。
筐体の浮きを拾う理由は、電池の扱いにあります。 製品評価技術基盤機構(NITE)の資料では、リチウムイオン電池を搭載した製品の事故がノートパソコンを含む製品で起きていることが示され、「膨らんで、変形している」「落とす、ぶつけるなどで強い衝撃を与え、一部が変形している」などの異常があれば充電・使用を中止して販売店や製造・輸入事業者に相談するよう案内されています。膨らんだ電池の内部には可燃性ガスがたまっており、強い衝撃や外力が加わると発火するおそれがあるとされています。受付で印を付け、技術者が扱い方を決めます。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文や画像を合わせたリクエスト全体が20MBまでです。位置は画像の大きさに対して0〜1000に正規化された枠で返り、例では [ymin, xmin, ymax, xmax] の順で受け取っています。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format の mime_type を application/json にし、schema にスキーマを入れます。文字列は enum で決まった値に絞れます。構文として正しい JSON でも値はアプリ側で検証するよう公式に書かれています。
03どうやって実装するのか
処理の起点を決める
店員がタブレットの画面で6枚を撮り、「見る」を押したときに、1台ずつ動きます。 画面は撮る順に「天板」「底面(ラベルが読める距離)」「開いた画面とキーボード」「左の側面」「右の側面」「付属品のトレイ」の枠を出し、6枚がそろうまで「見る」を押せないようにします。 付属品が無いときは「付属品なし」を押して進めます。
撮る前に、電源が切れていることを確かめる手順を画面に入れます。 画面が点いたまま撮ると、デスクトップのファイル名やメールの通知が写真に残ります。 「電源ランプが消えているか」を店員が選んでから撮影の枠が開くようにし、スリープのままのものは電源を切ってもらいます。
画面を使うのは店員だけです。 お客様にタブレットを渡したり、お客様向けに公開したりしません。Gemini API の規約は、18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。 学生のお客様のパソコンも預かりますが、写すのは機械だけで、画面に触れるのは店員だけです。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 天板・底面の写真 | 天板の全体、底面の全体とラベル、脚 | 店のタブレット |
| 開いた画面とキーボードの写真 | 電源を切った画面、キーボード、タッチパッド、天板とキーボードの面のすき間 | 同上 |
| 左右の側面の写真 | 端子、ヒンジ、角、筐体の合わせ目 | 同上 |
| 付属品のトレイの写真 | 受付の台のトレイに並べた付属品 | 同上 |
| 店員の聞き取り | 症状、液体をこぼしたか、落としたか、データの扱いの希望 | 画面の選択肢 |
| 付属品のチェックリスト | 店で決めた付属品の項目と、受付票の欄 | スプレッドシート |
質を決めるのは、側面の写真です。 筐体の浮きは、天板やキーボードの面を正面から撮っても見えません。 横から、合わせ目と同じ高さで撮ったときにだけ、すき間が線として写ります。画面の枠に「合わせ目と同じ高さから」と出し、例の写真を並べて見せます。
付属品はトレイに並べて撮ります。 受付の台に区切りのあるトレイを置き、ケーブルは束ねたまま、1つの区切りに1つずつ入れます。重ねて置くと、マウスの下の変換の部品が写りません。トレイの区切りに番号を付けておくと、店員が数を数えるときにも、AI の答えと照らすときにも使えます。
聞き取りは選択肢にします。 「症状(画面・キーボード・起動しない・電池・液体・その他)」「落とした・ぶつけた(はい・いいえ・分からない)」を選ぶだけにし、自由に書く欄は置きません。 落としたという答えは、筐体の浮きの候補を重く見るのに使います。
データの取得方法を決める
写真はタブレットの画面から、スクリプトが受け取ります。 受け取った写真は、その日の日付と受付の番号の付いたフォルダに保存してから AI を呼びます。呼び出しに失敗しても、同じ写真で呼び直せます。
1回の呼び出しに6枚をまとめて渡します。 底面のラベルも同じ呼び出しに入れますが、指示の中で「ラベルでは文字を書き写すだけ」「本体の写真では見え方だけ」「付属品の写真では写っている物を挙げるだけ」と役割を分けます。 店頭では待ち時間を短くしたいので、呼び出しの回数を減らします。
写真は長い辺を1,600ピクセル程度に縮めてから渡します。 タブレットの写真をそのまま6枚入れると、合わせて20MBに近づきます。底面の写真だけは、ラベルの文字が読めるよう縮め方を弱めます。 公式の案内には画像の向きを正しくすること、ぼけていない画像を使うことが挙げられているので、縮めるときに向きもそろえます。
有料の利用枠で使い、store を false にします。 Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。Interactions API は既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできると案内されています。
AIへ渡す前に整形する
- 電源が切れているかの確かめ … 店員の選択が無いと撮影の枠が開きません
- 6枚がそろっているかの確かめ … 画面の枠が埋まるまで進めません
- 向きの補正 … タブレットの向きの情報で回転しているだけのものは、画素を回転させます
- 縮める … 本体の写真は長い辺を1,600ピクセル程度、底面のラベルは文字が読める大きさに
- 写り込みの確かめ … お客様の手や顔、天板に貼られたメモ、画面の反射に写った人を店員が目で見ます
5番目を軽く見ないでください。 天板や底面にパスワードを書いた付箋やシールが貼られていることがあります。写真に写ったまま送ると、その文字を AI が書き写して受付票に残します。 見つけたら付箋はお客様に外してもらい、シールは店員が紙で隠してから撮り直します。
AIに処理させる
させるのは、ラベルの書き写しと、決まった種類の傷みの候補を枠で返すことと、付属品を挙げることだけです。
| 返すもの | 中身 | 判断できないときの扱い |
|---|---|---|
| 底面のラベル | メーカー名、型番、製造番号を書かれたとおりに | 写っていなければ no_label。読めない文字は ? |
| 外装の候補 | 擦り傷、へこみ、割れ、欠け、塗装のはげ、脚の欠け、ヒンジのゆがみ | 汚れか傷か分からなければ unclear |
| 画面とキーボードの候補 | 画面のひび・割れ、ベゼルの割れ、キーの欠け・抜け | 反射で見えなければ not_visible |
| 筐体の浮き | 合わせ目のすき間、底面のふくらみ、タッチパッドの浮きに見えるか | 角度で分からなければ not_judgeable_from_photo |
| 付属品 | トレイの区切りごとに、写っている物の種類と数 | 何か分からなければ unknown_item |
筐体の浮きに not_judgeable_from_photo を許しているのが、この構成の要です。 側面の写真の角度によっては、すき間が影に埋もれます。「見えない」を「浮きなし」と返させず、 店員が本体を横から目で見る事項にします。
付属品は、種類の名前を決まった値から選ばせます。 ac_adapter/power_cable/mouse/converter/external_drive/box/unknown_item のどれかで返させ、メーカーの純正品かどうかは書かせません。 純正かどうかは見た目で分からないことが多く、受付票に載ると誤った約束になります。
| させないこと | 理由 |
|---|---|
| 故障の原因や、壊れた部品を言い当てること | 外観から分からない。技術者が分解して見る |
| 修理の可否、金額、日数を書くこと | 店の料金表と技術者の見立てで決める |
| 電池が膨らんでいると言い切ること | 見えるのはすき間まで。扱い方は店員と技術者が決める |
| 付属品が純正か、そろっているかを決めること | 純正は見た目で分からない。足りないかはチェックリストで決める |
| 型番から機種名や発売の年を足すこと | ラベルに無い情報を受付票に混ぜない |
| 写り込んだ文字(付箋・画面)を書き写すこと | パスワードや個人の情報を受付票に残さない |
3行目がいちばん起きやすい失敗です。 側面の写真を渡すと、AI はすき間を見て「バッテリーが膨張しています。直ちに交換が必要です」と書きます。その一言が画面に出ると、経験の浅い店員がそのままお客様に伝えてしまいます。 見え方の case_gap だけを返させ、画面には「横から合わせ目を確かめ、電源を入れずに技術者へ」と出します。
最後の行も、意外に起きます。 天板の付箋に書かれた英数字を、AI は親切に note の欄へ書き写します。写真の段階で外すのが先ですが、指示でも禁じておきます。
指示内容を固定する
あなたはパソコンの修理店の受付で、店員が撮った写真を見る手伝いをする係です。
渡すのは同じ1台のノートパソコンと付属品の写真6枚です。結果を見るのは店員だけです。
写真の番号と種類:{1: 天板, 2: 底面, 3: 開いた画面とキーボード, 4: 左の側面, 5: 右の側面, 6: 付属品のトレイ}
聞き取り:{症状: 画面が映らない / 落とした・ぶつけた: はい}
【写真2:底面のラベル】
- メーカー名、型番、製造番号を、書かれた文字のとおりに書き写してください。
- 読めない文字は ? にしてください。似た文字(0とO、1とI、8とB)を推測で決めないでください。
- ラベルが写っていなければ no_label にしてください。
【写真1〜5:本体】
- 次の種類の候補を探し、写真の番号と枠を [ymin, xmin, ymax, xmax] の順で
0〜1000 に正規化して返してください。面と位置、見え方を短く書いてください。
擦り傷、へこみ、割れ、欠け、塗装のはげ、脚の欠け、ヒンジのゆがみ、
画面のひび・割れ、ベゼルの割れ、キーの欠け・抜け
- 天板とキーボードの面、底面の合わせ目にすき間やふくらみが見えるかを、
case_gap として yes / no / not_judgeable_from_photo で返し、見えた写真と枠を添えてください。
【写真6:付属品】
- トレイの区切りの番号ごとに、写っている物の種類と数を返してください。
種類は ac_adapter / power_cable / mouse / converter / external_drive / box / unknown_item から選んでください。
【厳守事項】
- 故障の原因、修理の可否、金額、日数を書かないでください。
- 電池が膨らんでいる、危ない、交換が必要だと書かないでください。見え方だけです。
- 付属品が純正か、足りているかを書かないでください。
- 型番から機種名や発売の年を足さないでください。
- 付箋、シール、画面などに写った文字は、ラベル以外は書き写さないでください。
写っていた場合は found_text_outside_label を true にするだけにしてください。
- 汚れか傷か分からないものは kind を unclear にしてください。
- 写っていない面について「傷みなし」と書かないでください。
- 人や手については何も書かないでください。
「ラベル以外の文字は書き写さない」と書いて、found_text_outside_label だけを返させているのは、写り込みに気づくためです。 書き写すなと言うだけだと、黙って読み飛ばします。写っていたという事実だけを返させれば、スクリプトが画面に「写真に文字が写っています。隠して撮り直してください」と出せます。
出力形式を固定する
次の形の JSON で受け取ります。 kind と case_gap と付属品の type は enum で決まった文字列に絞ります。
{
"receipt_no": "P-20261103-042",
"label": { "found": true, "maker": "", "model": "", "serial": "" },
"findings": [
{ "photo": 1, "box_2d": [80, 610, 190, 760], "surface": "天板",
"kind": "scratch | dent | crack | chip | paint_loss | foot_missing | hinge_bent | screen_crack | bezel_crack | key_missing | unclear",
"note": "右奥の角に線状の擦り傷" }
],
"case_gap": { "status": "yes | no | not_judgeable_from_photo", "photo": 5, "box_2d": [430, 120, 520, 880] },
"accessories": [
{ "slot": 1, "type": "ac_adapter | power_cable | mouse | converter | external_drive | box | unknown_item", "count": 1 }
],
"found_text_outside_label": false,
"not_visible": [],
"retake": []
}
1つ目の理由は、case_gap をそのまま店の決まりの入力にできることです。 yes なら画面に赤い帯で「電源を入れずに技術者へ」と出し、受付票の「電池の扱い」の欄に印を付けます。not_judgeable_from_photo なら店員が横から目で見て選ぶ欄を出します。
2つ目は、付属品をチェックリストと機械的に照らせることです。 画面には次の形で出します。
| 付属品 | AIが挙げた数 | 店員が数えた数 | 控えに載せる数 |
|---|---|---|---|
| アダプター | 1 | 1 | 1 |
| 電源ケーブル | 1 | 1 | 1 |
| 変換の部品 | 0 | 1 | 1 |
| 何か分からない物 | 1 | - | 店員が名前を書く |
控えに載るのは右端の列だけです。 AI の数と店員の数が違う行は色を変え、どちらかを直すまで控えを印刷できないようにします。
3つ目は、not_visible と retake で撮り直しをその場で頼めることです。 画面の反射でひびが見えない、ラベルがぼけているといったものは、お客様が目の前にいるうちに撮り直せます。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 店のタブレット | Apps Script のウェブアプリを開く | 撮影の枠、聞き取りの選択肢、結果の画面 |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | ラベルの書き写し、傷みと浮きの候補、付属品 |
| 付属品のチェックリスト | 読み取り | 付属品の項目と、受付票の欄 |
| 受付票のシート | 書き込み | 受付の番号、型番と製造番号、確認済みの傷み、付属品、電池の扱い |
| 預かりの控え | 印刷 | 確認済みの傷みと付属品の一覧、写真の縮小版、署名の欄 |
受付票に書き込むのは、店員が「確認済み」にしたものと、確かめた型番と製造番号だけです。 AI が返した候補そのものは記録のシートに分けて残し、受付票の欄に AI の生の答えが混ざらないようにします。 技術者が受付票を見たとき、それが人の確かめたものだと分かるようにするためです。
人が確認する
- 型番と製造番号をラベルと見比べる … 画面の書き写しと実物のラベルを1文字ずつ見ます。
?の文字は必ず実物で埋めます - お客様と一緒に印の所を見る … 印の所を指で示し、「確認済み」か「外す」を選びます。AI が拾わなかった傷をお客様が指したら、店員が足します
- 横から合わせ目を見る …
case_gapがyesかnot_judgeable_from_photoのときは必ず見ます。浮きがあれば電源を入れずに技術者へ回します - 付属品を数える … トレイの区切りごとに数え、AI の数と違う行を直します
- 控えを読んでもらい、署名をもらう … 写真の縮小版の付いた控えを渡します
2番目では、外した候補の印を消してからお客様に見せます。 汚れを傷と言った印が残っていると、お客様に「こんな傷は無い」と言われ、控え全体が疑われます。
目標は、300台をならして1台4分です。 傷みの少ない機械は画面を見て2分ほどで済み、傷みが多い機械や、付属品が多い宅配のものは時間がかかります。
例外に対処する
| 起きること | 対応 |
|---|---|
| 筐体の浮きが判断できない | 店員が横から見て選ぶ。迷えば電源を入れずに技術者へ |
| 電源が切れない・画面が点いたまま | 撮影を止め、お客様に操作してもらう。写った写真は消す |
| ラベルが無い・すれて読めない | no_label。製造番号はお客様の購入の記録や箱から店員が写す |
| 写真に付箋や画面の文字が写った | found_text_outside_label。写真を消して、隠して撮り直す |
| 液体をこぼしたという聞き取り | 外観の記録は同じ手順で行い、乾かす扱いは技術者の決まりに従う |
| デスクトップ型やタブレット | この画面を使わず、今の流れで受ける |
| 指示に反して故障の原因や金額を書いた | その出力を画面に出さずに捨て、呼び直す |
JSON の値が enum に無い | その候補を出さず、店員が本体を見て書く |
| 応答が遅い・失敗した | 待たせずに今の流れで受け付け、写真は後で呼び直して記録に残す |
上から3行目までが大半を占めます。 どれも AI の精度の問題ではなく、撮り方と、受付の手順の問題です。 側面を撮る高さと電源を切る手順をそろえるほうが、指示の文をいじるより効きます。
記録を残す
- 受付の番号ごとの6枚の写真と、聞き取りの選択肢
- Gemini API が返した JSON(ラベルの書き写し、傷みと浮きの候補、付属品)
- 候補ごとに店員が付けた「確認済み」「外す」と、お客様が指して足した傷み
- 店員が直した型番と製造番号、付属品の数
- 印刷した控えと署名、返却のときに受けた申し出とその結論
最後の行が、この構成の値打ちを測る材料です。 返却のときの「この傷は無かった」という申し出に、控えと写真でどれだけ答えられたかを数えます。答えられなかったものは、どの面の写真が足りなかったかを見て、撮る枠を直します。
04実装レベルの3段階
最小構成では店頭で使えません。 1台ずつ貼り付けるので、お客様を待たせます。確かめるための段階です。 半自動化で、1台9分が4分になり、この段階が本記事の想定です。 外観を言葉にして2か所に書く作業と、付属品の書き出しが画面に置き換わり、店員は印の所をお客様と確かめて数を数えるだけになります。 本格構成は返却の手順まで変えるので、返却の受付の流れも作り直すことになります。 半自動化が店頭に定着してから考えます。 段階を飛ばさないでください。 半自動化を1か月回すと、どの候補を店員が外すことが多いかと、浮きが判断できない割合が分かります。そこを撮り方に反映してから先に進みます。
05工数削減シミュレーション
導入後 300件 × 4分 ÷ 60 = 20 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 店頭と宅配でノートパソコンの修理を受けている独立系の修理店や、修理の受付を置いているパソコンの販売店。月に数百台を預かり、受付の店員によって外観の書き方と付属品の確かめ方がまちまちな場合。返却のときに「預けたときには無かった傷」「アダプターを返してもらっていない」という申し出を受けたことがある場合。受付票の項目と、付属品のチェックリストが決まっている場合。
- 預かる台数が月に数十台で、熟練の店員が一人で受付をしている場合。メーカーの指定の修理窓口で、受付の様式と撮影の手順がメーカーの仕組みで決まっている場合。法人の大量のキッティングや入れ替えのように、外観より台数と資産番号の管理が中心の場合。なお、故障の原因の見立て、修理の可否と金額、電池の安全の判断、データの扱いの取り決めは、この構成では代替できません。
07最小構成で試す方法
- 受付で預かるパソコンのうち、お客様の許しを得て1週間で30台の写真を6方向から撮る(うち数台は、返却のときに傷の申し出があったものと同じ型を入れる)
- その30台について、店員が書いた受付票を並べる
- 30台の写真を、手元の Gemini の画面に1台ずつ貼り付ける
- 「底面のラベルの型番と製造番号を書き写してください。傷・割れ・へこみを面と位置で挙げてください。合わせ目にすき間が見えるかを答えてください。付属品を種類と数で挙げてください。故障の原因、修理の可否、金額は書かないでください」と指示する
- 出てきた答えを、店員の受付票と、技術者が分解して分かったことと突き合わせる
30台は必ずやってください。 画面を作る前に、「側面の写真から浮きが見えるのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
| 傷みと付属品が受付票と合い、票に無い傷も拾った | タブレットの画面とチェックリストの作成に進む |
| 故障の原因や電池の交換を書いた、純正と言った | 指示の書き方で直る。構成は有効 |
| 浮きがほとんど判断できない、ラベルが読めない | 撮る高さと照明が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、側面とラベルの撮り方が決まっていなかったことが分かったということです。 撮る高さと距離を決めてから、同じ30台で撮り直してください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 正面から撮って筐体の浮きが写らない | 合わせ目と同じ高さから側面を撮る枠と例の写真を出す |
| 「電池が膨張しています」と言い切る | 見え方の case_gap だけを返させ、扱いは店員と技術者が決める |
| 画面が点いたまま撮ってファイル名が写る | 電源が切れているかの選択を撮影の前に置く |
| 付箋のパスワードを書き写す | 写真で外し、指示でも禁じて found_text_outside_label だけを返させる |
| 製造番号の似た文字を取り違える | ? を許し、店員が実物で1文字ずつ見る |
| 付属品を「純正」「そろっている」と言う | 種類と数だけを返させ、足りないかはチェックリストで決める |
| 外した候補の印がお客様に見える | 確認済みの印だけを残して見せる |
| 応答を待つ間にお客様を待たせる | 遅いときは今の流れで受け、写真は後で呼び直す |
| お客様にタブレットを渡してしまう | 画面は店員だけが使う。 規約の条件でもある |
上の2行が、この構成の失敗のほとんどです。 どちらも、写真から分かること以上を画面に出すことから出ています。すき間は横から見て、電池の扱いは技術者が決め、見え方だけを写真からという線を、指示と画面の言葉の両方で守ります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: パソコンの外観と付属品の写真、型番と製造番号、症状の聞き取り、受付の番号です。お客様の名前と電話番号は受付票の別の欄に店員が書き、AI には渡しません。 パソコンの中のデータには、この構成は触れません。
- 電源を切って撮る … 画面に映ったファイル名や通知は、お客様の情報です。撮る前の手順で電源が切れていることを確かめます
- 写り込んだ文字を残さない … 付箋やシールのパスワード、天板の名前のシールは写真の段階で隠します。写っていたら写真を消して撮り直します
- お客様の名前と連絡先を AI に渡さない … 渡すのは写真と聞き取りの選択肢だけです。受付の番号で受付票とつなぎます
- 画面は店員だけが使う … Gemini API の規約は、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていません。お客様にタブレットを渡さず、お客様向けに公開しません
- この構成は電池の安全の判断を代替しません … 膨らみの疑いがある機械をどう保管し、どう扱うかは、技術者が店の決まりで決めることです。 この構成が出すのは、写真にすき間が見えたという候補だけです
- AI側にやり取りを残さない … 有料の利用枠で使い、
store=falseを付けます - 写真の保存期間を決める … 返却から一定の期間で消します。返却のときの申し出に答えるのに要る期間だけ残します
誤りが起きた場合のリスクは、預かったときにあった傷を控えに載せ損ねることと、膨らみの疑いを見落として技術者が通電することの2つです。 前者は外した候補をお客様と確かめずに消すと起き、後者は not_judgeable_from_photo を「浮きなし」と読み替えると起きます。どちらも、写真から分かることの範囲を守ることで防ぎます。
10まず何から始めるか
1週目:付属品のリストと撮り方を決める
付属品のチェックリストを、店で決めた項目で書き出します。受付の台に区切りのあるトレイを置き、側面を撮る高さと、ラベルを撮る距離を決めます。画面に出す例の写真を撮ります。
2週目:30台で試す
1週間で30台を6方向から撮り、手元の Gemini の画面に貼って傷みと付属品を挙げさせます。電池の交換や故障の原因を書いていないか、浮きを言い切っていないかを最優先で見ます。
3週目:電池の扱いの決まりを書く
技術者と、筐体の浮きの疑いがある機械を電源を入れずにどこへ置き、誰に回すかを決めます。受付票に「電池の扱い」の欄を足します。
4週目:タブレットの画面を作る
Apps Script で撮影の枠と Gemini API の呼び出しを作り、候補と印の付いた写真を出すところまで作ります。この時点では控えを印刷せず、店員が候補をどれだけ外すかだけを見ます。
2か月目: 付属品のチェックリストとの照合と、控えの下書きを足します。3か月目以降: 1台9分が何分になったかを実測し、返却のときの申し出に控えと写真で答えられた件数を数え、撮る枠を直すようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文などを合わせたリクエスト全体が20MBまでであること。位置が0〜1000に正規化されて返り、例では [ymin, xmin, ymax, xmax] の順で受け取っていること。384ピクセル以下の画像が258トークンで、それより大きい画像は768×768のタイルに分けて1タイル258トークンで数え、タイルの数を短い辺をもとにした単位で決めること。画像の向きを正しくし、ぼけていない画像を使うよう書かれていること | Google AI Studio: Image understanding | 2026-11-03 |
構造化出力を /v1beta/interactions の response_format(mime_type に application/json、schema)で指定すること。文字列の enum が使えること。構文として正しい JSON でも値はアプリ側で検証するよう書かれていること | Google AI Studio: Structured output | 2026-11-03 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-03 |
| 利用には18歳以上であることが必要で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと | Gemini API Additional Terms of Service | 2026-11-03 |
| リチウムイオン電池を搭載した製品の事故にノートパソコンが含まれること。「膨らんで、変形している」「落とす、ぶつけるなどで強い衝撃を与え、一部が変形している」などの異常があれば充電・使用を中止し、販売店や製造・輸入事業者に相談するよう案内していること。膨らんだ電池の内部に可燃性ガスがたまり、強い衝撃や外力で発火するおそれがあること | NITE: 『夏バテ(夏のバッテリー)』にご用心(2025年6月26日) | 2026-11-03 |
膨らみの疑いのある機械の扱い、修理の可否と金額は、店の技術者の見立てと決まりに合わせて決めてください。 本記事は上の公式の情報で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2586)についてのご相談はこちらから。
