刃物の店が、研ぎの依頼に添えられた包丁・はさみの写真を Gemini で見て、刃こぼれ・欠け・さびの程度と研ぎの区分の候補を出し、見積の下書きにする
研ぎの相談に添えられた包丁・はさみの写真を Gemini で見て、刃こぼれ・欠け・さびの位置と程度、研ぎの区分の候補を出し、料金表から見積の下書きを作ります。職人は下書きを直すだけになり、写真を見る時間を研ぎに戻せます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- EC/その他/小売
- 対象部門
- カスタマーサポート
- 対象業務
- 内容確認・チェック/書類作成
- 主な課題
- 人手が足りない/問い合わせが多い/属人化している
- AIで行う処理
- 画像認識
- 主な効果
- 品質標準化/対応スピード向上/工数削減
- 導入難易度
- ★★★☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- お客様が、通販サイトの相談の窓口かメールで、写真と相談の文を送る
- 受付の担当が、写真を受付の表に貼り、職人に回す
- 職人が研ぎの手を止めて写真を開き、刃こぼれ・欠け・さびを探す
- 写真が足りなければ、「刃を真横から」「刃先を近くで」などの撮り直しを担当に頼む
- 職人が研ぎの区分を決め、担当が料金表から値段を引く
- 担当が、区分と値段と送り方の案内を返信の文にして送る
- 人お客様が、Google フォームで写真と申告(刃物の種類・刃渡り・片刃か両刃か・鋼材が分かれば)を送る
- 自動フォームの送信をきっかけに Apps Script が動き、写真の枚数・形式・大きさを確かめる
- 自動Apps Script が、写真と申告と研ぎの区分の一覧を Gemini API に渡す
- 【AI】 Gemini が、写真ごとに見えた刃こぼれ・欠け・さび・先の折れの位置と程度を書き出す
- 【AI】 研ぎの区分の候補、写真では分からないこと、足りない写真を返す
- 自動Apps Script が、区分の候補と刃渡りで料金表を引き、費用の幅を見積の下書きの表に書く
- 人職人が、まとめた時間に下書きの表を開き、写真と見比べて区分を直す
- 人受付の担当が、職人の直した区分で返信の文を整えて送る
各工程の詳しい説明を読む
- お客様が、通販サイトの相談の窓口かメールで、写真と相談の文を送る
- 受付の担当が、写真を受付の表に貼り、職人に回す
- 職人が研ぎの手を止めて写真を開き、刃こぼれ・欠け・さびを探す
- 写真が足りなければ、「刃を真横から」「刃先を近くで」などの撮り直しを担当に頼む
- 職人が研ぎの区分を決め、担当が料金表から値段を引く
- 担当が、区分と値段と送り方の案内を返信の文にして送る
(a)職人の研ぎの手が止まる。 相談は1日に5〜6件、ばらばらの時間に届きます。職人は研ぎの途中で手を洗い、写真を見て、また研ぎに戻ります。 1件ずつは数分でも、研ぎの段取りが途切れます。
(b)写真が足りず、やり取りが重なる。 刃全体が斜めから写っているだけ、刃先がぼけている、光が反射して刃こぼれが見えない、という写真が多く届きます。撮り直しを頼むと、返事が来るまでに数日かかり、そのあいだにお客様の気持ちが冷めます。
(c)職人ごとに見立てと値段がずれる。 同じ程度の刃こぼれを、ある職人は小さな刃こぼれの直し、別の職人は大きな欠けの直しとします。値段が1段違うと、お客様にとっては大きな違いです。
(d)写真で分からないことまで答えてしまう。 「鋼は何ですか」「研げば元どおりになりますか」と聞かれ、写真を見て答えると、届いてみたら刃が薄くて、思ったほど研げないこともあります。 写真で言えることの線が、職人の頭の中にしかありません。
- 【人】 お客様が、Google フォームで写真と申告(刃物の種類・刃渡り・片刃か両刃か・鋼材が分かれば)を送る
- 【自動】 フォームの送信をきっかけに Apps Script が動き、写真の枚数・形式・大きさを確かめる
- 【自動】 Apps Script が、写真と申告と研ぎの区分の一覧を Gemini API に渡す
- 【AI】 Gemini が、写真ごとに見えた刃こぼれ・欠け・さび・先の折れの位置と程度を書き出す
- 【AI】 研ぎの区分の候補、写真では分からないこと、足りない写真を返す
- 【自動】 Apps Script が、区分の候補と刃渡りで料金表を引き、費用の幅を見積の下書きの表に書く
- 【人】 職人が、まとめた時間に下書きの表を開き、写真と見比べて区分を直す
- 【人】 受付の担当が、職人の直した区分で返信の文を整えて送る
7番目が、この設計の分かれ目です。 職人は、相談が届くたびではなく、午前と午後の決まった時間にまとめて下書きを見ます。 写真のどこを見ればよいかが下書きに書かれているので、1件あたりの見る時間も短くなります。研ぎの段取りが途切れなくなるのは、こちらの効果です。
5番目の「足りない写真」は、職人が見る前に担当がお客様に頼めます。 刃先がぼけている、刃全体が写っていない、という指摘が下書きに出ていれば、職人の判断を待たずに撮り直しを頼めます。 やり取りの往復が1回減ります。
02今回想定するシステム構成
お客様(研ぎの相談) │ Google フォーム:写真(ファイルのアップロード)と申告 ▼【トリガー】フォームの送信 Google Apps Script ├──▶ 写真の枚数・形式・大きさの確認 ▼ Gemini API(Interactions。store=false。構造化出力) │ ① 写真ごとの刃こぼれ・欠け・さび・先の折れの位置と程度 │ ② 研ぎの区分の候補(店の6区分から) │ ③ 写真では分からないこと ④ 足りない写真 ▼ Google Apps Script ── 料金表から費用の幅を引く ──▶ 見積の下書きの表 ▼ 【人】職人が写真と見比べて区分を直す(午前・午後にまとめて) ▼ 【人】受付の担当が返信を送る
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(写真の刃こぼれ・欠け・さびの位置と程度、研ぎの区分の候補、足りない写真) | Claude API、OpenAI API |
| 連携 | Google Apps Script(フォームの回答の受け取り、写真の取り出し、料金表の引き当て、記録) | Python |
| 受付 | Google フォーム(ファイルのアップロードの質問) | 自社サイトの相談のフォーム |
| 料金表・下書き | Google スプレッドシート | - |
新しく足すのは、Google フォームの相談の窓口と、Apps Script の処理と、Gemini API の利用だけです。 料金表と受付の表は今のスプレッドシートを使います。返信は人が送り、Apps Script からお客様にメールを出しません。
Gemini は、写真から見えるものを言葉にする役です。 公式の説明では、Gemini のモデルは最初からマルチモーダルで、専用の機械学習のモデルを学習させなくても、画像の説明、分類、画像についての質問への回答などの作業ができるとされています。画像は PNG・JPEG・WEBP・HEIC・HEIF を渡せます。 スマートフォンの写真をそのまま扱えます。
Google フォームのファイルのアップロードの質問には、条件があります。 公式のヘルプでは、回答するにはお客様が Google アカウントにログインする必要があり、アップロードされたファイルはフォームの持ち主の Google ドライブの新しいフォルダに保存されるとされています。フォームが共有ドライブに置かれている場合は、この質問を使えません。 Google アカウントを持たないお客様の受け方は、第7章の例外処理で決めます。
Gemini API の規約は、18歳未満が使う(使いうる)サービスへの組み込みを禁じています。 公式の規約では、API を使うには18歳以上である必要があり、18歳未満に向けた、または18歳未満が使う可能性のあるサービスの一部として使ってはならないとされています。この相談の窓口は、刃物の研ぎを頼む成人のお客様に向けたものとし、フォームの最初に「18歳以上の方の受付」と書いて確認の質問を置きます。
03どうやって実装するのか
処理の起点を決める
お客様がフォームを送信したことを起点にします。 Apps Script のインストール型のトリガーで、フォームの送信のたびに1件ずつ処理します。公式の説明では、フォームの送信のトリガーは、回答全体を表す FormResponse を渡すとされています。1日にまとめて処理しないのは、足りない写真の依頼を早く出すためです。 写真が足りないことがその日のうちに分かれば、撮り直しをその日に頼めます。
職人が見るのは、午前と午後の決まった時間だけです。 Gemini の処理は届くたびに動かしますが、職人の確認はまとめます。 下書きの表の「職人の確認」の列が空の行が、その時間に見る行です。
Apps Script の実行時間には上限があります。 公式の割り当ての表では、スクリプトの実行時間は1回6分、トリガーによる実行の合計は個人のアカウントで1日90分、Google Workspace のアカウントで1日6時間とされています。月150件、1件あたり数十秒の処理なら収まりますが、写真が多い相談で6分を超えないよう、1回の処理で扱う写真の枚数をフォームの側で絞ります。
店頭の受付も、同じフォームに入れます。 店頭で預かるときも、担当がその場で写真を撮ってフォームから送ります。入口が1つなら、下書きの表が全部の相談の記録になります。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 写真 | 刃全体を真横から、刃先を近くで、刃の両面、さびのある部分。1件5枚まで | フォームのファイルのアップロードの質問 |
| 申告 | 刃物の種類、刃渡り(cm)、片刃か両刃か、鋼材(分かれば)、気になっていること、急ぎかどうか | フォームの質問 |
| 研ぎの区分の一覧 | 6つの区分と、それぞれに当てはまる状態の言葉での説明 | 店の決まりの文書 |
| 状態の見本 | 区分ごとの、過去の写真の見立ての文(写真そのものではない) | 店の決まりの文書 |
| 料金表 | 区分と刃渡りの区切りごとの値段、はさみの種類ごとの値段 | スプレッドシート |
質を決めるのは、研ぎの区分の一覧の書き方です。 「小さな刃こぼれの直し:刃線に沿って、刃の先端から見て1mm に満たない欠けが点々とある」「大きな欠けの直し:刃線が目で見て凹んでいる欠けがある」のように、職人2名が普段どこで線を引いているかを、言葉で書きます。 線が言葉になっていないと、Gemini の候補もずれ、職人どうしのずれも直りません。
状態の見本は、写真ではなく見立ての文で持ちます。 過去の相談の写真を毎回渡すと、お客様の写真をほかのお客様の処理に使うことになります。職人が書いた見立ての文だけを見本にします。
刃渡りは、写真から測らせません。 写真の中の大きさは、撮る距離で変わります。お客様の申告を使い、申告が無ければ「刃渡り未申告」として料金表を引かずに職人に回します。 フォームの説明に、定規を添えて撮る例の写真を置くと、申告の誤りに職人が気づけます。
データの取得方法を決める
| 取るもの | どこから | 何に使うか |
|---|---|---|
| 回答 | トリガーが渡す FormResponse | 申告の各項目と、写真のファイル |
| 写真のファイル | フォームの持ち主のドライブの、アップロードのフォルダ | Gemini に渡す画像 |
| 研ぎの区分の一覧・状態の見本 | スプレッドシートの別のシート | Gemini への指示に入れる |
| 料金表 | スプレッドシートの料金表のシート | 区分と刃渡りから費用の幅を引く |
ファイルのアップロードの質問の回答から写真のファイルを特定する方法は、最初に試して決めます。 Apps Script の公式のリファレンスの getResponse() の説明には、チェックボックスやグリッドの質問の戻り値は書かれていますが、ファイルのアップロードの質問の戻り値の記載が見当たりません。 小さなフォームで1件送信して、戻り値の形を確かめてから組みます。
画像は、Gemini にインラインで渡すか、Files API で渡します。 公式の説明では、インラインで画像を渡すとき、文字の指示・システムの指示・画像のバイトを合わせたリクエストの大きさは20MBまでで、それより大きいときは Files API でアップロードして渡すとされています。スマートフォンの写真5枚はこれを超えることがあるので、フォームの1ファイルの大きさの上限を設定し、合計が20MBを超える相談は Files API で渡します。
Apps Script から Gemini を呼ぶのは、UrlFetchApp です。 公式の割り当ての表では、URL Fetch の POST の大きさは1回50MB、1日の呼び出しは個人のアカウントで20,000回とされています。月150件なら、回数の上限に近づくことはありません。
AIへ渡す前に整形する
- 写真の枚数を確かめる … 1件5枚までにし、0枚なら Gemini に渡さずに担当へ回します
- 形式を確かめる … PNG・JPEG・WEBP・HEIC・HEIF 以外は、担当が変換を頼みます
- 合計の大きさを確かめる … 20MB を超えれば Files API で渡します
- 申告の欠けを確かめる … 刃物の種類と刃渡りが空なら、下書きに「申告の不足」を付けます
- 写真の向きを確かめる … 横倒しの写真は、向きを直してから渡します
- 18歳以上の確認の回答を確かめる … 「はい」でない回答は、処理せずに担当へ回します
5番目は、公式の勧めに沿っています。 公式のヒントでは、画像が正しい向きになっていることを確かめ、ぼけていない画像を使うよう勧めています。刃線は、写真の中で水平になっているほど、刃こぼれの位置を言葉にしやすくなります。 フォームの説明に「刃を横に置いて真上から」の例を置きます。
細かな刃こぼれは、解像度の設定で見え方が変わります。 公式の説明では、media_resolution の設定で、画像1枚に割り当てるトークンの上限を決められ、高くすると細かい部分を見分けやすくなる一方、トークンの使用量と待ち時間が増えるとされています。刃先を近くで撮った写真だけ高くする、といった使い分けを試して決めます。
AIに処理させる
させるのは、写真ごとに見えた刃の状態を書き出し、区分の候補と、写真では分からないことと、足りない写真を返すことです。
| 見るもの | させること | 判断できないときの扱い |
|---|---|---|
| 刃こぼれ | 位置(刃元・中ほど・刃先)と、点々か連なっているかを書く | 光の反射で見えなければ「見えない」 |
| 欠け | 位置と、刃線が凹んで見えるかを書く | 大きさが写真で決められなければ「大きさ不明」 |
| さび | 位置と、表面だけか、点の深い穴に見えるかを書く | 深さは写真では分からないと書く |
| 先の折れ | 先端が欠けて見えるかを書く | 刃先が写っていなければ「足りない写真」 |
| 区分の候補 | 店の6区分から、当てはまる候補を最大2つ選び、根拠の写真と位置を書く | 決められなければ「届いてから見る」 |
| 足りない写真 | 区分を決めるのに足りない写真を具体的に書く | - |
| させないこと | 理由 |
|---|---|
| 値段を出す | 値段は料金表で決める |
| 鋼材や刃の硬さを見立てる | 写真では分からない。申告と職人の見立てで決める |
| 研げば元どおりになると言う | 刃の厚みや残りは届いてから分かる |
| 研げない・修理できないと決める | 決めるのは職人 |
| 刃渡りを写真から測る | 写真の大きさは撮る距離で変わる |
| 写真に写った人や家の中のものに触れる | 見るのは刃だけ |
2行目が、いちばん起きやすい失敗です。 写真に刻印が写っていると、Gemini はそこから鋼材を推し量って「青紙鋼と思われます」と書くことがあります。刻印が読めても、それがその包丁の鋼材とは限りません。 鋼材はお客様の申告欄にあるものだけを使い、無ければ「申告なし」とします。
4行目も大事です。 大きな欠けやさびの深い包丁を「研ぎ直しは難しい」と書かせると、お客様は送るのをやめます。 実際には職人が見れば直せることも多く、店にとっても機会を失います。決められないときは「届いてから見る」の区分にします。
指示内容を固定する
あなたは刃物の店で、研ぎの相談の写真を見て、刃の状態を書き出す
立場です。写真に見えることだけを書き、見えないことは
「写真では分からない」と書いてください。
【見ること】
写真ごとに、次の4つの状態を探し、位置と程度を書いてください。
- 刃こぼれ(刃元・中ほど・刃先のどこか。点々か、連なっているか)
- 欠け(刃線が凹んで見えるか)
- さび(表面だけに見えるか、点の深い穴に見えるか)
- 先の折れ(先端が欠けて見えるか)
光の反射やぼけで見えない部分は「見えない」と書くこと。
【区分の候補】
店の研ぎの区分の一覧から、当てはまる候補を最大2つ選び、
根拠にした写真の番号と位置を書いてください。
決められなければ「届いてから見る」を選んでください。
【厳守事項】
- 値段を書かないでください。
- 鋼材・硬さ・刃の厚みを推し量らないでください。刻印が読めても
鋼材として書かないこと。鋼材は申告欄の値だけを使うこと。
- 刃渡りを写真から測らないでください。
- 「研げない」「元どおりになる」と書かないでください。
- 刃以外のもの(人、家の中のもの、紙の文字)に触れないでください。
- 足りない写真があれば、「刃全体を真横から」「刃先を10cm ほどの
距離から」のように、撮り方を具体的に書いてください。
【研ぎの区分の一覧】{grade_list}
【状態の見本】{examples}
【申告】{declaration}
画像は、この指示のあとに並べます。 公式のヒントでは、画像1枚と文字を一緒に渡すときは、input の配列で文字の指示を画像の前に置くよう勧めています。この構成では写真が複数なので、指示の文、「写真1:刃全体」のような短い文、その写真、という順に並べ、写真の番号と撮った部分を Gemini が取り違えないようにします。
「刻印が読めても鋼材として書かない」を書かないと、刻印から推し量ります。 推し量りを禁じるだけでは、「刻印から○○鋼と読める」と書き添えてきます。禁じるのは、刻印を鋼材の根拠にすることそのものです。
出力形式を固定する
構造化出力で、次の形の JSON を受け取ります。
{
"photos": [
{ "no": 1, "part": "刃全体", "usable": true,
"findings": [
{ "type": "chip", "position": "中ほど", "pattern": "点々", "note": "" }
] }
],
"grade_candidates": [
{ "grade": "small_chip", "evidence": "写真1 中ほど・写真2 刃先" }
],
"unknown_from_photo": ["鋼材", "刃の厚み", "刃の裏の状態"],
"missing_photos": ["刃先を10cm ほどの距離から"],
"declaration_gaps": []
}
1つ目の理由は、区分を決まった言葉で受け取れることです。 スキーマの grade に店の6区分を enum で決めておくと、料金表を引くキーが必ず決まった値で返ります。 公式の説明では、構造化出力の文字列に enum を指定でき、配列の minItems・maxItems は守られるとされています。区分の候補は maxItems を2にします。
2つ目は、構造化出力が守らない制約を知っておけることです。 公式の説明では、minLength・maxLength などはサーバーで外されて無視されます。見立ての文の長さは、Apps Script の側で確かめます。 また、JSON として正しくても値が誤っていることはあるので、公式の勧めのとおり、値はアプリケーションの側で確かめます。
3つ目は、unknown_from_photo が見積の文にそのまま載ることです。 「写真では鋼材と刃の厚みは分かりません。届いてから職人が確かめ、値段が変わる場合は研ぐ前にご連絡します」という一文を、この配列から作ります。届いてから値段が変わる理由を、先に伝えておけます。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| Google フォーム | インストール型のトリガー | 送信を検知し、回答を受け取る |
| Google ドライブ | Apps Script から読む | アップロードされた写真 |
| Gemini API | UrlFetchApp で Interactions を呼ぶ | 刃の状態・区分の候補・足りない写真 |
| スプレッドシート | Apps Script から読み書き | 料金表を引き、見積の下書きの行を書く |
Gemini の呼び出しでは、store=false を指定します。 公式の説明では、Interactions API は既定でリクエストを保存し、有料の利用では55日、無料の利用では1日保持するとされ、保存させたくないときは store=false を指定できます。お客様の写真を相談の処理のあとに残す理由はありません。store=false は background の実行と併用できないため、同期で呼びます。
見積の下書きの表には、Gemini の JSON をそのまま書きません。 区分の候補、費用の幅、足りない写真、写真では分からないことを列に分けて書き、職人が直す列と、担当が送る列を別にします。 JSON の全文は記録用の別のシートに残します。
人が確認する
- 足りない写真の行を先に見る … 受付の担当が、職人の確認を待たずに撮り直しを頼みます
- 職人が区分を確かめる … 午前と午後に、下書きの表を開き、写真と区分の候補を見比べて区分を決めます
- 費用の幅を確かめる … 区分を直したら、Apps Script がもう一度料金表を引きます
- 返信を送る … 担当が、区分と費用の幅と、写真では分からないことの一文を入れて送ります
- 区分を直した記録を残す … どの候補を、どの区分に直したかを残します
2番目を省かないでください。 区分は、お客様が送るかどうかを決める値段に直結します。候補のとおりで合っていても、職人が見たという記録が、届いてからの値段の説明の支えになります。
目標は、相談をならして1件4分です。 職人が下書きを見るのに2分、担当が返信を整えて送るのに2分という想定です。職人が候補を直す割合が3割を超えるなら、研ぎの区分の一覧の言葉が足りていません。
例外に対処する
| 起きること | 対応 |
|---|---|
| 写真が0枚 | Gemini に渡さず、担当が写真を頼む |
| 合計が20MB を超える | Files API で渡す。それでも大きければ枚数を分けて呼ぶ |
| 形式が対応外 | 担当が JPEG などでの送り直しを頼む |
| 刃先がぼけている・反射で見えない | missing_photos に撮り方が出る。担当が撮り直しを頼む |
| 刃渡りが未申告 | 料金表を引かず、職人に回す |
| 18歳以上の確認が「はい」でない | 処理せず、担当が店頭の受付を案内する |
| Google アカウントが無いお客様 | メールで写真を受け、担当がフォームに代わりに入れる |
| 理容・美容のはさみ、工業用の刃物 | 区分の一覧に無いので「届いてから見る」とし、職人に回す |
| Gemini の応答が返らない・形が違う | 下書きの表に「AI未処理」と書き、職人がいつものように写真を見る |
| Apps Script が6分で止まる | 写真の枚数を減らす。止まった回答は表に印を付け、手で回し直す |
上から4行目が、いちばん多くなります。 刃物の写真は光を返しやすく、刃こぼれが反射で消えます。フォームの説明に「明るい曇りの日の窓際で、刃を少し傾けて」のような撮り方の例を置くだけで、撮り直しの往復が減ります。 撮り直しを頼む文は、missing_photos の撮り方をそのまま使います。
記録を残す
- フォームの回答と、写真のファイルの場所
- Gemini に渡した指示の版と、返った JSON の全文
- 料金表の版と、引いた費用の幅
- 職人が直した区分と、直す前の候補
- 返信を送った日時と、お客様が実際に送ってきたか
- 届いてから値段が変わった件と、その理由
4つ目と6つ目を並べると、区分の一覧のどこが足りないかが分かります。 候補が「小さな刃こぼれの直し」で職人が「大きな欠けの直し」に直した件が続くなら、区分の一覧の線の言葉が実際とずれています。 届いてから値段が変わった件も、同じ材料になります。
写真は、研ぎが終わって返送したら、決めた期間で消します。 相談だけで送ってこなかったお客様の写真は、相談から3か月で消すなど、フォームの説明に書いた期間で消します。
04実装レベルの3段階
最小構成は、確かめるための段階です。 半自動化で、職人が写真を探す時間が減ります。 下書きに刃こぼれの位置が書かれているので、写真のどこを見ればよいかが先に分かります。 ただし、値段は担当が料金表から引き、返信も一から書きます。 本格構成で1件4分になり、この段階が本記事の想定です。 料金表の引き当てと、撮り直しの依頼と、分からないことの一文までが下書きに入り、担当は職人の直した区分を見て送るだけになります。 差が大きいのは、料金表を引く作業と返信の文が、相談ごとの手作業だからです。
05工数削減シミュレーション
導入後 150件 × 4分 ÷ 60 = 10 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 包丁・家庭用のはさみの研ぎを店頭と郵送で受け、送る前に写真で相談を受けている刃物の店・金物店。相談が月に100件を超え、職人が写真を見て見積の返信を書く時間が研ぎの時間を削っている場合。研ぎの区分と料金表が決まっていて、刃こぼれや欠けの程度で区分を分けている場合。
- 相談が月に数十件で、職人が写真を見て返して足りる場合。研ぎの区分や料金表が決まっておらず、毎回職人が値段を考えている場合(先に区分を決める必要があります)。理容・美容のはさみ、工業用の刃物のように、写真では状態の分からない精密な研ぎが中心の場合。なお、研げるかどうか、どの研ぎをするか、値段をいくらにするかの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月の相談から写真付きのものを20件選ぶ(うち数件は、職人の見立てが分かれたもの、届いてから値段が変わったものを入れる)
- その20件について、職人が決めた区分を書き出す
- Google AI Studio(有料の利用につないだもの)で、研ぎの区分の一覧と写真を1件ずつ渡す
- 「写真ごとに刃こぼれ・欠け・さび・先の折れの位置と程度を書き、区分の候補を最大2つ選んでください。値段・鋼材・刃渡りは書かないでください。写真で分からないことは分からないと書いてください」と指示する
- 出てきた候補を、職人が決めた区分と見比べる
20件は必ずやってください。 フォームと Apps Script を組む前に、「写真から区分の候補が出せるのか」を確かめます。 無料の利用には、機微な情報や個人の情報を入れないよう公式の規約が求めているので、試すときも有料の利用につないで行います。
| 出てきた内容 | 判断 |
|---|---|
| 職人の区分と同じ候補が多かった | フォームと Apps Script の連携に進む |
| 鋼材や値段を書いてきた | 指示の書き方で直る。構成は有効 |
| 写真が見えず「見えない」ばかり | 写真の撮り方の案内が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 失敗ではなく、撮り直しの往復が多かった理由が1つ分かったということです。 撮り方の例の写真を作り、次の月の相談で同じ見比べをしてください。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 刻印から鋼材を推し量る | 刻印を鋼材の根拠にしないと指示に書き、鋼材は申告欄だけを使う |
| 「研げない」と書いてお客様が送らない | 決められないときは「届いてから見る」の区分にする |
| 刃こぼれが反射で見えない | 撮り方の例をフォームに置き、missing_photos で撮り直しを頼む |
| 写真の番号と撮った部分を取り違える | 写真ごとに「写真1:刃全体」の短い文を前に置く |
| 刃渡りを写真から測る | 測らないと指示に書き、申告が無ければ料金表を引かない |
| 区分の候補が職人とずれる | 区分の一覧を、職人の線引きの言葉で書き直す |
| 写真が20MB を超えて止まる | フォームでファイルの大きさを絞り、超えたら Files API で渡す |
| 入出力が55日保存される | store=false を指定し、同期で呼ぶ |
| フォームが共有ドライブにあって作れない | ファイルのアップロードの質問は共有ドライブでは使えない。マイドライブに置く |
| 18歳未満が使いうる窓口になる | 成人のお客様に限る受付とし、確認の質問を置く |
| ファイルのアップロードの回答の形が分からない | 1件送って戻り値を確かめてから組む |
上の2行が、この構成の失敗のほとんどです。 どちらも、写真で分からないことを分かったように書くことから出ています。見えないことは見えないと書かせ、決められないときは職人に回す区分を用意しておくことで、見積と実物のずれが防げます。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: お客様の名前と連絡先、刃物の写真、申告の内容です。写真には、刃のほかに手や台所の様子が写り込むことがあります。
- Gemini は有料の利用で使う … 公式の規約では、無料の利用には機微な情報・機密の情報・個人の情報を入れないよう求めています。有料の利用では、Google はプロンプトと応答を製品の改善に使わないとされています。試すときも、請求先のあるプロジェクトにつないで使います
- 入出力を保存させない … Interactions API は既定でリクエストを保存します。
store=falseを指定し、同期で呼びます - Gemini に渡すのは写真と申告の刃物の項目だけ … お客様の名前・住所・電話番号は Apps Script の側で外し、Gemini には相談の番号だけを付けて渡します
- 写り込みを減らす … フォームの説明に「刃物だけを、白い紙や布の上に置いて」と書きます。手や部屋が写った写真は、刃の部分だけが写るよう撮り直しを頼むこともあります
- 18歳以上に限る … 公式の規約は、18歳未満に向けた、または18歳未満が使う可能性のあるサービスへの組み込みを禁じています。相談の窓口を成人のお客様向けとし、確認の質問を置きます
- 値段と研げるかどうかは職人が決める … Gemini が出すのは状態の書き出しと区分の候補です。お客様に送る値段と、研げるかどうかの答えは、職人が写真を見て決めます
誤りが起きた場合のリスクは、状態を軽く見て安い見積を出すことと、重く見て送るのをやめさせることの2つです。 前者は届いてから値段が変わってお客様の信頼を損ね、後者は店の機会を失います。どちらも、写真で分からないことを分からないと書かせ、職人が区分を決める流れで防ぎます。
10まず何から始めるか
1週目:研ぎの区分の一覧を言葉にする
職人2名で、6つの区分の線引きを言葉で書きます。過去の相談の写真を一緒に見ながら、「ここからが大きな欠け」と言える線を探します。 あわせて、料金表を区分と刃渡りで引ける形に整えます。
2週目:20件で試す
先月の相談から20件を選び、Google AI Studio で区分の候補を出させます。鋼材や値段を書いていないか、見えないものを見えたことにしていないかを最優先で見ます。
3週目:フォームを作る
ファイルのアップロードの質問、申告の質問、18歳以上の確認の質問を置いたフォームをマイドライブに作り、撮り方の例の写真を説明に置きます。1件送信して、Apps Script で回答の写真のファイルの形を確かめます。
4週目:Apps Script で下書きまでつなぐ
フォームの送信のトリガーから Gemini を呼び、見立てを下書きの表に書くところまで作ります。この時点では料金表を引かず、職人が候補を見比べるだけにします。
2か月目: 料金表の引き当てと、足りない写真の依頼の文を足し、職人が候補を直した割合を毎週数えます。3か月目以降: 返信の下書きを足し、1件12分が何分になったかを実測します。候補を直す割合が下がり、届いてから値段が変わる件が減った時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
Gemini のモデルが専用の学習なしで画像の説明・分類・画像についての質問への回答などに使えること。対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。インラインのリクエストの合計が20MBまでで、それより大きいときは Files API を使うこと。画像をタイルに分けてトークンを数えること。media_resolution で画像あたりのトークンの上限を決められ、高くすると細部を見分けやすい一方で使用量と待ち時間が増えること。画像の向きを確かめ、ぼけていない画像を使い、画像1枚と文字を渡すときは文字を画像の前に置くよう勧めていること | Gemini API: Image understanding | 2026-11-17 |
構造化出力を response_format で指定すること。文字列の enum、配列の minItems・maxItems が使えること。minLength・maxLength などはサーバーで外されて無視されること。出力の値はアプリケーションで確かめるよう勧めていること | Gemini API: Structured outputs | 2026-11-17 |
Interactions API が既定でリクエストを保存し、有料の利用で55日・無料の利用で1日保持すること。store=false で保存させないことができ、background の実行とは併用できないこと | Gemini API: Interactions overview | 2026-11-17 |
| API の利用は18歳以上で、18歳未満に向けた、または使う可能性のあるサービスの一部として使ってはならないこと。無料の利用に機微・機密・個人の情報を入れないよう求めていること。有料の利用ではプロンプトと応答を製品の改善に使わないこと | Gemini API: Additional Terms of Service | 2026-11-17 |
| ファイルのアップロードの質問に回答するには Google アカウントへのログインが必要で、ファイルはフォームの持ち主のドライブの新しいフォルダに保存されること。共有ドライブに置いたフォームでは使えないこと。ファイルの種類・数・大きさの上限を設定できること | Google Docs Editors Help: Choose a type of question for your form | 2026-11-17 |
フォームの送信のインストール型のトリガーが、回答全体を表す FormResponse を渡すこと | Apps Script: Event objects | 2026-11-17 |
| スクリプトの実行時間が1回6分、トリガーによる実行の合計が個人のアカウントで1日90分・Google Workspace のアカウントで1日6時間であること。URL Fetch の POST の大きさが1回50MB、呼び出しが個人のアカウントで1日20,000回であること | Apps Script: Quotas for Google Services | 2026-11-17 |
研げるかどうか、どの研ぎをするか、値段をいくらにするかは、職人が実物と写真を見て決めてください。 本記事は、写真から状態を書き出して見積の下書きを作る作業だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-3442)についてのご相談はこちらから。
