提灯の工房が名入れの版下の画像と書き上がった提灯の写真を Gemini で照らし、文字の抜け・家紋の違い・配置のずれの候補を出荷の前に拾う
名入れを終えた提灯を4方向から撮り、Gemini に注文の版下と照らさせて、文字の抜け、家紋の違い、文字と家紋の位置のずれの候補を出荷の前に拾います。検品担当は、候補の出た箇所だけを現物で確かめます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- その他/小売/製造
- 対象部門
- 品質管理/生産
- 対象業務
- 内容確認・チェック/比較検討
- 主な課題
- 人手が足りない/属人化している/確認ミスが多い
- AIで行う処理
- 画像認識
- 主な効果
- 入力漏れ削減/品質標準化/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 半自動化
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 職人が名入れを終えた提灯を、乾かす棚から検品の台へ運ぶ
- 検品担当が受注の台帳で注文番号を引き、版下を印刷して提灯の横に置く
- 提灯を手で回しながら、面ごとに版下の文字を1字ずつ目で追う
- 家紋のある面は、外側の丸や菱の有無、中の図柄の葉や花の数、向きを版下と見比べる
- 文字の塊と家紋が胴の中心にあるか、上下の帯との間が版下どおりかを、物差しを当てて見る
- 紙の検品票に「可」または直す箇所を書き、気になった面をスマートフォンで撮る
- 直す箇所があれば職人に戻し、無ければ箱に詰めて出荷の棚に置く
- 人職人が名入れを終えた提灯を検品の台の回転台に載せる
- 人検品担当がタブレットで注文番号の札を読み、正面・右・背面・左の順に4枚撮る
- 自動スクリプトが受注の台帳と版下のフォルダから、その提灯の版下の画像と注文の文字の一覧を取り出す
- 自動写真の向きと明るさ、4枚がそろっているかを確かめ、縮めて保存する
- 自動Gemini に版下と写真を渡し、文字ごとの照らし合わせ、家紋の要素の照らし合わせ、文字の塊・家紋・胴の枠を返させる
- 自動スクリプトが枠の座標から中心と高さのずれを計算し、工房で決めた許容の幅と比べる
- 自動結果を「候補なし」「確かめる箇所あり」「撮り直し」に分け、確かめる箇所に枠を描いた写真を作る
- 人検品担当が「確かめる箇所あり」の提灯だけ、枠の箇所を現物で見て物差しを当てる
- 人直すものは職人に戻し、直さないものは理由を選んで記録する
- 人「候補なし」の提灯も、正面の写真と現物をひと目見比べてから箱に詰める
各工程の詳しい説明を読む
- 職人が名入れを終えた提灯を、乾かす棚から検品の台へ運ぶ
- 検品担当が受注の台帳で注文番号を引き、版下を印刷して提灯の横に置く
- 提灯を手で回しながら、面ごとに版下の文字を1字ずつ目で追う
- 家紋のある面は、外側の丸や菱の有無、中の図柄の葉や花の数、向きを版下と見比べる
- 文字の塊と家紋が胴の中心にあるか、上下の帯との間が版下どおりかを、物差しを当てて見る
- 紙の検品票に「可」または直す箇所を書き、気になった面をスマートフォンで撮る
- 直す箇所があれば職人に戻し、無ければ箱に詰めて出荷の棚に置く
(a)似た字を見落とす。 「祭」と「際」、「奉」と「奏」、町名の「丁目」の数字の漢数字、名前の「辺」と「邊」。太い書き文字では、へんやつくりの細部が目立ちません。 注文主にとっては一目で分かる違いでも、検品担当は版下と提灯を交互に見ているうちに、頭の中で版下の字に置き換えて読んでしまいます。
(b)家紋の細部を取り違える。 同じ橘でも外側の丸の有無、同じ藤でも下がり藤と上がり藤、木瓜の中の図柄の違い。家紋は似た形が多く、職人が前の注文の紋を手本にしたまま書くと、要素が1つ足りない紋ができます。 盆の提灯では、取り違えは注文主の家の紋の間違いになり、作り直しになります。
(c)ずれの基準が人によって違う。 物差しを当てる位置、何ミリまでを良しとするかが、親方と事務の担当とで違います。事務の担当は迷って親方に聞きに行き、親方の手が止まります。 聞きに行かずに通した提灯が、店先に吊るしてから傾いて見えると言われることもあります。
(d)回して見る時間が積み上がる。 1張5分でも月240張で20.0時間です。 繁忙の月ほど3と4が駆け足になり、見落としが増えます。
- 【人】 職人が名入れを終えた提灯を検品の台の回転台に載せる
- 【人】 検品担当がタブレットで注文番号の札を読み、正面・右・背面・左の順に4枚撮る
- 【自動】 スクリプトが受注の台帳と版下のフォルダから、その提灯の版下の画像と注文の文字の一覧を取り出す
- 【自動】 写真の向きと明るさ、4枚がそろっているかを確かめ、縮めて保存する
- 【自動】 Gemini に版下と写真を渡し、文字ごとの照らし合わせ、家紋の要素の照らし合わせ、文字の塊・家紋・胴の枠を返させる
- 【自動】 スクリプトが枠の座標から中心と高さのずれを計算し、工房で決めた許容の幅と比べる
- 【自動】 結果を「候補なし」「確かめる箇所あり」「撮り直し」に分け、確かめる箇所に枠を描いた写真を作る
- 【人】 検品担当が「確かめる箇所あり」の提灯だけ、枠の箇所を現物で見て物差しを当てる
- 【人】 直すものは職人に戻し、直さないものは理由を選んで記録する
- 【人】 「候補なし」の提灯も、正面の写真と現物をひと目見比べてから箱に詰める
8番目が、この設計の分かれ目です。 検品担当が版下を1字ずつ追うのは、候補が出た字だけになります。全部の字を追い直す運用にすると、①の2分はほとんど減りません。
10番目を残しているのは、候補が出ないことが「合っている」の証明ではないからです。 写真に写りにくい箇所や、版下そのものの誤りは候補になりません。ひと目見比べる数秒は削りません。
02今回想定するシステム構成
名入れを終えた提灯 │ 回転台に載せ、注文番号の札を読む ▼【トリガー】タブレットの撮影の画面で4枚撮り終えたとき Google Apps Script(撮影の画面・台帳と版下の読み出し) ├──▶ 受注の台帳:面の割り当て、注文の文字の一覧、家紋の名前と要素 ├──▶ 版下のフォルダ:面ごとの版下の画像 ▼ Gemini API(版下と写真の照らし合わせ) │ ① 文字ごとに:見える/見当たらない/形が違って見える/判定できない │ ② 家紋の要素ごとに:同じ/違って見える/判定できない │ ③ 文字の塊・家紋・胴の枠(0〜1000に正規化) ▼ Google Apps Script ── 枠から中心と高さのずれを計算し、許容の幅と比べる ▼ 判定(候補なし/確かめる箇所あり/撮り直し) ▼ 【検品担当が候補の箇所だけ現物で確かめる】 ▼ 検品の記録(スプレッドシート)と写真の保存
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(版下と写真の照らし合わせ、枠の返却) | Claude API、OpenAI API |
| 連携 | Google Apps Script(撮影の画面、台帳と版下の読み出し、呼び出し、ずれの計算、記録) | Python |
| 受注の台帳 | Google のスプレッドシート(面の割り当て・文字の一覧・家紋の列を足す) | - |
| 版下の保管 | Google ドライブ(注文番号ごとのフォルダ。面ごとの画像を書き出して置く) | - |
| 検品の記録 | Google のスプレッドシート(判定、確かめた結果、直した箇所、写真の保存先) | - |
受注の台帳と版下のフォルダは、新しく足すものではありません。 足すのは台帳の3つの列(面の割り当て、注文の文字の一覧、家紋の名前と要素)と、版下のPDFから面ごとの画像を書き出す手順です。この3つの列を事務の担当が版下を作るときに埋めるのが、最初の準備作業です。
写真を見る土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は、指示の文や画像を合わせたリクエスト全体が20MBまでです。複数の画像を1回の入力に並べ、違いを聞く例が載っています。位置は画像の大きさに対して0〜1000に正規化された box_2d で、[ymin, xmin, ymax, xmax] の順に返ります。
出力は構造化出力で受けます。 /v1beta/interactions に送り、response_format の mime_type を application/json にして schema を渡します。文字列は enum で値を絞れ、配列は minItems・maxItems が効きます。一方で、文字列の長さの制約(minLength・maxLength)はエラーにならずに外されると書かれているので、長さはスクリプトの側で確かめます。
03どうやって実装するのか
処理の起点を決める
検品担当が撮影の画面で4枚を撮り終え、「照らす」を押したときを起点にします。 1張ごとに1回動かします。何張かためてから照らすと、戻す提灯が出たときに職人がもう別の注文に移っています。
最初に、提灯の口輪に掛けた注文番号の札を撮ります。 札の番号を画面に読み込み、受注の台帳の行と、その行の版下のフォルダを引きます。1件の注文で文字が違う提灯が何張もあるときは、札に張の番号も書きます。 奉納の提灯で「3番目の名前」と「4番目の名前」を取り違えて照らすと、両方とも違いが山ほど出ます。
撮る順は、正面・右・背面・左に固定します。 回転台に90度ごとの印を付け、提灯の正面を印に合わせて置いてから回します。順を固定するのは、版下の面の割り当てと写真を機械的に結び付けるためです。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 提灯の写真 4枚 | 正面・右・背面・左。回転台の印に合わせ、決まった距離から撮る | タブレットのカメラ |
| 版下の画像 | 面ごとの版下。文字の塊と家紋の位置、上下の帯の位置が分かるもの | 版下のフォルダ |
| 注文の文字の一覧 | 面ごとに、上から(または右から)並ぶ順の文字。旧字・異体字はその字で | 受注の台帳 |
| 家紋の名前と要素 | 紋の名前と、外側の形・中の図柄・数・向きを言葉にしたもの | 受注の台帳 |
| 許容の幅 | 中心の左右のずれ、上下の位置のずれを、胴の幅と高さに対する割合で | 工房の決まりの表 |
質を決めるのは、注文の文字の一覧です。 版下の画像だけを渡すと、Gemini は版下の書き文字も読もうとして、版下の読み違いと写真の読み違いが重なります。版下を作るときに使った文字をそのまま一覧に入れておけば、「この字があるか」を聞けます。 名前の「髙」と「高」、「﨑」と「崎」のように、注文主が指定した字はその字で入れます。
家紋の要素を言葉にするのは、事務の担当にとって新しい作業です。 「丸に橘」なら「外側:丸あり/中:橘/葉の数:版下どおり/向き:実が下」、「下がり藤」なら「外側:なし/中:藤の花房2つ/向き:花房が下に垂れる」のように書きます。紋の名前だけを渡すと、Gemini が一般の紋の姿を思い浮かべて照らし、工房の版下の描き方とずれます。 照らす相手は版下で、言葉は見る観点を指すためのものです。
許容の幅は、親方の目と合わせて一度決めて表に置きます。 値の例は出力形式の項に載せます。
データの取得方法を決める
写真は撮影の画面から、Apps Script が受け取ります。 注文番号と張の番号、撮った時刻の付いたフォルダに4枚を保存してから Gemini を呼びます。保存を先にするので、呼び出しに失敗しても同じ写真で呼び直せます。
版下の画像は、版下を作った時点で面ごとに書き出しておきます。 PDFのままでは面の切れ目がスクリプトから分からないので、事務の担当が版下を確定するときに「正面」「背面」などの名前で画像を書き出し、注文番号のフォルダに置きます。 撮影のときにPDFから切り出す手順にすると、検品のたびに切り出し方がぶれます。
呼び出しは、版下と写真を1回にまとめて渡します。 入力の並びは「指示の文 → 正面の版下 → 正面の写真 → 右の版下 → 右の写真 → …」のように、面ごとに版下と写真を隣り合わせ、それぞれに名前を付けます。 合わせて20MBを超えないよう、写真は縮めてから渡します。
有料の利用枠で使い、store を false にします。 Interactions API は既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできると案内されています。規約上の扱いは第13章に書きます。
AIへ渡す前に整形する
- 札と台帳の確かめ … 札の注文番号と張の番号で台帳の行が1つに決まるかを見ます。決まらなければ撮影に進みません
- 4枚がそろっているかの確かめ … 正面・右・背面・左の枠が埋まるまで「照らす」を押せないようにします
- 向きの確かめ … 提灯の口輪が上に写っているかを見て、横や逆さの写真は回してから保存します
- 明るさの確かめ … 照明の映り込みで白く飛んだ部分が大きい写真は、撮り直しを促します
- 縮める … 長い辺を2,000ピクセル程度にします。版下の画像も同じ程度にそろえます
- 版下の古さの確かめ … 台帳の更新時刻と版下の画像の作成時刻を比べます
4番目を軽く見ないでください。 提灯の紙は光をよく返し、天井の照明が白い帯になって文字の上に写ります。 帯の下の字は「判定できない」か、悪いと「見当たらない」になります。照明を斜め上からの2灯にし、正面からの光を避けます。
5番目で縮めすぎないことも大事です。 似た字のへんやつくりを見分けるには、字の線が潰れない大きさが要ります。文字の小さい奉納の提灯は、縮め方を弱めます。
AIに処理させる
させるのは、版下にあるものが写真の同じ面に見えるかを照らし、位置を枠で返すことだけです。 写真から新しく文字を読み起こすことはさせません。
| 見るもの | 返させるもの | 判断できないときの扱い |
|---|---|---|
| 文字 | 一覧の字ごとに visible / not_found / looks_different | 写りが悪ければ unclear |
| 文字の順 | 一覧の順と写真の並びが同じか | 字が抜けていれば not_found の字の位置を示す |
| 家紋の外側の形 | 丸・菱などの有無が版下と同じか | 照明の映り込みなら unclear |
| 家紋の中の図柄 | 葉・花・線の数と形が版下と同じか | 細かすぎれば unclear |
| 家紋の向き | 上下・左右の向きが版下と同じか | 判断がつかなければ unclear |
| 位置 | 文字の塊・家紋・胴・上下の帯の box_2d | 胴の端が写っていなければ body_cut |
looks_different には、どう違って見えるかを短く書かせます。 「へんが『阝』に見える」「葉が版下より1枚少なく見える」のように書かせると、検品担当が現物のどこを見ればよいかが分かります。
| させないこと | 理由 |
|---|---|
| 写真から何と書いてあるかを読み起こす | 書き文字の読み違いが、そのまま違いの候補になる |
| ずれの大きさを言葉で評価する | 枠からスクリプトが計算し、許容の幅と比べる |
| 書体・筆の運び・墨の濃さの良し悪し | 手描きでは版下と同じにならないのが当然。親方が見る |
| 注文の文字そのものの誤りの指摘 | 版下と照らすのが目的。注文の誤りは受注の段階の話 |
| 家紋がその家の紋として正しいか | 注文主が決めること。照らす相手は版下 |
| 出荷してよいかの結論 | 検品担当が現物を見て決める |
3行目がいちばん起きやすい失敗です。 何も言わなければ、Gemini は「はねが版下より短い」「線が太い」のような違いを丁寧に挙げます。手描きの提灯でこれを候補にすると、全部の提灯が「確かめる箇所あり」になります。 違いとして挙げてよいのは、字が抜けている、別の字に見える、要素が欠けている・足されている、の3つだけだと指示に書きます。
指示内容を固定する
あなたは提灯の工房で、名入れを終えた提灯を版下と照らす検品の補助をします。
写真から文字を読み起こさないでください。版下と注文の文字の一覧にあるものが、
写真の同じ面に見えるかだけを答えてください。
【入力】
- 面ごとに「版下の画像」と「写真」が隣り合って並んでいます。
名前は「正面・版下」「正面・写真」のように付いています。
- 注文の文字の一覧:{chars_by_face}
- 家紋の名前と要素:{kamon}
【文字について】
- 一覧の字ごとに、同じ面の写真の同じ順の位置に見えるかを答えてください。
visible ......... 版下と同じ字として見える
not_found ....... その位置に字が見当たらない
looks_different . 別の字や、へん・つくりが違う字に見える
unclear ......... 映り込み・紙のしわ・曲がりで判定できない
- 迷ったときに visible を選ばないでください。unclear を選んでください。
- looks_different のときは、how に「どう違って見えるか」を短く書いてください。
写真から読んだ字を正しい字として書かないでください。
- 筆の運び、はね・はらいの長さ、線の太さ、墨の濃さは違いとして扱わないでください。
違いとして挙げてよいのは、字が無い、別の字に見える、の2つだけです。
- 一覧に無い字が写真に見えても、読み起こさず extra_marks に位置だけ書いてください。
【家紋について】
- 外側の形、中の図柄(葉・花・線の数と形)、向きを、版下と比べてください。
same / looks_different / unclear で答え、違うときは how に書いてください。
- 紋の名前から一般の紋の姿を思い浮かべて比べないでください。比べる相手は版下です。
【位置について】
- 面ごとに、文字の塊、家紋、提灯の胴、上の帯、下の帯の box_2d を返してください。
box_2d は [ymin, xmin, ymax, xmax]、画像の大きさに対して 0〜1000 です。
- ずれているかどうかは書かないでください。枠だけを返してください。
- 胴の左右の端が写真に入っていないときは body_cut を true にしてください。
【してはいけないこと】
- 出荷してよいか、作り直すべきかを書かないでください。
- 注文の文字そのものが正しいか、家紋がその家の紋として正しいかを書かないでください。
「迷ったときに visible を選ばない」を明記しないと、抜けが通ります。 曲がって写った字は形が崩れて見え、Gemini は一覧の字があるはずだと考えて「見える」と答えがちです。選ばせたいのは unclear で、そうすれば検品担当がその字を現物で見ます。 抜けを「見える」と答えられるより、確かめる字が1つ増えるほうがずっと安く済みます。
「一覧に無い字を読み起こさない」も同じ考えです。 前の注文の字を書いた可能性がある重要な候補ですが、読ませると読み違いが混ざるので、位置だけを返させます。
出力形式を固定する
次の形のJSONで受け取ります。
{
"order_no": "",
"lantern_no": 1,
"faces": [
{
"face": "front",
"chars": [
{ "index": 1, "char": "", "status": "visible | not_found | looks_different | unclear", "how": "" }
],
"extra_marks": [ { "box_2d": [0, 0, 0, 0] } ],
"kamon": {
"outer": "same | looks_different | unclear",
"inner": "same | looks_different | unclear",
"direction": "same | looks_different | unclear",
"how": ""
},
"boxes": {
"text_block": [0, 0, 0, 0],
"kamon": [0, 0, 0, 0],
"body": [0, 0, 0, 0],
"top_band": [0, 0, 0, 0],
"bottom_band": [0, 0, 0, 0]
},
"body_cut": false
}
]
}
face は front / right / back / left です。家紋の無い面は kamon を空にし、文字の無い面は chars を空にします。faces の数は4つと決まっているので、スキーマで minItems と maxItems を4にします。
1つ目の理由は、字ごとの状態をそのまま検品の画面に出せることです。 not_found と looks_different の字は赤、unclear の字は黄色にして示します。
2つ目は、ずれの計算をスクリプトの側に置けることです。 枠は0〜1000の値なので、そのまま割合として扱えます。
| 計算するもの | 計算の仕方 | 許容の幅の例 |
|---|---|---|
| 文字の塊の左右のずれ | 文字の塊の中心と胴の中心の差 ÷ 胴の幅 | 3%以内 |
| 文字の塊の上下の位置 | 上の帯の下端から文字の塊の上端まで ÷ 胴の高さ と、版下の同じ値の差 | 2%以内 |
| 家紋の左右のずれ | 家紋の中心と胴の中心の差 ÷ 胴の幅 | 3%以内 |
版下の側も同じ計算をします。 版下の画像にも枠を返させ、版下の値と写真の値の差で見ます。 版下でわざと中心から外している配置(店名を右に寄せ、左に屋号を入れるなど)があっても、差で見れば誤って候補になりません。
3つ目は、判定を規則で決められることです。
| 判定 | 条件 |
|---|---|
| 撮り直し | body_cut が1面でも true、または unclear が1面で半分を超える |
| 確かめる箇所あり | not_found・looks_different・extra_marks が1つでもある、家紋のどれかが looks_different、ずれが許容の幅を超える、unclear がある |
| 候補なし | 上のどれにも当たらない |
判定はAIの出力から機械的に決め、AIには書かせません。 許容の幅を親方と見直したときも、直すのは決まりの表だけです。
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 撮影の画面 | Apps Script のウェブアプリ | 札の読み込み、4枚の撮影、結果の表示 |
| 受注の台帳 | スプレッドシートの読み取り | 面の割り当て、文字の一覧、家紋の要素 |
| 版下のフォルダ | Google ドライブの読み取り | 面ごとの版下の画像 |
| Gemini API | API呼び出し(/v1beta/interactions、store=false) | 文字・家紋の照らし合わせと枠 |
| 検品の記録 | スプレッドシートへの書き込み | 判定、確かめた結果、直した箇所、写真の保存先 |
受注の台帳には書き込みません。 検品の結果は別の記録の表に書き、台帳の側は読むだけにします。台帳に書き込むと、事務の担当が受注の手配で触っている行と競り合います。
版下のフォルダも読むだけです。 検品で版下の誤りに気づいたときも、スクリプトは版下を直しません。版下を直すのは事務の担当で、直したら版下の画像を書き出し直します。
人が確認する
検品担当が現物を見るのは、「確かめる箇所あり」の提灯の、印の付いた箇所だけです。 「候補なし」の提灯は、正面の写真と現物をひと目見比べてから箱に詰めます。
- 赤の字を先に見る …
not_foundとlooks_differentの字を、版下の字と現物で見比べます。画面の印は写真の上の位置なので、回転台の印の面を前に向けてから見ます - 黄色の字を見る …
unclearの字は、多くは映り込みです。角度を変えて目で読めれば、それで済みます - 家紋の印を見る … 要素の数を指で数えます。版下の紋と並べて、外側の形と向きを確かめます
- ずれの数字を物差しで確かめる … 画面に出た割合を、現物で何ミリかに置き換えて見ます
- 直す・直さないを決めて記録する … 直さないときは「映り込みだった」「版下の配置どおり」などの理由を選びます
1番目で、筆の勢いか別の字かに迷ったときは、事務の担当が自分で通さず、親方に見てもらいます。
目標は、240張をならして1張2分です。 撮影に1分、確かめる箇所の確認にならして1分という想定です。確かめる箇所が出る提灯が3割を超える月は、映り込みか、許容の幅の決め方を疑います。
例外に対処する
| 起きること | 対応 |
|---|---|
| 札の番号で台帳の行が決まらない | 撮影に進まない。事務の担当が札を直す |
| 版下の画像がフォルダに無い | 照らさずに「版下なし」で止め、事務の担当に書き出しを頼む |
| 版下が台帳の更新より古い | 画面で知らせ、版下を書き出し直してから照らす |
胴の端が切れている(body_cut) | 撮り直し。回転台からの距離の印を見直す |
映り込みで unclear が多い | 撮り直し。照明の向きを変える |
| 呼び出しが失敗する・応答が返らない | 写真はフォルダに残っている。時間をおいて同じ写真で呼び直す |
| 構造化出力の値が想定と違う | スクリプトで字数・面の数・枠の範囲を確かめ、外れれば撮り直しに回す |
| 版下そのものに誤りがある | この構成では拾えない。検品担当が気づいたら事務の担当へ |
上から3行目は、繁忙の月に起きやすい失敗です。 字の直しの連絡で台帳を直したのに版下の画像が古いまま残っていると、検品は古い版下と照らして「候補なし」を出します。
最後の行は、構成の限界です。 版下が間違っていれば、間違ったとおりに書けた提灯を通します。版下の確認は、これまでどおり受注の段階で注文主に見てもらいます。
記録を残す
- 4枚の写真と、撮った時刻・撮った担当
- 照らした版下の画像のファイル名と作成時刻、台帳の行の内容(文字の一覧・家紋の要素)
- Gemini が返したJSONの全文
- スクリプトが計算したずれの値と、そのときの許容の幅
- 判定と、検品担当が確かめた結果(直した・直さないとその理由)
- 親方に回した字と、親方の判断
全部の提灯の4面の写真が残るので、「届いた提灯の字が違う」と問い合わせが来たときに、出荷のときの写真を注文番号で引いて示せます。
2つ目で版下のファイル名と作成時刻を残すのは、版下が書き出し直されたときに、どちらと照らして通したのかを確かめるためです。
04実装レベルの3段階
最小構成では1張ごとに貼り付けるので、240張には使えません。 確かめるための段階です。 半自動化で、1張5分が2分になります。この段階が本記事の想定です。 字を1字ずつ追う①と、物差しで位置を見る③が、候補の出た箇所だけになります。本格構成で減るのは、事務の担当が版下を作るときの書き出しの手間で、検品の2分はほとんど変わりません。 本格構成は、半自動化で台帳の列の埋め方と許容の幅が落ち着いてから考えます。 段階を飛ばさないでください。 半自動化を1か月回すと、映り込みが出やすい提灯の形と、要素の書き方が足りない紋が先に分かります。
05工数削減シミュレーション
導入後 240件 × 2分 ÷ 60 = 8 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- 祭礼・商店・寺社・盆の提灯に、注文ごとの文字と家紋を入れる工房。版下を紙またはPDFで作っていて、注文番号で引ける形で保管している場合。仕上がりの検品を親方や事務の担当が1張ずつ回して見ていて、繁忙の月に文字の抜けや家紋の取り違えが出荷の後に見つかったことがある場合。検品の台に回転台を置き、決まった距離から撮れる場所を作れる場合。
- 月の名入れが数十張で、親方が全部を自分で書いて自分で見ている場合。既製の柄だけを扱い、注文ごとの文字や家紋が無い場合。高校生のアルバイトが検品を担っている場合(画面を使えるのは18歳以上の社員に限ります)。なお、文字の筆の運びや書体の良し悪し、家紋がその家の紋として正しいか、注文の文字そのものが正しいかの判断は、この構成では代替できません。
07最小構成で試す方法
- 先月出荷した提灯の写真と版下から20張分を選ぶ(うち数張は、出荷前に字や家紋の直しが出たものを入れる)
- 写真が無いものは、在庫の見本の提灯を回転台で4方向から撮る
- 手元の Gemini の画面に、正面の版下と正面の写真を並べて貼る
- 「版下にある字が、写真の同じ順の位置に見えるかを1字ずつ答えてください。見える・見当たらない・違う字に見える・判定できない、のどれかで。写真から字を読み起こさないでください。筆の運びや線の太さは違いにしないでください」と指示する
- 出てきた答えを、当時の検品と直しの記録と突き合わせる
20張は必ずやってください。 スクリプトを組む前に、「書き文字の提灯の写真で、版下との照らし合わせが成り立つのか」を確かめます。
| 出てきた内容 | 判断 |
|---|---|
当時直した字が not_found や「違う字に見える」で出た | 撮影の画面と台帳の連携に進む |
| 筆の運びの違いを挙げて、候補が多すぎる | 指示の書き方で直る。構成は有効 |
| 映り込みで判定できない字が多い | 照明と撮り方が先。 AIの問題ではない |
3行目が出ることは珍しくありません。 照明の向きを変えて同じ20張を撮り直し、判定できない字がどこまで減るかを見てください。試すときも有料の利用枠で使い、盆の提灯の家の名前は試しの20張に入れません。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 筆の運びの違いで全部が候補になる | 違いとして挙げてよいのは、字が無い・別の字に見えるの2つだけと指示に書く |
| 曲がって写った字を「見える」と答える | 迷ったら unclear と明記する。抜けを通すより確かめる字が増えるほうが安い |
| 写真から字を読み起こして違いにする | 写真の字を読ませない。一覧の字があるかだけを聞く |
| 照明の映り込みで判定できない | 検品の台の照明を斜め上からにし、白く飛んだ割合で撮り直しを促す |
| 撮る順が乱れて面を取り違える | 回転台に90度ごとの印を付け、正面・右・背面・左に固定する |
| 奉納の提灯で張を取り違える | 札に張の番号を書き、台帳の行を張ごとに分ける |
| 版下が直す前のまま残る | 台帳の更新時刻と版下の作成時刻を比べて止める |
| 紋の名前から一般の姿で比べる | 比べる相手は版下と指示に書き、要素を言葉にして渡す |
| わざと寄せた配置がずれと出る | 版下にも枠を返させ、版下との差で見る |
| 文字の長さの制約が効かない | minLength・maxLength は外されるので、スクリプトで確かめる |
| アルバイトが画面を使う | 画面のアカウントは18歳以上の社員にだけ配る |
上の3行が、この構成の失敗のほとんどです。 どれも「写真の字をどう読むか」をAIに任せたところから起きます。読ませず、照らす相手と答え方を絞ってあるかどうかで、運用に乗るかが決まります。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 提灯の写真、版下の画像、注文の文字(町内会・商店・寺社の名前、奉納者の名前、盆の提灯の家の名前)と家紋です。
- 有料の利用枠で使い、保存しない設定にする … Gemini API の規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。無料のサービスでは人が入出力を読むことがあり、機密や個人の情報を渡さないよう書かれています。奉納者や家の名前が入るので、無料の枠では使いません。 Interactions API には
store=falseを付けます - 18歳以上の社員に限る … Gemini API の規約は、APIの利用に18歳以上であることを求めています。繁忙の月の学生のアルバイトには、撮影の画面のアカウントを配りません
- 写真に注文以外の情報を写さない … 検品の台の背景に、他の注文の版下や受注の台帳の印刷を置かないようにします。写真の外枠に他の注文の名前が入ると、その名前も一緒に送られます
- 出荷の判断は人が行う … この構成が出すのは、版下と違って見える箇所の候補だけです。「候補なし」でも、正面と現物をひと目見比べてから箱に詰めます
- 書きぶりの評価に使わない … 判定は字の有無・家紋の要素・位置に限っています。検品の記録を、職人ごとの出来の良し悪しを測る材料にしません。 直しの記録は、似た字と紋の迷いを減らすために使います
- 写真の保存の期間を決める … 全部の面の写真が残るのは問い合わせへの備えですが、家の名前が写った写真をいつまで持つかを先に決めます。例えば「出荷から1年」のように決め、過ぎたものは消します
誤りが起きた場合のリスクは、違う提灯を「候補なし」で通すことと、合っている提灯を「確かめる箇所あり」にしすぎることの2つです。 前者は迷った字を visible と答えさせると起き、後者は筆の運びを違いに数えると起きます。どちらも、何を違いとし、迷ったら何と答えるかの指示で守ります。
10まず何から始めるか
1週目:台帳に3つの列を足し、版下の画像を書き出す
受注の台帳に、面の割り当て、注文の文字の一覧、家紋の名前と要素の列を足します。過去の注文を全部埋める必要はありません。これから版下を作る注文から埋めます。 版下を確定するときに、面ごとの画像を書き出して注文番号のフォルダに置く手順を、事務の担当と決めます。
2週目:20張で試す
先月の提灯から20張を選び、手元の Gemini の画面に版下と写真を貼って照らさせます。当時直しが出た字と紋が候補に出るか、筆の運びを違いに数えていないかを最優先で見ます。
3週目:検品の台と許容の幅を決める
回転台に90度ごとの印を付け、照明を斜め上からの2灯にします。親方と、ずれの許容の幅(左右と上下)を割合で決めます。 ここが決まらないうちに判定を出すと、事務の担当が結局親方に聞きに行く形に戻ります。
4週目:撮影から判定までをつなぐ
Apps Script で撮影の画面を作り、台帳と版下を引いて Gemini を呼び、字と家紋の照らし合わせを記録の表に書き出すところまで作ります。この時点ではずれの計算を出さず、字と家紋の候補だけを見ます。
2か月目: 枠からのずれの計算と判定を足し、「確かめる箇所あり」の割合を毎週数えます。3か月目以降: 1張5分が何分になったかを実測し、映り込みの多い提灯の形と、要素の書き方が足りない紋を見直します。検品担当が迷った字と紋の記録が貯まり、親方に聞きに行く回数が減った時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
対応する画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合は指示の文などを合わせたリクエスト全体が20MBまでであること。複数の画像を1回の入力に並べて違いを聞く例があること。位置が box_2d で [ymin, xmin, ymax, xmax] の順、0〜1000に正規化されて返ること。画像が大きさに応じてタイルに分けて数えられること | Google AI Studio: Image understanding | 2026-11-05 |
構造化出力を /v1beta/interactions の response_format(mime_type に application/json、schema)で指定すること。文字列の enum、配列の minItems・maxItems が効くこと。minLength・maxLength はエラーにならず外されること。値はアプリ側で検証するよう書かれていること | Google AI Studio: Structured output | 2026-11-05 |
Interactions API が既定でやり取りを保存し(有料の枠で55日、無料の枠で1日)、store=false で保存しない動きにできること | Google AI Studio: Interactions API | 2026-11-05 |
| APIの利用に18歳以上であることが必要なこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと。無料のサービスでは人が入出力を読むことがあり、機密や個人の情報を渡さないよう書かれていること | Gemini API Additional Terms of Service | 2026-11-05 |
許容の幅や、どこまでを直すかは、工房の親方と決めてください。 本記事は Gemini API の公開仕様で確認できた範囲だけを扱っています。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2978)についてのご相談はこちらから。
