中古の工作機械の販売会社が仕入れた機械の写真と銘板を Gemini で読み、型式・年式・付属品を確かめて販売の掲載文の下書きを作る
中古の工作機械の販売会社が、仕入れた機械の全体・銘板・NC装置の画面・付属品の写真を Gemini で読み、型式・製造年・付属品を仕入れの記録と照らします。確かめた値だけを使って掲載文の下書きを作り、営業が写真と点検の記録で確かめてから載せます。
- 生成AI
- ChatGPT/Claude/Gemini
- 連携・自動化
- Google Apps Script/Python
- 対象業界
- 商社/製造
- 対象部門
- 営業
- 対象業務
- データ入力・転記/書類作成
- 主な課題
- 人手が足りない/入力作業が多い/書類作成に時間がかかる
- AIで行う処理
- 生成
- 主な効果
- 品質標準化/対応スピード向上/工数削減
- 導入難易度
- ★★☆☆☆
- 実装レベル
- 本格構成
- 費用感
- API連携(中)
- 人間の確認
- 条件付き
01導入前 / 導入後の業務フロー
- 倉庫で機械の全体・銘板・NC装置の画面・付属品を撮る
- 銘板の写真を拡大し、メーカー・型式・製造番号・製造年を読んで、仕入れの記録と照らす
- NC装置の画面の写真から、制御装置の型式と時間の表示を読む
- メーカーのカタログで型式を引き、ストローク・主軸の回転数・テーブルの大きさなどを写す
- 付属品の写真と仕入れの記録の付属品の欄を照らし、付属品の一覧を書く
- 点検の記録を見て状態を書き、紹介文と注意事項を書いて、在庫のページに載せる
- 人倉庫で写真を撮り、決まった欄(全体・銘板・NC装置の画面・付属品)に分けて上げる
- 自動Python が写真を受け取り、仕入れの記録と点検の記録を引く
- 自動Gemini API(1回目)に写真を渡し、銘板の文字・画面の表示・付属品の候補を返させる
- 自動Python が読み取った値を仕入れの記録と照らし、機種の仕様の表を型式で引く
- 自動Gemini API(2回目)に、確かめた値と点検の記録だけを渡し、掲載文の下書きを書かせる
- 自動Python が掲載文の数字と言い回しを点検し、出どころの無い数字と使わない言葉に印を付ける
- 人営業が下書きを写真と点検の記録と照らして直し、在庫のページと在庫の一覧に載せる
各工程の詳しい説明を読む
- 倉庫で機械の全体・銘板・NC装置の画面・付属品を撮る
- 銘板の写真を拡大し、メーカー・型式・製造番号・製造年を読んで、仕入れの記録と照らす
- NC装置の画面の写真から、制御装置の型式と時間の表示を読む
- メーカーのカタログで型式を引き、ストローク・主軸の回転数・テーブルの大きさなどを写す
- 付属品の写真と仕入れの記録の付属品の欄を照らし、付属品の一覧を書く
- 点検の記録を見て状態を書き、紹介文と注意事項を書いて、在庫のページに載せる
(a)銘板と画面を読むのに時間がかかる。 銘板は油と塗装のはげで読みにくく、型式の末尾の1文字で仕様が変わります。 NC装置の画面は、写真の映り込みで数字が読めないことがあります。
(b)カタログを探すのが重い。 古い機械ほどカタログの控えが見つからず、同じ型式の過去の掲載を探して仕様を写すことがあります。そのとき、末尾の違う型式の仕様を写してしまうことがあります。
(c)付属品の書き漏れ。 仕入れの記録の付属品の欄と写真を照らしきれず、チャックや工具の数、取扱説明書の有無が掲載から抜けます。 買い手が現物を見に来てから「付いていると思った」となります。
(d)書き方が営業ごとに違う。 ある営業は「好調」「程度良好」と書き、ある営業は点検の結果だけを書きます。同じ状態の機械が、掲載文の言葉で違って見えます。 根拠の無い言葉は、引き渡しの後の食い違いのもとです。
- 【人】 倉庫で写真を撮り、決まった欄(全体・銘板・NC装置の画面・付属品)に分けて上げる
- 【自動】 Python が写真を受け取り、仕入れの記録と点検の記録を引く
- 【自動】 Gemini API(1回目)に写真を渡し、銘板の文字・画面の表示・付属品の候補を返させる
- 【自動】 Python が読み取った値を仕入れの記録と照らし、機種の仕様の表を型式で引く
- 【自動】 Gemini API(2回目)に、確かめた値と点検の記録だけを渡し、掲載文の下書きを書かせる
- 【自動】 Python が掲載文の数字と言い回しを点検し、出どころの無い数字と使わない言葉に印を付ける
- 【人】 営業が下書きを写真と点検の記録と照らして直し、在庫のページと在庫の一覧に載せる
4番目が、この設計の分かれ目です。 銘板から読んだ型式が仕入れの記録と食い違う、型式の一部が読めない、といった機械は、2回目に進まず、営業の確認に回します。 型式が決まらないまま仕様の表を引くと、別の型式の仕様で掲載文ができてしまうからです。
5番目で写真を渡さないのも、意図してのことです。 2回目に写真を渡すと、Gemini は写真の見た目から「外観もきれい」のような言葉を足します。 文章にさせるのは、確かめた値と点検の記録だけです。
6番目は、Gemini の文章を信じないための点検です。 2回目の指示で数字を足さないよう書いても、「最高回転数」のような項目名に引かれて数字を補うことがあります。 Python が機械的に拾って止めます。
02今回想定するシステム構成
倉庫で撮った写真(全体・銘板・NC装置の画面・付属品) ▼【トリガー】機械ごとの写真の欄がそろったとき Python のサーバー ├── 仕入れの記録と点検の記録を引く ▼ Gemini API(画像の理解・構造化出力)── 1回目 │ 銘板の文字、NC装置の型式と画面の時間の表示、付属品の候補と枠 ▼ Python ── 仕入れの記録と照らす(型式・製造番号・付属品)→ 機種の仕様の表を型式で引く ▼ Gemini API ── 2回目(確かめた値と点検の記録だけ) │ 掲載文の下書き(見出し・仕様の表・付属品・状態・注意事項) ▼ Python ── 数字の出どころの点検、使わない言葉の点検 ▼ 【人】営業が写真と点検の記録と照らして直す → 在庫のページ・在庫の一覧
| 役割 | 想定する製品 | 代替候補 |
|---|---|---|
| 処理 | Gemini API(写真から銘板・画面・付属品を読み、確かめた値で掲載文の下書きを書く) | Claude API、OpenAI API |
| 連携 | Python(写真の受け取り、記録との照合、仕様の表の参照、数字と言い回しの点検) | Google Apps Script |
| 機種の仕様の表 | 型式ごとのストローク・主軸の回転数・テーブルの大きさ・NC装置の標準の型式 | - |
| 在庫のページ | 自社の Web の在庫のページの入力の画面 | - |
新しく足すのは、Python のサーバーと Gemini API の契約と、機種の仕様の表です。 仕様の表は、メーカーのカタログの控えと過去の掲載から、型式ごとに起こします。 扱いの多いメーカーの機種から順に作り、表に無い型式は営業がカタログで調べて足します。
写真を読む土台は、Gemini API の画像の理解です。 公式の案内では、対応する形式は PNG、JPEG、WEBP、HEIC、HEIF で、画像を直接入れる場合は指示の文と合わせたリクエスト全体が20MBまで、1回のリクエストに入れられる画像は3,600枚までとされています。1台分の写真10〜20枚は1回で渡せます。
付属品の位置は枠で返させます。 公式の案内では、物体の検出の座標は画像の大きさに対して0〜1000に正規化され、枠は box_2d として [ymin, xmin, ymax, xmax] の順で返す例が示されています。営業は、枠の付いた写真で、付属品の候補が何を指しているかを確かめます。
出力は構造化出力で受けます。 /v1beta/interactions の response_format に mime_type として application/json と schema を入れます。enum で値を決まった語に絞れ、minLength・maxLength はエラーにならず外されるとされています。公式の案内は、値はアプリ側で確かめるよう書いています。
03どうやって実装するのか
処理の起点を決める
起点は、機械ごとの写真の欄がそろったときです。 倉庫で撮るときに、在庫の番号を入れて、全体・銘板・NC装置の画面・付属品の欄に写真を上げます。銘板とNC装置の画面の欄が空のうちは、処理を始めません。 汎用の機械でNC装置が無いときは、「NC装置なし」を選びます。
点検の記録が書かれていない機械も、処理を始めません。 掲載文の状態の欄は点検の記録から作るので、記録が無いまま進めると、状態の欄が空か、Gemini の想像で埋まります。 整備の担当が点検の記録を確定したことを、処理の条件にします。
写真を撮り直したときは、その欄だけを読み直します。 銘板を撮り直したら1回目を銘板だけでやり直し、照合が通ったところから2回目に進みます。
入力データを集める
| データ | 中身 | 取得元 |
|---|---|---|
| 写真 | 全体(正面・側面)、銘板、NC装置の画面(時間の表示の画面を含む)、付属品 | 倉庫の撮影 |
| 仕入れの記録 | 在庫の番号、仕入れ先の申告の型式・製造年、付属品の欄、仕入れの日 | 仕入れの記録 |
| 点検の記録 | 試運転の結果(主軸・各軸・NC装置・油圧・クーラント)、不具合と直したところ | 整備の担当の記録 |
| 機種の仕様の表 | 型式ごとのストローク、主軸の回転数、テーブルの大きさ、標準のNC装置 | 自社の表 |
| 掲載文の決まり | 見出しの形、仕様の表の項目、状態の書き方、使わない言葉の一覧 | 自社の文書 |
質を決めるのは、機種の仕様の表と点検の記録です。 仕様の表に無い型式は、仕様の欄を「要記入」のまま出し、営業がカタログで調べます。 点検の記録の書き方がばらばらだと、状態の欄もばらばらになるので、点検の記録に「主軸:異音なし」のような決まった項目を持たせます。
使わない言葉の一覧は、営業の間で決めます。 「極上」「新品同様」「好調」のように、点検の記録で裏付けられない言葉を一覧にします。点検の記録に書かれた事実(異音なし、アラームなし)だけを、状態の言葉に使います。
データの取得方法を決める
| 取るもの | どこから | どうやって |
|---|---|---|
| 写真と在庫の番号 | 倉庫の撮影の欄 | 欄がそろったらサーバーへ送る |
| 仕入れと点検の記録 | 仕入れの記録 | 在庫の番号で引く |
| 銘板・画面・付属品 | Gemini API(1回目) | 1台分の写真を欄ごとに渡し、構造化出力で受ける |
| 仕様 | 機種の仕様の表 | 照合の通った型式で引く |
| 掲載文の下書き | Gemini API(2回目) | 確かめた値・仕様・点検の記録・決まりを渡す |
型式の照合は、記号を除いた形で行います。 メーカーによって型式にハイフンや空白が入るので、仕様の表と仕入れの記録に「照合の型式」の列を持たせ、Gemini が読んだ型式も同じ規則で記号を除いてから比べます。
NC装置の時間の表示は、項目名ごと写させます。 画面には、通電の時間、運転の時間、切削の時間など、メーカーによって名前の違う複数の時間が出ます。項目名を捨てて数字だけを取ると、どの時間かが分からない数字が掲載に載ります。 項目名と数字を組で写させ、掲載にもその項目名のまま載せます。
AIへ渡す前に整形する
- 写真の向きを直す … 銘板と画面が横倒しにならないよう、撮影の情報で回します
- 大きさを整える … 1台分が20MBに収まるよう全体の写真は縮め、銘板と画面の写真は文字が読める大きさで残します
- 写り込みを塗りつぶす … 仕入れ先の工場の名前の入った掲示、人の顔は塗りつぶします
- 欄の欠けを先に拾う … 銘板・画面の写真が無い機械は、Gemini に渡す前に撮り直しへ回します
- 点検の記録を決まった項目に分ける … 主軸・各軸・NC装置・油圧・クーラント・不具合の欄に分けて渡します
3番目は、仕入れ先を守るためです。 工場の閉鎖で手放した機械は、仕入れ先が手放したことを知られたくない場合があります。 掲示や伝票に仕入れ先の名前が写っていれば、Gemini に渡す前に塗りつぶし、掲載の写真からも外します。
4番目を Gemini の前に置くのは、無い写真から読ませないためです。 銘板の写真が無いのに全体の写真だけを渡すと、Gemini は外観やロゴから型式を推し量ろうとします。
付属品の写真は、機械ごとに床に並べて撮ります。 倉庫には複数の機械の付属品が置かれているので、棚ごと撮ると、別の機械のチャックや工具が候補に入ります。 在庫の番号の札と一緒に、その機械の付属品だけを並べて撮る手順を倉庫の決まりにします。
AIに処理させる
1回目は、写真から読むことだけです。
| 頼むこと | 中身 |
|---|---|
| 銘板の文字 | メーカー、型式、製造番号、製造年を、書かれたとおりに。項目ごとに読めた・一部読めない・読めない・写っていない |
| NC装置 | 制御装置の型式(画面や銘板に書かれた文字)、時間の表示の項目名と数字 |
| 付属品の候補 | チャック、刃物台、工具の保持具、工具の交換の装置、クーラントの装置、切りくずの排出の装置、取扱説明書・図面の候補と枠 |
| アラームの表示 | 画面にアラームの表示が出ていれば、その文字 |
2回目は、確かめた値を掲載文の形に並べることです。
| 掲載文の欄 | 材料 |
|---|---|
| 見出し | メーカー、型式、機械の種類、製造年 |
| 仕様の表 | 機種の仕様の表から引いた値と、読んだNC装置の型式 |
| 付属品 | 照合の通った付属品 |
| 状態 | 点検の記録の項目と、直したところ |
| 紹介文 | 上の値から、どんな加工に向く機種かを2〜3文で(仕様の表にある値の範囲で) |
| 注意事項 | 点検で見つかった不具合、時間の表示の意味、現状での引き渡しなどの自社の決まりの文 |
| させないこと | 理由 |
|---|---|
| 型式から仕様を思い出して書く | 末尾の違う型式の仕様が混ざる。仕様は表から取る |
| 写真の見た目から状態を書く | 状態は点検の記録で裏付けられた事実だけ |
| 製造年を製造番号から推し量る | 製造番号の付け方はメーカーごとに違う |
| 販売の価格や相場を書く | 価格は営業が決める |
| 輸出できるかを書く | 該非の判定は別の手順で人が行う |
| 使わない言葉を使う | 根拠の無い言葉は引き渡しの後の食い違いのもと |
1行目がいちばん起きやすい失敗です。 有名な型式ほど、Gemini は仕様を知っているかのように書きます。その数字が、同じ型式の別の仕様(ロングベッド、高速主軸の型)のものかもしれません。 仕様は表から引いた値だけを渡し、表に無ければ「要記入」のまま返させます。
指示内容を固定する
1回目(読み取り)の指示は、次のとおりです。
中古の工作機械の写真から、書かれている文字と写っている付属品を読み取ってください。
写真の欄:全体/銘板/NC装置の画面/付属品(ファイル名の先頭が欄です)
- 銘板のメーカー・型式・製造番号・製造年を、書かれたとおりに写してください。
読めない文字は「?」にし、似た文字で埋めないでください。
- 項目ごとに 読めた/一部読めない/読めない/写っていない を選んでください。
- NC装置の画面の時間の表示は、項目名と数字を組で、表示のとおりに写してください。
- 付属品は候補として、種類と写真の名前と枠(box_2d)を返してください。
- 外観やロゴから型式を推し量らないでください。製造年を製造番号から推し量らないでください。
- 状態の良し悪し、価格、仕様の数字を書かないでください。
- 人の顔や、工場の名前の入った掲示は答えに含めないでください。
2回目(掲載文)の指示は、次のとおりです。
あなたは中古の工作機械の販売会社の営業で、在庫のページに載せる掲載文の下書きを書きます。
渡した値だけを使ってください。渡していない数字や事実を足さないでください。
【渡すもの】
確かめた値:{verified}(メーカー、型式、製造年、NC装置の型式、時間の表示の項目名と数字)
仕様の表の値:{spec}(無い項目は「要記入」)
付属品:{accessories}
点検の記録:{inspection}
掲載文の決まり:{rules} 使わない言葉:{banned_words}
【書くこと】
見出し/仕様の表/付属品/状態/紹介文(2〜3文)/注意事項
【厳守事項】
- 数字は、確かめた値と仕様の表の値に書かれたものだけを使ってください。
- 「要記入」の項目は「要記入」のまま残し、埋めないでください。
- 状態は、点検の記録に書かれた事実だけを、記録の言葉に沿って書いてください。
点検の記録に無い良さ(外観がきれい、精度が出ている、など)を書かないでください。
- 使わない言葉の一覧の言葉を使わないでください。
- 時間の表示は、項目名を付けたまま書いてください(例:通電時間 12,345時間)。
- 価格、輸出できるか、保証の範囲を書かないでください。
- 紹介文の「向いている加工」は、仕様の表の値から言える範囲にしてください。
2回目の「渡していない数字を足さない」と、Python の数字の点検は、両方要ります。 指示だけでは「最高回転数」の欄に覚えている数字を入れることがあり、点検だけでは、数字を含まない根拠の無い言葉を止められません。 数字は Python、言葉は使わない言葉の一覧と営業の目で止めます。
出力形式を固定する
1回目は、次の形のJSONで受け取ります。
{
"stock_id": "",
"nameplate": {
"maker": { "text": "", "status": "read | partial | unreadable | not_in_photo" },
"model": { "text": "", "status": "read | partial | unreadable | not_in_photo" },
"serial": { "text": "", "status": "read | partial | unreadable | not_in_photo" },
"year": { "text": "", "status": "read | partial | unreadable | not_in_photo" }
},
"nc": { "controller": "", "hours": [ { "label": "", "value": "" } ], "alarm_text": "" },
"accessories": [ { "type": "chuck | turret | tool_holder | atc | coolant | chip_conveyor | manual | other", "file": "", "box_2d": [0, 0, 0, 0] } ]
}
2回目は、欄ごとの文章と、使った値の一覧で受けます。
{
"title": "",
"spec_table": [ { "item": "", "value": "", "source": "verified | spec_table | to_fill" } ],
"accessories_text": "",
"condition_text": "",
"intro_text": "",
"notes_text": ""
}
1つ目の理由は、status で2回目に進むかを決められることです。 型式と製造年が read で、仕入れの記録と一致したときだけ2回目に進みます。partial なら撮り直し、食い違いなら営業の確認です。
2つ目は、spec_table の source で出どころを残せることです。 営業は、to_fill の行だけをカタログで調べて埋めます。spec_table の値が、渡した値の中にあるかも Python が確かめます。
Python の点検は、次のとおりです。
| 点検 | 中身 |
|---|---|
| 数字の出どころ | 文章の中の数字を拾い、確かめた値と仕様の表の値の中に無ければ印を付ける |
| 使わない言葉 | 一覧の言葉が含まれていれば印を付ける |
| 要記入の残り | to_fill の行が残っていれば、掲載の前に埋めるよう出す |
| 付属品の数 | 仕入れの記録の付属品と、文章の付属品が合うかを見る |
システムへ連携する
| つなぎ先 | 方式 | 内容 |
|---|---|---|
| 倉庫の撮影の欄 | サーバーへ送る | 在庫の番号ごとの写真 |
| 仕入れの記録 | Python が読み取る | 仕入れ先の申告・付属品・点検の記録 |
| Gemini API | API の呼び出し(2回) | 読み取りと掲載文の下書き |
| 機種の仕様の表 | Python が読み取る | 照合の通った型式で引く |
| 在庫のページ・在庫の一覧 | 営業が確かめて載せる | 確定した掲載文と写真 |
在庫のページには、営業が確かめた掲載文だけが載ります。 下書きのまま自動で載せると、銘板の読み違いがそのまま買い手の目に触れます。
呼び出しでは store=false を指定します。 公式の案内では、Interactions API は既定でリクエストを保存し、有料の枠では55日、無料の枠では1日保持するとされています。仕入れ先の工場で撮った写真も含むので、API 側に残さない設定にします。
人が確認する
- 銘板の写真と型式・製造年を照らす … 1文字ずつ見ます
- 数字に印が付いた文を直す … 出どころの無い数字は消すか、カタログで確かめて仕様の表に足します
to_fillの行をカタログで埋める … 埋めた値は仕様の表にも足します- 状態の欄を点検の記録と照らす … 記録に無い言葉が入っていないかを見ます
- 付属品の枠を写真で確かめる … 候補が何を指しているかを見て、数を合わせます
1番目を省かないでください。 型式の末尾の1文字で仕様が変わり、掲載文の全体がその型式を前提に書かれています。
4番目は、点検の記録の言葉を買い手向けに言い換えすぎていないかを見ます。 記録の「主軸:異音なし(最高回転で5分)」が、下書きで「主軸は快調」に変わっていれば、記録の言葉に戻します。 何をどこまで確かめたかが、言い換えで消えるからです。
3番目で足した値は、次の機械から使えます。 仕様の表が育つほど to_fill が減り、1台あたりの確認の時間が短くなります。
目標は、1台15分です。 写真の撮影は含まず、照らし合わせと要記入の行を埋める時間が中心です。
例外に対処する
| 起きること | 対応 |
|---|---|
| 型式が一部読めない | 2回目に進まず、銘板を正面から撮り直す |
| 銘板の型式と仕入れの記録が違う | 営業が仕入れ先の申告を確かめる。どちらかを勝手に採らない |
| 仕様の表に型式が無い | 仕様を to_fill のまま出し、営業がカタログで調べる |
| NC装置の画面にアラームが出ている | 掲載を止め、整備の担当に点検の記録と照らしてもらう |
| 時間の表示の画面が無い | 時間の項目を載せず、注意事項に「表示の確認なし」と書く |
| 点検の記録が確定していない | 処理を始めない |
| 海外からの問い合わせ | 掲載文とは別に、輸出の該非の判定を人が行う |
| 銘板が後から付け替えられた跡がある | 掲載を止め、責任者が仕入れの経緯を確かめる |
| 付属品の候補が仕入れの記録より多い | 別の機械の付属品が写り込んでいないかを営業が見る |
| Gemini API が応答しない | 写真を残し、営業が従来どおり書く |
2行目は、仕入れの段階の誤りのことがあります。 仕入れ先が型式を覚え違えて申告し、銘板が正しいことがあります。どちらが正しいかを決めるのは、銘板の写真と仕入れ先への確認です。 決まったら、仕入れの記録と古物の帳簿の記載も揃えます。
記録を残す
- 機械ごとの写真(塗りつぶし前と後)と在庫の番号
- 1回目と2回目の JSON、Python の照合と点検の結果
- 営業が直した箇所(数字・状態の言葉・付属品)と、カタログで足した仕様
- 掲載した文と掲載の日、問い合わせと売れた日
- 引き渡しの後に買い手から出た、掲載文との食い違いの申し出
最後の行が、この構成を育てる材料です。 食い違いの申し出が、型式の読み違いか、状態の書き方か、付属品の抜けかを分けて見ると、撮り方・点検の記録・使わない言葉の一覧のどれを直すかが分かります。
04実装レベルの3段階
最小構成では台数がさばけません。 1台ずつ手で渡すので、月60台には使えません。読めるかを確かめるための段階です。 半自動化で、1台40分が30分程度になります。 銘板と画面を読む時間は減りますが、仕様を調べる作業と掲載文を書く作業が残ります。 本格構成で15分になり、この段階が本記事の想定です。仕様の表を扱いの多いメーカーから作ってから進みます。
05工数削減シミュレーション
導入後 60件 × 15分 ÷ 60 = 15 時間/月
自社条件で導入効果を整理したい方へ
このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。
06向いている企業・向いていない企業
- NC旋盤・マシニングセンタ・フライス盤・研削盤などの中古の工作機械を、工場の閉鎖や設備の入れ替えで買い取り、自社の Web の在庫のページや月ごとの在庫の一覧で事業者に売っている販売会社。1台ごとに銘板とNC装置の画面を読み、カタログで仕様を調べて掲載文を書く作業が営業に溜まり、仕入れから掲載までに日数がかかっている場合。掲載文の書き方が営業ごとにばらついている場合。
- 扱う台数が月に数台で、掲載文を書く手間が問題になっていない場合。在庫を Web や一覧に載せず、得意先への電話と訪問だけで売っている場合。機種ごとの仕様をカタログから表にまとめられない場合。なお、販売の価格の決定、機械の状態の保証の範囲、輸出の際の該非の判定、古物の取引の相手方の確認は、この構成では代替しません。
07最小構成で試す方法
- 先月掲載した機械から30台を選び、写真と仕入れの記録・点検の記録、掲載した文を用意する
- 写真の人の顔と仕入れ先の名前を塗りつぶす
- 短い Python のスクリプトで、有料の枠の Gemini API に1回目の指示と写真を渡す(
store=false) - 読み取った型式・製造年・時間の表示を、掲載した文と並べる
- 照合が通った機械について2回目を試し、掲載した文と並べて、渡していない数字や言葉が無いかを見る
30台で十分です。 見るのは、銘板と画面を正しく読めているかと、2回目に渡していない数字や状態の言葉が混ざらないかの2つです。
| 出てきた内容 | 判断 |
|---|---|
| 銘板と画面を読め、2回目に渡していない数字が無い | 仕様の表と Python の点検に進む |
| 2回目に覚えている仕様の数字が混ざる | 指示と Python の点検で止められる。構成は有効 |
| 銘板が読めないものが多い | 撮り方が先。 銘板を正面から、映り込みを避けて撮る |
3行目が出たら、銘板の写真の撮り方を倉庫の手順に書き、次の10台で試し直します。
08実装時につまずきやすいポイント
| 問題 | 対策 |
|---|---|
| 型式から覚えている仕様を書く | 仕様は表から渡し、Python が数字の出どころを点検する |
| 写真の見た目から「外観良好」と書く | 2回目に写真を渡さない |
| 読めない型式を似た型式で埋める | 「?」にさせ、status で2回目を止める |
| 時間の表示の項目名を捨てる | 項目名と数字を組で写させる |
| 根拠の無い言葉が状態に入る | 使わない言葉の一覧と、点検の記録の言葉に沿わせる |
| 仕入れ先の名前が写真に残る | 渡す前と掲載の前に塗りつぶす |
| 型式の記号の違いで表を引けない | 照合の型式の列で記号を除いて引く |
| 文字数の制約が効かない | 構造化出力で外される制約は Python で確かめる |
上の2行が、この構成の失敗のほとんどです。 どちらも、Gemini が「良い掲載文」を書こうとして、渡していない情報を足すことから起きます。掲載文では、確かめた事実だけを並べることが正しい答えです。
09セキュリティ・AIガバナンス上の注意点
この構成で扱うデータ: 機械の写真、銘板の製造番号、仕入れの記録(仕入れ先・仕入れの金額)、点検の記録です。写真には仕入れ先の工場の中や、人の顔が写ることがあります。
- 古物の取引の決まりは人が守る … 古物営業法施行規則は、古物の区分に機械工具類(電機類、工作機械、土木機械、化学機械、工具等)を挙げています。法は、古物を受け取り、または引き渡したときに取引の年月日、品目と数量、古物の特徴などを帳簿等に記載することを求めています。掲載文の型式・製造番号は特徴の下書きに使えますが、記載は担当が行います
- Web に載せるときの届出と表示 … 法は、取り扱う古物に関する事項を自動公衆送信により公衆の閲覧に供し、取引の申込みを受ける方法を用いる場合、許可の申請でその送信元を識別する符号を示すことを求め、そうした古物商が氏名等を公衆の閲覧に供するときは、取り扱う古物に関する事項とともに行うとしています。在庫のページを始める前に、届出と表示が済んでいるかを確かめます
- 輸出の該非は人が判定する … 輸出貿易管理令の別表第一は、数値制御を行うことができる工作機械を、経済産業省令で定める仕様のものについて挙げています。掲載文に「輸出可」と書かず、海外の買い手からの問い合わせは、別の手順で該非を確かめます
- 有料の枠で使い、保存を止める … Gemini API の追加利用規約では、有料のサービスではプロンプトと応答が製品の改善に使われないとされています。あわせて
store=falseを指定します。規約は18歳以上であることを利用の条件とし、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めていないので、この構成は社内の営業だけが使います - 仕入れ先を守る … 仕入れ先の名前・仕入れの金額は Gemini に渡さず、写真の写り込みも塗りつぶします
誤りが起きた場合のリスクは、型式や製造年を誤って載せることと、根拠の無い状態の言葉を載せることの2つです。 前者は status と照合と営業の照らし合わせで、後者は2回目に写真を渡さないことと使わない言葉の一覧で防ぎます。どちらも Gemini の出来に頼らず、規則と人の手順の側で守ります。
10まず何から始めるか
1週目:機種の仕様の表を起こす
扱いの多いメーカーの型式から、ストローク・主軸の回転数・テーブルの大きさ・標準のNC装置を表にします。照合の型式の列も持たせます。
2週目:30台で試す
先月の30台の写真で、1回目の読み取りと2回目の掲載文を試します。銘板を正しく読めているか、2回目に渡していない数字が混ざらないかを最優先で見ます。
3週目:点検の記録と使わない言葉を揃える
点検の記録に決まった項目を持たせ、使わない言葉の一覧を営業で決めます。
4週目:撮影から読み取りと照合までをつなぐ
撮影の欄から自動で取り込み、仕入れの記録と照らして一覧に書き出します。この時点では掲載文を作らず、読み取りと照合だけを営業が見ます。
2か月目: 仕様の表の参照と掲載文の下書き、Python の点検を足します。3か月目以降: 引き渡しの後の食い違いの申し出を見て、撮り方と点検の記録と使わない言葉の一覧を直します。点検の記録が確定した日に掲載できるようになった時点で、この構成は完成です。
11関連ユースケース
12この仕組みを理解するための記事
13技術仕様の確認日・参考情報
| 確認した内容 | 情報源 | 確認日 |
|---|---|---|
画像の形式が PNG・JPEG・WEBP・HEIC・HEIF であること。画像を直接入れる場合はリクエスト全体が20MBまでであること。1回のリクエストの画像が3,600枚までであること。物体の検出の座標が0〜1000に正規化され、box_2d を [ymin, xmin, ymax, xmax] で返す例があること。画像のトークンが両辺384ピクセル以下で258、それより大きい画像は区画ごとに258であること | Google AI for Developers: Image understanding | 2026-11-02 |
構造化出力を response_format(mime_type に application/json、schema)で指定すること。enum が使えること。minLength・maxLength はエラーにならず外されること。値はアプリ側で確かめるよう書かれていること | Google AI for Developers: Structured output | 2026-11-02 |
| Interactions API が既定でリクエストを保存し(有料の枠で55日、無料の枠で1日)、保存しない動きを選べること | Google AI for Developers: Interactions API | 2026-11-02 |
| API の利用は18歳以上が条件で、18歳未満の人に向けた、または使う見込みのあるアプリでの利用を認めないこと。有料のサービスではプロンプトと応答が製品の改善に使われないこと | Gemini API 追加利用規約 | 2026-11-02 |
| 自動公衆送信により古物に関する事項を公衆の閲覧に供して取引の申込みを受ける方法を用いる場合の、許可の申請での送信元識別符号(第5条第1項第6号)。氏名等を公衆の閲覧に供するときに取り扱う古物に関する事項とともに行うこと(第12条)。古物を受け取り、または引き渡したときの帳簿等への記載(第16条) | e-Gov 法令API: 古物営業法 | 2026-11-02 |
| 古物の区分に機械工具類(電機類、工作機械、土木機械、化学機械、工具等)があること | e-Gov 法令API: 古物営業法施行規則 | 2026-11-02 |
| 別表第一の二の項に、経済産業省令で定める仕様のものとして、数値制御を行うことができる工作機械が挙げられていること | e-Gov 法令API: 輸出貿易管理令 | 2026-11-02 |
古物の帳簿の様式、Web での表示、輸出の該非の判定の方法は、所轄の警察署の案内と、経済産業省の案内・専門家の助言で確かめてください。 本記事は上の公式の情報で確認できた範囲だけを扱い、中古の機械の売買の契約の条件や、機械の安全の基準には踏み込んでいません。
実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。
自社の業務に使えるAI活用候補を整理します
このユースケース(UC-2429)についてのご相談はこちらから。
