材料試験の後に撮った試験片の破断面の写真から、延性・脆性・疲労の破壊形態の候補と特徴を見分けて試験記録の所見欄の下書きにし、専門家の確認が要るものを示す

処理の起点を決める

1時間ごとの定時の実行を起点にします。 試験の担当は、試験が終わるたびに写真を試験番号のフォルダに保存します。プログラムは定時に共有フォルダを見て、下書きの列がまだ空の試験番号で、写真がそろったものを拾います。

写真がそろったかは、全体の写真があるかで決めます。 撮影の手順で、破断面の全体を1枚目に撮ると決め、ファイル名の末尾を「_all」とします。全体の写真が無いまま拡大の写真だけで所見を作ると、起点の位置やシアリップの割合が分からず、所見が拡大した部分だけの話になります。

疲労試験の試験片は、試験が終わった時点で1回だけ動かします。 疲労試験は数日から数週間続くので、途中で破断面を撮ることはありません。破断した日に写真が保存されれば、その日のうちに下書きができます。

入力データを集める

質を決めるのは、下の3つです。 標準写真が無ければ、AIは一般的な教科書の見え方で判断し、自社の材料と撮り方での見え方とずれます。 期待される形態の表が無ければ、確認に回すものを決められません。用語集が無ければ、所見の書き方がそろいません。

標準写真は、形態ごとに数枚に絞ります。 延性、脆性、疲労、それぞれの典型と、専門家が「これは間違えやすい」と考える例を選び、その試験片で専門家が書いた所見を添えます。渡す枚数を増やすほど、1回の呼び出しが大きくなります。

試験条件のうち、AIに渡すのは試験の種類と温度までです。 期待される形態の表はAIに渡しません。期待を見せると、AIは期待に寄せた候補を返しがちで、期待と違うものを拾う仕組みが働かなくなります。 期待との照合は、AIの結果が出た後に規則で行います。

データの取得方法を決める

共有フォルダの試験番号ごとのフォルダから写真を読み、試験記録の表から試験番号で試験条件を引きます。

倍率は、写真と一緒に必ず残します。 マイクロスコープの写真には倍率と目盛りを焼き込むか、ファイル名に入れます。倍率が分からないと、模様の細かさを見誤ります。 倍率はAIに渡す文にも入れます。

API キーは、プログラムの設定に直接書かず、秘密の情報を置く場所から読みます。 開発中の材料の写真を扱うためです。

AIへ渡す前に整形する

1. 形式の確認 … PNG、JPEG、WEBP、HEIC、HEIF のいずれかであることを確かめ、TIFF は変換します
2. 大きさの確認 … 標準写真と合わせて、リクエスト全体で20MBに収まるように縮めます。拡大の写真は縮めすぎないようにします
3. 全体の写真の確認 … 「_all」の写真が無ければ、処理せず担当者に知らせます
4. 倍率の読み取り … ファイル名か焼き込みの目盛りから倍率を取り、文に入れます
5. 写真の質の確認 … ピントが合っているか、反射で白く飛んでいないか、破断面の全体が入っているかを Gemini API に先に確かめさせます

5番目を、特徴の観察と分けて先に行います。 破断面は金属の面なので、照明の当て方で強く反射します。白く飛んだ部分は、脆性破壊の「銀白色の反射」と区別がつきません。 質の確認で unusable とされた写真は観察に渡さず、撮り直しを担当者に返します。

照明の条件はそろえます。 同じマイクロスコープで、照明の向きと明るさを試験の種類ごとに決めておくと、写真ごとの見え方の違いが材料の違いだけになります。 これはAIのためというより、人が見比べるためにも効きます。

AIに処理させる

させるのは、破断面に見える特徴を位置付きで記録し、その特徴から破壊形態の候補を返すことです。 技術資料の表に沿って、マクロで見える特徴を用語集の言葉で返させます。

右端の列がいちばん大事です。 写真で見えなかった特徴を「無い」とすると、候補の根拠が崩れます。not_visible と uncertain を設け、見えたものだけで候補を出させます。

候補には、根拠にした特徴の番号を付けさせます。 「疲労の候補：特徴2（貝殻状の模様）と特徴3（起点の候補が表面）から」のように返させると、専門家は根拠の特徴を写真の枠で確かめるだけで、候補の妥当さを判断できます。

最後の行が、いちばん起きやすい失敗です。 「延性破壊」と聞くと、AIは教科書の知識から「ディンプルが見られる」と書きがちです。ディンプルは走査電子顕微鏡で見るミクロの特徴で、マイクロスコープの写真には写りません。 書かれていない特徴が所見に入ると、後で記録を読む人が観察したものと思い込みます。

指示内容を固定する

あなたは材料試験室で、試験片の破断面の写真から所見の下書きを書く担当です。
渡された写真に見える特徴だけを記録し、その特徴から破壊形態の候補を返してください。
写真に写っていない特徴を、知識から補わないでください。

【写真】{images}（1枚目が破断面の全体。倍率：{magnifications}）
【試験の種類と温度】{test_type}、{temperature}
【社内の標準写真と所見】{reference_images}
【特徴の用語集】{glossary}

【特徴として返すもの（用語集の言葉で）】
- 面の色と光沢（鈍い灰白色／銀白色の反射）
- シアリップの有無と、全体に対するおおよその割合
- 模様（放射状／山形／貝殻状（ビーチマーク））
- 起点の候補の位置（表面／内部）
- 破断の前の変形（絞れた跡）
各特徴に status（visible／not_visible／uncertain）と位置の枠 box_2d
（[ymin, xmin, ymax, xmax]、0〜1000 に正規化）を付ける。

【破壊形態の候補】
ductile（延性）／brittle（脆性）／fatigue（疲労）／undetermined から選び、
根拠にした特徴の番号を basis に入れる。

【厳守事項】
- 写真に見えない特徴を書かない。見えなければ not_visible。
- ディンプル、ストライエーション、へき開などのミクロの特徴は、
  走査電子顕微鏡の写真が渡されたときだけ書く。それ以外は書かない。
- 強い反射で白く見える部分を、銀白色の反射として扱わない。迷ったら uncertain。
- 破壊の原因（介在物、熱処理、加工、腐食の環境など）を推定しない。
- 試験の合否を書かない。
- 水素脆性や応力腐食割れを断定しない。粒状に見える面などの気づきは
  notes に事実として書くだけにする。
- 候補を1つに決められないときは undetermined にする。迷ったら undetermined。

「ミクロの特徴を書かない」を明記しないと、ほぼ必ず書きます。 延性の候補を出すと「ディンプル状の破面」、疲労の候補を出すと「ストライエーションが見られる」と、形態の説明を特徴として書き足します。 試験記録は何年も残るので、観察していない特徴が記録に残ることがいちばん困ります。

「強い反射を銀白色の反射として扱わない」も同じです。 照明の当たった延性の破面の一部が白く光ると、AIはそこを脆性の特徴と読みます。写真の質の確認を通っていても、反射の部分は残るので、指示の側でも止めます。

写真の質の確認は、別の短い指示で先に行います。 「この写真について、ピントが破断面に合っているか、反射で白く飛んだ部分が破断面の大半を覆っていないか、破断面の全体が入っているかを返す。どれかが満たされなければ unusable」と指示し、迷ったら unusable の側に倒します。

出力形式を固定する

次の形のJSONで受け取ります。

{
  "specimen_no": "",
  "photo_quality": "ok | unusable",
  "features": [
    { "id": 1, "kind": "surface_color | shear_lip | pattern | origin | necking",
      "value": "", "status": "visible | not_visible | uncertain",
      "image_index": 0, "box_2d": [0, 0, 0, 0] }
  ],
  "mode_candidate": "ductile | brittle | fatigue | undetermined",
  "basis": [1],
  "notes": [""]
}

スキーマでは kind・status・mode_candidate を enum にし、features の各要素の additionalProperties を false にします。

1つ目の理由は、期待される形態との照合を規則で行えることです。 Python は、試験記録の材料・熱処理・温度から期待される形態の表を引き、mode_candidate と照らします。

4行目が要です。 疲労試験で疲労の候補が出るのは期待どおりですが、起点が表面ではなく内部にあるなら、材料の中に何かがあった可能性があります。 形態が期待どおりでも、起点の位置で拾います。

2つ目は、所見欄の書き方をそろえられることです。 下書きは、features の visible のものだけを用語集の順に並べ、「破壊形態の候補：延性（根拠：鈍い灰白色、シアリップ約3割、絞れた跡）」のように決まった型で書きます。 not_visible の特徴は所見に書かず、uncertain は「判断できず」と書きます。

3つ目は、box_2d で確認が速くなることです。 試験の担当も専門家も、写真に重ねた枠を見て、根拠の特徴が本当にそこに見えるかを確かめます。

システムへ連携する

確定の所見欄には書き込みません。 下書きの列から所見欄へ写すのは、試験の担当の操作です。受入れの判定や開発の報告に使われるのは、人が確定した所見だけにします。

専門家への知らせは、印の付いた試験片だけにします。 1日に数本の知らせで、試験番号と印の理由（期待と違う・起点が内部・気づきあり）を添えます。

人が確認する

下書きは全件を試験の担当が確かめます。 試験記録は品質の記録として残るためです。

1. 写真と枠を並べて、特徴が合っているかを確かめる … 根拠の特徴が写真の枠の中に見えるかを見ます。違えば直します
2. 候補と根拠を確かめる … 期待どおりの候補で、根拠も合っていれば確定します
3. 印の付いたものを専門家に回す … 印の理由を添えます
4. 専門家が、走査電子顕微鏡での観察の要否を決める … 観察したら、その結果で所見を確定します

目標は、1本をならして6分です。 期待どおりの候補が出た試験片は枠を見て数分、印の付いた試験片は専門家の確認で20分前後かかります。それを大きく超える月は、unusable の写真が増えているか、期待される形態の表が材料の実態に合っていないかのどちらかです。

1番目で直した内容を記録します。 反射を特徴と読んだ、模様を見落とした、傷を模様と読んだ、のどれかを選ばせると、多い型から撮り方と指示を直せます。

例外に対処する

5行目は、試験片の保管の問題です。 破断してから撮るまでに日が空くと、鋼の破断面は錆びます。撮影を破断の当日にする取り決めのほうが、AIの精度を上げるより効きます。

記録を残す

• 破断面の写真と、倍率・撮った人・撮った日
• 写真の質の確認の結果
• 特徴と候補のJSONの全文と、呼び出した日時、使ったモデルの名前、渡した標準写真の版
• 期待される形態の表の版と、照合の結果（確認の印の理由）
• 試験の担当と専門家が直した所見と、直した理由の区分
• 走査電子顕微鏡で観察した試験片と、その結果

3つ目で標準写真の版を残すのは、見本を差し替えると候補が変わるためです。 どの見本で出した候補かが残っていれば、見本を変えた前後で所見の傾向が変わったかを比べられます。

最後の行は、標準写真を育てる材料です。 専門家が観察して確定した試験片のうち、間違えやすかったものを標準写真に加えると、次から同じ型の候補が良くなります。