外国人の登録者から届く在留カードの画像を読み取り、就労できる範囲と在留期間の期限切れ間近を担当者の確認に回す

処理の起点を決める

登録フォームから画像が受付コンテナーに保存されたことを起点にします。 表と裏は別のファイルで届くので、登録の受付番号で2枚がそろったところで処理を始めます。 片方だけで判断すると、裏面の資格外活動許可を見落とします。

満了日の知らせは、毎朝の定時の処理で出します。 確定した満了日を管理システムから読み、90日前と30日前に当たる人を担当者に知らせます。画像の読み取りとは別の処理です。

入力データを集める

質を決めるのは、文言と区分の対応表です。 出入国在留管理庁のリーフレットに挙がっている記載を、そのまま区分に置き換えます。

どの行にも当たらない文言は、区分を付けずに needs_human にします。 文言の一部が読めないときに「近い行」を選ばせると、not_allowed の人に part_time_28h が付くことがあります。

前回の確定値は「変わったところ」を見るために持ちます。 再提出のときに在留資格が変わっていれば、就労できる範囲も変わっています。変わった項目だけを一覧の先頭に出します。

データの取得方法を決める

読み取りは、Azure Functions からカスタム分類モデルを呼び、その結果に応じてカスタム抽出モデルを呼びます。分類と抽出を1つの入り口にまとめた形にしておけば、呼ぶ側は1回で済みます。

新様式では、「在留期間」「許可の種類」「許可年月日」「交付年月日」が券面に無く、ICチップにのみ記録されます。 この4つは新様式の画像からは取れません。取れない欄は not_in_form として返し、空欄と区別します。 管理システムの「在留期間」の欄を必須にしていると、新様式の人だけ登録が止まります。

抽出モデルは、欄ごとに信頼度を返します。 在留カード番号、満了日、就労制限の有無の3つは、信頼度が自社で決めた値を下回ったら needs_human にします。 値の決め方は第8章で試した結果から決めます。

AIへ渡す前に整形する

1. 2枚がそろっているか … 受付番号で表と裏の2枚を組にします。そろわなければ、24時間待ってから再提出の案内に回します
2. 画像の大きさ … 50×50ピクセルから10,000×10,000ピクセルの間である必要があります
3. 文字の大きさ … 抽出できる文字の最小の高さは、1024×768の画像で12ピクセルです。カードを画面いっぱいに撮ってもらうよう、フォームに見本を出します
4. 向きと傾き … 横向きや逆さの画像は回転してから渡します
5. 光の反射 … カードの表面は光ります。反射で欄が白く飛んだ画像は、読めても信頼度が下がるので、再撮影の候補にします
6. 個人番号の確認 … 新様式の特定在留カードは、裏面に個人番号が記載されます。裏面の画像に12桁の数字の並びが検出されたら、その領域を塗りつぶした画像だけを残し、元の画像は消します
7. 同じ画像の再送の検知 … 前回と同じ画像が送られてきたら、更新後のカードではないものとして扱います

6番目を省かないでください。 マイナンバーカードを身分証明書として使う場合、裏面の番号を書き写したりコピーを取ったりすることはできないとされています。在留カードの確認の目的で個人番号を集める理由はありません。 給与や社会保険の手続に個人番号が要るなら、別の経路と別の保管場所で受け取ります。

AIに処理させる

読み取りを担うのはOCRのカスタムモデルで、判定は規則が行います。 生成AIにさせるのは、案内文の下書きだけです。

3行目がいちばん危ない失敗です。 「就労」「不可」の一部が反射で欠けた画像で、近い文言を選ばせると、働けない人を案件に紹介する経路ができます。 文言の照合は規則の側で、完全一致か、決めた表記ゆれの範囲に限ります。

指示内容を固定する

案内文の下書きには、次の指示を使います。在留資格や就労の可否についての説明は書かせません。

あなたは人材会社の登録センターで、外国人の登録者に送る連絡文を下書きする係です。
次の【依頼の種類】に合わせて、やさしい日本語で短い連絡文を作ってください。

【依頼の種類】{request_type}
  - reshoot ........ 在留カードの画像が読みにくいので、撮り直してほしい
  - renewal ........ 在留期間の満了日が近いので、更新したら新しいカードを送ってほしい
  - document ....... 指定書（または資格外活動許可書）の写しを送ってほしい
【読みにくかった面】{side}
【満了日】{expiry_date}
【登録者の名前（ローマ字）】{name}

【守ること】
- 1文を短くし、むずかしい漢字にはふりがなを付けてください。
- 「働けます」「働けません」「違法です」など、就労の可否や法律の判断を書かないでください。
- 在留資格の更新の手続の方法を説明しないでください。
  手続のことを聞かれたら担当者が答える、と書いてください。
- 撮り直しの依頼では、次の3つを必ず書いてください。
  カードを画面いっぱいに写す／光が反射しないようにする／
  裏面の個人番号（マイナンバー）が書いてある部分は手やシールで隠す
- 満了日は【満了日】の値だけを使ってください。日付を計算しないでください。
- 最後に、わからないことは担当者に聞いてほしい、と書いてください。

「就労の可否を書かない」を明記しないと、親切のつもりで書きます。 「週28時間まで働けます」のような一文は正しくても、指定書や掛け持ちの状況を見ていない段階で書けば、登録者はそれを会社の判断として受け取ります。

撮り直しの依頼に「個人番号を隠す」を必ず入れるのは、6番目の前処理の負担を減らすためです。 塗りつぶしは保険で、最初から写っていない画像がいちばん安全です。

出力形式を固定する

読み取りと規則の結果は、次の形のJSONで確認の一覧に渡します。

{
  "intake_id": "",
  "registrant_id": "",
  "card_format": "old | new",
  "fields": [
    { "name": "residence_status", "value": "", "status": "ok | missing | not_in_form | low_confidence", "confidence": 0 },
    { "name": "expiry_date", "value": "", "status": "ok", "confidence": 0 },
    { "name": "card_number", "value": "", "status": "ok", "confidence": 0 },
    { "name": "work_restriction", "value": "", "status": "ok", "confidence": 0 },
    { "name": "extra_permission", "value": "", "status": "ok", "confidence": 0 },
    { "name": "application_note", "value": "", "status": "ok", "confidence": 0 }
  ],
  "work_category": "unrestricted | status_based | designated | not_allowed | part_time_28h | permit_document | unknown",
  "days_to_expiry": 0,
  "changed_from_last": ["residence_status"],
  "verdict": "ok | needs_document | needs_human | expiring",
  "message_draft": ""
}

1つ目の理由は、value と confidence を欄ごとに並べられることです。 コーディネーターは画像を開く前に、どの欄が怪しいかを一覧で読めます。

2つ目は、not_in_form で様式の違いを吸収できることです。 新様式で券面に無い欄を空欄として扱うと、毎回「読めなかった」に見えて確認が増えます。

3つ目は、work_category に unknown を持てることです。 区分が付かなかったことを値として残せば、規則の対応表に何が足りないかを後から数えられます。

裏面に更新などの申請の記載がある人は、満了日を過ぎていても機械で「期限切れ」にしません。 申請中の扱いは人が確かめます。

システムへ連携する

失効情報照会は自動で呼びません。 照会のページは人が使う画面として案内されているもので、確認の一覧には、照会に入れる番号と有効期間をそのまま写せる形で並べるだけにします。 照会の結果は、在留カードの有効性を証明するものではないとされているので、結果の記録とあわせて、画像の目視の結果も残します。

人が確認する

人が見るのは全件です。ただし、見る場所は絞ります。 ok のものは、番号・満了日・就労制限の3つの欄を画像と見比べ、失効情報照会を行って確定します。

1. needs_human を先に見る … 多くは撮り直しで解決します。下書きを直して送ります
2. needs_document の指定書・許可書を確かめる … 写しが届くまで、その人を案件に紹介しない印を付けます
3. changed_from_last がある人の区分を見直す … 在留資格が変わると、紹介している案件の条件と合わなくなることがあります
4. 失効情報照会の結果を記録する
5. 対面の機会があれば、在留カード等読取アプリケーションでICチップを読む … 画像の読み取り結果と、ICチップの情報を見比べます

5番目を「できれば」で終わらせないでください。 画像の確認だけでは、実在する番号を使った偽造カードを見分けられません。派遣の開始前の面談など、対面の機会を工程に組み込みます。

例外に対処する

最後の行を、構成の側で扱おうとしないでください。 在留カードを持っていなくても就労できる場合がある人は、確かめる書類が違います。対象外を対象外として人に渡すことが、例外処理の役目です。

記録を残す

• 受け付けた画像（個人番号を塗りつぶしたもの）と、受付番号・日時
• 分類の結果と、欄ごとの値・信頼度
• 規則で付けた区分と verdict、そのとき使った対応表の版
• コーディネーターが確定した値と、確定した人・日時
• 失効情報照会を行った日時と結果
• 指定書・許可書の写しを受け取った日時
• 案内文を送った日時と内容

3つ目で対応表の版を残すのは、区分の付け方を後から説明できるようにするためです。 ある登録者をなぜ案件に紹介したのか、と問われたときに、当時のカードの記載と、当時の規則と、確定した人が並んでいる必要があります。

画像の保存期間は、登録の続く間と、労務の担当が決めた期間に限ります。 登録を抹消したら、画像も読み取り結果も消します。