社会保険労務士が顧問先と電話で受けた労務相談の録音を文字にして、要旨・事実・回答・宿題を相談記録の項目に分けて登録する

処理の起点を決める

クラウドPBXが通話の録音を保管場所に書き出したことを起点にします。 1日分をまとめて夜に処理すると、下書きが翌朝になり、その日のうちに確定するという7番目の手順が崩れます。 通話が終わってから数分で下書きが届くようにします。

対象にするのは、顧問先の番号との通話だけです。保管場所に書き出す前に、PBXの側で事務所の内線どうしの通話と、顧問先以外の番号との通話を外します。外せないPBXなら、Azure Functions の最初の処理で、発信元の番号を顧問先の一覧と突き合わせて外します。

通話が1分未満のものも対象から外します。「担当の方はいらっしゃいますか」「後でかけ直します」だけの電話に記録の下書きを作っても、確認の手間が増えるだけです。 処理が終わった録音には「処理済み」の印を付け、印の無い録音の数が未処理の数になるようにします。

入力データを集める

質を決めるのは、直近の相談記録と未了の宿題です。 「先日の件ですが」で始まる電話は、前回の記録が無いと何の件か分かりません。未了の宿題を渡しておくと、今回の電話でその宿題が片づいたかどうかも拾えます。

顧問先の就業規則の版を渡すのは、回答の根拠を記録に残すためです。 社労士が電話で「御社の規則の第○条で」と言った場合、その規則がどの版だったかは、半年後に規則が改定されると分からなくなります。

データの取得方法を決める

文字起こしは、Azure Functions から高速文字起こしの API を呼ぶだけです。要求の定義に、言語、チャンネル、フレーズリストの3つを入れます。

フレーズリストは、呼び出しのたびに渡せます。 公式の説明では、フレーズリストはモデルの学習を要さず、認識の直前に渡す仕組みです。顧問先ごとに、その会社の名前、人事担当者の名前、その会社の制度の呼び方を足して渡します。 「みなし残業」を「固定残業代」と呼ぶ会社もあれば、「定額手当」と呼ぶ会社もあります。一覧は大きくしすぎないようにし、公式の目安である2,000語句を超えない範囲に収めます。

顧問先の特定は、PBXの記録の相手の番号を、案件管理の顧問先の電話番号と突き合わせて行います。人事担当者が携帯電話からかけてくる場合に備え、担当者の携帯番号も顧問先の情報に持たせます。

AIへ渡す前に整形する

1. 通話の選別 … 顧問先の番号との通話だけを残し、1分未満の通話を外します
2. チャンネルの確認 … 録音が2チャンネルであることを確かめます。1チャンネルにまとまっている録音は、PBXの書き出しの設定を直すまで、話者を分けない扱いにします
3. チャンネルの割り当て … 事務所側がどちらのチャンネルに入っているかを、PBXの仕様で確かめて固定します
4. 顧問先の特定 … 相手の番号から顧問先を決めます。決まらなければ、担当の社労士に「どの顧問先か」を選ばせます
5. フレーズリストの用意 … 事務所の制度の語の一覧に、その顧問先の固有の語を足します
6. 保留音と転送の区間を外す … 保留中の音楽や、転送の待ち時間の無音を、時刻の区間として外します

3番目を一度確かめておかないと、すべての記録で事実と回答が入れ替わります。 PBXによって、内線側が0番のこともあれば1番のこともあります。導入のときに、社労士が自分の名前を名乗る試しの通話を1本録り、どちらのチャンネルに入ったかを見て決めます。

2番目は、録音の設定の問題です。 1チャンネルにまとまった録音でも文字にはできますが、誰が言ったかが分からない記録は、この構成の目的を果たしません。 話者を分けないことを下書きに明示し、社労士の確認を重くします。

AIに処理させる

させるのは、チャンネルで分かれた文字起こしを、相談記録の5つの項目に分けることです。 回答が正しいかの評価はさせません。

事実は顧問先側の発言だけから、回答は事務所側の発言だけから書かせます。 この制約が、第1章で書いた「誰が言ったかを分ける」の実体です。顧問先の担当者が「解雇できますよね」と言った発言を、回答の欄に入れることはできません。

宿題は、誰の宿題かで2つに分けます。 「就業規則を確認して明日お電話します」は事務所の宿題、「では、本人の勤怠の記録を送ってください」は顧問先の宿題です。事務所の宿題だけが、事務所のタスク一覧に載ります。 顧問先の宿題は、届いたかどうかを次の電話で確かめる材料として記録に残します。

1行目と2行目が、いちばん起きやすい失敗です。 社労士が「たぶん大丈夫だと思いますが、念のため確認します」と言った回答を、AIは「問題ありません（労働基準法第○条）」のようにきれいにまとめがちです。「たぶん」と「念のため確認」が消えると、事務所が断定したことになります。 留保の言葉は、回答の一部として残させます。

指示内容を固定する

あなたは社会保険労務士事務所の事務職員として、顧問先との電話の
文字起こしから相談記録の下書きを作る立場です。
文字起こしに書かれていることだけを使ってください。推測で埋めないでください。

【話者】
- channel 0 は事務所の社会保険労務士の発言です。
- channel 1 は顧問先の担当者の発言です。
話者をこの区別以外で判断しないでください。

【書く項目】
- summary ... 何についての相談かを2〜3文で
- facts ..... 顧問先が説明した事情。channel 1 の発言だけから書く
- answers ... 社会保険労務士が伝えた考え方と勧めた対応。channel 0 の発言だけから書く
- tasks ..... 事務所が預かったこと（owner: office）と、
              顧問先にお願いしたこと（owner: client）
- topics .... 会話に出てきた制度・手続きの名前

【厳守事項】
- answers は、社会保険労務士が言ったとおりの強さで書いてください。
  「たぶん」「念のため確認します」「原則として」などの留保の言葉を消さないでください。
- 社会保険労務士が挙げていない条文や根拠を書き足さないでください。
- 回答が正しいかどうかを評価したり、補足したりしないでください。
- 期限は、会話の中で日付や「明日」「今週中」と言われた場合だけ
  due_text にそのまま写してください。言われていなければ空にしてください。
- 各項目には、根拠にした発話の開始時刻（offset_ms）を付けてください。
- 信頼度の低い発話（low_confidence が true）を根拠にした項目は、
  needs_listen を true にしてください。
- 従業員の人柄や評価を表す言い方は、話した人の言葉として
  引用する場合を除いて書かないでください。
- 未了の宿題の一覧にある件が今回の電話で片づいた場合は、
  resolved_task_ids にその番号を入れてください。

【顧問先の情報】{client_profile}
【未了の宿題】{open_tasks}
【直近の相談記録】{recent_records}
【文字起こし（channel、offset_ms、text、low_confidence）】{transcript}

「留保の言葉を消さない」を明記しないと、回答はきれいな断定文になります。 記録として読みやすくなる代わりに、事務所が電話で言っていないことを記録が言い出します。 指示で禁じたうえで、確認の画面では回答の欄の根拠の発話を並べて見せます。

各項目に発話の時刻を付けさせるのは、確認を速くするためです。 下書きの「回答」の1行を押すと、録音のその時刻から再生できます。録音を頭から聞き返さずに、疑わしい1行だけを聞けます。

出力形式を固定する

次の形のJSONで受け取ります。 Azure OpenAI の構造化出力（response_format に json_schema を strict: true で渡す方式）を使い、形を固定します。

{
  "client_id": "",
  "call_id": "",
  "summary": "",
  "facts": [
    { "text": "", "offset_ms": 0, "needs_listen": false }
  ],
  "answers": [
    { "text": "", "hedge": "none | hedged | pending_check", "offset_ms": 0, "needs_listen": false }
  ],
  "tasks": [
    { "owner": "office | client", "text": "", "due_text": "", "offset_ms": 0 }
  ],
  "topics": [""],
  "resolved_task_ids": [""],
  "speaker_separation": "channel | none"
}

公式の説明では、構造化出力ではすべての項目を必須にし、additionalProperties を false にします。 省略したい項目は、null を許す型にして表します。due_text のように言われなければ空になる項目も、項目そのものは必ず返る形にします。 返ってこない項目と、空だった項目を区別しなくて済みます。

1つ目の理由は、hedge で回答の強さを残せることです。

pending_check の回答に、対応する事務所の宿題が無ければ、処理の側で警告を出します。 「確認します」と言ったのに宿題に載っていないのは、（c）の折り返しの漏れそのものです。

2つ目は、speaker_separation で記録の確かさを示せることです。 録音が1チャンネルだった通話は none になり、確認の画面に「話者を分けていません」と出します。 事実と回答の区別が確かでない記録を、ほかの記録と同じ顔で残さないためです。

システムへ連携する

案件管理の記録は、「確認待ち」から「確定」へ社労士が変えるまで、ほかの社労士の画面では下書きと分かる表示にします。 確定前の下書きを、代わりの社労士が事実として読まないようにするためです。

顧問先には何も送りません。 下書きを顧問先へのメールの文案に使うことはできますが、送るかどうかと文面は社労士が決めます。

人が確認する

担当の社労士は、通話の当日のうちに下書きを確定します。 記憶が新しいうちなら、下書きを読むだけで正しいかが分かります。

1. 回答の欄を先に読む … 自分が言ったとおりの強さで書かれているか。hedged と pending_check の留保が残っているか
2. 事実の欄を読む … 顧問先が言ったことが、自分の言葉に置き換わっていないか
3. 宿題を確定する … AIが拾った宿題のうち、本当に宿題のものだけを残し、期限を入れる
4. needs_listen の行を聞く … 時刻から再生し、聞き取りの誤りを直す
5. 確定する … 直した箇所は、直す前の下書きと一緒に残ります

1番目を先にするのは、記録の中でいちばん重いのが回答だからです。 事実の小さな聞き違いより、事務所が言っていない断定が記録に残るほうが、後で困ります。

目標は、360件をならして1件5分です。 5分のうち多くは回答の欄の読み合わせで、needs_listen が多い通話は長くなります。それより多い月は、録音の音質か、フレーズリストの語の足りなさを疑います。

例外に対処する

3行目と4行目が、運用で最も多く出ます。 顧問先の会議室のスピーカーで社長と人事担当が一緒に話す電話は珍しくありません。誰の発言かを細かく分けたいなら、その電話だけは社労士が確認で書き足します。

記録を残す

• 通話の録音（2チャンネル）と、通話の記録（日時、長さ、内線、相手の番号）
• 文字起こしの結果の全文（チャンネル、時刻、信頼度）
• AIが返した下書きと、そのとき渡したフレーズリストと未了の宿題
• 社労士が直した箇所（直す前、直した後、直した人、日時）
• 確定した相談記録と、確定した宿題の完了の日時
• pending_check に宿題が付かなかった件数

4つ目を残すのは、下書きの質を見るためです。 社労士が毎回同じ種類の直しをしているなら、指示の書き方かフレーズリストに直すところがあります。

最後の行は、折り返しの漏れの見張りです。 この数が0でない月は、「確認します」と言ったのに宿題にしなかった通話があります。