大学の講義の録音から字幕と文字の記録を作り、聴覚に障害のある学生への情報保障として、専門用語の誤認識を教員の用語集で直して配る

処理の起点を決める

講義の録画が保存されたことを起点にします。 録画の仕組みから録画の保存を知らせる方法は製品ごとに違うため、知らせが取れない場合は、録画の保存先のフォルダを中継の処理が見張る形にします。

動かすのは、支援の対象の科目の録画だけです。 支援の申請から作った対象の科目と回の一覧を引き、載っていない録画は処理しません。 すべての講義を文字にする理由はなく、録音を必要以上に扱わないためです。

講義の当日中に、候補の一覧が担当者に届くようにします。 高速文字起こしは同期で返るので、録画が保存されれば処理はすぐに終わります。担当者が翌朝までに候補を確かめれば、週2回の科目でも次の回の前に記録を配れます。

入力データを集める

質を決めるのは、用語集の読みの列です。 「頸椎」と書いてあっても、読みが無ければ「けいつい」と聞き違えられた語と結びつけられません。語だけでなく読みを必ず書いてもらいます。 読みが複数ある語は、すべて書いてもらいます。

前の回の確定した修正は、用語集に入っていない語を拾う手がかりになります。 同じ科目で前に直した語は、次の回でも同じように聞き違えられることが多いからです。

データの取得方法を決める

文字起こしは、高速文字起こしのAPIに音声とその定義を送ります。

POST https://{リソース名}.cognitiveservices.azure.com/speechtotext/transcriptions:transcribe?api-version=2025-10-15
audio      = 科目コードと回を名前にした音声ファイル
definition = {
  "locales": ["ja-JP"],
  "diarization": { "enabled": true, "maxSpeakers": 4 },
  "phraseList": { "phrases": ["<用語集の語1>", "<用語集の語2>", "...",
                              "<前の回で直した語>"] }
}

フレーズリストは、認識の直前に渡す語句の一覧で、モデルの学習は要りません。 2,000語句を超えないようにし、長いほど品質と待ち時間に影響するとされています。全科目の用語を渡さず、その科目の用語集だけを渡します。 1科目の用語集が2,000語を超えることはまれですが、超える場合はその回のシラバスの範囲に絞ります。

英語で講義する科目や、英語の術語が多い科目では、locales の指定を見直します。 公式の案内では、複数のロケールを指定すると言語の識別が行われ、指定しなければ多言語のモデルで識別しながら文字にするとされています。科目ごとに、試しの1コマでどちらがよいかを確かめます。

AIへ渡す前に整形する

1. 音声を取り出す … 録画からモノラルの音声を取り出します。話者の分離はモノラルの音声で使うものとされています
2. 長さを確かめる … 5時間未満・500MB未満に収まっているかを確かめます。収まらないものは分けます
3. 教員の話者を決める … 発言の時間がいちばん長い話者を教員とし、ほかを受講者とします
4. 受講者の発言に印を付ける … 受講者の発言は字幕では「［受講者］」とし、氏名を書きません
5. 聞き取れなかった文に印を付ける … confidence がしきい値を下回る文を low_confidence にします

3番目は、講義の録音の形を前提にした規則です。 講義はほとんどの時間を教員が話すので、発言の時間で決めれば足ります。 複数の教員が話す科目は、支援の一覧に教員の数を持たせておきます。

受講者の質問が聞き取れないことは、珍しくありません。 教室のマイクが教員の近くにあるためです。聞き取れない質問を推測で書かず、「［受講者の発言・聞き取れず］」と入れます。 教員が質問を繰り返して答えた場合は、教員の発言として残ります。

AIに処理させる

させるのは、文字起こしの中から、用語集の語の聞き違いと思われる箇所を候補として取り出すことだけです。 文字起こしを書き直させるのではなく、直す候補の一覧を返させます。

直す先を用語集の語に限るのが要です。 生成AIは、文脈からもっともらしい専門用語を思いつけます。思いついた語が正しいかどうかを、担当者は確かめられません。 用語集に無い語は、直さずに教員への問い合わせに回します。

最後の行は、講義ならではの難しさです。 教員が板書やスライドを指して「これが」「ここで」と話すと、文字だけでは何を指すのかが分かりません。AIが「この式（運動方程式）」と補えば読みやすくなりますが、補った中身が誤っていても学生には分かりません。 スライドの資料を別に配る運用で補います。

指示内容を固定する

あなたは大学の障害学生支援の担当の補助です。講義の文字起こしの中から、
科目の用語集にある語が聞き違えられたと思われる箇所を、候補として挙げてください。
文字起こしを書き直さないでください。候補の一覧だけを返してください。

【科目】{course_name}
【用語集（語・読み・補足）】{glossary}

【候補の挙げ方】
- 用語集の語と読みが同じか近いのに、別の語・字になっている箇所を挙げてください。
- 直す先 proposed は、用語集にある語だけにしてください。
- 読みが用語集の読みと一致する場合は reading_match を true にしてください。

【厳守事項】
- 文字起こしの言い回しを整えたり、要約したりしないでください。
- 用語集に無い語を直す先にしないでください。専門用語らしいが用語集に無く、
  low_confidence の文にある語は、unknown_terms に元の文字のまま挙げてください。
- 言いよどみや繰り返しを消す候補を挙げないでください。
- 教員の説明の内容が正しいかを判断しないでください。
- 「これ」「ここ」などの指示語に、指している内容を補わないでください。
- 受講者の発言の中身を推測しないでください。
- 各候補に、文番号 sentence_id、元の文字 original、直す先 proposed を付けてください。

【文字起こし（文番号・話者・信頼度の印つき）】{sentences}

「書き直さないでください。候補の一覧だけを返してください」を最初に書くのは、全文を渡すと全文を返そうとするからです。 全文を返させると、どこを変えたかを差分で探すことになり、意図しない言い換えが紛れ込みます。 候補の一覧なら、変わるのは採用した箇所だけです。

unknown_terms を別にしているのは、教員への問い合わせをまとめるためです。 1コマに数語ずつ出る分からない語を、科目ごとに週1回まとめて教員に送ります。返事が来たら用語集に足し、次の回から候補に出るようになります。

出力形式を固定する

次の形のJSONで受け取ります。 Azure OpenAI の構造化出力で、このスキーマに従わせます。

{
  "course_code": "",
  "candidates": [
    { "sentence_id": 0, "original": "", "proposed": "",
      "reading_match": true, "low_confidence": false }
  ],
  "unknown_terms": [{ "sentence_id": 0, "text": "" }]
}

構造化出力では、すべての項目を必須にし、オブジェクトには additionalProperties: false が必要です。 スキーマのオブジェクトのプロパティは合わせて100個まで、入れ子は5段までとされています。この形は浅く、制限に近づきません。

中継の処理は、候補を確認の一覧に並べます。

最後の行は、指示を破った出力への備えです。 用語集に無い語が proposed に入っていたら、中継の処理が候補ごと捨て、その件数を記録します。 件数が増えたら、指示を見直します。

採用した候補を反映した後、字幕と文字の記録を作ります。 字幕は WebVTT の形式で、ファイルの先頭に WEBVTT を置き、各字幕に「開始の時刻 --> 終了の時刻」を付けます。時刻は単語ごとの offsetMilliseconds から作り、1つの字幕を2行・数秒に収まるように句読点で区切ります。 文字の記録は、5分ごとの時刻の見出しを付けた文書にします。

WEBVTT

00:12:04.320 --> 00:12:08.900
ここで頸椎の第一番、環椎について見ていきます。

00:12:08.900 --> 00:12:13.450
［受講者］環椎と軸椎の違いは何ですか。

区切りの規則は中継の処理に置きます。 句読点で区切り、1つの字幕が長くなりすぎるときは単語の境目で分けます。単語ごとの時刻があるので、文の途中で区切っても時刻がずれません。 区切り方を生成AIに任せると、区切るついでに言い回しを整えてしまうためです。

字幕と記録は、同じ確定した文字起こしから作ります。 字幕を直したのに記録が古いまま、ということが起きないよう、直すのは確定の前の文字起こしの1か所だけにします。

システムへ連携する

学習管理システムには、確定したものしか載せません。 候補を確かめる前の文字起こしは、担当者の画面にしか出しません。誤った用語のまま学生に届くことを避けるためです。

用語集への追記は、担当者が確定した後に行います。 採用した修正と教員の答えを足し、誰がいつ足したかを残します。 教員が用語集を見直すとき、支援の側で足した語が分かるようにします。

人が確認する

確かめるのは、障害学生支援の担当者です。 候補の一覧を、次の順に見ます。

1. reading_match が false の候補を聞く … 読みが一致しないのに候補になったものは、AIの推測が混ざっている可能性があります
2. low_confidence の候補を聞く … 数秒を聞いて、用語集の語かどうかを決めます
3. 残りの候補を文脈で読む … 信頼度が高く読みも一致するものは、文脈を読めば決まることが多いです
4. 分からない語を教員への問い合わせに入れる … 科目ごとにまとめ、週1回送ります

確認の画面には、候補ごとに再生の範囲を付けます。 文の offsetMilliseconds から前後数秒を含む範囲を作り、押せばその箇所だけを聞けます。

90分を通して聞き直さないでください。 通して聞く運用にすると、第10章の15分には収まりません。最初の1か月だけ、各科目の1コマを通して聞き、候補に出なかった聞き違いがどれだけあるかを数えます。 その数が、用語集の足りなさの目安になります。

例外に対処する

上から3行目は、学期の初めに確かめておくものです。 教室によってマイクの位置と雑音が違います。最初の週に教室ごとの low_confidence の割合を見ておけば、通して聞く必要のある教室が先に分かります。

記録を残す

• 録画の付帯情報と、処理した日時
• 文字起こしの全文と、文と単語ごとの時刻・信頼度・話者
• 生成AIが出した候補と、担当者の採否
• 中継の処理が捨てた候補の件数
• 教員への問い合わせと、その答え
• 学生に載せた字幕と文字の記録、載せた日時、指摘と直した内容

載せた後に直した場合は、直す前の版も残します。 学生がすでに前の版で勉強していることがあるため、どこを直したかを学生に知らせる材料にします。

3つ目の採否の記録が、用語集を育てる元になります。 採用した修正は用語集に足し、不採用が続く候補は、AIへの指示の見直しの材料にします。

講義の音声と文字起こしは、配った後の保存の期間を決めておきます。 学生の支援の記録として必要な期間と、講義の録音として学内で決めている期間の短いほうに合わせます。