会議で書いたホワイトボードと模造紙の写真から、決定事項・宿題・担当・期限の一覧を作り、議事録の下書きにする

処理の起点を決める

10分ごとに動く時間主導のトリガーを使います。 公式の案内では、時間主導のトリガーは毎分から月1回までの間隔で動かせます。スクリプトは、会議の登録表で「写真を上げた」に印があり、「下書きあり」になっていない会議を1つ拾って処理します。1回の実行で1つの会議だけを処理するのは、6分の上限に収めるためです。

写真が上がったことそのものをきっかけにはしません。 進行役が写真を何枚かに分けて上げている途中で動くと、半分の板書から議事録の下書きができてしまいます。 「写真を上げた」の印を進行役が付けることを、すべて上げ終えた合図にします。

トリガーは、部の管理用のアカウントで作ります。 公式の案内では、インストール型のトリガーは作った人のアカウントで動くとされています。作った進行役が異動するとトリガーの持ち主が変わるので、個人のアカウントでは作りません。

入力データを集める

質を決めるのは、書き方の約束です。 約束が無い板書では、AIは何が決定事項かを文脈から推します。推した決定事項は、話し合いの途中の案と区別がつきません。 約束は会議室のホワイトボードの隅に貼っておき、進行役が会議の最後に「決定」に◎を付ける時間を1分取るのがいちばん効きます。

参加者の一覧には、板書で使われる呼び方を添えます。 板書には「佐藤」「サトウ」「さ」「S」が混ざります。同じ部署に佐藤さんが2人いるなら、板書でどう書き分けるかも一覧に入れておきます。

データの取得方法を決める

写真は、登録表に書かれたフォルダから、Apps Script の Drive のサービスで取ります。 フォルダの getFiles() で写真を並べ、ファイル名の番号の順に並べ替えます。処理が終わった写真は、処理済みのフォルダへ移します。 移すのは下書きができたときだけにします。

Gemini API へは、会議ごとに1回、写真をまとめて渡します。 1枚ずつ呼ぶと、左の写真の矢印が右の写真の担当の名前につながっている、といった写真をまたぐつながりが切れます。 まとめて渡し、撮った順を指示に書きます。

API キーはスクリプトのプロパティに置き、コードに書きません。 スクリプトを部の中で共有したときに、キーが見えてしまうのを防ぎます。

有料の利用枠で使います。 Gemini API の規約では、有料のサービスではプロンプトと応答（画像などのファイルを含む）が製品の改善に使われないとされています。社内の会議の板書を扱うので、無料の枠では使いません。

AIへ渡す前に整形する

1. 形式の確認 … PNG、JPEG、WEBP、HEIC、HEIF のどれかであることを確かめます。それ以外は進行役に戻します
2. 大きさの確認 … 写真をまとめて20MBを超えるなら、長い辺を縮めます。縮めすぎると小さな字が読めなくなるので、まず枚数を分けて2回に分けることを考えます
3. 撮った順の確認 … ファイル名の番号の順に並べ、指示に「1枚目は左端、2枚目は右端」のように書きます
4. 参加者の一覧と書き方の約束の付け足し … 登録表から取り、指示に入れます
5. 前回の宿題の付け足し … 前回の議事録の宿題の一覧を指示に入れ、板書で「済」と書かれたものを拾えるようにします
6. 写真の写り込みの確認 … 人の顔が大きく写っている写真は、進行役に撮り直しか切り抜きを頼みます

2番目を軽く見ないでください。 ホワイトボードの端に小さく書いた宿題こそ、縮めると最初に読めなくなります。写真の枚数を分けて渡すほうが、縮めるより安全です。

AIに処理させる

させるのは、写真から書き方の約束に沿って決定事項・宿題・持ち越しの論点を拾い、担当と期限を書かれたとおりに写し、読めない箇所を返すことだけです。

右端の列の考え方は、書かれていないものを埋めないことです。 担当の書かれていない宿題は担当を空のまま返させ、進行役が下書きで空欄に気づけるようにします。 AIが会議の流れから担当を推して埋めると、空欄だったはずの宿題に、たまたま発言の多かった人の名前が入ります。

3行目がいちばん起きやすい失敗です。 「来週金」を渡すと、AIはどこかの日を起点に計算して日付にしがちです。会議の日付と計算の起点がずれると、1週間ずれた期限が議事録に載ります。 AIには書かれた文字だけを返させ、日付の候補はスクリプトが会議の日付から出します。

指示内容を固定する

あなたは会議の議事録づくりを手伝う係です。
会議で書いたホワイトボード・模造紙・付箋を撮った写真が、撮った順に並んでいます。
{1枚目はホワイトボードの左半分、2枚目は右半分、3枚目は模造紙 など}

【会議】{会議名}　{日付}
【参加者】{姓名と、板書で使われる呼び方の一覧}
【書き方の約束】
- ◎ が付いた行は決定事項
- 「→」の後は宿題。「→ 担当 期限」の順に書く
- ？ が付いた行は持ち越しの論点
- 二重線や × の付いた行は取り消し
【前回の宿題】{前回の議事録の宿題の一覧}

【やること】
1. ◎ の付いた行を、書かれた文字のまま決定事項として並べる。
2. 「→」の後の宿題を、内容・担当・期限に分け、書かれた文字のまま返す。
3. ？ の付いた行を、持ち越しの論点として並べる。
4. 取り消された行を、取り消しとして並べる。
5. 前回の宿題のうち、板書で「済」と書かれたものを返す。
6. 読めない箇所を、写真の番号と枠 [ymin, xmin, ymax, xmax]（0〜1000 に正規化）で返す。
   読めた部分の文字も返し、読めない字は ? にする。

【厳守事項】
- 印の無い行を、決定事項にしないでください。
- 担当が書かれていない宿題は、担当を空にしてください。推測で埋めないでください。
- 期限は書かれた文字のまま返してください。日付に置き換えないでください。
- 書かれた文字を言い換えたり、言葉を補ったりしないでください。
- 写真に写っていない内容を書かないでください。
- 議論の要約、評価、感想を書かないでください。
- 写真に人が写っていても、人については何も書かないでください。

「日付に置き換えない」を明記しないと、親切に日付にします。 しかも、どの日を起点にしたかは返ってきません。置き換えを禁じるのは、計算の起点を会議の日付に固定するためです。

「言葉を補わない」も同じ理由です。 補った言葉は、会議で合意された説明のように読まれます。

出力形式を固定する

会議ごとに、次の形の JSON で受け取ります。 mark は enum で決まった文字列に絞ります。

{
  "meeting_id": "",
  "decisions": [
    { "text": "案B で進める", "image_no": 2, "mark": "double_circle | unclear_mark" }
  ],
  "action_items": [
    { "task": "見積を取り直す", "owner_text": "佐藤", "due_text": "来週金", "image_no": 2 }
  ],
  "open_issues": [ { "text": "予算の上限は？", "image_no": 1 } ],
  "cancelled": [ { "text": "案A", "image_no": 1 } ],
  "previous_done": [ "前回の宿題の番号" ],
  "unreadable": [ { "image_no": 3, "box_2d": [120, 640, 180, 900], "partial_text": "→ ?中 月末" } ]
}

1つ目の理由は、owner_text と due_text を書かれた文字のまま受けられることです。 スクリプトは owner_text を参加者の一覧の呼び方と照らし、1人に決まれば姓名を、決まらなければ「担当の確認」の印を付けます。due_text は、会議の日付から日付の候補を出し、「来週金 → 10/23（候補）」のように両方を下書きに並べます。 確定するのは進行役です。

2つ目は、unreadable から写真の位置に飛べることです。 下書きの「読めない箇所」の行に写真の番号と枠を書いておけば、進行役は写真のその位置を拡大して見るだけで済みます。

3つ目は、previous_done で前回の宿題を閉じられることです。 前回の宿題のうち「済」と書かれたものを下書きで閉じ、閉じられていない宿題を次の会議の冒頭に読み上げる一覧にします。

期限の候補は、スクリプトが決まった規則で出します。 AIには due_text と一緒に、書かれた期限の種類を due_kind として返させます。

relative を候補として扱うのは、「来週」の読み方が人によって違うからです。

response_format の schema には、次のように値を絞った形を入れます（抜粋）。

{
  "type": "object",
  "properties": {
    "decisions": { "type": "array", "items": { "type": "object",
      "properties": {
        "text": { "type": "string" },
        "image_no": { "type": "integer" },
        "mark": { "type": "string", "enum": ["double_circle", "unclear_mark"] }
      },
      "required": ["text", "image_no", "mark"] } },
    "action_items": { "type": "array", "items": { "type": "object",
      "properties": {
        "task": { "type": "string" },
        "owner_text": { "type": "string" },
        "due_text": { "type": "string" },
        "due_kind": { "type": "string", "enum": ["absolute", "relative", "next_meeting", "none"] }
      },
      "required": ["task", "owner_text", "due_text", "due_kind"] } },
    "unreadable": { "type": "array" }
  },
  "required": ["decisions", "action_items", "open_issues", "cancelled", "unreadable"]
}

システムへ連携する

スクリプトの流れは、次のように短いものです（要点だけ）。

function processOneMeeting() {
  // 1. 登録表から「写真を上げた」に印があり、「下書きあり」でない会議を1つ拾う
  // 2. その会議のフォルダの getFiles() で写真を取り、ファイル名の番号順に並べる
  // 3. 写真を base64 にし、指示の文と一緒に input に並べる（文は写真の後ろ）
  // 4. UrlFetchApp.fetch(url, { method: 'post', contentType: 'application/json',
  //      payload: JSON.stringify(body), headers: { 'x-goog-api-key': key } })
  // 5. 返った JSON の enum の値と image_no の範囲を確かめる
  // 6. owner_text を参加者の呼び方と照らし、due_kind で期限の候補を出す
  // 7. DocumentApp.create() で下書きを作り、会議のフォルダへ移す
  // 8. 写真を処理済みのフォルダへ移し、登録表を「下書きあり」にする
}

5番目の確かめを省かないでください。 構文として正しい JSON でも、image_no が写真の枚数を超えることがあります。

参加者への共有は、スクリプトからは行いません。 共有の宛先を自動で決めると、担当の照合の誤りがそのまま宿題の通知になります。 下書きができたら、登録表の状態を「下書きあり」にし、進行役が開くのを待ちます。

人が確認する

1. 印の付いた行から見る … 「担当の確認」「期限の候補」「読めない箇所」「unclear_mark」の行を、写真と見比べます
2. 担当の空欄を埋める … 板書に担当が書かれていなかった宿題は、会議の記憶で埋めるか、担当を決める宿題として持ち越します
3. 期限を確定する … 候補の日付が会議の意図と合っているかを確かめます
4. 口頭で決まったことを足す … 板書に書かれなかった決定は、進行役が足します
5. 参加者に共有する … 確定した議事録を共有します

4番目を省かないでください。 写真に写っていないことは、AIの下書きにはありません。下書きにすべてが載っていると思い込むと、口頭で決めたことが議事録から消えます。

目標は、会議の当日のうちに共有することです。

例外に対処する

上から2行目までが大半を占めます。 どちらもAIの精度の問題ではなく、撮り方と書き方の約束の問題です。 会議の最後に1分取って◎を付け、正面から撮るほうが、指示の文をいじるより効きます。

記録を残す

• 会議ごとの写真（ドライブのフォルダ）と、Gemini API が返した JSON の全文
• 指示に入れた参加者の一覧と、そのときの書き方の約束の版
• 進行役が確定した議事録と、下書きから直した箇所（担当、期限、足した決定）
• 登録表の処理の状態の記録（拾った日時、下書きができた日時、共有した日時）

3つ目の「直した箇所」が、運用を直す材料です。 担当の空欄を埋めた件が多い会議は、板書に担当を書く習慣が根づいていません。会議ごとの違いが見えれば、進行役どうしで書き方をそろえる話ができます。