自社アカウントに付くSNSのコメントとメッセージを仕分けて、炎上の兆しと返信が要るものを拾い上げる

処理の起点を決める

トリガーは、SNSごとに2種類を使い分けます。

Instagram のコメントを15分ごとにしているのは、コメントを見張るモジュールが一覧に無いためです。 Make のシナリオは、既定では15分ごとに動くとされており、最短の間隔は契約しているプランで決まります。 安全に関わる申し出を1時間以内に回すには、15分でも余裕があります。

届いたときに動くトリガーは、「データが届いたらすぐ」の実行になります。 この場合、1分あたりの実行回数に上限を設定でき、既定は100回とされています。上限を超えた分は順番待ちになり、少しずつ処理されるので、キャンペーンの直後に書き込みが集中しても取りこぼしません。

取りに行く投稿は、直近14日分に絞ります。 古い投稿に付くコメントは少なく、毎回全投稿を取りに行くと実行の回数が無駄に増えます。14日より古い投稿に付いたコメントは、週に1回まとめて取りに行きます。

入力データを集める

質を決めるのは、下の3つです。 対応ルール表が無いと、仕分けても次に何をするかが決まりません。論点の一覧が無いと、同じ話題の書き込みをAIが毎回違う言葉で名付け、件数が数えられなくなります。

論点の一覧は、固定ではなく育てていきます。 AIが一覧のどれにも当たらないと判断した書き込みは「新しい論点の候補」として出し、担当者が一覧に足すかを決めます。 一覧に無い言葉でAIが勝手に論点を作ることは許しません。

投稿の本文も渡します。 「これはひどい」は、新商品の告知への書き込みなら批判ですが、「ひどい雨の日の特別セール」という投稿への書き込みなら、投稿の言葉をなぞっただけかもしれません。

データの取得方法を決める

Facebook Messenger アプリには注意点があります。 開発者でないアカウントに対しては、アプリが正式に公開されるまで応答しないとされています。検証のあいだは、開発者の役割を持つアカウントから送って確かめます。

返信の連なりも取ります。 広告主の定型の返信に対して、「その対応では困ります」と続けて書かれることがあります。親のコメントだけを取っていると、いちばん怒っている書き込みを見落とします。

AIへ渡す前に整形する

1. 処理済みを除く … コメントのIDをデータストアに持ち、すでに仕分けたものは渡しません
2. 自社の返信を除く … 広告主のアカウント自身の書き込みは仕分けの対象から外します
3. 絵文字だけ・スタンプだけの書き込みをまとめる … 本文が絵文字だけのものは、AIに渡さず「反応」に入れます
4. 明らかな宣伝の書き込みを分ける … 同じ文面が複数の投稿に貼られているものは、件数を数えて「宣伝・スパムの候補」に入れます
5. 個人情報らしき文字列に印を付ける … 電話番号・メールアドレスの形の文字列があれば印を付けます（例外処理を参照）
6. 投稿の本文と、同じアカウントの過去の書き込みを添える … 直近3件までにします

3番目と4番目で、AIに渡す件数が大きく減ります。 キャンペーンの投稿に付く書き込みの多くは、絵文字や「応募しました」だけです。全部をAIに渡す必要はありません。 ただし、「応募しました」に続けて苦情が書かれていることがあるので、文字の書き込みは短くてもAIに渡します。除くのは、本文が絵文字だけのものに限ります。

AIに処理させる

させるのは、1件ずつに4つの印を付けることです。

安全に関わる申し出の定義は、広く取ります。 体調の悪化、けが、異物、アレルギー、発火・発煙、子どもの誤飲。書き込んだ本人のことでなくても、「家族が」「友人が」も含めます。 この種類に当たる可能性が少しでもあれば、この種類として印を付けさせます。

最後の行を守らないと、安全に関わる申し出が落ちます。 「写真が無いので本当かどうか分からない」とAIが判断して緊急度を下げると、本当だったときに、窓口へ回すのが遅れます。 事実かどうかにかかわらず、申し出があったこと自体を拾います。

指示内容を固定する

あなたは企業のSNSアカウントの運用担当の補助として、投稿に付いた
コメントとメッセージを仕分ける立場です。
渡す書き込みと投稿だけを見て仕分けてください。推測で補わないでください。

【やること】
書き込み1件ごとに、次の4つを選んでください。
1. category（種類）
   safety ........ 体調の悪化、けが、異物、アレルギー、発火・発煙、誤飲など、
                   身体や安全に関わる申し出。本人以外（家族・友人）のことも含む
   product_q ..... 商品・サービスについての質問
   order_issue ... 注文・配送・返品についての苦情や問い合わせ
   campaign_q .... キャンペーン・懸賞についての質問
   opinion ....... 意見・批判（価格、表現、企業の姿勢など）
   rights ........ 著作権・肖像・表示についての指摘
   reaction ...... 感想・あいさつなど、対応の要らない反応
   spam .......... 宣伝・なりすましの疑い
2. topic（論点）… 論点の一覧から1つ選んでください。
   当たるものが無ければ "new_candidate" とし、topic_note に10字以内で
   内容を書いてください。一覧に無い名前を topic に入れないでください。
3. sentiment（向き）… negative / neutral / positive / unclear
4. urgent（緊急度）… 対応ルール表の急ぐ基準に当たれば true

【厳守事項】
- safety に当たる可能性が少しでもあれば、safety を選んでください。
  迷ったときに safety 以外を選ばないでください。
- 申し出が事実かどうかを判断しないでください。写真や証拠が無いことを
  理由に、種類や緊急度を下げないでください。
- この書き込みで炎上するかどうかを判断しないでください。
- 返信の文面を書かないでください。非表示や削除を勧めないでください。
- 書き込んだ人の年齢・性別・所属を推測しないでください。
- 皮肉か本気か分からない書き込みは、sentiment を unclear にしてください。
- 投稿の本文の言葉をなぞっただけの書き込みを、批判として扱わないでください。
- reason に、選んだ根拠になった書き込みの中の言葉をそのまま写してください。

【投稿の本文】{post_text}
【論点の一覧】{topics}
【対応ルール表の急ぐ基準】{urgent_rules}
【同じアカウントの過去の書き込み】{history}
【仕分ける書き込み】{comments}

「迷ったら safety」を2か所に書いているのは、見落としの向きを片側に寄せるためです。 safety を多めに付ける分には、担当者が外すだけで済みます。付け損ねた1件は、夕方まで誰も見ません。

「炎上するかどうかを判断しない」を明記しないと、AIは1件ごとに「炎上の可能性：高」のような印を付けたがります。 その印は件数と結びつかず、同じ書き込みでも、その日の他の書き込みしだいで意味が変わります。 判断を件数の側に置くために、AIからは外します。

出力形式を固定する

次の形のJSONで受け取ります。 1回の呼び出しで、同じ投稿に付いた書き込みを最大20件まとめて渡し、その数だけ要素を返させます。

{
  "post_id": "",
  "results": [
    {
      "comment_id": "",
      "category": "safety | product_q | order_issue | campaign_q | opinion | rights | reaction | spam",
      "topic": "",
      "topic_note": "",
      "sentiment": "negative | neutral | positive | unclear",
      "urgent": false,
      "reason": "",
      "needs_review": false
    }
  ]
}

1つ目の理由は、件数を数えられることです。 topic と sentiment が決まった値で入るので、Make の側で投稿×論点×1時間ごとに、否定的な書き込みの件数を足していけます。

2つ目は、知らせの経路を機械で決められることです。 category が safety なら、他の値に関係なくすぐに知らせます。urgent が true なら、対応記録の上に並べます。経路の規則はシナリオの側にあり、AIの出力を読み替えるだけです。

増加の知らせの基準は、たとえば次のように置きます。

数字は広告主ごとに変えます。 フォロワーの多いアカウントでは10件は少なく、少ないアカウントでは多すぎます。最初の1か月は知らせずに件数だけを記録し、ふだんの幅を見てから基準を決めます。

システムへ連携する

SNSへは書き込みません。 Facebook Pages アプリにはコメントの作成や削除のモジュールもありますが、この構成では使いません。 返信も削除も人が管理画面で行います。シナリオに書き込みの権限を持たせないことが、誤った自動返信を防ぐいちばん確実な方法です。

人が確認する

1. safety の知らせを受けたら、すぐに書き込みを開く … 広告主のルール表に従って、窓口へ回すか、返信で連絡先を案内するかを決めます
2. 増加の知らせを受けたら、投稿を開いて書き込みを読む … 上長が、広告主の広報へ連絡するかを決めます
3. 対応記録を上から確かめる … urgent と needs_review が上に並んでいます。仕分けが違っていたら直します
4. reaction と spam は件数だけ見る … 1件ずつは開きません
5. new_candidate をまとめて見る … 論点の一覧に足すかを決めます

1番目と2番目は、ルール表にある時間の中で行います。 この構成で早くなるのは気づくまでで、気づいた後の判断の速さは人の体制で決まります。

目標は、ならして1件0.6分です。 対応が要るものが全体の1割強という想定で、反応だけの書き込みを1件ずつ開かなくなることが、時間が減る理由のほとんどです。

例外に対処する

3行目の画像だけのコメントは、「反応」に入れたくなります。 しかし、壊れた商品の写真や、届いた箱の写真だけが投稿されることがあります。本文が無いことを「対応が要らない」と読み替えないでください。

5行目は必ず仕組みにします。 接続が切れても、エラーではなく「新しい書き込みが0件」に見えることがあります。書き込みが無いのか、取れていないのかを区別できないと、静かな日だと思っているあいだに見落としが起きます。

記録を残す

• 取り込んだ書き込みの本文、日時、書き込んだアカウント、コメントかメッセージか
• AIへ渡した入力と、返ってきたJSONの全文
• 担当者が仕分けを直した記録 … どの印を、どれからどれへ
• 送った知らせと、それを受けて誰が何をしたか
• 投稿×論点×1時間ごとの件数
• 論点の一覧の変更の履歴

件数の記録は、基準を見直す材料になります。 増加の知らせが出たのに何も起きなかった回、出なかったのに後で問題になった回を並べると、基準が厳しすぎるのか緩すぎるのかが分かります。

担当者が直した記録は、プロンプトを直す材料です。 opinion を order_issue に直すことが多いなら、苦情と意見の境目の書き方を変えます。