Media > AI活用ユースケース > カスタマーサポート > ペットフードの定期便の会社が、お届けの記録・変更・問い合わせから Python で解約しそうな会員を予測し、確かめの連絡の順番の案を作る

ペットフードの定期便の会社が、お届けの記録・変更・問い合わせから Python で解約しそうな会員を予測し、確かめの連絡の順番の案を作る

実装ステータス:構成例 技術的に実現可能な構成として設計したもの。自社未検証

定期便の会員ごとのお届け・変更・問い合わせの記録から、Python の予測のモデルで、次の60日のうちに解約しそうな会員を見込みます。お届けの量や間隔が合っているかを確かめる連絡の順番の案を、毎月の初めに担当へ渡します。

サマリー
連携・自動化
Python
対象業界
EC/小売
対象部門
カスタマーサポート/マーケティング
対象業務
分類・仕分け/集計・分析
主な課題
データ分析に時間がかかる/営業フォローが追いつかない/属人化している
AIで行う処理
予測
主な効果
判断支援/工数削減/機会損失防止
導入難易度
★★★★☆
実装レベル
本格構成
費用感
個別開発(大)
人間の確認
条件付き
現在工数
40h/月
AI導入後
15h/月
想定削減
63%
年間削減
300h
モデル条件による試算値です。実在企業の実績ではありません。

01導入前 / 導入後の業務フロー

導入前(Before)
  1. 通販の基盤から、前の月にスキップ・間隔の変更・量の変更をした会員を書き出す
  2. 問い合わせの管理の仕組みから、前の月に問い合わせのあった会員を書き出す
  3. 2つの表を会員の番号で並べ、担当の条件に当たる会員を選ぶ
  4. 1人ずつ、お届けの履歴・変更・問い合わせの中身を開いて読む
  5. 連絡するかを決め、連絡するなら何を確かめるかをメモする
  6. 電話かメールで連絡し、結果を問い合わせの管理の仕組みに書く
導入後(After)
  1. 自動毎月1日の朝、Python が通販の基盤・問い合わせの管理の仕組み・配達の記録の書き出しを読む
  2. 自動会員ごとに、直近90日のスキップ・間隔の変更・量の変更・問い合わせの種類・配達の遅れ・決済の失敗を数える
  3. 自動解約の申し出をすでに受けた会員、連絡を断っている会員、ペットの死亡の連絡のあった会員を除く
  4. 自動予測のモデルが、会員ごとに次の60日のうちに解約する確率を出す
  5. 自動会員ごとに、本人の過去と比べて目立つ変化(理由の札)を規則で3つまで付ける
  6. 自動確率の高い順に、理由の札と最近の問い合わせの抜粋を並べた連絡の順番の案を作る
  7. 人担当が上から順に札と抜粋を見て、連絡するか、何を確かめるかを決める
  8. 人担当が電話かメールで連絡し、会員が選んだこと(間隔の変更・量の変更・休み・解約・そのまま)を記録する
  9. 自動翌月以降、連絡した会員・しなかった会員の解約の有無を記録し、当たり方を出す
各工程の詳しい説明を読む
  1. 通販の基盤から、前の月にスキップ・間隔の変更・量の変更をした会員を書き出す
  2. 問い合わせの管理の仕組みから、前の月に問い合わせのあった会員を書き出す
  3. 2つの表を会員の番号で並べ、担当の条件に当たる会員を選ぶ
  4. 1人ずつ、お届けの履歴・変更・問い合わせの中身を開いて読む
  5. 連絡するかを決め、連絡するなら何を確かめるかをメモする
  6. 電話かメールで連絡し、結果を問い合わせの管理の仕組みに書く

(a)解約の申し出が来てから事情を知る。 解約の理由で多いのは「余っている」「食べなくなった」ですが、多くの会員はそれを伝える前に解約します。 間隔を延ばせば続けられた会員に、確かめる機会がありません。

(b)選ぶ条件が担当の勘で、理由が残らない。 「スキップ2回」「問い合わせで余っていると書いた」は、ベテランの担当が経験で作った条件です。その条件が本当に解約の前に現れるのかを、確かめたことはありません。 担当が替わると、条件も変わります。

(c)600人を1人ずつ開く時間が無い。 1人4分でも月40時間です。忙しい月は上から順に見て、下のほうは開かずに終わります。 上下の順は、書き出した表の並びで、解約しそうな順ではありません。

(d)連絡しないほうがよい会員に連絡してしまう。 スキップが続いた理由が、ペットの入院や死亡のこともあります。記録を開けば問い合わせに書かれていることもありますが、急いでいると読み落とします。

  1. 【自動】 毎月1日の朝、Python が通販の基盤・問い合わせの管理の仕組み・配達の記録の書き出しを読む
  2. 【自動】 会員ごとに、直近90日のスキップ・間隔の変更・量の変更・問い合わせの種類・配達の遅れ・決済の失敗を数える
  3. 【自動】 解約の申し出をすでに受けた会員、連絡を断っている会員、ペットの死亡の連絡のあった会員を除く
  4. 【自動】 予測のモデルが、会員ごとに次の60日のうちに解約する確率を出す
  5. 【自動】 会員ごとに、本人の過去と比べて目立つ変化(理由の札)を規則で3つまで付ける
  6. 【自動】 確率の高い順に、理由の札と最近の問い合わせの抜粋を並べた連絡の順番の案を作る
  7. 【人】 担当が上から順に札と抜粋を見て、連絡するか、何を確かめるかを決める
  8. 【人】 担当が電話かメールで連絡し、会員が選んだこと(間隔の変更・量の変更・休み・解約・そのまま)を記録する
  9. 【自動】 翌月以降、連絡した会員・しなかった会員の解約の有無を記録し、当たり方を出す

3番を予測の前に置いているのが、この設計の要です。 解約の申し出をした会員に連絡すると、解約を妨げるための連絡と受け取られかねません。 申し出を受けた会員は、この仕組みの外で、これまでどおり手続きを進めます。

7番を人に残しているのも、意図してのことです。 理由の札は記録の数字から作るので、「入院していた」「引っ越した」のような事情は、問い合わせの文を読まないと分かりません。 抜粋を横に並べ、担当が読んでから連絡します。

02今回想定するシステム構成

構成図
通販の基盤(定期便の契約・変更・解約の理由)
問い合わせの管理の仕組み・配達の記録の書き出し
   │  毎月1日に書き出す
   ▼【トリガー】月次の定時実行
Python(pandas)── 会員ごとの直近90日の集計、除く会員の判定
   ▼
scikit-learn HistGradientBoostingClassifier
   ▼
CalibratedClassifierCV(FrozenEstimator・sigmoid)
   │   次の60日のうちに解約する確率
   ▼
Python ── 理由の札、問い合わせの抜粋、連絡の順番の案
   ▼
【担当が見て、連絡するか・何を確かめるかを決める】
   ▼
連絡の結果と、その後の解約の記録 → 当たり方の表
役割想定する製品代替候補
実行環境Python(pandas・scikit-learn)R
処理エンジンscikit-learn の HistGradientBoostingClassifier(CalibratedClassifierCV で確率を整える)scikit-learn の LogisticRegression、LightGBM の二値分類
集計Python(理由の札、連絡の順番の案、当たり方の記録)表計算の計算式
保管社内のファイルサーバー(学習の記録、連絡の順番の案、当たり方の表)-

新しく足すのは Python の処理だけです。 通販の基盤と問い合わせの管理の仕組みは、それぞれの書き出しの機能でファイルにします。連絡の順番の案は担当が見る資料として書き出し、通販の基盤には書き込みません。 定期便の契約を変えるのは、会員の申し出を受けた担当です。

モデルは scikit-learn の HistGradientBoostingClassifier です。 損失の既定は log_loss で、predict_proba でクラスごとの確率を返します。ただし、ここで出す確率は、そのまま「解約する見込み」として読める数とは限りません。 そこで、学習とは別の月の会員を使って、CalibratedClassifierCV で確率を整えます。公式のページでは、method の既定は 'sigmoid'(Platt の方法)で、'isotonic' は校正の行の数が少ない(≪1000)と過学習しやすいので勧めないとされています。解約は月に数百件なので、既定の sigmoid を使います。

03どうやって実装するのか

Step1

処理の起点を決める

毎月1日の朝に、定時で動かします。 担当が連絡を始めるのは月の最初の週で、それまでに案がそろっている必要があります。 月の途中で動かさないのは、案が変わると、担当の連絡の進み具合と案の順番が合わなくなるからです。

段いつすること
1. 読み込みと集計毎月1日 6:003つの書き出しを読み、会員ごとに直近90日を数える
2. 予測と案毎月1日 6:30確率、理由の札、連絡の順番の案
3. 当たり方毎月1日 6:303か月前の案と、その後の解約・連絡の結果を並べる
4. 学び直し3か月に1回直近までの記録で学び直し、確率の整え方も作り直す

ただし、除く会員の判定は毎日動かします。 月の途中で解約の申し出やペットの死亡の連絡を受けた会員は、その日のうちに案から外し、担当の画面で「連絡しない」と出るようにします。 案を作った日から連絡する日までの間に、事情が変わるからです。

Step2

入力データを集める

データ中身取得元
定期便の契約会員の番号、品目、間隔、1回の量、契約の開始日、価格通販の基盤
変更の記録スキップ、間隔の変更(延ばした・縮めた)、量の変更(減らした・増やした)、品目の変更の日時通販の基盤
解約の記録解約の日、選ばれた理由(余っている・食べない・高い・ペットの死亡・その他)通販の基盤
問い合わせ日時、種類(配送・品質・嗜好・量・支払)、本文問い合わせの管理の仕組み
配達の記録予定の日と実際に届いた日、不在の持ち戻り配送の会社の書き出し
ペットの情報種類(犬・猫)、登録のときの生まれた年、体重の目安登録のときの情報
連絡の可否電話・メールでの案内を断っているか通販の基盤

質を決めるのは、解約の理由です。 理由が選べる画面になっていても、「その他」を選んで終わる会員が多ければ、変えられない解約を答えから外せません。 最初に、過去の解約の理由がどれくらい埋まっているかを数えます。

ペットの年齢は、列に入れるかを最初に決めます。 生まれた年から出せる年齢は、量が減る・食べなくなることと関わりそうに見えます。しかし年齢を入れると、ペットの死亡を答えから外していても、高齢のペットの会員ほど確率が高く出る形を学びえます。 この構成では年齢そのものは入れず、「量を減らした」「品目をシニア用に変えた」という会員の行動のほうを列にします。

Step3

データの取得方法を決める

取るものどこから使い道
契約・変更・解約通販の基盤の書き出し(CSV)特徴の列と答え
問い合わせ管理の仕組みの書き出し種類の数と、案に載せる抜粋
配達の記録配送の会社の書き出し遅れ・持ち戻りの回数
連絡の可否・死亡の連絡通販の基盤の会員の印除く会員の判定

問い合わせの本文は、予測の列には使いません。 使うのは担当が付けた種類だけで、本文は担当が案を見るときの抜粋として載せます。 本文を文の特徴として学ばせると、「亡くなった」「入院」といった言葉そのものが解約の強い手がかりになり、第1章で外したはずの解約が、文の側から戻ってきます。

学習に使うのは、直近2年分の毎月の会員の行です。 1人の会員が月ごとに1行で、その月の初めの時点の直近90日の数と、その後60日の解約の有無を持ちます。

Step4

AIへ渡す前に整形する

  1. 答えを作る … 月の初めから60日のうちに解約し、理由が「余っている」「食べない」「高い」「量・間隔」のものを1、解約しなかったものを0にします
  2. 答えから外す … 理由が「ペットの死亡」「その他・未選択」の解約の行は、学習から外します
  3. 直近90日の数 … スキップ、間隔を延ばした回数、量を減らした回数、品目の変更、問い合わせの種類ごとの数、配達の遅れ、決済の失敗
  4. 本人の過去との差 … 前の90日と比べたスキップの増え方、間隔の伸び方
  5. 会員歴と価格 … 契約の開始からの月数、最後の価格の改定からの月数
  6. カテゴリの型 … 品目の種類(ドライ・ウェット)、ペットの種類、間隔を pandas のカテゴリの型にします
  7. 除く会員 … 解約の申し出の済んだ会員、連絡を断っている会員、死亡の連絡のあった会員に印を付けます

2番の「その他・未選択」を外すかは、迷うところです。 外すと学習の行が減りますが、入れると、ペットの死亡を「その他」で選んだ会員が答えに混ざります。 この構成では外します。理由の埋まり方が良くなったら、入れ直すかを見直します。

4番の「本人の過去との差」は、会員ごとの使い方の違いを吸収するためです。 もともと3回に1回スキップして在庫を調整している会員もいれば、一度もスキップしない会員もいます。スキップの回数そのものより、その会員にとって増えたかどうかのほうが、事情の変化をよく表します。 前の90日の記録が無い新しい会員は、差の列を欠けた値のまま渡します。

6番は、カテゴリの列を正しく扱わせるためです。 公式のページでは、categorical_features の既定は 'from_dtype' で、Categorical と Enum の型の列がカテゴリとして扱われるとされています(1.6 で既定が変わった)。間隔の「2」「4」「8」を整数のまま渡すと、カテゴリではなく大小のある数として扱われます。 ここでは間隔は大小にも意味があるので、数の列とカテゴリの列の両方で試し、検証の当たり方で決めます。

Step5

AIに処理させる

させるのは、会員ごとに、次の60日のうちに変えられる理由で解約する確率を出すことだけです。

させることさせないこと
次の60日のうちに解約する確率連絡するかの判断(担当が決める)
連絡で伝える中身(担当が決める)
割引・特典の付け方の判断
ペットの健康や療法食についての助言

理由の札は、モデルからではなく規則で作ります。

札規則
間隔を延ばした直近90日に間隔を延ばした回数が1回以上
スキップが増えた直近90日のスキップが前の90日より2回以上多い
量を減らした直近90日に1回の量を減らした
食べないの問い合わせ嗜好の問い合わせが直近90日にある
配達の遅れ予定より遅れて届いた回数が2回以上
価格の改定のあと最後の価格の改定から3か月以内

札を規則にしているのは、担当が会員に話すときの言葉になるからです。 「スキップが増えていますが、間隔が合っていないでしょうか」と、記録で確かめられる事実だけを話題にできます。 モデルの中の寄与を札にすると、担当が会員に説明できない札が出ます。

案の並びは確率の順だけにし、会員の購入額で並べ替えません。 購入額の大きい会員を上に寄せると、多頭飼いの会員や大型犬の会員ばかりに連絡が集まり、量が合っていない小型犬の会員が後回しになります。 確かめの連絡の目的は、合っていないお届けを直すことなので、確率の順のまま渡します。

Step6

指示内容を固定する

この構成の中心は生成AIではなく予測のモデルなので、プロンプトの代わりに、学習と確率の整え方の設定を示します。

import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.calibration import CalibratedClassifierCV
from sklearn.frozen import FrozenEstimator

cols = ["skip_90", "skip_diff", "interval_up_90", "qty_down_90",
        "item_change_90", "inq_taste", "inq_qty", "inq_delivery",
        "late_90", "pay_fail_90", "tenure_m", "since_price_m",
        "food_type", "pet_type", "interval"]
for c in ["food_type", "pet_type", "interval"]:
    data[c] = data[c].astype("category")

tr  = data[data.month <= cut - pd.DateOffset(months=4)]          # 学習
va  = data[data.month == cut - pd.DateOffset(months=3)]          # 早期終了の検証
cal = data[data.month == cut - pd.DateOffset(months=2)]          # 確率の整え

base = HistGradientBoostingClassifier(learning_rate=0.05, max_iter=500,
                                      class_weight=None, random_state=0)
base.fit(tr[cols], tr.y, X_val=va[cols], y_val=va.y)

model = CalibratedClassifierCV(FrozenEstimator(base), method="sigmoid")
model.fit(cal[cols], cal.y)
cur["p"] = model.predict_proba(cur[cols])[:, 1]

学習・検証・整えの月を分け、どれも答えの60日が切り日より前に収まるようにしています。 切り日の1か月前の行の答えには、切り日のあとの解約が入ります。月で分けただけでは、学習の答えに予測したい期間が混ざります。

X_val と y_val を渡しているのは、早期終了の検証の行を月で決めるためです。 公式のページでは、early_stopping の既定は 'auto' で、行の数が10,000を超えるか、X_val と y_val を渡したときに有効になるとされています。1万2千人の会員の月ごとの行はすぐに10,000を超えるので、何も渡さないと学習の行の一部を日付と関係なく抜いて検証に使います。

class_weight は既定の None のままにします。 公式のページでは、'balanced' はクラスの数の逆数(n_samples / (n_classes * np.bincount(y)))で重みを付けるとされています。解約の少ない月の確率が実際より高く出るので、確率を担当に見せる構成には合いません。

確率の整えは、学習に使っていない月で行います。 公式のページでは、学習済みのモデルを FrozenEstimator で包むと、渡したデータをすべて確率の整えに使い、学習と整えのデータが重ならないようにするのは使う側の責任とされています。ensemble の既定 'auto' は、FrozenEstimator のときは False になるとされています。

Step7

出力形式を固定する

会員ごとの予測を、次の形で記録します。

{
  "month": "2026-12",
  "member_id": "M-0048213",
  "p": 0.31,
  "rank": 12,
  "tags": ["スキップが増えた", "量を減らした", "食べないの問い合わせ"],
  "inquiry_excerpt": "最近あまり食べず、袋が余っています",
  "excluded": false,
  "agent_decision": null,
  "member_choice": null,
  "churned_60d": null
}

p と tags は機械が埋め、agent_decision と member_choice は担当が埋め、churned_60d は60日後に入ります。 並べて残すので、連絡した会員と、確率は同じくらいで連絡しなかった会員の、その後の解約の割合を比べられます。

担当の画面は、確率の高い順の一覧にします。

列中身
順位・確率案の並び
理由の札規則で付けた3つまで
問い合わせの抜粋直近の本文の最初の数十字
品目・間隔・量今の契約
連絡の可否電話・メールのどちらで連絡できるか
担当の決定連絡する/しない/保留

抜粋は、直近の問い合わせの本文の最初の数十字だけにします。 全文を一覧に載せると、1行が長くなって読み飛ばされます。抜粋で「入院」「引っ越し」のような事情が見えたら、担当は記録の画面を開いて全文を読みます。

Step8

システムへ連携する

つなぎ先方式内容
通販の基盤書き出したファイルを読む契約・変更・解約・連絡の可否
問い合わせの管理の仕組み書き出したファイルを読む種類と本文
配送の会社書き出したファイルを読む予定と実際の届いた日
連絡の順番の案社内のファイルサーバーに書き出す担当が見て決める

通販の基盤には書き込みません。 間隔や量を変えるのは、会員が自分の画面で変えるか、会員の申し出を受けた担当が変えます。連絡の結果は、これまでどおり問い合わせの管理の仕組みに担当が書きます。

外部のAIのサービスには、会員の情報を送りません。 予測は社内のパソコンかサーバーの Python で動かします。

Step9

人が確認する

  1. 札と抜粋を読んでから連絡する … 入院・転居・死亡など、記録の数字に出ない事情が書かれていないかを見ます
  2. 何を確かめるかを決める … 札をもとに、間隔・量・品目のどれを話題にするかを決めます
  3. 会員の選んだことを記録する … 間隔の変更・量の変更・休み・解約・そのまま、のどれかを残します
  4. 解約を望む会員には手続きを案内する … 引き留めの話を重ねません
  5. 当たり方の表を月に1回見る … 上位の会員のうち、実際に解約した割合を見ます

1番の画面は、1人を数十秒で判断できる形にします。 札と抜粋と今の契約を1行に並べ、記録の画面を開くのは、抜粋だけでは判断できない会員に限ります。 全員の記録を開く形にすると、第10章の1.5分には収まりません。

4番は、この構成の約束です。 特定商取引法第13条の2は、通信販売の契約の解除を妨げるため、解除に関する事項などについて不実のことを告げることを禁じています。 連絡は事情を確かめるためのもので、解約の手続きを遅らせたり、解約できないかのように話したりしません。

Step10

例外に対処する

起きること対応
案を作ったあとに解約の申し出が来たその日のうちに案から外し、担当の画面で「連絡しない」と出す
ペットの死亡の連絡があった除く会員に入れ、以後の案に載せない
解約の理由の「その他」が多い答えから外す。理由の選び方の画面を見直す
新しい品目・新しい間隔学び直すまで、その品目の会員は札だけで並べる
問い合わせの書き出しが届かない問い合わせの列を欠けた値にし、案に「問い合わせ未反映」と出す
確率の高い会員が急に増える価格の改定や配送の遅れなど、全体に効く出来事を先に確かめる
連絡を断っている会員案から外す。手紙・同梱物などで確かめる方法を別に考える
当たり方が落ちる学び直す前に、解約の理由の付け方と品目の変化を確かめる

上から2行は、毎日動かす判定で受けます。 月1回の案の作り直しを待つと、解約の申し出をした会員や、ペットを亡くした会員に、その月のうちに連絡してしまいます。

Step11

記録を残す

  • 読み込んだ書き出しのファイルと、読み込んだ日時
  • 学習の月の範囲、答えから外した行の数、モデルと確率の整え方の版
  • 会員ごとの確率、理由の札、除いた理由
  • 担当の決定、会員の選んだこと、連絡の日時
  • 60日後の解約の有無と理由

連絡しなかった会員の行も残します。 連絡した会員だけを見ると、連絡の効き目が分かりません。確率が同じくらいの会員で、連絡した・しなかったの解約の割合を比べます。

除いた会員の理由も、件数として残します。 死亡の連絡、連絡の拒否、申し出済みのそれぞれが月に何人いたかを見ると、案に載らなかった会員の規模が分かります。 理由の中身そのものは、通販の基盤の側の記録に置き、この仕組みの記録には印の種類だけを持たせます。

04実装レベルの3段階

最小構成:解約した会員としなかった会員の記録を比べる / 解約の前の変化の確かめ
半自動化:上記+会員ごとの直近90日の数と理由の札を一覧にし、担当の条件で並べる / 記録を数える作業
本格構成:上記+予測のモデルと確率の整え、連絡の順番の案、当たり方の表、毎日の除く会員の判定 / 予測から連絡の案まで

本記事の想定は本格構成です。 1件4分が1.5分になるのは、表を並べる作業と記録を数える作業がなくなり、担当の時間が札と抜粋を読むことに絞られるからです。 半自動化だけでも、②の時間は大きく減ります。 理由の札は規則で作るので、モデルが無くても一覧にできます。半自動化で2〜3か月、担当が札を使って連絡し、会員の選んだことを記録してから、モデルを足します。 その記録が、連絡の効き目を測る土台になります。

05工数削減シミュレーション

前提値(モデル条件)
対象人数
4 名
月間件数
600 件
1件あたり現在時間
4 分
1件あたり導入後時間
1.5 分
現在  600件 × 4分 ÷ 60 = 40 時間/月
導入後 600件 × 1.5分 ÷ 60 = 15 時間/月
月間削減時間
25h
削減率
63%
年間削減時間
300h
年間金額換算(時間単価2,800円)
84万円
モデル条件による試算であり、実際の効果は業務内容・運用方法によって異なります。

自社条件で導入効果を整理したい方へ

このユースケースを自社に当てはめた場合の前提値と削減見込みを、業務ヒアリングをもとに整理します。

AI活用について相談する

06向いている企業・向いていない企業

向いている
  1. 犬・猫のフードを定期便で届けている通販の会社で、会員が数千から数万いて、お届けの間隔の変更・スキップ・量の変更・問い合わせの記録が1年分以上残っている場合。カスタマーサポートの担当が、解約の申し出が来てから事情を知ることが多く、その前に「量や間隔が合っていないのでは」と確かめる連絡をしたいが、誰から連絡するかを担当の勘で選んでいる場合。
向いていない
  1. 会員が数百で、担当が全員の様子を把握できている場合。定期便の変更や問い合わせの記録が会員ごとに残っておらず、注文の履歴しか無い場合。解約の申し出を受けたあとに引き留めるための仕組みとして使いたい場合。なお、連絡するかどうか、何を伝えるかを決めるのは担当で、この構成は解約の手続きを遅らせたり難しくしたりするものではありません。療法食の切り替えなど、ペットの健康に関わる助言はこの構成の対象の外です。

07最小構成で試す方法

  1. 過去1年分の解約した会員から、理由の分かる200人を選ぶ
  2. その200人の、解約の前の90日の変更と問い合わせを表にする
  3. 同じ月に解約しなかった会員から、200人を選んで同じ表を作る
  4. スキップ・間隔の延長・量の減少・嗜好の問い合わせが、2つの群でどれくらい違うかを数える
  5. 担当が今使っている条件で選んだ場合に、解約した200人のうち何人が入っていたかを数える
出てきた内容判断
解約の前に、変更や問い合わせがはっきり増えている予測のモデルに進む
解約の理由がほとんど「その他」で、分けられない理由の選び方の画面を直すのが先
解約の前に何も変化が無い会員が大半変更の記録では見込めない。連絡の時期を契約の節目に置く方法を考える

5番が、この段階の本題です。 モデルを作る前に、担当の条件がどれくらい当たっていたかを数えておきます。 モデルを入れたあとも、この条件より当たらなければ意味がありません。

4番では、解約の理由ごとにも分けて数えてください。 「余っている」で解約した会員はスキップと間隔の延長が先に増え、「食べない」で解約した会員は品目の変更と嗜好の問い合わせが先に増える、といった違いが見えれば、理由の札の規則をそのまま決められます。 理由ごとの違いが見えないなら、札の種類を減らして始めます。

08実装時につまずきやすいポイント

問題対策
高齢のペットの会員ばかりが上位に並ぶペットの死亡の解約を答えから外す。年齢そのものを列に入れない
問い合わせの本文から死亡の解約が戻る本文は予測に使わず、担当が読む抜粋にとどめる
学習の答えに予測の期間が混ざる答えの60日が切り日より前に収まる月だけで学ぶ
検証の当たり方が良すぎる早期終了の検証を X_val・y_val で月で固定して渡す
確率が実際より高く出るclass_weight は既定の None。別の月で確率を整える
確率の整えで過学習する校正の行が少ないので isotonic ではなく既定の sigmoid
整えのデータが学習と重なるFrozenEstimator は渡したデータを全部使う。月を分ける
解約の申し出の済んだ会員に連絡する除く会員の判定を毎日動かす
札が会員に説明できない札はモデルからではなく、記録の数字の規則で作る
連絡が引き留めの話になる解約を望む会員には手続きを案内する。担当の手順に書く
「その他」の理由が多い答えから外し、理由の選び方を見直す

上の2行が、この構成でいちばん避けたい失敗です。 どちらも当たり方の数字は良く見えますが、連絡を受けた会員にとっては、いちばんつらい時期に届く連絡になります。

真ん中の5行は、数字の上の失敗です。 答えの期間の重なり、早期終了の検証の抜き方、確率の整え方のどれかを誤ると、検証では当たっているのに、運用では上位の会員が解約しないという形で現れます。運用に入ってから気づくと、担当は案を信じなくなります。学び直しのたびに、3か月前の案の上位の会員が実際にどれくらい解約したかを先に見ます。

09セキュリティ・AIガバナンス上の注意点

この構成で扱うデータ: 会員の番号、定期便の契約と変更、解約の理由、問い合わせの本文、配達の記録、ペットの種類と生まれた年。会員の氏名・住所・電話番号は予測に使いませんが、連絡の段階で担当が見ます。

  1. 会員の情報を外部へ送らない … 予測は社内の Python で動かします。問い合わせの本文には、家族やペットの病気のことが書かれていることがあります
  2. 解約の手続きを妨げない … 特定商取引法第13条の2は、通信販売の契約の解除を妨げるための不実の告知を禁じています。解約の申し出を受けた会員は案から外し、手続きはこれまでどおり進めます
  3. 連絡を断っている会員に連絡しない … 連絡の可否の印を案の前に見ます
  4. ペットの健康の助言をしない … 食べない・量が減った理由が病気のこともあります。療法食や体調のことは、かかりつけの獣医師に相談するよう伝えます
  5. 確率で会員の扱いを変えない … 確率の高い会員にだけ割引をする、といった使い方は、この構成の目的の外です。目的は、間隔と量が合っているかを確かめることです
  6. 当たり方の記録を担当の評価に使わない … 連絡した会員が解約したかどうかは、担当の話し方だけで決まりません

ペットを亡くした会員の扱いは、仕組みで守ります。 担当の注意だけに頼ると、忙しい月に読み落とします。死亡の連絡を受けた会員には、案にも、案内のメールにも載らない印を付け、その印を予測の前と毎日の判定の両方で見ます。

誤りが起きた場合のリスクは、連絡すべきでない会員に連絡することと、解約を妨げるような連絡になることの2つです。 前者は除く会員の判定と担当の確認で、後者は担当の手順と、解約の申し出を受けた会員を案から外すことで防ぎます。

10まず何から始めるか

1週目:解約の理由を数える

過去2年分の解約の理由が、どれくらい埋まっているかを数えます。「その他」と「未選択」の割合が高ければ、解約の画面の理由の選び方を先に直します。

2週目:解約の前の変化を比べる

第8章のとおり、解約した会員としなかった会員の直近90日を比べます。担当の今の条件で、解約した会員のうち何人を選べていたかも数えます。

3週目:理由の札と除く会員の判定を作る

規則で理由の札を付け、除く会員の判定を毎日動かす処理を作ります。この時点では予測のモデルを作りません。

4週目:札で並べた一覧で連絡を始める

担当の条件の代わりに札の数で並べた一覧を渡し、連絡の結果と会員の選んだことを記録し始めます。

2か月目: 予測のモデルと確率の整えを足し、札の一覧と並べて当たり方を比べます。3か月目以降: 確率の順の案に切り替え、3か月に1回の学び直しを始めます。連絡した会員としなかった会員の解約の割合の差が見え、担当が札と抜粋だけで判断できるようになった時点で、この構成は完成です。


11関連ユースケース

12この仕組みを理解するための記事

13技術仕様の確認日・参考情報

技術仕様確認日:2026-11-18/最終更新:2026-11-18
確認した内容情報源確認日
損失の既定が log_loss で predict_proba がクラスごとの確率を返すこと。class_weight の既定が None で、'balanced' が n_samples / (n_classes * np.bincount(y)) で重みを付けること。early_stopping の既定 'auto' が10,000行を超えるか X_val・y_val を渡したときに有効になること。categorical_features の既定が 'from_dtype'(1.6 で変更)で Categorical・Enum の列がカテゴリになること(1.9.1)scikit-learn: HistGradientBoostingClassifier2026-11-18
method の既定が 'sigmoid' で、'isotonic' は校正の行が少ない(≪1000)と過学習しやすく勧めないこと、'temperature' が 1.8 で加わったこと。学習済みのモデルを FrozenEstimator で包むと渡したデータをすべて整えに使い、学習と整えのデータを分けるのは使う側の責任であること。ensemble の既定 'auto' が FrozenEstimator のとき False になることscikit-learn: CalibratedClassifierCV2026-11-18
第13条の2:販売業者は、通信販売の契約の申込みの撤回又は解除を妨げるため、解除に関する事項等について不実のことを告げる行為をしてはならないこと(2026-08-12 施行の版)e-Gov 法令API: 特定商取引に関する法律2026-11-18

連絡するかどうか、何を伝えるかを決めるのは、カスタマーサポートの担当です。 本記事は上の公式のページで確認できた範囲だけを扱っています。

実装ステータス:構成例。 公開仕様に基づいて設計した構成であり、当社で実際に構築・検証したものではありません。工数の数値はモデル条件による試算です。

自社の業務に使えるAI活用候補を整理します

このユースケース(UC-3964)についてのご相談はこちらから。

AI活用について相談する
目次