CSポートフォリオ分析で直す順を決める|満足度調査をAIで読む

CSポートフォリオ分析で直す順を決める|満足度調査をAIで読む

「満足度調査の結果は出たが、どの項目から直せばよいのか決められない」「満足度の低い順に並べたら、直しても総合の評価が上がらなかった」。顧客満足度調査の報告を任された担当者から、こうした声をよく聞きます。調査会社の解説によると、CSポートフォリオ分析は、項目ごとの満足度と、その項目が総合満足度とどれだけ連動しているかを2つの軸に置き、改善の優先順位を決める手法です。直す順は、満足度の低い順で決まるわけではありません。本当は、低さと総合満足度への効き方の組み合わせで決まります。この記事では、満足度と重要度の出し方から、2軸への置き方、直す順の決め方までを手順で整理します。


カメ先生カメ先生

満足度調査の結果は、低い項目から直したくなるものなんだ。でも、低くても総合の評価とあまり連動していない項目もあるんだよ。


カメ子カメ子

連動しているかどうかは、どうやって確かめるのですか。


カメ先生カメ先生

項目ごとの満足度と総合満足度の相関を計算するんだ。その値を重要度として、満足度と一緒に2つの軸に置く。計算はAIに任せられるけれど、どこから直すかは人が決めるところだね。


カメ子カメ子

計算を任せても、答えをそのまま信じてよいわけではない、ということですね。


この記事のポイント
  • 項目ごとの満足度と、総合満足度との相関(重要度)を2軸に置き、平均値の線で4つの象限に分けて直す順を決める
  • 満足度は上位1つか上位2つの割合で出す。軸の向き・区切りの線・項目のそろえ方は、社内で決めて毎回同じにする
  • 相関の計算と散布図の下書きはAIに任せ、式を書かせて人が検算する。どの項目から手を付けるかはAIに判断させない

データ分析にAIを活かす第一歩、まずは導入から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

ここでの「CS」は顧客満足の意味

最初に言葉をそろえておきます。この記事の「CS」は、顧客満足(カスタマーサティスファクション)の意味です。顧客が製品やサービスを使いこなせるよう支える活動、いわゆるカスタマーサクセスの体制づくりは扱いません。同じ2文字の略語なので、社内の資料でも混ざりやすい点に注意してください。

CSポートフォリオ分析は、顧客満足度調査の結果を読むための手法の1つです。調査会社のマクロミルやクエストリサーチ、アンケートの道具を提供するナインアウトなどが解説を公開しており、総合満足度と項目ごとの満足度の関係から、優先して手を付ける項目を見つけるという考え方で共通しています。

この記事が対象にするのは、「担当者の対応」「納期」「価格」のような選択式の項目の評価です。自由記述の回答を分類したり要約したりする方法、推奨度の指標の算出や推奨者の分け方は、推奨度と顧客満足度の分析を扱った別の記事に譲ります。設問の作り方そのものも、アンケートの設問設計を扱った別の記事に任せます。

前提として、手元の調査に総合満足度の設問と、項目ごとの満足度の設問の両方が入っている必要があります。どちらかが欠けていると、この手法は使えません。次の節から、手法で分かることと分からないことを確かめたうえで、手順に入ります。

この分析で分かること・分からないこと

CSポートフォリオ分析で分かるのは、項目ごとの「今の満足度」と「総合満足度との連動の強さ」の組み合わせです。連動が強いのに満足度が低い項目は、直したときに総合の評価が動きやすい候補になります。逆に、連動が弱い項目は、満足度が低くても総合の評価への効き目は小さいと読めます。

一方で、分からないこともはっきりしています。ナインアウトの解説は、相関関係と因果関係は別であり、相関係数だけでは判断できないと注意しています。相関が強い項目を直せば、必ず総合満足度が上がるとは言えないのです。たまたま同じ人が全部の項目に高い点を付けているだけ、ということもあります。

もう1つ分からないのは、直すのにかかる費用や手間です。象限は優先の候補を示すだけで、その項目を直せるかどうか、直すのにどれだけかかるかは教えてくれません。価格の満足度が低くても、すぐに値下げできるわけではありません。直す順を決める最後の段では、費用と実現の見込みを人が重ねて考えます。

相関と因果の取り違えは、マーケの相関分析の落とし穴を扱った別の記事で詳しく扱っています。この記事では、象限は「調べる順」を決める道具で、「直せば上がる」証明ではないと位置づけて進めます。この位置づけを報告の冒頭に書いておくと、受け手の期待がずれません。

手順の全体像:出す・置く・決めるの3段

手順は大きく3段に分かれます。1段目は、項目ごとの満足度と重要度を数字で出すことです。2段目は、その2つを縦横の軸に置いて散布図にし、平均値の線で4つの象限に分けることです。3段目は、象限を見ながら直す順を決めることです。

STEP1
満足度と重要度を出す

項目ごとに、満足と答えた人の割合を出す。重要度は、項目ごとの満足度と総合満足度の相関係数で出す。

STEP2
2軸に置いて4つに分ける

満足度と重要度を縦横の軸に置いた散布図を作り、それぞれの平均値で縦と横の線を引いて4つの象限に分ける。

STEP3
直す順を決める

重要度が高く満足度が低い象限を先に見て、回答数・費用・実現の見込みを重ねて、手を付ける順を人が決める。

クエストリサーチの解説は、この流れを、調査の実施、満足度の算出、重要度の算出、散布図の作成という順で説明しています。ナインアウトの解説も、相関係数の算出、散布図の作成、平均値の線による4つの象限という同じ順です。手順そのものは単純で、差が出るのは各段での決めごとです。

AIに任せやすいのは1段目と2段目の計算と図の下書きで、3段目の判断は人が持ちます。以下では段ごとに、どこで決めごとが要るか、どこをAIに任せ、どこを人が確かめるかを見ていきます。

着手の前に、決めごとを1枚の紙にまとめておくと、あとの段で迷いません。満足の割合の出し方、欠けた値の扱い、回答数の下限、軸の向き、区切りの線の引き方の5つです。どれも結果を見てから決めると、都合のよい読み方に寄っていきます。決めごとを先に書くことが、この手法の信頼を支えると考えてください。

手順1:調査票と回答の形を確かめる

計算を始める前に、手元のデータの形を確かめます。必要なのは、回答者1人につき1行、総合満足度と項目ごとの満足度が列に並んだ表です。集計済みの割合の表しかない場合、相関は計算できないので、回答ごとの元のデータを取り寄せます。

次に、評価の段階がそろっているかを見ます。総合満足度は5段階、項目は4段階というように段階が違うと、満足の割合の出し方がそろいません。また、「利用していない」「分からない」の選択肢がある項目は、その回答をどう扱うかを先に決めます。除くのか、欠けた値として扱うのかで、項目ごとの回答数が変わるからです。

マクロミルの手引きは、ベース(集計の対象になる人数)が項目によって違うと、満足度も相関も低く出る傾向があると注意しています。たとえば一部の利用者しか答えていない項目は、全員が答えた項目と同じ土俵で比べにくくなります。項目ごとの回答数を、最初に一覧にしておきます。

この段は、AIに確かめさせるのに向いています。表のファイルを渡し、列ごとの回答数、欠けた値の数、選択肢の種類を一覧にさせると、見落としが減ります。ただし、個人を特定できる列は渡す前に外してください。自由記述の列も、この分析では使わないので外しておきます。

手順2:項目の満足度を、上位1つか上位2つの割合で出す

項目ごとの満足度は、満足と答えた人の割合で出すのが一般的です。クエストリサーチの解説は、「満足」と「やや満足」を合わせた人数を、回答者全体の人数で割る方法を示しています。5段階の評価なら、上の2つの選択肢を足した割合、ということです。

マクロミルの手引きは、分析に使う満足を上位1つにするか上位2つにするかは、スコアによって使い分けると説明しています。項目どうしで上位2つの割合がほとんど同じ場合は、上位2つで分析すると差が出にくいので、上位1つが適しているとのことです。どちらを使うかは、結果を見てから変えず、先に決めて記録するのが大切です。

満足度を割合ではなく平均点で出す方法もあります。平均点は細かな差を拾えますが、「どちらでもない」に回答が集まる項目では、割合とは違う並びになることがあります。どちらの出し方を使ったかは、報告の表の注に必ず書きます。受け手が別の資料の数字と比べたとき、出し方の違いで食い違って見えるのを防げます。

割合の計算はAIに任せられますが、計算の式を書かせてから結果を受け取ります。たとえば「項目Aの上位2つの割合は、5と4を選んだ人数を、この項目に答えた人数で割って出した」という説明を1行ずつ付けさせます。分母が回答者全体か、この項目に答えた人かを式で確かめると、手順1で決めた欠けた値の扱いとずれていないかが分かります。

手順3:重要度を、総合満足度との相関で出す

重要度は、項目ごとの満足度の評価と、総合満足度の評価の相関係数で出します。クエストリサーチとナインアウトの解説はどちらも、表計算ソフトの相関の関数や分析の機能で相関係数を計算する手順を紹介しています。回答者ごとの点数どうしの連動の強さを、項目ごとに1つの値にするわけです。

ここで言う重要度は、顧客に「どれくらい重要ですか」と直接聞いた答えではありません。総合の評価と一緒に動く度合いから、間接的に推し量った重要度です。マクロミルの手引きでは、同じ軸を「総合満足度への影響度」と呼んでいます。報告では「重要度」の言葉の意味を1行で断っておくと、受け手の誤解を防げます。

相関の計算には、注意点がいくつかあります。回答数が少ない項目は、相関係数が偶然で大きく揺れます。また、ほとんどの人が同じ点を付けた項目は、ばらつきが小さいため相関が低く出やすくなります。調査会社の解説の中には、見せかけの相関を減らすために、ほかの要因の影響を除いた相関(偏相関)を使う方法を紹介しているものもあります。

相関ではなく回帰分析の係数で重要度を出す方法もありますが、項目どうしが似ていると係数が不安定になるなど、読み方に別の注意が要ります。回帰分析の読み方は、回帰分析で施策の効き方を測る別の記事に譲ります。この記事では、計算が単純で、受け手にも説明しやすい相関で出す手順を主にします。

手順4:2軸に置く向きを、社内でそろえる

満足度と重要度が出たら、2つを縦横の軸に置いて散布図にします。ここで意外に揺れるのが、どちらの値をどちらの軸に置くかです。資料によって向きが違い、マクロミルの手引きは横軸を総合満足度への影響度にしています。クエストリサーチの解説も、横軸を重要度、縦軸を満足度にしています。

一方で、縦軸に総合の評価との相関、横軸に満足度を置く説明もあり、同じ象限が図の上で違う位置に来ます。「右下の項目から直す」という言い方は、軸の向きが違えば意味が逆になります。軸の向きは社内で1つに決め、毎回の報告で同じにすることが、この段で一番大切な決めごとです。

軸の向きを決めたら、図の四隅に象限の意味を書き込みます。「重要度が高く、満足度が低い」のように意味で書いておけば、向きを知らない人が見ても読み違えません。象限の呼び名は資料ごとに少しずつ違うので、呼び名だけを書くより、意味を添えるほうが安全です。

散布図の下書きはAIに任せやすい作業です。表のファイルを読み込んで図を作れるAIに、軸の向きと点に付ける項目名を指定して描かせます。描かれた図の点の位置を、手順2と手順3の数字と1つずつ突き合わせるのは人の仕事です。点の名前が入れ替わっていても、図だけ見ていては気づけません。

手順5:区切りの線は平均値で引き、項目を変えない

散布図に縦と横の線を引いて、4つの象限に分けます。マクロミルの手引きも、クエストリサーチとナインアウトの解説も、区切りの基準を項目ごとの値の平均値にしています。満足度の平均値で1本、重要度の平均値で1本の線を引くわけです。

平均値で区切るということは、象限が「ほかの項目と比べて高いか低いか」を表しているということです。マクロミルの手引きは、影響度は相対比較による結果なので、項目が増減すると各項目の値が変わると注意しています。項目を1つ足したり外したりするだけで、ほかの項目の象限が変わることがあるのです。

このため、毎年の調査で結果を比べるときは、項目を変えないことが原則になります。マクロミルの手引きも、経年で比べる際は項目を変えないようにと書いています。どうしても項目を変える場合は、変えた年を境に比べられないと報告に明記し、変える前の項目だけで出した図も並べておきます。

平均値の線の近くにある項目は、どちらの象限に入るかが偶然に左右されやすい点にも注意します。線をわずかにまたいだだけで「重点的に直す項目」になったり外れたりするからです。線の近くの項目は、どちらの象限に入ったかより、線からの距離で読むように、報告の中で注記しておきます。

4つの象限ごとの打ち手

4つの象限には、それぞれ打ち手の方向があります。ナインアウトの解説は、満足度も重要度も高い象限を今の強みとして重点的に維持する、重要度が高く満足度が低い象限を重点的に改善する、満足度が高く重要度が低い象限を現状維持に努める、どちらも低い象限を優先度は下がるが改善に努める、と整理しています。

象限読み方打ち手の方向人が確かめること
重要度が高く満足度が低い総合の評価と連動しているのに不満が多い最初に原因を調べて直す候補にする回答数が十分か。直す費用と見込みはどうか
重要度も満足度も高い今の強みになっている落とさないように維持し、打ち出しに使う満足が高いのは一部の利用者だけではないか
重要度が低く満足度が高い満足しているが総合の評価への効き目は小さい今の水準を保つ。過剰な手間を見直す余地もある削ったときに不満に変わらないか
重要度も満足度も低い不満はあるが総合の評価への効き目は小さい後回しにしつつ、低すぎる項目は見張る特定の顧客層で重要になっていないか

表の右の列が、AIに任せない部分です。象限の振り分けは機械的にできますが、その項目に手を付けるかどうかは、表の外の事情で決まるからです。たとえば重要度が高く満足度が低い項目でも、原因が他社の値下げなら、すぐに打てる手は限られます。

打ち出しに使う強みの象限は、見落とされがちな使い道です。満足度も重要度も高い項目は、営業資料や提案で自社の強みとして示せる材料になります。直す順を決める分析は、同時に守る順を決める分析でもあると考えると、報告の受け手が営業や経営にも広がります。

重要度が低く満足度が高い象限にも、見直しの手がかりがあります。総合の評価への効き目が小さいのに手厚く対応している項目は、手間をかけすぎている可能性があります。ただし、削る前には、その項目を強く気にしている顧客層がいないかをクロス集計で確かめます。全体では効き目が小さくても、大口の顧客にとっては外せない項目ということもあるからです。

手順6:直す順を、象限の外の事情と重ねて決める

象限が決まったら、直す順を決めます。最初に見るのは、重要度が高く満足度が低い象限です。ただし、この象限に入った項目を全部同時に直すのは現実的ではありません。多くの場合、2つか3つに絞ってから、原因の調査に進みます。

絞るときに重ねる事情は、主に3つです。1つ目は、直すのにかかる費用と期間です。2つ目は、直す権限がどの部署にあるかです。3つ目は、項目の回答数と、平均値の線からの距離です。線の近くにあり、回答数も少ない項目は、次の調査で確かめてから動くという判断も十分にあり得ます。

原因の調査では、象限の図だけでは足りません。その項目に低い点を付けた人がどんな顧客なのか、ほかの項目の点はどうかを、クロス集計で見ていきます。ここで自由記述の声を読むこともありますが、自由記述の分析の方法は別の記事の担当です。この記事の範囲では、選択式の点数の組み合わせから候補を絞るところまでを扱います。

直す順は、決めた理由と一緒に文書に残します。「重要度が高く満足度が低い象限のうち、回答数が十分で、自部署で直せる2項目を先にした」のように書いておけば、次の調査で結果が動いたとき、判断がよかったのかを振り返れます。理由のない順位表は、1年後には誰も説明できなくなります。

回答数が少ない項目の扱いは、人が決める

CSポートフォリオ分析で判断に迷いやすいのが、回答数が少ない項目です。一部の利用者しか使わない機能や、特定の顧客層だけが接する窓口の項目は、回答数が全体より大幅に少なくなります。こうした項目は、相関係数も満足度の割合も、少数の回答で大きく動きます。

扱い方には、いくつかの選択肢があります。散布図には載せるが印を変えて注記する、一定の回答数に届かない項目は図から外して別の表で示す、該当する顧客層だけで別の図を作る、といった方法です。どれを選ぶかは、その項目が事業にとってどれだけ大事かで変わるので、AIに決めさせる判断ではありません。

たとえば、少数の大口の顧客だけが使う窓口の満足度は、回答数が少なくても事業への影響は大きいかもしれません。逆に、試しに使っただけの機能の満足度は、回答数が少ないうえに重要度も読みにくいでしょう。数の少なさを理由に機械的に外すと、こうした違いが消えてしまいます。

どの回答数を下限にするかも、先に決めておきます。結果を見てから下限を決めると、都合のよい項目だけを残す誘惑が生まれます。下限の人数と、それを下回った項目の扱いを、分析を始める前に文書にすることで、結果の読み方が担当者の好みに左右されにくくなります。

AIに任せる計算と、人が検算する所

ここまでの手順のうち、AIに任せやすいのは、回答データの形の点検、満足の割合の計算、相関係数の計算、散布図の下書き、平均値の線による象限の振り分けです。表のファイルを読み込んで計算できるAIなら、これらを短い時間で下書きしてくれます。

任せるときの原則は、結果だけでなく、計算の式と手順を必ず書かせることです。どの列を使ったか、欠けた値をどう扱ったか、分母は何か、相関係数はどの種類かを、1項目ずつ説明させます。式が書かれていれば、人が表計算ソフトで同じ計算をして、結果が合うかを確かめられます。

  • 検算は全項目でなくてよい。重要度が高く満足度が低い象限の項目と、平均値の線の近くの項目は必ず確かめる
  • AIが列の名前を取り違えることがある。点の名前と数値の組み合わせを、元の表と照らし合わせる
  • 個人を特定できる列と自由記述の列は、AIに渡す前に外しておく

検算で食い違いが見つかったら、AIに原因を説明させ、人が式を直してから計算し直させます。AIが自分で直したと言っても、直した後の式をもう一度人が読むまでは結果を使いません。とくに分母の取り方は、AIが黙って回答者全体に切り替えてしまうことがあるので、毎回確かめます。

検算の手間を減らすには、AIへの頼み方を毎回同じ型にしておくのが効きます。使う列の名前、満足の割合の出し方、欠けた値の扱い、軸の向きを書いた決めごとの文書を先に渡し、「この条件で計算し、式と途中の数字を項目ごとに表で出して」と頼みます。同じ型で頼めば、検算の見るべき所も毎回同じになり、担当者が替わっても引き継げます。

AIに判断させない所

計算を任せる一方で、判断はAIに渡しません。AIに散布図を見せて「どの項目から直すべきか」と聞くと、それらしい順位と理由が返ってきます。しかしその理由は、図の中の数字の並びから作られたもので、直す費用や部署の事情、顧客との約束は入っていません。

判断させない所を、はっきり書き出しておきます。どの象限の項目から手を付けるか。回答数が少ない項目を図に残すか外すか。平均値の線の近くの項目をどちらに数えるか。強みの項目を社外への打ち出しに使うか。これらは、結果に責任を持つ人が決める項目です。

AIに意見を求めること自体は役に立ちます。たとえば「この図で読み違えやすい点を3つ挙げて」と頼めば、線の近くの項目や回答数の少ない項目を指摘してくれるでしょう。判断の材料を増やす使い方と、判断そのものを任せる使い方を分けておけば、AIは頼れる相棒になります。

報告の資料にも、この分担を書きます。「計算と図の下書きはAIで作り、担当者が検算した。直す順は、何々の事情を踏まえて何々部が決めた」のように書いておけば、受け手はどこまでが機械の結果で、どこからが人の判断かを区別できます。

毎年比べるときの決まりごと

CSポートフォリオ分析は、1回で終わらせず、毎年の調査で比べるときに力を発揮します。直した項目の満足度が上がったか、象限が移ったかを追えるからです。ただし比べるためには、前の年と同じ条件で出していることが前提になります。

そろえておく条件は、項目の顔ぶれ、評価の段階、満足の割合の出し方(上位1つか上位2つか)、欠けた値の扱い、軸の向き、区切りの線の引き方です。マクロミルの手引きが注意しているとおり、影響度は相対比較なので、項目を変えると前の年と比べられなくなる点がとくに大事です。

こうした条件は、毎年の担当者が変わっても引き継げるよう、1枚の決めごとの文書にしておきます。AIに計算を任せるときも、この文書を一緒に渡して「この条件で計算して」と頼めば、年ごとの出し方がずれにくくなります。文書と計算の式をあわせて保存しておけば、翌年の検算も速くなります。

比べた結果、直した項目の満足度が上がっていても、それが直した効果だとは限りません。同じ時期に別の変化があったかもしれないからです。前の年との差は、効果の証明ではなく、次に調べる手がかりとして報告すると位置づけておくと、過大な期待を生まずに済みます。

やりがちな読み違い

最後に、CSポートフォリオ分析でやってしまいがちな読み違いをまとめます。どれも、手順の途中の決めごとを飛ばしたときに起こるものです。報告を出す前の点検に使ってください。自分で作った図ほど読み違いに気づきにくいので、分析に関わっていない同僚に一度読んでもらい、象限の意味を口で説明してもらうと、資料に書き忘れた前提や説明の抜けが、その場で見つかります。

  • 軸の向きを確かめず、別の資料の「右下から直す」をそのまま当てはめて逆の象限を直す
  • 重要度を顧客に直接聞いた重要さだと説明し、受け手に「顧客が大事だと言った項目」と受け取らせる
  • 項目を入れ替えた年の象限を前の年と並べ、「象限が移った」と報告する
  • 回答数が少ない項目を、注記なしで重点的に直す項目として報告する
  • AIが出した順位をそのまま直す順にし、直す費用や部署の事情を確かめない
  • 相関が強い項目を直せば総合満足度が必ず上がると説明し、翌年の結果で信頼を失う

このうち最も影響が大きいのは、相関を因果と取り違えることです。象限は調べる順を示すだけで、直せば上がることの証明ではありません。報告の最初の1行にこの断りを書き、図の下に満足の出し方・軸の向き・区切りの線・回答数の下限を添えておけば、多くの読み違いは防げます。

もう1つ気をつけたいのは、報告の受け手が図だけを切り取って使うことです。象限の図は見た目が分かりやすいぶん、注記を外して会議の資料に貼られがちです。図の中に、満足の出し方と調査の時期、回答数を小さく書き込んでおけば、切り取られても最低限の前提が一緒に届きます。

まとめ

CSポートフォリオ分析は、項目ごとの満足度と、総合満足度との相関で出した重要度を2つの軸に置き、平均値の線で4つの象限に分けて直す順を決める手法です。満足の割合の出し方、軸の向き、区切りの線、項目の顔ぶれ、回答数の下限は、分析を始める前に決めて毎回同じにします。相関の計算と散布図の下書きはAIに任せ、式を書かせて人が検算する。どの項目から手を付けるか、回答数が少ない項目をどう扱うかはAIに判断させず、費用や部署の事情を重ねて人が決める。この分担を守れば、満足度調査の結果を、次に直す順と守る順の両方に生かせます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

データ分析にAIを活かす第一歩、まずは導入から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次