Absicherung des Net Promoter Score – die Ermittlung von

Сomentários

Transcrição

Absicherung des Net Promoter Score – die Ermittlung von
Absicherung des Net Promoter
Score – die Ermittlung von
Konfidenzintervallen mit dem
Bootstrap Verfahren
Prof. Dr. Oliver Schwarz
Studiendekan Management und Vertrieb: Industrie
Hochschule Heilbronn, Campus Schwäbisch Hall
Ziegeleiweg 4
D-74523 Schwäbisch Hall
[email protected]
Zur Person
Diplom-Volkswirt, Dr. rer. pol.
Institut für Allgemeine Wirtschaftsforschung, Abteilung für Statistik und
Ökonometrie an der Albert-Ludwigs-Universität Freiburg.
Diverse Stationen in der Pharmaindustrie in den Bereichen Database
Marketing und Data Mining
Duale Hochschule Baden-Württemberg, Mannheim (2003-2006)
Professur für Database Marketing und Data Mining
Hochschule Heilbronn, Campus Schwäbisch Hall (seit 2006)
Professur für quantitative Methoden und VWL
Vorlesungsschwerpunkte: Marktforschung, Statistik, Mathematik und VWL
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 2
Absicherung des Net Promoter Score – die Ermittlung
von Konfidenzintervallen mit dem Bootstrap Verfahren
1. Net Promoter Score – Einführung
2. NPS - Erfolgskennzahl und Wachstumsmotor?
3. Von der Punktschätzung zur Intervallschätzung
4. Anwendungen des NPS
5. Diskussion
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 3
1. Net Promoter Score – Einführung
„Die ultimative Frage“ Reichheld (2006)
„Wie wahrscheinlich ist es, dass sie dieses Unternehmen
einem Freund oder Kollegen weiterempfehlen?“
0
1
2
3
5
6
7
8
neutral
sehr
unwahrscheinlich
Kritiker
Prof. Dr. Oliver Schwarz
4
9
10
sehr
wahrscheinlich
Passive
25.02.2013
Promoter
Seite 4
1. Net Promoter Score – Einführung
Charakteristika der Kundengruppen
Promoter (Skalenwerte 9 + 10):
enthusiastische Weiterempfehler
Begeistert vom Unternehmen und den Produkten
Passive (Skalenwerte 7 + 8):
zufrieden aber nicht enthusiastisch genug für
Weiterempfehlungen
offen gegenüber Konkurrenzangeboten
Kritiker (Skalenwerte 0 bis 6):
unzufrieden
propagieren negative Einstellung
möglicherweise rufschädigend
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 5
1. Net Promoter Score – Einführung
Berechnung des Net Promoter Score (NPS)
 nP nK 
 ⋅100
NPS =  −
n 
 n
mit:
n
Anzahl der befragten Personen, davon:
nP
Anzahl der Promotoren,
nK
Anzahl der Kritiker.
Wertebereich:
− 100 ≤ NPS ≤ +100
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 6
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Pro und Contra für den NPS als Erfolgskennzahl
Vorteil:
Prozesskontrolle innerhalb von Marketing und Vertrieb.
Kontinuierliche Erhebung ohne großen Aufwand möglich.
Nachteile:
Kein Rückschluss auf kundenindividuelles Verhalten.
NPS ist ungeeignet für Treiberanalysen.
Einflussfaktoren für die Weiterempfehlungen bleibt
unberücksichtigt.
Handlungsempfehlungen auf Basis des NPS sind nicht
möglich.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 7
2. NPS - Erfolgskennzahl und Wachstumsmotor?
„The one number you need to growth“ Reichheld (2003)
Hypothese: Der NPS ist ein valider Wachstumsprädiktor!
Uneinheitliche Ergebnisse in der Literatur:
Autor
Reichheld (2006)
Marsden et. al. (2006)
Keiningham (2007)
Morgan und Rego (2006)
Methode
(Einfach-) Regression
Korrelationsanalysen
Korrelationsanalysen
(Multiple) Regression
These bestätigt?
Autor
Ihr Urteil
Ja
Ja
Nein*
Nein
* Stokburger-Sauer/Hammerschmidt (2007) sehen hingegen die Ergebnisse
der Arbeit als Beleg für den NPS als Wachstumsindikator.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 8
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Die Analysen von Reichheld (2006)
Einfachregression:
Abhängige Variable:
Umsatzwachstum
Unabhängige Variable:
NPS
Als Beleg für den NPS
als Wachstumstreiber
dient das
Bestimmtheitsmaß!
valider
Wachstumsprädiktor!
Prof. Dr. Oliver Schwarz
Für das Beispiel: Die Korrelation ist
weder auf dem 1% noch auf dem 5%
Niveau signifikant.
25.02.2013
Seite 9
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Das Problem bei Reichheld (2006)
Das Bestimmtheitsmaß ist im Fall der Einfachregression
nichts weiter als der quadrierte Korrelationskoeffizient:
Sagt nichts über die Kausalität aus!
Das gleiche Ergebnis erhält man, wenn Ursache und Wirkung
vertauscht werden.
Die Wachstumsdaten sind dem NPS Daten zeitlich
vorgelagert (der NPS geht nicht als Lag, sondern als Lead
in die Analyse ein).
Wenn schon, dann ist allenfalls der umgekehrte Schluss zulässig.
Sharp (2008) bezeichnete die Analysen von Reichheld als
„fake science“
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 10
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Die Analyse und das Problem bei Marsden et. al. (2006)
Signifikante Korrelationskoeffizienten zwischen dem NPS
und dem Umsatzwachstum (p < 0,01)
Problem:
Der NPS basiert auf Umfragen aus dem Jahr 2005.
In den Interview wurde nach der Weiterempfehlung innerhalb der
letzten 12 Monate gefragt.
Das Umsatzwachstums stammt aber aus dem Jahr 2004.
Gleiches Kausalitätsproblem wie bei Reichheld.
Signifikanzniveaus sagen nichts über die Stärke des
Zusammenhangs aus.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 11
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Die Analyse und das Problem bei Keiningham (2007)
Konnten keine signifikanten Korrelationskoeffizienten
zwischen dem NPS und dem Umsatzwachstum
nachweisen (Banken und Kraftstoffhandel).
Problem: wie passt das zu Marsden et. al. (2006)?
Altes Wachstum wird nicht mit „neuem“ NPS korreliert.
Die Berechnung erfolgt auf Basis nur weniger Firmen (12 Banken, 4
Kraftstoffhandel).
Je mehr Firmen in die Korrelationsanalyse eingehen, desto eher ist
c.p. ein Korrelationskoeffizient signifikant.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 12
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Exkurs: Stichprobenumfang und Signifikanz
Wie hoch muss der Korrelationskoeffizient mindestens sein,
damit die Nullhypothese abgelehnt werden kann?
1.00
r ( α = 0.01)
0.90
r ( α = 0.05)
0.80
Korrelationskoeffizient
n
4
5
10
20
30
50
100
500
1,000
2,000
0.70
0.60
0.50
0.40
0.30
Minimaler
Korrelationskoeffizient
α = 0.01
α = 0.05
0.99
0.95
0.96
0.88
0.76
0.63
0.56
0.44
0.46
0.36
0.36
0.28
0.26
0.20
0.12
0.09
0.08
0.06
0.06
0.04
0.20
0.10
0.00
0
10
Prof. Dr. Oliver Schwarz
20
30
40
50
60
Stichprobengröße
70
80
25.02.2013
90
100
Seite 13
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Die Analyse von Morgan und Rego (2008)
Multiple Regressionsanalyse
Abhängige Variable: Umsatzwachstum
Neben dem NPS wurden weitere erfolgsrelevanten
Regressoren berücksichtigt.
Ergebnis: Es konnte kein signifikanter
Regressionskoeffizient für den NPS ermittelt werden.
Hinweis: Der NPS wurde bei Morgan und Rego nicht auf Basis beabsichtigter
Weiterempfehlungen, sondern aufgrund tatsächlich vorgenommener
Empfehlungen berechnet.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 14
2. NPS - Erfolgskennzahl und Wachstumsmotor?
Der NPS ist das Ergebnis einer Schätzung
Stichprobenziehung
„Die ultimative Frage“
Schätzung
NPS
Umsatzwachstum
In der Regel
nicht thematisiert..
Schätzung:
Korrelationskoeffizienten
Bestimmtheitsmaß
Regressionskoeffizienten
Prof. Dr. Oliver Schwarz
Modell: :
Korrelation
Regression
25.02.2013
Seite 15
3. Von der Punktschätzung zur Intervallschätzung
Intervallschätzung für NPS: Motivation
Eine Punktschätzung erlaubt keine Aussage über die
Güte der Schätzung.
Heterogene Gruppen weisen eine höhere Streuung
auf, als homogene Gruppen. Gleichwohl kann der
Parameter für beide Gruppen identisch sein.
Beispiel:
 nP nK 
 ⋅100 = 50
NPS =  −
n 
 n
Fall A:
Promotoren und Passive Kunden
(Keine Kritiker)
Fall B:
Promotoren und Kritiker
(Keine passive Kunden)
NPS = (0,5 − 0,0) ⋅100 =50
NPS = (0,75 − 0,25) ⋅100 =50
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 16
3. Von der Punktschätzung zur Intervallschätzung
Konstruktion des Konfidenzintervalls für den NPS 1#3
Punktschätzung auf Basis der Realisierungen:
− = , , … , =
∙ 100
Bootstrap – Grundgedanke:
Anstelle (möglicherweise) unrealistische Verteilungsannahmen zu
treffen, wird die Originalstichprobe wie eine Grundgesamtheit
behandelt.
Aus der Originalstichprobe wird eine Vielzahl von
Zufallsstichproben mit Zurücklegen gezogen (im Umfang n).
Die hieraus geschätzten NPS (Bootstrap Werte) bilden gemeinsam
die Bootstrap Verteilungsfunktion.
Aus der Verteilungsfunktion wird das Konfidenzintervall abgeleitet.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 17
3. Von der Punktschätzung zur Intervallschätzung
Konstruktion des Konfidenzintervalls für den NPS 2#3
Bootstrap Stichprobe b
∗ , ∗ , ⋯ , ∗
= 1, 2, … , Empfehlung:
B = 1.000
Funktionsparameter für die Stichprobe b
= ∗ , ∗ , ⋯ , ∗
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 18
3. Von der Punktschätzung zur Intervallschätzung
Konstruktion des Konfidenzintervalls für den NPS 3#3
1.00
0.90
0.80
0.70
0.60
0.50
0.40
0.30
Perzentil Konfidenzintervall
;
= 0.20
0.10
0.00
46
47
Prof. Dr. Oliver Schwarz
48
49
50
51
NPS
52
53
54
25.02.2013
55
56
Seite 19
3. Von der Punktschätzung zur Intervallschätzung
Empfehlungen bei der Anwendung
Auch bei kleinem Stichproben (n>50) liefert das
Bootstrap Verfahren gute Ergebnisse.
Der Schätzer ist konsistent, aber nicht zwingend
unverzerrt (insbesondere bei kleinen Stichproben).
Neben der Perzentil Methode sollte daher auch die
mögliche Verzerrung berücksichtigt werden (BC = Bias
Corrected).
Mindestens 1.000 Replikationen.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 20
4. Anwendungen des NPS
Datenmaterial
Monatliche Online-Kundenbefragung der Ing-DiBA.
n = 2.657 Kunden im Alter zwischen 18 und 65 Jahren.
NPS-Frage:
„Mit welcher Wahrscheinlichkeit würden Sie die ING-DiBa
einem Familienmitglied, Freund oder Kollegen
weiterempfehlen, wenn sie die Gelegenheit dazu hätten?“
Antworten werden auf einer 10-stufigen Skala (1=nein,
auf keinen Fall, 10=ja, auf jeden Fall) abgebildet.
Abweichung gegenüber der von Reichheld (2003) vorgeschlagenen 11-stufigen Skala
(0=unwahrscheinlich, 10=äußerst wahrscheinlich). Die Differenz in der Skala ist nach Keiningham
et. al. (2007) vernachlässigbar. Pingitore et. al. (2007) empfehlen gar eine auf einer 4-er Skala
basierende NPS Metrik.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 21
4. Anwendungen des NPS
Net Promoter Score der Ing-DiBa
NPS
n
2.657
Promotoren
1.581
Kritiker
224
NPS
Bias Std. Err. [95% Conf. Interval]
51,07 0,0425
1,245 48,66
53,56
48,55
53,52
59,50 0,0183
0,962 57,64
61,42
57,66
61,46
8,43 -0,0242
0,529 7,38
9,47
7,45
9,52
(P)
(BC)
(P)
(BC)
(P)
(BC)
P = Perzentil Methode, BC = Bias-Corrected, n = Stichprobenumfang, Observed = Net Promoter Score aus der OriginalStichprobe geschätzt.
65
60
NPS
55
50
53.5
53.2
52.7
45
49.9
45.9
40
35
Mai 08
Prof. Dr. Oliver Schwarz
Jun 08
Jul 08
Aug 08
25.02.2013
Sep 08
Seite 22
4. Anwendungen des NPS
Net Promoter Score - Benchmark von Satmetrix (2012)
Banken in Deutschland:
Spitzenreiter Sparda-Bank mit 60% Promotoren.
Schlußlicht „Anonym“ mit 45% Kritikern.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 23
4. Anwendungen des NPS
Konfidenzintervalle für den Net-Promoter-Score nach
dem Share of Wallet.
Share of Wallet
unter 25%
von 25 bis unter
n
NPS
Bias
Std. Err.
773
39,20
0,1028
2,5290
483
47,00
-0,0251
2,7397
50%
von 50 bis unter
582
59,28
0,0548
2,3310
75%
75 % und höher
565
68,85
0,0251
2,2158
[95% Conf. Interval]
34,15
44,18
(P)
33,64
43,73
(BC)
40,89
52,17
(P)
40,79
51,97
(BC)
54,73
63,92
(P)
54,64
63,92
(BC)
64,60
73,10
(P)
64,60
73,27
(BC)
P = Perzentil Methode, BC = Bias-Corrected, n = Stichprobengröße, Observed = Net Promoter Score aus der Original-Stichprobe geschätzt.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 24
4. Anwendungen des NPS
Bootstrap Verteilung der Promotoren und Kritiker nach
dem Share of Wallet
90%
80%
70%
Promotoren
60%
50%
40%
30%
Share of Wallet:
unter 25%
von 25% bis unter 50%
von 50% bis unter 75%
75% und mehr
20%
10%
0%
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
20%
Kritiker
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 25
4. Anwendungen des NPS
Bootstrap Verteilung der Promotoren und Kritiker nach
dem Geschlecht
80%
70%
60%
Promoter
50%
40%
Männer
Frauen
30%
20%
10%
Frauen
Männer
0%
0%
2%
4%
6%
8%
10%
NPS
63.1
44.1
12%
[95% Conf. Intervall]
59.8
66.9
41.0
47.3
14%
Kritiker
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 26
4. Anwendungen des NPS
Bootstrap Verteilung der Promotoren und Kritiker nach
dem Beschwerdeverhalten
70%
Beschwerde durchgeführt
(n=105)
60%
Grund zur Beschwerde, aber
nicht durchgeführt (n=77)
Promotoren
50%
40%
keine Beschwerde (n=2.475)
30%
20%
n
2,475
keine Beschwerde
105
Beschwerde durchgeführt
10%
Grund zur Beschwerde, aber
nicht durchgeführt
0%
0%
Prof. Dr. Oliver Schwarz
10%
20%
Kritiker
77
30%
NPS
Std. Err. [95% Conf. Interval]
53.21
1.2522
50.79
55.58 (P)
51.03
55.68 (BC)
30.48
7.1276
16.19
43.81 (P)
16.19
43.81 (BC)
10.39
8.2149
-5.19
27.27 (P)
-3.90
28.57 (BC)
40%
25.02.2013
50%
Seite 27
4. Anwendungen des NPS
Fazit
Der NPS gewinnt an Glaubwürdigkeit, wenn anstelle
einer Punktschätzung ein Vertrauensintervall angegeben
wird.
Die Angabe eines Konfidenzintervalls für den NPS hilft,
Fehlinterpretationen und daraus resultierende
zweifelhafte Schlussfolgerungen zu vermeiden.
Bei einer Schichtung der Kunden nach dem Share of
Wallet, sind Unterschiede in der Höhe des NPS bei
weitgehend überschneidungsfreien Konfidenzgrenzen
vorhanden. Damit ist die Anwendung von
kundengruppenspezifischen Strategien sinnvoll.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 28
Literatur
Literatur 1#2
Brandt, D. Randall (2007): For Good Measure, in: Marketing Management, 16(1), 20-25.
Briggs, A.H., Wonderling, D.E., Mooney, C.Z. (1997): Pulling Cost-Effectiveness Analysis up by its Bootstraps: A NonParametric Approach to Confidence Interval Estimation, in: Health Economics, 6, 327-340.
Brosius, Felix; Ziegeler, Carina (2008): Der Net Promoter Score: Die ultimative Frage in der Marktforschung, in: planung &
analyse, 2/2008, 80-84.
Bauer, Florian; Bössow, Oliver; Studzinsky, Jörg (2007): Über Sinn und Unsinn des Net Promoter Score (NPS), in: planung
& analyse, 4/2007, 69-73.
Campbell, M.K.; Torgerson, D.J. (1999): Bootstrapping: Estimating Confidence Intervals for Cost Effectiveness Ratios, in:
QJM, 92, 177-182.
Chernick, Michael R. (1999): Bootstrap Methods: A Practitioners Guide, Wiley, New York.
Efron, Bradley; Tibshirani, Robert J. (1993): An Introduction to the Bootstrap, Chapman-Hall, New York.
Efron, Bradley (1979): Bootstrap Method: Another look at the Jackknife, in: Annals of Statistics, 7, 1-26.
Engel, Joachim; Grübel, Rudolf (2008): Bootstrap – oder die Kunst, sich selbst aus dem Sumpf zu ziehen, in:
Mathematische Semesterberichte, 55(2), 113-130.
Keiningham, Timothy L.; Cooil, Bruce; Andreassen, Tor Wallin; Aksoy, Lerzan (2007): A Longitudinal Examination of Net
Promoter and Firm Revenue Growth; in: Journal of Marketing, 71, 39-51.
Keiningham, Timothy L.; Aksoy, Lerzan; Cooil, Bruce; Andreassen, Tor Wallin (2008a): The Galileo Effect, in: Marketing
Management, 17(1), 48-51.
Keiningham, Timothy L.; Aksoy, Lerzan; Cooil, Bruce; Andreassen, Tor Wallin (2008b): Net Promoter, Recommendations,
and Business Performance: A Clarification on Morgan and Rego, in: Marketing Science, 27(3), 531-532.
Lei, Ming; Lomax Richard G. (2005): The Effect of Varying Degrees of Nonnormality in Structural Equation Modeling, in:
Structural Equation Modeling, 12(1), 1-27
Löthgren, Mickael; Zethraeus, Niklas (2000): Definition, Interpretation and Calculation of Cost-Effectiveness Acceptability
Curves, in: Health Economics, 9, 623-630.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 29
Literatur
Literatur 2#2
Marsden, Paul; Samson, Alain; Upton, Neville (2006): Advocay Drives Growth, in: Brand Strategy,
Dec2005/Jan2006, Issue 198, 45-47.
Mooney, Christopher Z.; Duval, Robert D. (1993): Bootstrapping – A Nonparametric Approach to Statistical
Inference. Sage University Press, Newbury Park.
Morgan, Neil A.; Rego, Lopo Leotte (2006): The Value of Different Customer Satisfaction and Loyalty Metrics
in Predicting Business Performance, in: Marketing Science, 25(5), 426-439.
Morgan, Neil A.; Rego, Lopo Leotte (2008): Can Behavorial WOM Measures Provide Insight into the Net
Promoter Concept Customer Loyalty?, in: Marketing Science, 27(3), 533-534.
Pingitore, Gina; Morgan, Neil A.; Rego, Lopo L.; Gigliotti, Adriana; Meyers, Jay (2007): The Single-Question
Trap, in: Marketing Research, 19(2), 9-13.
Poi, Brain P. (2004): From the Helpdesk: Some Bootstrapping Techniques, in: The Stata Journal, 4(3), 312328.
Reichheld, Fred (2003): The One Number You Need To Grow, in: Harvard Business Review, December, 4654.
Reichheld, Fred, (2006): Die ultimative Frage – Mit dem Net Promoter Score zu loyalen Kunden und
profitablem Wachstum, Hanser, München.
Ruf, Stefan (2007): Würden Sie diese Methode einem Freund weiterempfehlen?, in: Verband Schweizer Marktund Sozialforscher (Hrsg.): Jahrbuch 2007, 38-40.
Shaw, Robert (2008): Opinion Piece Net Promoter, in: Journal of Database Marketing & Customer Strategy
Management, 15, 138-140.
Sharp, Byron (2008): Net Promoter Score Fails the Test, in: Marketing Research, 20(4), 28-30.
Stokburger-Sauer, Nicola; Hammerschmidt, Maik (2007): Die Relevanz verhaltensorientierter Größen zur
Prognose des CLV, in: Bayón, Tomás; Herrmann, Andreas; Huber, Frank (Hrsg.): Vielfalt und Einheit in der
Marketingwissenschaft, Gabler, Wiesbaden, 348-374.
Prof. Dr. Oliver Schwarz
25.02.2013
Seite 30