Benchmarking durch Mystery Analysen

Vocatus
FEEDBACK
Fakten Methoden Ergebnisse
●
Jahrgang 4 2003 Ausgabe 1
●
●
●
Kommunikation zwischen Kunde und Unternehmen
Benchmarking durch
Mystery Analysen
Für Unternehmen ist der kontinuierliche Vergleich mit den
Wettbewerbern oft der entscheidende Innovationsmotor und
gleichzeitig eine hervorragende Möglichkeit, Verbesserungspotentiale aufzudecken. Doch valide Daten über die Wettbewerber sind in der Regel nicht leicht zu bekommen. Mystery
Analysen können diese Lücke schließen.
Das Ziel von Mystery Analysen ist
stets die Bewertung des Kundenkontaktes in realen Situationen. Im
Rahmen einer Mystery Analyse
werden sowohl das eigene Unternehmen als auch die relevanten
kurrenten von Testpersonen besucht und beurteilt. Beim Mystery
Calling werden standardisierte Testanrufe im eigenen Unternehmen
und bei den relevanten Konkurrenten durchgeführt. In ähnlicher
Weise lässt sich auch die Reaktion
auf Briefe, Faxe und Emails bei verschiedenen Unternehmen testen.
Mystery Analysen können
auch bei Konkurrenzunternehmen durchgeführt werden.
Wettbewerbsunternehmen von einem unabhängigen Marktforschungsinstitut getestet. Beim Mystery Shopping werden also
beispielsweise die eigenen Geschäfte und die Geschäfte der Kon-
Der entscheidende Vorteil von
Mystery Analysen im Gegensatz zu
anderen Erhebungsmethoden, wie
beispielsweise Kundenzufriedenheitsbefragungen besteht darin,
dass die Methode nicht von der
(Fortsetzung auf Seite 2)
INHALT
Benchmarking durch
Mystery Analysen
Für Unternehmen ist der kontinuierliche Vergleich mit seinen Wettbewerbern oft der entscheidende
Innovationsmotor. Über Mystery
Analysen können diese Daten valide erhoben werden.
Seite 1
Länderübergreifende
Vergleiche
Besonders interessant sind
Benchmark-Untersuchungen,
wenn diese über verschiedene
Länder gezogen werden können. Gleichzeitig ist hier aus
methodischer Sicht die größte
Vorsicht geboten, um Fehlinterpretationen zu vermeiden.
Seite 3
Benchmarking von Call
Centern
Die Beurteilung eines Call Centers
wird typischerweise anhand der
drei Dimensionen Erreichbarkeit,
Art der Bearbeitung und Kompetenz vorgenommen.
Seite 4
Fallstricke und methodische Herausforderungen
Bei Mystery Analysen ist die Gefahr der Erhebung nicht-valider
Daten oder die methodisch unzulässige Interpretation von Daten besonders groß. Neben dem
"intuitiven Charme" der Methode dürfen diese Fallstricke
nicht übersehen werden.
Seite 5
Benchmarking durch
Mystery Analysen
(Fortsetzung von Seite 1)
Kooperation des jeweiligen Unternehmens abhängig ist und somit
auch bei Konkurrenzunternehmen
durchgeführt werden kann. Im
Vergleich zu traditionellen Marktforschungsprojekten kann der Untersuchungsumfang dabei deutlich
kleiner gehalten werden, da die
eingesetzten Tester als spezialisierte Experten in der Lage sind, "geeichte" Bewertungen zu vergeben.
Somit ist es nicht notwendig, die
Unterschiede zwischen den einzelnen Versuchspersonen durch eine
große Zahl von Befragten statistisch auszugleichen, wie es bei
klassischen Kundenbefragungen
notwendig ist. Nichtsdestotrotz
sind methodisch korrekt durchgeführte Mystery Analysen mit einem
nicht zu unterschätzenden Komplexitätsgrad verbunden, der die
Expertise eines akkreditierten
Marktforschungsinstituts voraussetzt.
Neben dem Vorteil, valide Vergleiche zwischen verschiedenen Unternehmen zu ermöglichen, haben
Mystery Analysen auch einen entscheidenden Nachteil: Die Aussagekraft ist eingeschränkt, da keine
Kundenbewertung, sondern eine
objektive Messung durchgeführt
wird. Die Ergebnisse können also
erst im Abgleich mit realen Kundenbewertungen priorisiert werden. Daher empfiehlt sich ein kombiniertes Vorgehen wie in der
untenstehenden Abbildung.
Mystery Analyse
(objektives
Testerurteil)
halb wird typischerweise in Ergänzung zur Mystery Analyse eine
Kundenbefragung im eigenen Unternehmen durchgeführt. Aus der
Kombination von Modul 1 und
Modul 3 (Treiberanalyse) kann
dann abgeleitet werden, welche
Kriterien für den Kunden am wichtigsten sind und welches konkrete
Leistungsniveau dabei mindestens
erreicht werden sollte. Schließlich
macht es wenig Sinn, mit viel Aufwand die Zeit vom Bestellungseingang bis zur Auslieferung zu redu-
Anbieter 1
Wettbewerber
(Anbieter 2 und 3)
Modul 1
Modul 2
Benchmarkanalyse
Kundenbefragung
(subjektive
Bewertung)
Modul 3
Treiberanalyse
Erst die Kombination von
QUELLE: VOCATUS 2003
Mystery Analysen mit Kundenzufriedenheitsbefragungen erlaubt sinnvolle Verbesserungsvorschläge.
Denn nur mit Mystery Analysen
können außerhalb von extrem aufwändigen "syndicated research"Projekten Benchmarkvergleiche
durchgeführt werden, da man keine Adressen von Kunden anderer
Unternehmen braucht, die ein bestimmtes Ereignis erlebt haben
(z.B. Anruf im Call Center). Der Anruf wird stattdessen von einem geschulten Marktforscher selbst
durchgeführt und auch bewertet.
Vocatus als Mystery-erfahrenes Institut verfügt hier über einen branchenübergreifend validen Kriterienkatalog zur Bewertung von
Mystery Calls, Mails und Besuchen.
2
Modul 1 und 2 werden als Mystery
Analyse sowohl im eigenen Unternehmen als auch bei den Wettbewerbern durchgeführt. Die Kombination von Modul 1 und 2 erlaubt
eine Benchmarkanalyse und somit
den Vergleich zwischen dem eigenen Unternehmen und den Konkurrenzunternehmen. Damit lässt
sich objektiv beurteilen, dass beispielsweise Anbieter 1 durchschnittlich 6 Tage benötigte, bis eine telefonisch eingegangene Bestellung
beim Kunden ausgeliefert wurde,
während Anbieter 2 dafür nur 3 Tage benötigte.
Dies lässt allerdings noch keine
Aussage darüber zu, wie wichtig es
aus der Sicht des Kunden ist, ob
seine Bestellung innerhalb von 3
oder 6 Tagen bei ihm eintrifft. Des-
zieren, nur weil die Konkurrenz
schneller liefert, wenn sich in der
Kundenbefragung zeigt, dass die
Geschwindigkeit der Lieferung keine Auswirkungen auf die Kundenzufriedenheit hat, sondern der
entscheidende Treiber beispielsweise die Korrektheit der Lieferung ist. Nur durch die Kombination der Mystery Analyse bei
verschiedenen Unternehmen und
der Kundenbefragung im eigenen
Unternehmen lassen sich also Ergebnisse erzielen, aus denen sich
sinnvolle Verbesserungsoptionen
ableiten lassen. So hat sich in zahlreichen Projekten herausgestellt,
dass die internen Standards an den
eigentlichen Kundenbedürfnissen
vorbeigehen und Parameter optimiert werden, die vom Kunden
kaum wertgeschätzt werden.
■
Länderübergreifende
Vergleiche
Besonders interessant sind Benchmark-Untersuchungen, wenn
die Vergleiche über verschiedene Länder gezogen werden können. Gleichzeitig ist hier die Gefahr einer Fehlinterpretation
der erhobenen Daten am größten. Deshalb ist hier aus methodischer Sicht die größte Vorsicht geboten, um Fehlinterpretationen und damit auch darauf basierende Managementfehler
zu vermeiden.
Ein internationaler Telekommunikationsanbieter mit Tochtergesellschaften in verschiedenen europäischen Ländern möchte beispielsweise die Qualität seiner Call
Center in diesen Ländern untersuchen. Das Benchmarking soll die
Basis für die Identifizierung von
Verbesserungspotentialen und für
die Durchführung entsprechender
Maßnahmen sein. Entscheidend ist
dabei jedoch weniger, wie die verschiedenen Call Center des Anbieters gegeneinander abschneiden,
sondern vielmehr, wie die Call Center im relevanten Markt, also in
dem jeweiligen Land positioniert
sind.
Eine Kundenzufriedenheitsbefragung in verschiedenen
Ländern ermöglicht nur
scheinbar einen validen Vergleich zwischen Ländern.
Wenn ein länderübergreifender
Vergleich von verschiedenen Call
Centern des eigenen Unternehmens erstellt werden soll, liegt es
im ersten Moment zunächst nahe,
einfach für alle Call Center eine
Kundenzufriedenheitsbefragung
zu erstellen. Dabei werden in den
jeweiligen Ländern die Kunden des
zu beurteilenden Call Centers be-
fragt. Bei der Interpretation der
Daten ist aber Vorsicht geboten.
Die erhobenen Daten ermöglichen
zwar scheinbar einen Vergleich der
Kundenzufriedenheit
zwischen
den verschiedenen Ländern, lassen
aber in Wirklichkeit keine eindeutig interpretierbaren Aussagen zu.
Ohne Beachtung der Kulturabhängigkeit werden bei
länderübergreifenden
Vergleichen leicht Fehler
gemacht.
Wenn die Befragung beispielsweise ergibt, dass die Kunden in England zufriedener sind als in Frankreich, dann entsteht der Eindruck,
in Frankreich bestehe Verbesserungspotential, während dies in
England nicht der Fall zu sein
scheint.
Ein Vergleich mit den relevanten
Wettbewerbern im Land kann jedoch aufdecken, dass in England
trotz höherer Kundenzufriedenheit im Vergleich zu Frankreich das
Call Center im Vergleich zu den relevanten englischen Wettbewerbern das Schlusslicht bildet. Ebenso
ist denkbar, dass das Call Center in
Frankreich mit den im Vergleich zu
England schlechten Ergebnisse im
Vergleich zu den relevanten französischen Wettbewerbern eine
hervorragende Position einnimmt.
Der scheinbar so naheliegende direkte Vergleich von Daten kann
also zu verzerrten Ergebnissen und
damit zu Fehlentscheidungen
führen.
Auch ein Wechsel von einer subjektiven Kundenzufriedenheitsbefragung zu einer objektiven Bewertung im Rahmen von Mystery Calls
kann dieses Problem nicht lösen.
Denn objektiv messbare Kriterien
wie Länge der Wartezeit oder Korrektheit der Antwort lassen wiederum keinen Schluss darüber zu,
wie zufrieden der Kunde mit dem
Gespräch war. Interkulturelle Unterschiede zwischen verschiedenen
Ländern können dazu führen, dass
ein objektiv messbarer Faktor wie
beispielsweise "Der Kunde wurde
mit seinem Namen angesprochen"
in verschiedenen Ländern eine unterschiedlich wichtige Bedeutung
hat.
Um einen sinnvollen Vergleich zwischen der Leistung der Call Center
in verschiedenen Ländern zu ermöglichen, muss also zunächst ermittelt werden, welche Aspekte eines Anrufes die Kundenwahrnehmung in den verschiedenen
Ländern besonders stark beeinflussen, d.h. welche "Anspruchsniveaus" hinsichtlich der einzelnen
Kriterien existieren.
Bei der Interpretation der
Daten, die in verschiedenen
Ländern erhoben wurden,
ist Vorsicht geboten, und die
Methode muss detailliert
hinterfragt werden.
Um also wirklich die eigenen Stärken und Schwächen in verschiedenen Ländern zu erheben und aufbauend darauf Maßnahmen zur
Verbesserung priorisieren zu können, ist die sinnvollste Methode, in
3
die Besten sind, in England hingegen nur die Drittbesten. Gleichzeitig erhält das Unternehmen ein
vertieftes Verständnis darüber,
welche spezifischen Faktoren in
dem jeweiligen Land verbessert
werden müssen, um die Spitzenposition einzunehmen.
jedem Land auf Basis einer Kundenzufriedenheitsbefragung die
Wichtigkeit der verschiedenen Faktoren zu ermitteln (Treiberanalyse)
und gleichzeitig auf Basis von Mystery Calls den Erfüllungsgrad eben
dieser Faktoren im eigenen Unternehmen und bei den verschiedenen Wettbewerbern zu erheben
(Benchmarking).
dern auf Basis von Zielvorgaben
zentral gesteuert werden sollen.
Ohne eine Analyse der Zufriedenheitstreiber in den verschiedenen
Ländern besteht die Gefahr, dass
von der Zentrale Vorgaben gemacht und kontrolliert werden,
die nicht wirklich zur Kundenzufriedenheit im jeweiligen Land
beitragen. Gleichzeitig sind die erhobenen Treiber und das darauf
basierende Benchmarking aber
auch für die Verantwortlichen in
den einzelnen Ländern wertvoll,
weil diejenigen Bereiche identifiziert wurden, in denen Verbesserungen die größte Auswirkung
auf die Kundenzufriedenheit
haben.
■
Die Treiber für die Kundenzufriedenheit sind typischer-
Als Ergebnis erhält das auftraggebende Unternehmen dann eine detaillierte Übersicht der Positionierung der eigenen Call Center im
jeweiligen Landesvergleich. Das
Unternehmen weiß dann beispielsweise, dass die eigenen Call Center
in Frankreich im Landesvergleich
weise nicht länder- und kulturübergreifend übertragbar.
Diese Informationen sind von
großer Bedeutung, wenn die Call
Center in den verschiedenen Län-
Benchmarking von Call Centern
Art der Bearbeitung
Erreichbarkeit
Kompetenz
{
{
{
{
100%
bieter 3 durchaus sinnvoll sein, keine kostenintensiven Verbesserungen bei der Wartezeit anzustreben,
da die viel wichtigere Dimension
Kompetenz sehr gut erfüllt wird.
Dagegen können Anbieter 1 und 2
überprüfen, ob sie das Verbesserungspotential im Bereich der
Kompetenz nutzen und gleichzeitig die Kosten bei der Erreichbarkeit sinnvoll reduzieren.
ber für die Zufriedenheit zu identifizieren. Beides zusammen liefert
die Grundlage für Managemententscheidungen zur Erhöhung der
Kundenzufriedenheit oder zur Kostenoptimierung. In diesem Beispiel
zeigt sich, dass die Anbieter unterschiedliche Stärken in den Leistungsdimensionen haben und sich
somit eine unterschiedliche Performance ergibt. So kann es für An-
Die Beurteilung eines Call Centers
wird typischerweise anhand der
drei Dimensionen Erreichbarkeit,
Art der Bearbeitung und Kompetenz vorgenommen. Durch Mystery
Calls werden Kriterien objektiv vergleichbar erhoben, wie beispielsweise die hinter einer Informationsanforderung liegenden Prozesse.
Eine Kundenbefragung ermöglicht
zusätzlich, die entscheidenden Trei-
90%
80%
70%
{
60%
50%
40%
30%
20%
10%
Überfüllung
Möglichkeit für
Kosteneinsparungen
Kundenerwartung
Unterfüllung
Möglichkeit für eine
Verbesserung der
Kundenzufriedenheit
0%
n
n
re
ba
s
g
an
e
ez
z
g
c
H
li
öf
em
ag
g
En
c
ra
Sp
ä
rst
Ve
ic
dl
i
üg
ch
tli
Z
al
h
In
Anbieter 1
n
stä
er
V
e
ei
gk
is
n
nd
t
An
e
td
de
h
ic
hl
r
un
rK
stä
er
V
e
eit
hk
rt
wo
n
de
nd
t/I
en
/H
eit
hk
ge
fra
h
lic
nt
er
a
W
it
ke
se
es
er
h
lic
rt
Zu
QUELLE: VOCATUS 2003
it
ke
ite
e
rri
Anbieter 2
Anbieter 3
Kundenerwartung
4
Fallstricke und methodische
Herausforderungen
Bei Mystery Analysen ist die Gefahr der Erhebung nicht-valider Daten oder die methodisch unzulässige Interpretation von Daten besonders groß. Daher ist es gerade in diesem Bereich besonders wichtig, mit einem methodisch kompetenten Partner zusammenzuarbeiten.
Wie der Name "Mystery" schon
sagt, muss man bei der Durchführung einer Mystery Analyse
zunächst einmal unerkannt bleiben, um überhaupt die Chance zu
haben, sinnvolle Daten zu erheben.
Ein professionelles Testdesign, das
Anzahl und Größe der Call Center,
Gesprächsrouting und Schichtplanung, Eskalationsprozesse und die
technische Ausstattung der Call
Center (z.B. Umgehung der Rufnummernunterdrückung) berücksichtigt, ist dabei unumgänglich.
Neben diesen technischen "Klippen" gibt es jedoch auch zahlreiche inhaltliche Voraussetzungen,
die für eine erfolgreiche Mystery
Analyse geschaffen werden müssen. Abhängig von der Branche ist
es sinnvoll, die Testfälle auf Basis
einer realen Kundenbeziehung
durchzuführen. Gerade in Branchen mit vertraglich fixierten Kundenbeziehungen, wie z.B. bei Finanzdienstleistungen oder in der
Telekommunikationsbranche, lassen sich ohne reale Kundenhistorie
kaum sinnvolle Testfälle konstruieren. Daher müssen zunächst z.B.
Konten oder Depots bei den entsprechenden Banken eröffnet und
faktische Transaktionen abgewickelt werden, um eine entsprechend realistische Kundenbeziehung simulieren zu können.
Dies erfordert einen nicht zu unterschätzenden Projektvorlauf –
sowohl was den Zeit- als auch den
Recherche- und sonstigen Vorbereitungsaufwand angeht. Zudem
kann es sehr aufwändig sein, die inhaltliche Bewertung der Testfälle
einheitlich über alle Anbieter sicherzustellen, da sowohl die Vollständigkeit wie auch die Richtigkeit
der Antworten von Wettbewerber
zu Wettbewerber verschieden sein
können. Dieser Aufwand lohnt sich
vor allem dann, wenn die Mystery
Analyse der verschiedenen Wettbewerber in regelmäßigen Abständen
von beispielsweise einem halben
Jahr wiederholt werden soll.
Bei Mystery Analysen muss
man zunächst einmal unerkannt bleiben.
Durch die reale Kundenbeziehung
kann aber neben der reinen Beurteilung des Call Centers beispielsweise auch die Verlässlichkeit der
dadurch angestoßenen Prozesse beurteilt werden. So erlebt man nicht
selten, dass das Gespräch mit dem
Call Center zwar als sehr gut bewertet wurde, aber die Kunden vergeblich auf die versprochene Lösung
des Problems gewartet haben. Daneben sind die Standesrichtlinien
der Marktforschung rechtlich zwingend (z.B. die "Richtlinie für Beobachtungen bei demoskopischen Untersuchungen" des ADM), die
beispielsweise sicherstellen, dass die
Namen der beobachteten Personen
nicht registriert und die Ergebnisse
in einer Form an den Auftraggeber
übermittelt werden, die keine Rückschlüsse auf einzelne Mitarbeiter
ermöglichen.
Die Standardisierung der
Testpersonen ist entscheidend für einheitliche Bewertungsmaßstäbe und hohe
Datenqualität.
Ein wichtiger Punkt bei Mystery
Analysen ist schließlich die Standardisierung der Testpersonen. Gerade
beim Mystery Shopping wird häufig
versucht, Kosten zu reduzieren, indem Filialen in verschiedenen Städten von verschiedenen Testpersonen, die vor Ort leben, getestet
werden. Dabei ist zwar der Bewertungsbogen einheitlich, aber die
Personen von Ort zu Ort unterschiedlich und zumeist nur knapp
telefonisch instruiert. Nicht jeder
Tester versteht aber dasselbe unter
"Freundlichkeit" oder "Sauberkeit". Methodisch bedenklich ist dabei vor allem die Tatsache, dass die
unterschiedlichen Tester mit den
einzelnen Filialen bzw. Orten konfundiert sind, was einen glaubwürdigen und infolgedessen validen
Leistungsvergleich zwischen Filialen
unmöglich macht, da unklar bleibt,
ob die erhobenen Unterschiede auf
die Tester oder die Getesteten
zurückzuführen sind. Die Alternative eines einzigen oder sehr weniger
Tester ist in diesem Fall zwar teurer,
aber methodisch zwingend, da die
Standardisierung und valide Operationalisierung der Bewertungskriterien die wichtigsten Voraussetzungen für hohe Datenqualität und
damit verlässliche Aussagen sind. ■
5