Schaper - Online Assessments aus Sicht der psychologischen

Online Assessments aus Sicht der psychologischen Berufseignungsdiagnostik1
Niclas Schaper
Gliederung:
1. Ablauf eines onlinebasierten Assessments – statt einer Einführung
2. Zielsetzungen und Verfahrenstypen des Online Assessments
3. Äquivalenzproblematik bei Online Assessments
3. Vorteile und Potenziale des onlinebasierten Asessments
5. Nachteile und Probleme des onlinebasierten Assessments
6. Fazit und Gestaltungsanforderungen an ein onlinebasiertes Assessment
1. Ablauf eines onlinebasierten Assessments – statt einer Einführung
Im Folgenden wird zunächst ein fiktives Beispiel bzw. Szenario zur beruflichen
Eignungsdiagnostik beschrieben, um zu verdeutlichen, wie der Einsatz von onlinebasierten
Tests bzw. Assessments zukünftig aussehen kann oder teilweise auch schon realisiert wird
(vgl. Bartram, 2000 oder Hertel, Konradt & Orlikowski, 2003).
Auf der Basis einer Bedarfsfeststellung für neue Mitarbeiter und einer Anforderungsanalyse
für die zu besetzende(n) Stelle(n) werden von der Personalabteilung eines Unternehmens
Stellenangebote über die firmeneigene Internetseite veröffentlicht und onlinebezogene
Bewerbungsmöglichkeiten eingerichtet. Zusätzlich werden onlinebasierte Jobbörsen
kontaktiert, die Jobsuchende bzw. Bewerber mit passenden Profilen für die Stelle(n)
heraussuchen und diesen per Email das Jobangebot offerieren. Denkbar ist auch, dass
Mitarbeiter der Personalabteilung selbst in onlineverfügbaren Datenbanken der Jobbörse nach
geeigneten Bewerbern recherchieren und diese über das Jobangebot informieren. Diese
Aktivitäten beschreiben die Phase der onlinebasierten Rekrutierung.
In einem nächsten Schritt hat der Bewerber die Möglichkeit, mithilfe von onlinebasierten
Assessmenttools, die auf der Homepage des Unternehmens bereit gestellt werden, seine
Stärken und Schwächen in Bezug auf die Stellen- und Unternehmensanforderungen zu prüfen.
Hierzu werden entsprechende Fähigkeits-, Wissens- und Persönlichkeitstests online zur
Verfügung gestellt. Der Bewerber prüft dabei für sich, ob Anforderungen und Interessen des
Unternehmens bzw. der Stelle einerseits und seiner Person andererseits zueinander passen.
Die genannten Instrumente zur Selbsteinschätzung und –testung sowie die über die Stelle und
das Unternehmen bereit gestellten Informationen dienen somit zur Selbstselektion. Auf dieser
Assessmentstufe werden keinerlei personenbezogenen Informationen an das Unternehmen
weiter geleitet.
Sofern der Bewerber überzeugt davon ist, dass sich eine Bewerbung für ihn lohnt, wird er im
nächsten Schritt sein Bewerbungsinteresse per Email oder anhand einer Internetschnittstelle
bekunden. Daraufhin wird ihm per Email ein persönliches Passwort für eine
Onlinebewerbung zugesandt. Dieser Zugang ermöglicht es den Bewerbern, ihre
biographischen Angaben und Bewerbungsunterlagen anhand von onlinebasierten Fragebögen
und anderen Eingabemöglichkeiten einzustellen und sich so direkt beim Unternehmen zu
bewerben. Darüber hinaus können an dieser Stelle auch weitere einstellungs- und
motivationsbezogene Fragebogenskalen abgefragt werden. Von Unternehmensseite werden
relevante biographische Daten und weitere Musskriterien (z. B. bestimmte qualifikatorische
1
Erscheint als Beitrag in H. Steiner (Hrsg.): Vom Online-Assessment zum Assessment Center. Heidelberg:
Springer
Abschlüsse) der Bewerbung abgeprüft. Die Auswertung der in standardisierter Form
eingereichten Bewerbungen und Fragebogedaten erfolgt in einer weitgehend automatisierten
Form, so dass für diese Vorauswahl-Stufe ebenfalls kaum Personalressourcen benötigt
werden. Anhand der vorliegenden Bewerbungsinformationen ist es möglich, eine erste
Entscheidung zu treffen, ob der jeweilige Bewerber für weitere Auswahlschritte in Frage
kommt.
In einem nächsten Schritt werden mit den verbliebenen Bewerbern per Email onlinebasierte
Interviews vereinbart und durchgeführt. Zur Vorbereitung haben die Bewerber die
Möglichkeit sich per Internet über Produkte, Geschäftsfelder und Kunden sowie
Unternehmensstruktur, Firmenphilosophie und Karrieremöglichkeiten zu informieren. Mittels
bestimmter multimedialer Darstellungen kann auch ein erster Eindruck über die Tätigkeit
selbst vermittelt werden. Im Interview werden weitere eignungsdiagnostische Informationen
(z. B. zu kommunikativen Kompetenzen sowie zu motivationalen Voraussetzungen) über den
Bewerber eingeholt und Fragen des Bewerbers zur zukünftigen Tätigkeit geklärt.
Verläuft auch dieser Schritt erfolgreich, wird der Bewerber zu zusätzlichen Leistungstests und
Arbeitsproben bzw. Assessment Centern eingeladen. Hierzu vereinbart der Bewerber einen
Termin in einem regionalen Test- bzw. Assessment-Center. Die Durchführung unter solchen
kontrollierten Bedingungen ist notwendig, um die Identität des Bewerbers zu kontrollieren
und um die Bearbeitung der onlinebasierten Auswahlverfahren zu überwachen. Um den
Bewerbern faire Chancen zu gewähren und Übungseffekte auszugleichen, erhalten Sie vorher
einen Online-Zugang zu verschiedenen Trainingstools im Internet, mit denen sie sich auf die
Tests und Arbeitsproben vorbereiten können. Die Ergebnisse der verschiedenen Testverfahren
werden sodann anhand festgelegter Entscheidungsalgorithmen verrechnet, so dass in kürzester
Zeit eine Rangliste für die Einstellungsentscheidung zur Verfügung steht. Außerdem kann
anhand der Assessmentergebnisse auch ein detailliertes Feedback an die Bewerber versandt
werden.
Im Folgenden werden die im Szenario angesprochenen Modalitäten, Potenziale,
Anforderungen und offenen Fragen einer onlinebasierten Personalauswahl aus Sicht der
einschlägigen eignungsdiagnostischen Forschung konkreter angesprochen und erläutert
2. Zielsetzungen und Verfahrenstypen des Online Assessments
Wie das Szenariobeispiel gezeigt hat, werden auch bei der onlinebasierten Personalauswahl,
weitgehend analoge Schritte und Verfahren wie bei herkömmlichen Auswahlprozessen
verwendet. Eine Ausnahme stellt hier unter Umständen der Selbstselektionsschritt dar. Auch
für onlinebasierte Testverfahren und Procedere gelten daher dieselben Voraussetzungen und
Bedingungen wie für andere eignungsdiagnostische Verfahren. Um Personen für Berufe oder
betriebliche Positionen valide auswählen zu können, sollten die dafür eingesetzten Verfahren
empirisch nachgewiesene Zusammenhänge zwischen Eignungsmerkmalen einerseits und
Erfolgsmaßnahmen andererseits aufweisen. Damit diese Prognosen auch zuverlässig
gewährleistet werden können, müssen die verwendeten eignungsdiagnostischen Verfahren
darüber hinaus spezifische methodische Standards wie Objektivität, Reliabilität und Validität
einhalten. Außerdem sollten bei der Anwendung der Verfahren bestimmte ethische Standards
(z. B. Testfairness oder Schutz der Persönlichkeit) und weitere nicht-psychometrische
Kriterien (z. B. Ökonomie, Nützlichkeit oder Akzeptanz) erfüllen. Das heißt auch
onlinebasierte Testverfahren und Procedere sollten sich durch empirische Fundierung, klare
methodische Standards und durch die Einhaltung der genannten weiteren Kriterien
auszeichnen.
Allgemein versteht man unter Online-Assessments „computergestützte Verfahren zur
Beurteilung und Vorhersage beruflich relevanter psychologischer Variablen zur Abschätzung
der Eignung, die über Dienste des Internet bereitgestellt werden“ (Konradt & Sarges, 2003, S.
7). Hiervon unterscheiden sich Formen des computerbasierten Assessments, die eine Vorgabe
des Testmaterials sowie die Eingabe, Aufzeichnung und Auswertung der Reaktionen an
einem einzelnen offline-geschalteten Computer beinhaltet, und Papier-Bleistift-Tests, die im
Unterschied zu computer- und onlinebasierten Verfahren die Vorgabe des Testmaterials auf
einem gedruckten Medium (Fragebogen bzw. Testheft) sowie einer schriftlichen
Beantwortung bezeichnet.
Die Vorzüge der Internetnutzung bei der Personalauswahl und Potenzialanalyse liegen nicht
nur darin, dass die Auswertungsgeschwindigkeit und –zuverlässigkeit durch den
Computereinsatz verbessert werden kann. Sie sind vor allem auch darin begründet, dass
Kommunikations- und Informationsaustauschprozesse in diesem Kontext durch die zeit- und
ortsunabhängige Vernetzung der Computer im Internet beschleunigt und vereinfacht werden
können. Verfahren und Prozeduren des Online Assessments werden vor allem dann
eingesetzt, wenn es gilt Vorauswahl- und Selbstselektionsschritte zu unterstützen,
Bewerberzielgruppen im Ausland oder über große Distanzen anzusprechen und zu testen, die
Informations- und Auswahlmodalitäten möglichst flexibel, d.h. auch permanent und global
zur Verfügung zu stellen und um Kommunikations- und Informationsfunktionen im
Auswahlprozess zu rationalisieren. Schließlich erlaubt das Internet auch den Einsatz
multimedialer Elemente (wie z. B. Videos oder Animationen) im Rahmen der Assessments
oder die Verwendung spielerischer Elemente der Personalauswahl (z. B. in Form von
Onlinespielen) im Sinne eines „Recrutainments“ (vgl. hierzu Frank & Giesen, 2004). Nicht
zuletzt können mithilfe eines onlinebasierten Assessments auch adaptive Testverfahren, die
sich an das individuelle Testverhalten der Bewerber anpassen und den Test im
Bearbeitungsverlauf auf die Fähigkeiten des Probanden „zuschneiden“, oder onlinebasierte
kooperative Testverfahren eingesetzt werden, die räumlich und/oder zeitlich getrennt eine
Assessmentaufgabe gemeinsam bewältigen (z. B. bei Gruppenaufgaben zur Auswahl von
Teammitgliedern für virtuelle Teams).
In Anlehnung an die generelle Unterscheidung von Schuler (2006) in drei Verfahrensgruppen
der Berufseignungsdiagnostik lassen sich auch bei Online-Assessments biografie-, konstruktund simulationsorientierte Verfahren unterscheiden. Darüber hinaus können
Differenzierungen der Verfahren danach vorgenommen werden, welche Internetdienste
verwendet werden (z. B. E-Mail, Video- oder Audiokonferenzen, Application Sharing oder
WWW-Funktionen) und in welchem Ausmaß Interaktionen zwischen Benutzer und
Anwender erfolgen.
Onlinebasierte biografieorientierte Verfahren sind beispielsweise webbasierte Fragebögen,
die zur Erfassung von personenbezogenen biographischen Daten dienen. Hierüber kann z.B.
ein Abgleich von Personenmerkmalen mit Stellenanforderungen vorgenommen werden und
gegebenenfalls mit einer automatisierten Vorauswahl inklusive einer Rückmeldung an den
Bewerber versehen werden. Darüber hinaus können die verschiedenen Internetdienste auch
zur Informationsdistribution und zur Kommunikation (z. B. das Versenden von
Arbeitszeugnissen und das Einholen von Referenzen per E-Mail) genutzt werden. Nicht
zuletzt gehören zu dieser Verfahrensgruppe auch onlinegestützte Einstellungsinterviews (z. B.
unter Einsatz von Videokonferenztechnologien wie beispielsweise „Netmeeting“). Hierbei
können Vorzüge von Telefoninterviews mit den Vorteilen einer größeren Informationsdichte
und Interaktionsauthentizität durch die bildliche Darstellung verknüpft werden.
Voraussetzung dafür ist allerdings eine stabile und unverzerrte Übertragung. Der Vorzug
solcher onlinebasierten Auswahlgespräche liegt darin, dass materielle und zeitliche Kosten
gegenüber herkömmlichen Einstellungsinterviews reduziert werden können.
Zu den onlinebasierten konstruktorientierten Verfahren zählen unter anderem standardisierte
Fragebögen in Form von Persönlichkeits-, Einstellungs-, Motivations- und Interessentests, die
onlinegestützt durchgeführt und meist auch in automatisierter Form ausgewertet und
rückgemeldet werden. Durch eine automatische Antwortkontrolle kann die Vollständigkeit
der Beantwortung optimiert werden. Es wäre darüber hinaus möglich, bei OnlineFragebogenverfahren auch die Antwortzeiten oder die Häufigkeit von Korrekturen zu
erfassen, um zusätzliche diagnostische Hinweise über das Antwortverhalten der Bewerber zu
erhalten. Soweit bekannt werden solche Testparameter aber bisher kaum genutzt. Nicht
zuletzt wird durch die automatisierte Auswertung und Rückmeldung die Testanwendung
zusätzlich objektiviert und rationalisiert. Zu dieser Verfahrensgruppe gehören auch
onlinebasierte Leistungstests z. B. zur Messung der Konzentrationsfähigkeit oder von
bestimmten intellektuellen Fähigkeiten (Intelligenzleistungen). Insbesondere bei
Leistungstests bietet sich die Einführung adaptiver Verfahren an, bei denen die Aufgaben an
die jeweilige Fähigkeitsstufe des Bewerbers angepasst, und das Testverfahren damit
effizienter und genauer gemacht werden kann. Bei der Anwendung zeitabhängiger
Leistungstests gilt es allerdings zu beachten, dass Schwankungen der Übertragungszeiten oder
der Verarbeitungsgeschwindigkeit der Hardware vor Ort die Ergebnisse beeinflussen können
(Hertel, Konradt & Orlikowski, 2003). In diesem Kontext erfolgt zunehmend der Einsatz von
Testsystemen bzw. Testplattformen (z. B. ELIGO oder Hogrefe Test System), die eine
Durchführung verschiedener Fragebogenverfahren und Leistungstests und damit eine profilund positionsorientierte Auswahl und Auswertung solcher Tests erlaubt.
Beispiele für onlinebasierte simulationsorientierte Verfahren sind insbesondere videobasierte
Tests, computerbasierte Postkorbaufgaben, PC-gestützte Simulationen von komplexen
betriebswirtschaftlichen Prozessen und Online Assessment Center. In allen vier Fällen wird
versucht, Szenarien oder Situationen der Arbeitswelt zu simulieren, die von den Bewerbern
allein oder gemeinsam zu bearbeiten sind. Bei den videobasierten Tests (vgl. Weekly &
Jones, 1997) werden den Bewerber berufsbezogene Situationen in Spielsituationen vorgestellt
und sie werden gebeten zu antizipieren, wie sie sich in einer solchen Situation verhalten
würden. Gegenüber textbasierten „situativen Fragen“, die vergleichbare Szenarien nur
verbalschriftlich wiedergeben, besitzen die Videoszenarien eine deutlich höhere
Realitätsnähe, Komplexität und Plausibilität. Sie sind aber wesentlich aufwendiger und teurer
in der Entwicklung. Bei computerbasierten Postkorbaufgaben (vgl. Riedinger & Rolfs, 1998)
werden alltägliche Aufgaben simuliert, die Fähigkeiten der Arbeitsorganisation,
Zielorientierung und des Erkennens von Zusammenhängen erfordert und über die
beobachtbaren Arbeitshandlungen sowie Entscheidungen und Handlungsbegründungen
erfasst werden können. Da mittlerweile die Mehrzahl der Arbeitshandlungen in vielen
Arbeitskontexten computergestützt erfolgt, stellen auch computerbasierte Postkorbaufgaben
kaum noch eine fremde Arbeitsumgebung dar. Ein konkretes Beispiel für ein onlinebasiertes
Assessment Center ist „pro facts“ (Etzel & Küppers, 2002). Hierbei handelt es sich um ein
realitätsnah gestaltetes Online Assessment, um unternehmerische, organisatorische und
verkäuferische Kompetenzen handlungs- und situationsbezogen zu erfassen. Vergleichbar mit
einem Plan- oder komplexen Rollenspiel sollen die Bewerber verschiedene Aufgaben eines
Mitarbeiters in einem Versicherungs- bzw. Immobilienmaklerunternehmen übernehmen,
wobei ihre Entscheidungen und ihr Handeln u.a. in Bezug auf Kundenorientierung,
Planungskompetenz oder Eigenverantwortlichkeit beurteilt werden. Bei PC-gestützten
Simulationen komplexer betriebswirtschaftlicher Prozesse übernehmen die Bewerber die
Rolle von Managern oder Führungskräften, die die Aufgabe erhalten, über einen bestimmten
Zeitraum ein Unternehmen oder einen Geschäftsbereich unter Beachtung verschiedener
dynamischer Einflussfaktoren zu steuern und dabei verschiedene Optimierungskriterien zu
berücksichtigen. Solche Simulationen sind mittlerweile als multimedial gestaltete Spiele im
Rahmen von Recrutainment Anwendungen bekannt geworden. Die bislang entwickelten
Verfahren sind allerdings trotz ihrer im ersten Eindruck hohen Augenscheinvalidität nicht
sehr anforderungsbezogen. Es besteht somit noch erheblicher Forschungsbedarf in Bezug auf
die kriteriums- und konstruktbezogene Validität solcher Verfahren (Kersting, 1999).
3. Äquivalenzproblematik bei Online Assessments
Die Äquivalenzproblematik betrifft die Frage, ob sich durch einen Wechsel des Testmodus, z.
B. die Übertragung von Tests von einer Papier-Bleistift-Version in eine computer- oder
onlinebasierte Form sich die Natur des erfassten Konstrukts bzw. das Testverhalten verändert.
Ist dies der Fall, würde es bedeuten, dass zwischen den beiden Testversionen keine
Äquivalenz besteht und damit die diagnostischen Aussagen beider Testmodi nicht
miteinander vergleichbar sind. Gemäß den Richtlinien der International Testing Commission
(2005) ist Äquivalenz von computerbasierten und Papier-Bleistift-Tests dann gegeben, wenn
beide Versionen
vergleichbare Reliabilitäten besitzen
ausreichend hoch miteinander korrelieren
in ähnlicher Höhe mit anderen Testverfahren und externen Kriterien korrelieren
vergleichbare Mittelwerte und Standardabweichungen aufweisen.
Außerdem sollten beide Versionen ein vergleichbares Niveau in Bezug auf Flexibilität
aufweisen (z. B. in Bezug auf die Möglichkeiten Items korrigieren und überspringen zu
können) und die Darbietung der Items und Antwortmöglichkeiten sollte auf möglichst
ähnliche Art und Weise erfolgen.
In einer Überblicksanalyse von Konradt, Lehmann, Böhm-Rupprecht und Hertel (2003)
wurden entsprechende Äquivalenzstudien in Bezug auf folgende Fragen ausgewertet:
Reliabilität: Ist mit dem Darbietungsmedium eine Beeinflussung der Messgenauigkeit
gegeben?
Validität: Wie wirkt sich das Darbietungsmedium auf die Messgültigkeit eines
Verfahrens aus?
Akzeptanz: Werden computergestützte Verfahren von Benutzern sozial akzeptiert?
Insgesamt wurden hierzu 43 Studien ausgewertet und die Befunde differenziert nach offlinevs. onlinebasierten Verfahren und dem Testfokus (allgemeine und spezielle kognitive
Leistungstests vs. Persönlichkeits-, Einstellungs- und Interessentests) vorgestellt.
In Bezug auf die computer- bzw. offlinebasierten kognitiven Leistungstests zeigten sich in
den zwölf analysierten Studien eher heterogene Ergebnisse. Auch wenn die Reliabilitätswerte
relativ hohe Übereinstimmungen zwischen den verschiedenen Darbietungsmodi aufwiesen,
fielen die Testergebnisse in der Computerversion teilweise signifikant schlechter teilweise
signifikant besser aus. Die widersprüchlichen Befunde können durch unterschiedliche
technische Ausstattungen der computerbasierten Tests (z. B. in Bezug auf Tastatur, Maus
oder Monitorgröße), die je nach Form zusätzliche Fehlervarianz erzeugen, und verschiedene
Möglichkeiten in Bezug auf die Bearbeitungsreihenfolge der Items sowie Einflussfaktoren auf
die Geschwindigkeit der Testbearbeitung verursacht sein. Auch Mead und Drasgow (1993)
stellten im Rahmen einer Metaanalyse zu Äquivalenzstudien fest, dass Tests, die unter einer
Zeitbegrenzung durchgeführt werden (Speedtests), signifikant von der Art der Darbietung
beeinflusst werden. Für Testverfahren zur nicht zeitbegrenzten Erfassung von Fähigkeiten
(Powertests) konnten entsprechende Unterschiede nicht festgestellt werden. Bodmann und
Robinson (2004) kamen außerdem auf der Basis mehrer experimenteller Studien zu der
Schlussfolgerung, dass Testmodus-Effekte nicht zwingend dadurch zustande kommen, dass es
sich um ein Computer- oder ein Papier-Bleistift-Format handelt, sondern diese sind eher von
der „Flexibilität“ des Tests abhängig. Unter Flexibilität ist hier beispielsweise zu verstehen,
dass es auch bei einer computerbasierten Testform möglich ist, vor- und zurück zu blättern
sowie ein Item später oder auch erneut zu bearbeiten. Computer- und Papier-Bleistift-Tests
sind somit dann vergleichbar, wenn bei der Bearbeitung beider Formen dieselben
Bedingungen bezüglich der Items und der Testvorgabe gegeben sind. Nichtsdestotrotz ist es
angesichts der berichteten Befunde dringend geboten, Anpassungen der Normwerte für
computerbasierte, d. h. auch onlinebasierte kognitive Leistungstests vorzunehmen.
Hertel et al. (2003) berichten darüber hinaus für zwölf Äquivalenzvergleiche bei
offlinebasierte nicht-kognitiven Testverfahren mit kleinen Ausnahmen keine entsprechenden
Unterschiede in Bezug auf die verschiedenen Darbietungsmodi. Bei Persönlichkeits-,
Motivations- und Interessentests kann somit Äquivalenz für zentrale testtheoretische
Merkmale gezeigt werden. Insgesamt wiesen sowohl die computerbasierten kognitiven als
auch nicht-kognitiven Verfahren – sofern untersucht - eine hohe Akzeptanz bei den Nutzern
auf.
Zur Wirkung onlinebasierter Testverfahren auf das Testverhalten wird nur von einer Studie
(Wilhelm, 1999) berichtet, die allerdings keinen signifikanten Einfluss auf die Antwortmuster
der Probanden zeigt. In Bezug auf die Äquivalenz onlinebasierter nicht-kognitiver Verfahren
wurden zehn Studien ausgewertet. Hierbei zeigten sich überwiegend gute Übereinstimmungen
zwischen onlinebasierten Verfahren und Papier-Bleistift-Tests. Es wurden aber auch
signifikante Unterschiede in Bezug auf die Einschätzung von Selbstvertrauen, sozialer Angst
und sozialer Erwünschtheit sowie weiterer diagnostischer Daten ermittelt (z. B. Bogner, 1996
oder Joinson, 1999).
In Bezug auf die Akzeptanzbewertungen zu onlinebasierten Tests ermittelten Hertel et al.
(2003) durchgehend positive Werte in den Studien. Auch ein Selektionseffekt, d. h. die
Befürchtung, dass durch den Einsatz von Online Verfahren nur bestimmte
Teilnehmergruppen erreicht werden, konnte nicht bestätigt werden. In Studien, in denen
Teilnehmer im Internet und für eine Papier-Bleistift-Bedingung zufällig gesammelt wurden,
fanden sich keine Unterschiede hinsichtlich zentraler demographischer Stichprobenmerkmale.
Die Autoren resümieren allerdings, dass eine abschließende Bewertung des
Forschungsstandes zur Äquivalenz von onlinebasierten Verfahren auf Grund der
fragmentarischen Datenlage im Moment nicht möglich ist.
Abschließend ist zur Problematik der Äquivalenz anzumerken, dass diese selbstverständlich
nur dann relevant ist, wenn ein Test dauerhaft in verschiedenen Modi verwendet werden soll
oder bestehende Testnormen bzw. Validitätsbefunde, die auf einer Papier-Bleistift-Version
beruhen, auf eine computer- bzw. onlinebasierte Version generalisiert werden sollen. Bei
Neuentwicklungen von Tests ist der erstgenannte Fall mittlerweile eher die Ausnahme und für
Verfahren, die von den spezifischen Möglichkeiten der Computer- bzw. Onlinemedien
Gebrauch machen und daher nicht in ein gedrucktes Medium übertragbar sind, stellt sich die
Äquivalenzfrage nicht.
4. Vorteile und Potenziale des onlinebasierten Assessments
Die Vorteile der verschiedenen Formen des Online Assessments sind im zweiten Kapitel
schon mehrfach erwähnt und erläutert worden. In den folgenden Ausführungen sollen diese
Aspekte nochmals aufgegriffen und vertieft werden.
Potenziale zur Optimierung von Testgütekriterien
Kommen wir zunächst zu den Vorteilen und Potenzialen computer- bzw. offlinebasierter
Testverfahren, die größtenteils auch für onlinebasierter Verfahren gelten: Zu den am
häufigsten genannten Vorteilen computerbasierter Testverfahren gehören insbesondere
Potenziale zur Verbesserung der Testgütekriterien (Jurecka & Hartig, 2007). So kann die
Objektivität durch die Standardisierung der Testvorgabe, der Testinstruktion und der
Auswertungsroutinen bzw. -algorithmen verbessert werden. Hierdurch werden insbesondere
Situations- und Testleitereffekte verringert. Außerdem kann die Aufgabenvorgabe und –
bearbeitung bei computerbasierten Tests besser kontrolliert werden. Hierdurch kann
gewährleistet werden, dass ein Proband tatsächlich auch alle Items vorgegeben bekommt und
beantwortet. Eine entsprechende Verringerung der Mess- und Auswertungsfehler kann
schließlich auch zu einer Verbesserung der Testreliabilität führen (Ridgeway & McCusker,
2004). Darüber hinaus ermöglicht die Verwendung automatisierter Auswertungsprozesse
während des Testens die Anwendung adaptiver Testverfahren (siehe auch Kap. 2). Durch die
Möglichkeit, ein im Hinblick auf Schwierigkeit und diagnostischer Information optimales
Itemset für einen Probanden auszuwählen und bearbeiten zu lassen, verkürzt nicht nur die
Bearbeitungszeit ohne dass die Testreliabilität verringert wird, sondern kann auch zur
Verbesserung der Testvalidität beitragen (vgl. Frey, 2006).
Ökonomiepotenziale bei Online Assessments
Computerbasierte Tests und somit auch Online Assessments besitzen außerdem eine Reihe
von ökonomischen Vorteilen gegenüber Papier-Bleistift-Verfahren (vgl. Jurecka & Hartig,
2007). Die Testvorgabe bzw. –durchführung erfolgt meist rationeller, was zu Zeitersparnissen
sowohl für den Probanden als auch den Testleiter führt. Durch die automatische
Testauswertung und möglicherweise auch automatisierte Rückmeldung werden ebenfalls
Arbeitsaufwände und administrative Kosten des Testleiters reduziert. Die sofortige
Verfügbarkeit der Testergebnisse bei einer automatisierten Auswertung ermöglicht es
außerdem, dass auch der Proband nicht mehr auf die Ergebnisse zu warten braucht. Er kann
das Ergebnis sowie weitere Interpretationen und Erläuterungen, sofern Sie automatisiert
erstellt werden, sofort erhalten oder abrufen. Ein weiterer ökonomischer Vorteilsaspekt
besteht darin, dass die Testdaten sofort in einem computerkompatiblen Format erzeugt und
weiter verarbeitet werden. Hierdurch werden nicht nur bei der Dateneingabe und
Testauswertung Fehlerquellen ausgeschlossen, sondern letztlich auch viel Arbeitsaufwand
und –zeit gespart.
Potenziale zur Verwendung innovativer Testformate bei Online Assessments
Besondere Potenziale computerbasierter Tests liegen insbesondere in der Verwendung neuer
und innovativer Testmaterialien, die in dieser Form bei gedruckten Medien nicht möglich
wären (vgl. Konradt & Hertel, 2004). Hierunter fällt der Einsatz von Audio- und
Videomaterial oder Animationen wie beispielsweise bei den oben beschriebenen
videobasierten Tests, Online Assessment Center oder PC-gestützten Simulationen komplexer
betriebswirtschaftlicher Prozesse. Durch die Darbietung multimedialer und komplexerer
Stimuli können die Testaufgaben realitätsnäher und dynamischer bezüglich ihrer
Anforderungen gestaltet werden. Das ermöglicht es, die zu messenden Kompetenzen auch in
höherem Maße handlungs- und situationsbezogen zu erfassen. Entsprechende dynamische und
interaktive Programme werden z. B. in medizinischen Ausbildungsfeldern entwickelt und
eingesetzt. So testet beispielsweise der „Affective Virtual Patient“ (Jung, Ahad & Weber,
2005) bei angehenden Medizinern, wie sie den Prozess der Neuaufnahme und Untersuchung
eines unbekannten Patienten durch entsprechende Handlungen und Entscheidungen
bewältigen. Je nach Entscheidungs- oder Handlungsalternative, die über multiple-choiceAbfragen erfasst werden, ändert sich die folgende Situation bzw. passt sich an diese
dynamisch an. Dabei werden die Patientenaktivitäten und diagnostischen Daten in
authentischer Form mithilfe von Videosequenzen sowie bildlichen und grafischen
Darstellungen wiedergegeben. Solche Testszenarien überprüfen somit nicht nur medizinisches
Wissen, sondern testen facettenreiches Handeln in komplexen Situationen, die auch
Anforderungen an die soziale Kompetenz stellen und Wissen um Routinen im
Krankenhausalltag
erfordern.
Entsprechende
Simulationen
berücksichtigen
die
Situationsgebundenheit von Kompetenzen und erhöhen somit auch die Testvalidität. Aktuelle
Entwicklungen beschäftigen sich zudem mit der Gestaltung dreidimensionaler „virtueller“
Testumgebungen, in denen sich der Proband frei bewegen, Handlungen ausführen oder auch
Gespräche mit simulierten oder echten Personen führen kann (Jude & Wirth, 2007). Diese
Szenarien, die sehr realitätsnah und dynamisch gestaltet werden können, lassen sich in der
Handhabung meist relativ schnell und intuitiv erlernen und können sowohl zur Diagnose
individueller Kompetenzen als auch zur Aufzeichnung und Feinanalyse sozialer Interaktionen
genutzt werden.
Flexibilitätspotenziale bei Online Assessments
Besondere Vorteile und Potenziale onlinebasierter Assessmentverfahren sind darüber hinaus
in der hohen zeitlichen und räumlichen Flexibilität der Testanwendung zu sehen. Über das
Internet sind Online Assessments mehr oder weniger ständig, d. h. ohne zeitliche
Einschränkungen und von fast überall auf der Welt zugänglich. Von Seiten des Probanden
werden dazu lediglich ein Computer sowie ein für den jeweiligen Zweck ausreichender
Internetzugang und -browser benötigt. Hierdurch kann ein „on-demand-Testing“ ermöglicht
werden; d. h. dass ein Proband eine Prüfung oder einen Test dann ablegen kann, wenn er sich
dazu bereit fühlt bzw. ist und damit den für ihn geeignetsten bzw. optimalsten Zeitpunkt
wählen (Jurecka & Hartig, 2007).
Funktion von Online Assessments im Rahmen von Selbstselektions- und Vorauswahlschritten
Die oben beschriebene Rationalisierung der Testanwendung durch Computereinsatz und die
hohe zeitliche und räumliche Verfügbarkeit der Tests ermöglichen darüber hinaus, dass die
Testanwender auch in die Lage versetzt werden, große Bewerberzahlen mit vertretbarem
Aufwand zu bewältigen. Dies kann insbesondere durch die Bereitstellung hoch
automatisierter Schritte der Testanwendung, -auswertung und -rückmeldung sowie
entsprechender Zugriffskapazitäten der Server gewährleistet werden. Bedeutsam ist dies vor
allem für große Organisationen oder Jobbörsen mit hohen Bewerberzahlen für ihre Stellenbzw. Ausbildungsplatzangebote (z. B. auch Universitäten). Hierdurch können insbesondere
bestimmte Schritte der Vorauswahl und Selbstselektion im Auswahlprozess rationell
bearbeitet werden, um hohe Bewerberzahlen auf eine für die weiteren Auswahlschritte
beherrschbare Zahl von geeigneten Bewerbern zu reduzieren. Ein bedeutsamer Baustein ist in
diesen Zusammenhang beispielsweise auch die Möglichkeit, die mithilfe von Online
Assessments erhobenen Bewerberprofile mit den Anforderungsprofilen der Stellenangebote in
einem automatisierten Prozess abzugleichen, um den Bewerbern eine direkte Rückmeldung
zur Passung und Eignung sowie weitere Schritte der Bewerbung zu geben.
Modernitätsimage durch Nutzung von OnlineAssessments
Nicht zuletzt vermittelt der Einsatz von Online Assessments im Kontext der
Personalrekrutierung und -auswahl auch ein spezifisches Image einer zeitgemäßen und
modernen Organisation gegenüber bestimmten Bewerberzielgruppen. Zur Gewinnung gut
ausgebildeter akademischer Fachkräfte bzw. „Talente“ ist dies mittlerweile ein bedeutsamer
bzw. erfolgsentscheidender Aspekt im Rahmen der Rekrutierungsaktivitäten (Konradt &
Hertel, 2004).
5. Nachteile und Probleme des onlinebasierten Assessments
Der Einsatz onlinebasierter Assessmentverfahren bringt je nach Ausgangssituation oder
Rahmenbedingungen auch gewisse Probleme oder Nachteile mit sich. Anwender dieser
Verfahren sollten sich solcher Risiken bewusst sein und wenn möglich Maßnahmen ergreifen,
um die entsprechenden Risiken oder Nachteile zu begrenzen oder auszuschalten.
Manipulierbarkeit der Testsituation
Werden onlinebasierte Assessmentverfahren ohne Anwesenheit von Testleitern durchgeführt
– was der Regelfall ist -, dann ist die Testsituation nur bedingt kontrollierbar. Hierdurch kann
insbesondere die Durchführungsobjektivität von Online Assessments erheblich gefährdet
bzw. eingeschränkt werden. So kann es z. B. zu mehrfachen Bearbeitungen eines Tests durch
eine Person kommen. Hierdurch treten – insbesondere bei Leistungstests – Trainingseffekte
auf, die die Testergebnisse verfälschen. Einerseits ist in diesem Fall zu überlegen, wie
entsprechende multiple Eingaben durch restriktive Zugangsvorkehrungen (z.B.
Authentifizierungsverfahren bzw. passwortgeschützter Zugang) verhindert werden können.
Alternativ ist aber auch zu erwägen, wie interessierten Bewerbern vor der eigentlichen
Testung Trainingsmöglichkeiten anhand ähnlicher Verfahren eingeräumt werden können.
Hierdurch können auch Testverzerrungen durch eine unterschiedliche Vertrautheit der
Zielpopulation mit dem Testmaterial reduziert werden. Neben Übungseffekten können
onlinebasierte Assessments auch gezielt verfälscht werden, indem sich beispielsweise
Bewerber von anderen bei der Testbearbeitung helfen lassen oder eine andere Person statt des
Bewerbers den Test bearbeitet. Bisher gibt es kaum realistische Möglichkeiten einen solchen
Missbrauch ohne persönliche Kontrolle durch einen Testleiter zu unterbinden (Hertel et al.,
2003). Wie im Eingangsbeispiel geschildert, sind regionale Testzentren eine Alternative zu
langwierigen Anreisen zu einem Unternehmen. Allerdings existieren solche regionalen
Testzentren bisher nur als Pilotprojekte (Fontaine & Wild, 2001). Durch die erhöhte
Zugänglichkeit des Testmaterials bei Online Assessmentverfahren wird außerdem befürchtet,
dass Foren entstehen, in denen „richtige“ oder Musterantworten ausgetauscht werden und
damit die Tests „entschlüsselt“ werden. Eine Vorsichtsmaßnahme gegen diese Art der
Manipulation besteht in der zufälligen Anordnung und Auswahl von Testitems, die anhand
einer Itemdatenbank generiert wird. Um die Auftretensrate von Manipulationen zu reduzieren,
werden im angloamerikanischen Kontext auch sog. „Ehrenwortverträge“ abgeschlossen, in
denen der Bewerber versichert, keine unzulässigen Hilfsmittel oder andere Personen heran zu
ziehen. Ein Nachweis für die Effektivität solcher Verträge wurde bisher jedoch noch nicht
erbracht (Konradt & Hertel, 2004).
Probleme in Bezug auf Fairness und Gleichberechtigung
Ein zentraler Grundsatz psychologischer Personalauswahl beinhaltet, dass es zu keinen
Benachteiligungen der Bewerber hinsichtlich Geschlecht, Religion oder ökonomischem
Hintergrund kommen darf (Westhoff et al., 2004). In diesem Zusammenhang gewährleisten
onlinebasierte Assessments einerseits, dass eine entsprechende gleichberechtigte Behandlung
von Bewerbern eingehalten wird, da auch Teilnehmer mit eingeschränkter Mobilität oder aus
entfernten Regionen unproblematisch am Auswahlverfahren teilnehmen können, und die
Beurteilung unabhängig von der äußeren Erscheinung erfolgt. Der Einsatz von Online
Assessments kann aber andererseits auch zu Ungleichheiten führen, wenn Personen der
Zielgruppe nicht über eine geeignete EDV-Ausstattung oder nur geringe Internetkenntnisse
verfügen. Selektive Zugangsmöglichkeiten und Medienpräferenzen wirken sich
möglicherweise auch negativ für das suchende Unternehmen aus, da hierdurch gegebenenfalls
die Bewerbergruppe deutlich eingeschränkt wird und dadurch eine suboptimale Besetzung der
Stelle resultieren könnte. Außerdem gilt es im Zusammenhang mit der Verfahrensfairness zu
prüfen, ob die Ergebnisse der verfahrensbezogenen Validierung und Normierung auf alle
Bewerber generalisierbar sind und insbesondere Nutzer von Online Assessments sich nicht
systematisch von Bewerbern, die solche Zugänge nicht verwenden können, unterscheiden.
Sind diesbezüglich Zweifel angebracht, sollten entsprechende Vergleichstudien durchgeführt
werden. Brenner (2002) gibt die Diskussion zu möglichen Verzerrungen durch den Einsatz
von Online Assessmenttools ausführlich wieder.
Probleme der Globalisierung bei der Personalauswahl
Der potenziell weltweit mögliche Zugang zu Online Assessments erlaubt eine internationale
Suche nach Bewerbern mit nur geringem Mehraufwand. Eine entsprechende Globalisierung
des Stellenmarktes bzw. der Bewerberrekrutierung wirft jedoch eine Reihe zusätzlicher
Fragen in Bezug auf die Sprache des Auswahlinstruments, die Berücksichtigung nationaler
Teststandards, Normen und Rechtsvorschriften sowie die Beachtung kultureller Unterschiede
bei der Konstruktion des Testmaterials auf. Erste Erfahrungen in diesem Kontext legen nahe,
dass die Auswahlverfahren möglichst in der Muttersprache der Bewerber bearbeitet und die
Ergebnisse mit den jeweiligen nationalen Referenzgruppen verglichen, und die
Auswahlkriterien länderspezifisch angepasst werden sollten (vgl. Konradt & Hertel, 2004).
Zu berücksichtigen ist darüber hinaus in diesem Zusammenhang, dass es länderspezifische
Präferenzen in Bezug auf Personalauswahlverfahren gibt (so ist z. B. der Einsatz von
Persönlichkeitstests in Deutschland deutlich weniger verbreitet als in anderen europäischen
und angloamerikanischen Ländern).
Technische Anforderungen an Hard- und Software
In Bezug auf technische Anforderungen ist bei Online Assessments die Abhängigkeit von
technologischen Standards problematisch. In Bezug auf Standards bei Übertragungsraten sind
Online Tests im Moment noch so zu programmieren, dass Sie auch bei geringen
Datenübertragungsraten (z. B. mit einem 56 K-Modem) funktionieren. Ist dies nicht der Fall,
könnte dies zu einer Einschränkung der Bewerbergruppe führen, da Personen, die nicht über
die höheren technischen Standards verfügen, von den Testverfahren ausgeschlossen werden.
Dies hat teilweise zur Folge, dass bestimmte Itemformate (z. B. videobasierte Tests) nicht
verwendet werden können. Darüber hinaus stellt es ein Problem dar, dass trotz erheblicher
Anstrengungen, Programmsprachen für die Anwendung im Internet zu standardisieren, bei
komplexeren Anwendungen immer noch Probleme durch unterschiedliche Softwaresysteme
entstehen können. Es wird daher empfohlen, minimale Voraussetzungen für onlinebasierte
Verfahren festzulegen, verschiedene Versionen für die verbreitetsten Internet-Browser zur
Verfügung zu stellen und gegebenenfalls die Durchführbarkeit von Onlineassessments auf
lokalen Geräten mittels Ferndiagnosetools zu überprüfen. Weitere technische Probleme
können sich teilweise auch durch die Stabilität des Internetzugangs ergeben. So kann es
passieren, dass ein Server kurzfristig überlastet ist und die Internetverbindung unterbrochen
wird. Solche Unterbrechungen sind insbesondere bei zeitabhängigen „Speedtests“
problematisch, da hierdurch die Durchführungsobjektivität des Tests verletzt wird.
Datensicherheit von Online Assessments
Ein für Online Assessments spezifisches Risiko stellt die Datensicherheit dar. Hier muss aus
Datenschutzgründen gewährleistet werden, dass personenbezogene Daten vor unbefugten
Zugriffen geschützt sind. Zum Schutz solcher Daten können die bei anderen onlinebasierten
Anwendungen üblichen Techniken wie z. B. Passwortschutz oder Verschlüsselungstechniken
verwendet werden. Außerdem sollte die Skepsis der Benutzer gegenüber Sicherheitslücken
bereits bei der Kontaktaufnahme abgebaut werden. Das Unternehmen bzw. der Testanbieter
sollte daher auf den entsprechenden Webseiten darauf hinweisen, was mit den Daten
geschieht, wer Zugriff darauf hat, und dass die vertrauliche Handhabung der Daten sowie der
Bewerbung garantiert wird (Moser, Zempel & Göritz, 2003). Eine andere Problematik stellt
den Schutz der Iteminhalte bzw. Testmaterialien dar. Aus urheberrechtlichen Gründen und
um das „Entschlüsseln“ oder Üben bestimmter Aufgaben zu verhindern, sollte eine
Verbreitung von Testinhalten nach Möglichkeit unterbunden werden. Da die getesteten
Personen die Aufgaben auf jeden Fall dargeboten bekommen, ist eine mögliche
Vervielfältigung der Testinhalte (z. B. durch Abfotografieren von Bildschirminhalten) durch
rein technische Maßnahmen nicht zu verhindern. Ein Schutz vor Vervielfältigung der
Testinhalte kann allenfalls durch die Anwesenheit von Testleitern in Online-Testzentren
gewährleistet werden.
Testmotivation und Akzeptanz gegenüber Online Assessments
Die Motivation von Benutzern, an eignungsdiagnostischen Verfahren im Netz teilzunehmen,
kann sehr unterschiedlich ausgeprägt sein und damit auch einen differenziellen Einfluss auf
das Testverhalten und die Verfahrensakzeptanz ausüben. Mögliche Gründe, an Onlinetests
teilzunehmen, können sein, dass man Informationen über Testmodalitäten und –
anforderungen sucht, die Person an einer Selbstbewertung der eigenen
Leistungsvoraussetzungen interessiert ist oder tatsächlich eine neue Stelle gesucht wird. Die
Testmotivation, d. h. die Verhaltenstendenz bei einem Test Einsatz zu zeigen und gut
abzuschneiden, kann je nach motivationaler Ausgangslage und –intensität unterschiedlich
ausfallen und mit divergierenden Präferenzen für unterschiedliche Verfahrenstypen
verbunden sein. Personen mit hoher Testmotivation präferieren beispielsweise eher
Persönlichkeits- und Leistungstests als biographische Fragebögen, während es bei Personen
mit niedriger Testmotivation umgekehrt ist (Konradt & Hertel, 2004). Dies sollte bei der
Auswahl entsprechender Online Verfahren je nach Zielgruppe und Assessmentabsicht
berücksichtigt werden. Die Akzeptanz von Online Assessments (ähnlich wie bei
herkömmlichen Auswahlverfahren) hängt darüber hinaus auch davon ab, wie ausführlich und
transparent die Bewerber über die Stellenanforderungen sowie das Ziel und Procedere des
Auswahlverfahrens informiert werden. Um die Akzeptanz der Bewerber gegenüber Online
Assessments zu steigern, sollten entsprechende Informationen im Vorfeld des Assessments
auf den Webseiten gegeben und insbesondere „realistische vorausschauende Informationen“
über die Stelle und das Unternehmen vermittelt werden. Dies führt schließlich auch zu einer
sorgfältigeren und zuverlässigeren Abwägung der Bewerbungsabsicht und einer
Selbstselektion der Bewerber. Abschließend ist zu erwähnen, dass auch die „wahrgenommene
Fairness“ als Teilaspekt der Akzeptanz gegenüber Auswahlverfahren durch folgende Aspekte
positiv beeinflusst werden kann (vgl. Hough, Oswald & Ployhart, 2001):
hoher Anforderungsbezug des Verfahrens zum Stellenprofil
Möglichkeit, eigene Fähigkeiten und Kenntnisse im Verfahren einbringen zu können
Konsistenz der Testdurchführung
Informationen über den Auswahlprozess und Feedback über die erzielte Leistung sowie
die Auswahlentscheidung
respektvoller Umgang mit den Bewerbern von Seiten des Unternehmens.
Nützlichkeit und Wirtschaftlichkeit des Einsatzes von Online Assessments
Generell kann man davon ausgehen, dass onlinebasierte Assessments immer dann relativ
kostengünstig realisiert werden können, wenn bereits computergestützte (Offline-)Versionen
der in Frage kommenden Auswahlverfahren zur Verfügung stehen. Die Eigenentwicklung
von onlinebasierten Assessmentverfahren ist im Unterschied dazu aber meist sehr aufwands-
und kostenintensiv. Solche Eigenentwicklungen lohnen sich meist erst dann, wenn hohe
Bewerberzahlen zu bearbeiten sind oder mehrfache bzw. multiple Einsatzmöglichkeiten für
das Instrument zu erwarten sind. Ein Vorteil von Eigenentwicklungen stellt insbesondere die
Möglichkeit dar, solche Verfahren besser auf die Anforderungen des Unternehmens bzw. des
Stellenprofils zuschneiden zu können. Bei geringen Bewerberzahlen kann man alternativ auch
auf Angebote von Dienstleistungsanbietern in diesem Bereich zurückgreifen, die bereits
fertige und in der Regel gut überprüfte Online Auswahlverfahren zur Verfügung stellen,
wobei sich die Preise zurzeit zwischen 25 bis 150 Euro pro Einzeltestung bewegen (Hertel et
al., 2003). Den Kosten der Verfahren sind in diesem Zusammenhang nicht nur der direkte
Gewinn durch qualitativ bessere Personalentscheidungen gegenüberzustellen, sondern auch
die Auswirkungen, die durch den Einsatz von Online Assessments bei der Rekrutierung
qualifizierter Nachwuchskräfte im Kontext einer innovationsorientierten Firmenkultur erzielt
werden.
6. Fazit und Gestaltungsanforderungen an onlinebasiertes Assessment
Insgesamt sollte deutlich geworden sein, dass onlinebasierte Assessments beträchtliche
Potenziale besitzen, um die Wirtschaftlichkeit und Qualität von Personalauswahlprozessen
und -verfahren zu verbessern. Ein adäquater und zuverlässiger Einsatz von Online
Assessments im Kontext der Personalauswahl erfordert es aber auch, dass angemessen mit
den spezifischen Problemen und Grenzen dieser Verfahrensformen umgegangen wird. Hierzu
besteht teilweise auch noch erheblicher Forschungsbedarf. Insgesamt ist es vor dem
geschilderten Hintergrund auch wenig realistisch in absehbarer Zukunft davon auszugehen,
dass konventionelle Auswahlinstrumente und –formen vollständig durch onlinebasierte
Verfahren ersetzt werden. Realistische Einsatzmöglichkeiten sind vielmehr in der sinnvollen
und praktikablen Ergänzung konventioneller Verfahren beispielsweise bei der Vor- und
Selbstselektion von Bewerbern zu sehen.
Die vorangegangenen Darstellungen dürften angesichts der Vielschichtigkeit der
angesprochenen Aspekte darüber hinaus verdeutlicht haben, dass die Gestaltung von Online
Assessments anspruchsvolle Aufgaben beinhalten. Konradt und Hertel (2004) weisen
insbesondere auf folgende Aspekte hin:
Kommunikation: Bei jedem Online Assessment sollten Informationen und
Erläuterungen über Ziel und Vorgehen des Auswahlverfahrens sowie über den
Datenschutz gegeben werden. Außerdem sollte in Bezug auf die jeweilige Zielgruppe
des Verfahrens die Zugänglichkeit zum Online Assessment geprüft werden sowie
Anspracheformen und Instruktionen auf die Zielgruppe abgestimmt werden.
Gebrauchstauglichkeit: Online Assessmentverfahren sollten – wie andere Software
auch - ergonomische Kriterien für Benutzeroberflächen und Dialogführung erfüllen
(Booth, 1998). Sie sollten somit einen klaren und übersichtlichen Aufbau besitzen,
einfach und intuitiv bedienbar sein und sich bei Fehlbedienungen fehlertolerant
verhalten bzw. Möglichkeiten zur Fehlerkorrektur aufweisen.
Informationsgehalt: Bei der Gestaltung von Online Assessments sollten Inhalte Priorität
vor dem Design haben. Wichtige Informationen stellen im Rahmen der Assessments
z.B. auch Erläuterungen zur Unternehmens- und Kommunikationskultur, zur
Personalpolitik des Unternehmens, zu Aufstiegs- und Entwicklungsmöglichkeiten sowie
zu Arbeitsplätzen und zum Arbeitsumfeld dar (Steffens-Duch, 2003).
Kontrollierbarkeit: Um die Bedingungen der Testsituation expliziter zu kontrollieren
und das Risiko von Verfälschungen zu mindern, sollten die Bewerber aufgefordert
werden, offen und ehrlich zu antworten oder auch eine Versicherung zu
wahrheitsgemäßen Antworten vor dem Testen eingeholt werden. Denkbar ist auch, dass
bestimmte Umgebungsbedingungen wie z. B. Anzahl der anwesenden Personen, Ort
und Zeit der Testung sowie Art der Störungen per Abfrage erfasst werden und als
Moderatoren der Testleistung berücksichtigt werden.
Nicht zuletzt ist nochmals darauf hinzuweisen, dass in Bezug auf den Einsatz von Online
Assessments im Rahmen eignungsdiagnostischer Prozesse – speziell der Personalauswahl –
noch erheblicher Forschungs- und Entwicklungsbedarf besteht. Offene Fragen betreffen
insbesondere den verstärkten Einsatz von interaktiven und multimedialen Testformaten, die
Erfassung zusätzlicher Verhaltensparameter bzw. Testkennwerte, Möglichkeiten zur
Individualisierung und Adaptivitätsgestaltung der Verfahren, die Optimierung des Dialogs
zwischen Unternehmen und Bewerber, Fragen der Prozessoptimierung im Bereich der
Bewerberadministration sowie die Untersuchung des Einflusses von moderierenden Personenund Situationsmerkmalen. In Bezug auf den letzten Punkt ist insbesondere die Entwicklung
evidenzbasierter psychologischer Modelle zu personalen und situativen Bedingungen
gefordert, die in der Lage sind, die Teilnahmemotivation und das Testverhalten in Situationen
des onlinebasierten Assessments vorherzusagen. Dies ist insbesondere für nicht vollständig
kontrollierte Testsituationen, in denen Betreuer fehlen und die daher eher der Regelfall für
Online Assessments sind, von Interesse.
Literatur
Bartram, D. (2000). Internet recruitment and selection: Kissing frogs to find princes.
International Journal of Selection and Assessment, 8, 261-274.
Bodmann, S.M. & Robinson, D.H. (2004). Speed and performance differences among
computer-based and paper-pencil-tests. Journal of Educational Computing Research, 31,
51-60.
Bogner, W. (1996). Die Validität von Online-Befragungen. Planung und Analyse, 6, 9-12.
Booth, J.F. (1998). The user-interface in computer-based selection and assessment: Applied
and theoretical problematics of an evolving technology. International Journal of Selection
and Assessment, 6, 61-82.
Brenner, V. (2002). Genearlizability issues in internet-based survey research. In B. Batinic,
U.-D. Reips & M. Bosnjak (Hrsg.), Online Social Science (S. 93-114). Seattle: Hogrefe &
Huber.
Etzel, S. & Küppers, A. (2002). Innovative Managementdiagnostik. Göttingen: Hogrefe.
Fontaine, A. de la & Wild, B. (2001). Bewerberpotenziale online erkennen.
Personalwirtschaft, Heft 9/01, 52-54.
Frank, G.P. & Giesen, B. (2004). Personalmarketing und Recruiting im Internet. In G. Hertel
& U. Konradt (Hrsg.), Human Resource Management im Inter- und Intranet (S. 33-54).
Göttingen: Hogrefe.
Frey, A. (2006). Validitätssteigerungen durch adaptives Testen. Fankfurt: Peter Lang.
Hertel, G., Konradt, U. & Orlikowski, B. (2003). Ziele und Strategien von E-Assessment aus
Sicht der psychologischen Personalauswahl. In U. Konradt & W. Sarges (Hrsg.), ERecruitment und E-Assessment (S. 37-53). Göttingen: Verlag für Angewandte Psychologie.
Hough, L.M., Oswald, F.L. & Ployhart, R.E. (2001). Determinants, detection and
amelioration of adverse impact in personnel selection procedures: Issues, evidence and
lessons learned. International Journal of Selection and Assessment, 9, 152-194.
International Testing Commission (2005). International Guidelines on Computer-Based and
Internet Delivered Testing – Version 2005. Verfügbar unter:
http://www.intestcom.org/Downloads/ITC%20Guidelines%20on%20Computer%20%20version%202005%20approved.pdf [13.10.2008]
Joinson, A. (1999). Social desirability, anonymity and internet-based questionnaires. Behavior
and Research Methods, Instruments and Computers, 31, 433-438.
Jude, N. & Wirth, J. (2007). Neue Chancen bei der technologiebasierten Erfassung von
Kompetenzen. In Bundesministerium für Bildung und Forschung (BMBF) (Hrsg.),
Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik (S. 49-56).
Bonn: BMBF Referat Öffentlichkeitsarbeit.
Jung, B., Ahad, A. & Weber, M. (2005). The affective virtual patient: An e-learning tool for
social interaction training within medical field. In Proceedings TESI 2005 – Training
Education & Education International Conference. Nexus Media. Verfügbar unter:
http://isnm.de/~aahad/Downloads/AVP_TESI.pdf [13.10.2008]
Jurecka, A. & Hartig, J. (2007). Computer- und netzwerbasiertes Assessment. In
Bundesministerium für Bildung und Forschung (BMBF) (Hrsg.), Möglichkeiten und
Voraussetzungen technologiebasierter Kompetenzdiagnostik (S. 37-48). Bonn: BMBF
Referat Öffentlichkeitsarbeit.
Kersting, M. (1999). Diagnostik und Personalauswahl mit computergestützten
Problemlöseszenarien? Zur Kriteriumsvalidität von Problemlöseszenarien und
Intelligenztests. Göttingen: Hogrefe.
Konradt, U. & Hertel, G. (2004). Personalauswahl, Patzierung und Potenzialanalyse mit
internetbasierten Verfahren. In G. Hertel & U. Konradt (Hrsg.), Human Resource
Management im Inter- und Intranet (S. 55-71). Göttingen: Hogrefe.
Konradt, U., Lehmann, K., Böhm-Rupprecht, J. & Hertel, G. (2003). Computer- und
internetbasierte Verfahren der Berufseignungsdiagnostik: Ein empirischer Überblick. In U.
Konradt & W. Sarges (Hrsg.), E-Recruitment und E-Assessment (S. 105-124). Göttingen:
Verlag für Angewandte Psychologie.
Konradt, U. & Sarges, W. (2003). Suche, Auswahl und Förderung von Personal mit dem
Intra- und Internet: Strategien, Zielrichtungen und Entwicklungspfade. In U. Konradt & W.
Sarges (Hrsg.), E-Recruitment und E-Assessment (S. 3-15). Göttingen: Verlag für
Angewandte Psychologie.
Mead, A.D. & Drasgow, F. (1993). Equivalence of computerized and paper-pencil cognitive
ability tests: A meta-analysis. Psychological Bulletin, 114, 449-458.
Moser, K., Zempel, J. & Göritz, A. (2003). Personalmarketing im Internet: Ziele, Strategien,
Praktiken und Erfahrungen. In U. Konradt & W. Sarges (Hrsg.), E-Recruitment und EAssessment (S. 19-36). Göttingen: Verlag für Angewandte Psychologie.
Ridgeway, J. & McCusker, S. (2004). Literature review of e-assessment. Bristol, NESTA.
Riedinger, M. & Rolfs, H. (1998). Computergestützte Postkorbaufgaben: Mailbox ‚90, PCOffice und PC-Postkorb „Seeblick“. Zeitschrift für Arbeits- und Organisationspsychologie,
42, 43-50.
Schuler, H. (2006). Lehrbuch Personalpsychologie. Göttingen: Hogrefe
Steffens-Duch, S. (2003). Human Resources im Internet – das Beispiel der Deutschen Bank.
In U. Konradt & W. Sarges (Hrsg.), E-Recruitment und E-Assessment (S. 213-228).
Göttingen: Verlag für Angewandte Psychologie.
Weekly, J.A. & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50,
25-49.
Westhoff, K., Hellfritsch, L.J., Hornke, L.F., Kubinger, K.D., Lang, F., Moosbrugger, H.,
Püschel, A. & Reimann, G. (2004). Grundwissen für die berufsbezogene
Eignungsbeurteilung nach DIN 33430. Lengerich: Pabst.
Wilhelm, O. (1999). Ability and achievement testing on the world wide web. Paper presented
at the German Online Research (GOR ’99), Erlangen.