Schaper - Online Assessments aus Sicht der psychologischen
Transcrição
Schaper - Online Assessments aus Sicht der psychologischen
Online Assessments aus Sicht der psychologischen Berufseignungsdiagnostik1 Niclas Schaper Gliederung: 1. Ablauf eines onlinebasierten Assessments – statt einer Einführung 2. Zielsetzungen und Verfahrenstypen des Online Assessments 3. Äquivalenzproblematik bei Online Assessments 3. Vorteile und Potenziale des onlinebasierten Asessments 5. Nachteile und Probleme des onlinebasierten Assessments 6. Fazit und Gestaltungsanforderungen an ein onlinebasiertes Assessment 1. Ablauf eines onlinebasierten Assessments – statt einer Einführung Im Folgenden wird zunächst ein fiktives Beispiel bzw. Szenario zur beruflichen Eignungsdiagnostik beschrieben, um zu verdeutlichen, wie der Einsatz von onlinebasierten Tests bzw. Assessments zukünftig aussehen kann oder teilweise auch schon realisiert wird (vgl. Bartram, 2000 oder Hertel, Konradt & Orlikowski, 2003). Auf der Basis einer Bedarfsfeststellung für neue Mitarbeiter und einer Anforderungsanalyse für die zu besetzende(n) Stelle(n) werden von der Personalabteilung eines Unternehmens Stellenangebote über die firmeneigene Internetseite veröffentlicht und onlinebezogene Bewerbungsmöglichkeiten eingerichtet. Zusätzlich werden onlinebasierte Jobbörsen kontaktiert, die Jobsuchende bzw. Bewerber mit passenden Profilen für die Stelle(n) heraussuchen und diesen per Email das Jobangebot offerieren. Denkbar ist auch, dass Mitarbeiter der Personalabteilung selbst in onlineverfügbaren Datenbanken der Jobbörse nach geeigneten Bewerbern recherchieren und diese über das Jobangebot informieren. Diese Aktivitäten beschreiben die Phase der onlinebasierten Rekrutierung. In einem nächsten Schritt hat der Bewerber die Möglichkeit, mithilfe von onlinebasierten Assessmenttools, die auf der Homepage des Unternehmens bereit gestellt werden, seine Stärken und Schwächen in Bezug auf die Stellen- und Unternehmensanforderungen zu prüfen. Hierzu werden entsprechende Fähigkeits-, Wissens- und Persönlichkeitstests online zur Verfügung gestellt. Der Bewerber prüft dabei für sich, ob Anforderungen und Interessen des Unternehmens bzw. der Stelle einerseits und seiner Person andererseits zueinander passen. Die genannten Instrumente zur Selbsteinschätzung und –testung sowie die über die Stelle und das Unternehmen bereit gestellten Informationen dienen somit zur Selbstselektion. Auf dieser Assessmentstufe werden keinerlei personenbezogenen Informationen an das Unternehmen weiter geleitet. Sofern der Bewerber überzeugt davon ist, dass sich eine Bewerbung für ihn lohnt, wird er im nächsten Schritt sein Bewerbungsinteresse per Email oder anhand einer Internetschnittstelle bekunden. Daraufhin wird ihm per Email ein persönliches Passwort für eine Onlinebewerbung zugesandt. Dieser Zugang ermöglicht es den Bewerbern, ihre biographischen Angaben und Bewerbungsunterlagen anhand von onlinebasierten Fragebögen und anderen Eingabemöglichkeiten einzustellen und sich so direkt beim Unternehmen zu bewerben. Darüber hinaus können an dieser Stelle auch weitere einstellungs- und motivationsbezogene Fragebogenskalen abgefragt werden. Von Unternehmensseite werden relevante biographische Daten und weitere Musskriterien (z. B. bestimmte qualifikatorische 1 Erscheint als Beitrag in H. Steiner (Hrsg.): Vom Online-Assessment zum Assessment Center. Heidelberg: Springer Abschlüsse) der Bewerbung abgeprüft. Die Auswertung der in standardisierter Form eingereichten Bewerbungen und Fragebogedaten erfolgt in einer weitgehend automatisierten Form, so dass für diese Vorauswahl-Stufe ebenfalls kaum Personalressourcen benötigt werden. Anhand der vorliegenden Bewerbungsinformationen ist es möglich, eine erste Entscheidung zu treffen, ob der jeweilige Bewerber für weitere Auswahlschritte in Frage kommt. In einem nächsten Schritt werden mit den verbliebenen Bewerbern per Email onlinebasierte Interviews vereinbart und durchgeführt. Zur Vorbereitung haben die Bewerber die Möglichkeit sich per Internet über Produkte, Geschäftsfelder und Kunden sowie Unternehmensstruktur, Firmenphilosophie und Karrieremöglichkeiten zu informieren. Mittels bestimmter multimedialer Darstellungen kann auch ein erster Eindruck über die Tätigkeit selbst vermittelt werden. Im Interview werden weitere eignungsdiagnostische Informationen (z. B. zu kommunikativen Kompetenzen sowie zu motivationalen Voraussetzungen) über den Bewerber eingeholt und Fragen des Bewerbers zur zukünftigen Tätigkeit geklärt. Verläuft auch dieser Schritt erfolgreich, wird der Bewerber zu zusätzlichen Leistungstests und Arbeitsproben bzw. Assessment Centern eingeladen. Hierzu vereinbart der Bewerber einen Termin in einem regionalen Test- bzw. Assessment-Center. Die Durchführung unter solchen kontrollierten Bedingungen ist notwendig, um die Identität des Bewerbers zu kontrollieren und um die Bearbeitung der onlinebasierten Auswahlverfahren zu überwachen. Um den Bewerbern faire Chancen zu gewähren und Übungseffekte auszugleichen, erhalten Sie vorher einen Online-Zugang zu verschiedenen Trainingstools im Internet, mit denen sie sich auf die Tests und Arbeitsproben vorbereiten können. Die Ergebnisse der verschiedenen Testverfahren werden sodann anhand festgelegter Entscheidungsalgorithmen verrechnet, so dass in kürzester Zeit eine Rangliste für die Einstellungsentscheidung zur Verfügung steht. Außerdem kann anhand der Assessmentergebnisse auch ein detailliertes Feedback an die Bewerber versandt werden. Im Folgenden werden die im Szenario angesprochenen Modalitäten, Potenziale, Anforderungen und offenen Fragen einer onlinebasierten Personalauswahl aus Sicht der einschlägigen eignungsdiagnostischen Forschung konkreter angesprochen und erläutert 2. Zielsetzungen und Verfahrenstypen des Online Assessments Wie das Szenariobeispiel gezeigt hat, werden auch bei der onlinebasierten Personalauswahl, weitgehend analoge Schritte und Verfahren wie bei herkömmlichen Auswahlprozessen verwendet. Eine Ausnahme stellt hier unter Umständen der Selbstselektionsschritt dar. Auch für onlinebasierte Testverfahren und Procedere gelten daher dieselben Voraussetzungen und Bedingungen wie für andere eignungsdiagnostische Verfahren. Um Personen für Berufe oder betriebliche Positionen valide auswählen zu können, sollten die dafür eingesetzten Verfahren empirisch nachgewiesene Zusammenhänge zwischen Eignungsmerkmalen einerseits und Erfolgsmaßnahmen andererseits aufweisen. Damit diese Prognosen auch zuverlässig gewährleistet werden können, müssen die verwendeten eignungsdiagnostischen Verfahren darüber hinaus spezifische methodische Standards wie Objektivität, Reliabilität und Validität einhalten. Außerdem sollten bei der Anwendung der Verfahren bestimmte ethische Standards (z. B. Testfairness oder Schutz der Persönlichkeit) und weitere nicht-psychometrische Kriterien (z. B. Ökonomie, Nützlichkeit oder Akzeptanz) erfüllen. Das heißt auch onlinebasierte Testverfahren und Procedere sollten sich durch empirische Fundierung, klare methodische Standards und durch die Einhaltung der genannten weiteren Kriterien auszeichnen. Allgemein versteht man unter Online-Assessments „computergestützte Verfahren zur Beurteilung und Vorhersage beruflich relevanter psychologischer Variablen zur Abschätzung der Eignung, die über Dienste des Internet bereitgestellt werden“ (Konradt & Sarges, 2003, S. 7). Hiervon unterscheiden sich Formen des computerbasierten Assessments, die eine Vorgabe des Testmaterials sowie die Eingabe, Aufzeichnung und Auswertung der Reaktionen an einem einzelnen offline-geschalteten Computer beinhaltet, und Papier-Bleistift-Tests, die im Unterschied zu computer- und onlinebasierten Verfahren die Vorgabe des Testmaterials auf einem gedruckten Medium (Fragebogen bzw. Testheft) sowie einer schriftlichen Beantwortung bezeichnet. Die Vorzüge der Internetnutzung bei der Personalauswahl und Potenzialanalyse liegen nicht nur darin, dass die Auswertungsgeschwindigkeit und –zuverlässigkeit durch den Computereinsatz verbessert werden kann. Sie sind vor allem auch darin begründet, dass Kommunikations- und Informationsaustauschprozesse in diesem Kontext durch die zeit- und ortsunabhängige Vernetzung der Computer im Internet beschleunigt und vereinfacht werden können. Verfahren und Prozeduren des Online Assessments werden vor allem dann eingesetzt, wenn es gilt Vorauswahl- und Selbstselektionsschritte zu unterstützen, Bewerberzielgruppen im Ausland oder über große Distanzen anzusprechen und zu testen, die Informations- und Auswahlmodalitäten möglichst flexibel, d.h. auch permanent und global zur Verfügung zu stellen und um Kommunikations- und Informationsfunktionen im Auswahlprozess zu rationalisieren. Schließlich erlaubt das Internet auch den Einsatz multimedialer Elemente (wie z. B. Videos oder Animationen) im Rahmen der Assessments oder die Verwendung spielerischer Elemente der Personalauswahl (z. B. in Form von Onlinespielen) im Sinne eines „Recrutainments“ (vgl. hierzu Frank & Giesen, 2004). Nicht zuletzt können mithilfe eines onlinebasierten Assessments auch adaptive Testverfahren, die sich an das individuelle Testverhalten der Bewerber anpassen und den Test im Bearbeitungsverlauf auf die Fähigkeiten des Probanden „zuschneiden“, oder onlinebasierte kooperative Testverfahren eingesetzt werden, die räumlich und/oder zeitlich getrennt eine Assessmentaufgabe gemeinsam bewältigen (z. B. bei Gruppenaufgaben zur Auswahl von Teammitgliedern für virtuelle Teams). In Anlehnung an die generelle Unterscheidung von Schuler (2006) in drei Verfahrensgruppen der Berufseignungsdiagnostik lassen sich auch bei Online-Assessments biografie-, konstruktund simulationsorientierte Verfahren unterscheiden. Darüber hinaus können Differenzierungen der Verfahren danach vorgenommen werden, welche Internetdienste verwendet werden (z. B. E-Mail, Video- oder Audiokonferenzen, Application Sharing oder WWW-Funktionen) und in welchem Ausmaß Interaktionen zwischen Benutzer und Anwender erfolgen. Onlinebasierte biografieorientierte Verfahren sind beispielsweise webbasierte Fragebögen, die zur Erfassung von personenbezogenen biographischen Daten dienen. Hierüber kann z.B. ein Abgleich von Personenmerkmalen mit Stellenanforderungen vorgenommen werden und gegebenenfalls mit einer automatisierten Vorauswahl inklusive einer Rückmeldung an den Bewerber versehen werden. Darüber hinaus können die verschiedenen Internetdienste auch zur Informationsdistribution und zur Kommunikation (z. B. das Versenden von Arbeitszeugnissen und das Einholen von Referenzen per E-Mail) genutzt werden. Nicht zuletzt gehören zu dieser Verfahrensgruppe auch onlinegestützte Einstellungsinterviews (z. B. unter Einsatz von Videokonferenztechnologien wie beispielsweise „Netmeeting“). Hierbei können Vorzüge von Telefoninterviews mit den Vorteilen einer größeren Informationsdichte und Interaktionsauthentizität durch die bildliche Darstellung verknüpft werden. Voraussetzung dafür ist allerdings eine stabile und unverzerrte Übertragung. Der Vorzug solcher onlinebasierten Auswahlgespräche liegt darin, dass materielle und zeitliche Kosten gegenüber herkömmlichen Einstellungsinterviews reduziert werden können. Zu den onlinebasierten konstruktorientierten Verfahren zählen unter anderem standardisierte Fragebögen in Form von Persönlichkeits-, Einstellungs-, Motivations- und Interessentests, die onlinegestützt durchgeführt und meist auch in automatisierter Form ausgewertet und rückgemeldet werden. Durch eine automatische Antwortkontrolle kann die Vollständigkeit der Beantwortung optimiert werden. Es wäre darüber hinaus möglich, bei OnlineFragebogenverfahren auch die Antwortzeiten oder die Häufigkeit von Korrekturen zu erfassen, um zusätzliche diagnostische Hinweise über das Antwortverhalten der Bewerber zu erhalten. Soweit bekannt werden solche Testparameter aber bisher kaum genutzt. Nicht zuletzt wird durch die automatisierte Auswertung und Rückmeldung die Testanwendung zusätzlich objektiviert und rationalisiert. Zu dieser Verfahrensgruppe gehören auch onlinebasierte Leistungstests z. B. zur Messung der Konzentrationsfähigkeit oder von bestimmten intellektuellen Fähigkeiten (Intelligenzleistungen). Insbesondere bei Leistungstests bietet sich die Einführung adaptiver Verfahren an, bei denen die Aufgaben an die jeweilige Fähigkeitsstufe des Bewerbers angepasst, und das Testverfahren damit effizienter und genauer gemacht werden kann. Bei der Anwendung zeitabhängiger Leistungstests gilt es allerdings zu beachten, dass Schwankungen der Übertragungszeiten oder der Verarbeitungsgeschwindigkeit der Hardware vor Ort die Ergebnisse beeinflussen können (Hertel, Konradt & Orlikowski, 2003). In diesem Kontext erfolgt zunehmend der Einsatz von Testsystemen bzw. Testplattformen (z. B. ELIGO oder Hogrefe Test System), die eine Durchführung verschiedener Fragebogenverfahren und Leistungstests und damit eine profilund positionsorientierte Auswahl und Auswertung solcher Tests erlaubt. Beispiele für onlinebasierte simulationsorientierte Verfahren sind insbesondere videobasierte Tests, computerbasierte Postkorbaufgaben, PC-gestützte Simulationen von komplexen betriebswirtschaftlichen Prozessen und Online Assessment Center. In allen vier Fällen wird versucht, Szenarien oder Situationen der Arbeitswelt zu simulieren, die von den Bewerbern allein oder gemeinsam zu bearbeiten sind. Bei den videobasierten Tests (vgl. Weekly & Jones, 1997) werden den Bewerber berufsbezogene Situationen in Spielsituationen vorgestellt und sie werden gebeten zu antizipieren, wie sie sich in einer solchen Situation verhalten würden. Gegenüber textbasierten „situativen Fragen“, die vergleichbare Szenarien nur verbalschriftlich wiedergeben, besitzen die Videoszenarien eine deutlich höhere Realitätsnähe, Komplexität und Plausibilität. Sie sind aber wesentlich aufwendiger und teurer in der Entwicklung. Bei computerbasierten Postkorbaufgaben (vgl. Riedinger & Rolfs, 1998) werden alltägliche Aufgaben simuliert, die Fähigkeiten der Arbeitsorganisation, Zielorientierung und des Erkennens von Zusammenhängen erfordert und über die beobachtbaren Arbeitshandlungen sowie Entscheidungen und Handlungsbegründungen erfasst werden können. Da mittlerweile die Mehrzahl der Arbeitshandlungen in vielen Arbeitskontexten computergestützt erfolgt, stellen auch computerbasierte Postkorbaufgaben kaum noch eine fremde Arbeitsumgebung dar. Ein konkretes Beispiel für ein onlinebasiertes Assessment Center ist „pro facts“ (Etzel & Küppers, 2002). Hierbei handelt es sich um ein realitätsnah gestaltetes Online Assessment, um unternehmerische, organisatorische und verkäuferische Kompetenzen handlungs- und situationsbezogen zu erfassen. Vergleichbar mit einem Plan- oder komplexen Rollenspiel sollen die Bewerber verschiedene Aufgaben eines Mitarbeiters in einem Versicherungs- bzw. Immobilienmaklerunternehmen übernehmen, wobei ihre Entscheidungen und ihr Handeln u.a. in Bezug auf Kundenorientierung, Planungskompetenz oder Eigenverantwortlichkeit beurteilt werden. Bei PC-gestützten Simulationen komplexer betriebswirtschaftlicher Prozesse übernehmen die Bewerber die Rolle von Managern oder Führungskräften, die die Aufgabe erhalten, über einen bestimmten Zeitraum ein Unternehmen oder einen Geschäftsbereich unter Beachtung verschiedener dynamischer Einflussfaktoren zu steuern und dabei verschiedene Optimierungskriterien zu berücksichtigen. Solche Simulationen sind mittlerweile als multimedial gestaltete Spiele im Rahmen von Recrutainment Anwendungen bekannt geworden. Die bislang entwickelten Verfahren sind allerdings trotz ihrer im ersten Eindruck hohen Augenscheinvalidität nicht sehr anforderungsbezogen. Es besteht somit noch erheblicher Forschungsbedarf in Bezug auf die kriteriums- und konstruktbezogene Validität solcher Verfahren (Kersting, 1999). 3. Äquivalenzproblematik bei Online Assessments Die Äquivalenzproblematik betrifft die Frage, ob sich durch einen Wechsel des Testmodus, z. B. die Übertragung von Tests von einer Papier-Bleistift-Version in eine computer- oder onlinebasierte Form sich die Natur des erfassten Konstrukts bzw. das Testverhalten verändert. Ist dies der Fall, würde es bedeuten, dass zwischen den beiden Testversionen keine Äquivalenz besteht und damit die diagnostischen Aussagen beider Testmodi nicht miteinander vergleichbar sind. Gemäß den Richtlinien der International Testing Commission (2005) ist Äquivalenz von computerbasierten und Papier-Bleistift-Tests dann gegeben, wenn beide Versionen vergleichbare Reliabilitäten besitzen ausreichend hoch miteinander korrelieren in ähnlicher Höhe mit anderen Testverfahren und externen Kriterien korrelieren vergleichbare Mittelwerte und Standardabweichungen aufweisen. Außerdem sollten beide Versionen ein vergleichbares Niveau in Bezug auf Flexibilität aufweisen (z. B. in Bezug auf die Möglichkeiten Items korrigieren und überspringen zu können) und die Darbietung der Items und Antwortmöglichkeiten sollte auf möglichst ähnliche Art und Weise erfolgen. In einer Überblicksanalyse von Konradt, Lehmann, Böhm-Rupprecht und Hertel (2003) wurden entsprechende Äquivalenzstudien in Bezug auf folgende Fragen ausgewertet: Reliabilität: Ist mit dem Darbietungsmedium eine Beeinflussung der Messgenauigkeit gegeben? Validität: Wie wirkt sich das Darbietungsmedium auf die Messgültigkeit eines Verfahrens aus? Akzeptanz: Werden computergestützte Verfahren von Benutzern sozial akzeptiert? Insgesamt wurden hierzu 43 Studien ausgewertet und die Befunde differenziert nach offlinevs. onlinebasierten Verfahren und dem Testfokus (allgemeine und spezielle kognitive Leistungstests vs. Persönlichkeits-, Einstellungs- und Interessentests) vorgestellt. In Bezug auf die computer- bzw. offlinebasierten kognitiven Leistungstests zeigten sich in den zwölf analysierten Studien eher heterogene Ergebnisse. Auch wenn die Reliabilitätswerte relativ hohe Übereinstimmungen zwischen den verschiedenen Darbietungsmodi aufwiesen, fielen die Testergebnisse in der Computerversion teilweise signifikant schlechter teilweise signifikant besser aus. Die widersprüchlichen Befunde können durch unterschiedliche technische Ausstattungen der computerbasierten Tests (z. B. in Bezug auf Tastatur, Maus oder Monitorgröße), die je nach Form zusätzliche Fehlervarianz erzeugen, und verschiedene Möglichkeiten in Bezug auf die Bearbeitungsreihenfolge der Items sowie Einflussfaktoren auf die Geschwindigkeit der Testbearbeitung verursacht sein. Auch Mead und Drasgow (1993) stellten im Rahmen einer Metaanalyse zu Äquivalenzstudien fest, dass Tests, die unter einer Zeitbegrenzung durchgeführt werden (Speedtests), signifikant von der Art der Darbietung beeinflusst werden. Für Testverfahren zur nicht zeitbegrenzten Erfassung von Fähigkeiten (Powertests) konnten entsprechende Unterschiede nicht festgestellt werden. Bodmann und Robinson (2004) kamen außerdem auf der Basis mehrer experimenteller Studien zu der Schlussfolgerung, dass Testmodus-Effekte nicht zwingend dadurch zustande kommen, dass es sich um ein Computer- oder ein Papier-Bleistift-Format handelt, sondern diese sind eher von der „Flexibilität“ des Tests abhängig. Unter Flexibilität ist hier beispielsweise zu verstehen, dass es auch bei einer computerbasierten Testform möglich ist, vor- und zurück zu blättern sowie ein Item später oder auch erneut zu bearbeiten. Computer- und Papier-Bleistift-Tests sind somit dann vergleichbar, wenn bei der Bearbeitung beider Formen dieselben Bedingungen bezüglich der Items und der Testvorgabe gegeben sind. Nichtsdestotrotz ist es angesichts der berichteten Befunde dringend geboten, Anpassungen der Normwerte für computerbasierte, d. h. auch onlinebasierte kognitive Leistungstests vorzunehmen. Hertel et al. (2003) berichten darüber hinaus für zwölf Äquivalenzvergleiche bei offlinebasierte nicht-kognitiven Testverfahren mit kleinen Ausnahmen keine entsprechenden Unterschiede in Bezug auf die verschiedenen Darbietungsmodi. Bei Persönlichkeits-, Motivations- und Interessentests kann somit Äquivalenz für zentrale testtheoretische Merkmale gezeigt werden. Insgesamt wiesen sowohl die computerbasierten kognitiven als auch nicht-kognitiven Verfahren – sofern untersucht - eine hohe Akzeptanz bei den Nutzern auf. Zur Wirkung onlinebasierter Testverfahren auf das Testverhalten wird nur von einer Studie (Wilhelm, 1999) berichtet, die allerdings keinen signifikanten Einfluss auf die Antwortmuster der Probanden zeigt. In Bezug auf die Äquivalenz onlinebasierter nicht-kognitiver Verfahren wurden zehn Studien ausgewertet. Hierbei zeigten sich überwiegend gute Übereinstimmungen zwischen onlinebasierten Verfahren und Papier-Bleistift-Tests. Es wurden aber auch signifikante Unterschiede in Bezug auf die Einschätzung von Selbstvertrauen, sozialer Angst und sozialer Erwünschtheit sowie weiterer diagnostischer Daten ermittelt (z. B. Bogner, 1996 oder Joinson, 1999). In Bezug auf die Akzeptanzbewertungen zu onlinebasierten Tests ermittelten Hertel et al. (2003) durchgehend positive Werte in den Studien. Auch ein Selektionseffekt, d. h. die Befürchtung, dass durch den Einsatz von Online Verfahren nur bestimmte Teilnehmergruppen erreicht werden, konnte nicht bestätigt werden. In Studien, in denen Teilnehmer im Internet und für eine Papier-Bleistift-Bedingung zufällig gesammelt wurden, fanden sich keine Unterschiede hinsichtlich zentraler demographischer Stichprobenmerkmale. Die Autoren resümieren allerdings, dass eine abschließende Bewertung des Forschungsstandes zur Äquivalenz von onlinebasierten Verfahren auf Grund der fragmentarischen Datenlage im Moment nicht möglich ist. Abschließend ist zur Problematik der Äquivalenz anzumerken, dass diese selbstverständlich nur dann relevant ist, wenn ein Test dauerhaft in verschiedenen Modi verwendet werden soll oder bestehende Testnormen bzw. Validitätsbefunde, die auf einer Papier-Bleistift-Version beruhen, auf eine computer- bzw. onlinebasierte Version generalisiert werden sollen. Bei Neuentwicklungen von Tests ist der erstgenannte Fall mittlerweile eher die Ausnahme und für Verfahren, die von den spezifischen Möglichkeiten der Computer- bzw. Onlinemedien Gebrauch machen und daher nicht in ein gedrucktes Medium übertragbar sind, stellt sich die Äquivalenzfrage nicht. 4. Vorteile und Potenziale des onlinebasierten Assessments Die Vorteile der verschiedenen Formen des Online Assessments sind im zweiten Kapitel schon mehrfach erwähnt und erläutert worden. In den folgenden Ausführungen sollen diese Aspekte nochmals aufgegriffen und vertieft werden. Potenziale zur Optimierung von Testgütekriterien Kommen wir zunächst zu den Vorteilen und Potenzialen computer- bzw. offlinebasierter Testverfahren, die größtenteils auch für onlinebasierter Verfahren gelten: Zu den am häufigsten genannten Vorteilen computerbasierter Testverfahren gehören insbesondere Potenziale zur Verbesserung der Testgütekriterien (Jurecka & Hartig, 2007). So kann die Objektivität durch die Standardisierung der Testvorgabe, der Testinstruktion und der Auswertungsroutinen bzw. -algorithmen verbessert werden. Hierdurch werden insbesondere Situations- und Testleitereffekte verringert. Außerdem kann die Aufgabenvorgabe und – bearbeitung bei computerbasierten Tests besser kontrolliert werden. Hierdurch kann gewährleistet werden, dass ein Proband tatsächlich auch alle Items vorgegeben bekommt und beantwortet. Eine entsprechende Verringerung der Mess- und Auswertungsfehler kann schließlich auch zu einer Verbesserung der Testreliabilität führen (Ridgeway & McCusker, 2004). Darüber hinaus ermöglicht die Verwendung automatisierter Auswertungsprozesse während des Testens die Anwendung adaptiver Testverfahren (siehe auch Kap. 2). Durch die Möglichkeit, ein im Hinblick auf Schwierigkeit und diagnostischer Information optimales Itemset für einen Probanden auszuwählen und bearbeiten zu lassen, verkürzt nicht nur die Bearbeitungszeit ohne dass die Testreliabilität verringert wird, sondern kann auch zur Verbesserung der Testvalidität beitragen (vgl. Frey, 2006). Ökonomiepotenziale bei Online Assessments Computerbasierte Tests und somit auch Online Assessments besitzen außerdem eine Reihe von ökonomischen Vorteilen gegenüber Papier-Bleistift-Verfahren (vgl. Jurecka & Hartig, 2007). Die Testvorgabe bzw. –durchführung erfolgt meist rationeller, was zu Zeitersparnissen sowohl für den Probanden als auch den Testleiter führt. Durch die automatische Testauswertung und möglicherweise auch automatisierte Rückmeldung werden ebenfalls Arbeitsaufwände und administrative Kosten des Testleiters reduziert. Die sofortige Verfügbarkeit der Testergebnisse bei einer automatisierten Auswertung ermöglicht es außerdem, dass auch der Proband nicht mehr auf die Ergebnisse zu warten braucht. Er kann das Ergebnis sowie weitere Interpretationen und Erläuterungen, sofern Sie automatisiert erstellt werden, sofort erhalten oder abrufen. Ein weiterer ökonomischer Vorteilsaspekt besteht darin, dass die Testdaten sofort in einem computerkompatiblen Format erzeugt und weiter verarbeitet werden. Hierdurch werden nicht nur bei der Dateneingabe und Testauswertung Fehlerquellen ausgeschlossen, sondern letztlich auch viel Arbeitsaufwand und –zeit gespart. Potenziale zur Verwendung innovativer Testformate bei Online Assessments Besondere Potenziale computerbasierter Tests liegen insbesondere in der Verwendung neuer und innovativer Testmaterialien, die in dieser Form bei gedruckten Medien nicht möglich wären (vgl. Konradt & Hertel, 2004). Hierunter fällt der Einsatz von Audio- und Videomaterial oder Animationen wie beispielsweise bei den oben beschriebenen videobasierten Tests, Online Assessment Center oder PC-gestützten Simulationen komplexer betriebswirtschaftlicher Prozesse. Durch die Darbietung multimedialer und komplexerer Stimuli können die Testaufgaben realitätsnäher und dynamischer bezüglich ihrer Anforderungen gestaltet werden. Das ermöglicht es, die zu messenden Kompetenzen auch in höherem Maße handlungs- und situationsbezogen zu erfassen. Entsprechende dynamische und interaktive Programme werden z. B. in medizinischen Ausbildungsfeldern entwickelt und eingesetzt. So testet beispielsweise der „Affective Virtual Patient“ (Jung, Ahad & Weber, 2005) bei angehenden Medizinern, wie sie den Prozess der Neuaufnahme und Untersuchung eines unbekannten Patienten durch entsprechende Handlungen und Entscheidungen bewältigen. Je nach Entscheidungs- oder Handlungsalternative, die über multiple-choiceAbfragen erfasst werden, ändert sich die folgende Situation bzw. passt sich an diese dynamisch an. Dabei werden die Patientenaktivitäten und diagnostischen Daten in authentischer Form mithilfe von Videosequenzen sowie bildlichen und grafischen Darstellungen wiedergegeben. Solche Testszenarien überprüfen somit nicht nur medizinisches Wissen, sondern testen facettenreiches Handeln in komplexen Situationen, die auch Anforderungen an die soziale Kompetenz stellen und Wissen um Routinen im Krankenhausalltag erfordern. Entsprechende Simulationen berücksichtigen die Situationsgebundenheit von Kompetenzen und erhöhen somit auch die Testvalidität. Aktuelle Entwicklungen beschäftigen sich zudem mit der Gestaltung dreidimensionaler „virtueller“ Testumgebungen, in denen sich der Proband frei bewegen, Handlungen ausführen oder auch Gespräche mit simulierten oder echten Personen führen kann (Jude & Wirth, 2007). Diese Szenarien, die sehr realitätsnah und dynamisch gestaltet werden können, lassen sich in der Handhabung meist relativ schnell und intuitiv erlernen und können sowohl zur Diagnose individueller Kompetenzen als auch zur Aufzeichnung und Feinanalyse sozialer Interaktionen genutzt werden. Flexibilitätspotenziale bei Online Assessments Besondere Vorteile und Potenziale onlinebasierter Assessmentverfahren sind darüber hinaus in der hohen zeitlichen und räumlichen Flexibilität der Testanwendung zu sehen. Über das Internet sind Online Assessments mehr oder weniger ständig, d. h. ohne zeitliche Einschränkungen und von fast überall auf der Welt zugänglich. Von Seiten des Probanden werden dazu lediglich ein Computer sowie ein für den jeweiligen Zweck ausreichender Internetzugang und -browser benötigt. Hierdurch kann ein „on-demand-Testing“ ermöglicht werden; d. h. dass ein Proband eine Prüfung oder einen Test dann ablegen kann, wenn er sich dazu bereit fühlt bzw. ist und damit den für ihn geeignetsten bzw. optimalsten Zeitpunkt wählen (Jurecka & Hartig, 2007). Funktion von Online Assessments im Rahmen von Selbstselektions- und Vorauswahlschritten Die oben beschriebene Rationalisierung der Testanwendung durch Computereinsatz und die hohe zeitliche und räumliche Verfügbarkeit der Tests ermöglichen darüber hinaus, dass die Testanwender auch in die Lage versetzt werden, große Bewerberzahlen mit vertretbarem Aufwand zu bewältigen. Dies kann insbesondere durch die Bereitstellung hoch automatisierter Schritte der Testanwendung, -auswertung und -rückmeldung sowie entsprechender Zugriffskapazitäten der Server gewährleistet werden. Bedeutsam ist dies vor allem für große Organisationen oder Jobbörsen mit hohen Bewerberzahlen für ihre Stellenbzw. Ausbildungsplatzangebote (z. B. auch Universitäten). Hierdurch können insbesondere bestimmte Schritte der Vorauswahl und Selbstselektion im Auswahlprozess rationell bearbeitet werden, um hohe Bewerberzahlen auf eine für die weiteren Auswahlschritte beherrschbare Zahl von geeigneten Bewerbern zu reduzieren. Ein bedeutsamer Baustein ist in diesen Zusammenhang beispielsweise auch die Möglichkeit, die mithilfe von Online Assessments erhobenen Bewerberprofile mit den Anforderungsprofilen der Stellenangebote in einem automatisierten Prozess abzugleichen, um den Bewerbern eine direkte Rückmeldung zur Passung und Eignung sowie weitere Schritte der Bewerbung zu geben. Modernitätsimage durch Nutzung von OnlineAssessments Nicht zuletzt vermittelt der Einsatz von Online Assessments im Kontext der Personalrekrutierung und -auswahl auch ein spezifisches Image einer zeitgemäßen und modernen Organisation gegenüber bestimmten Bewerberzielgruppen. Zur Gewinnung gut ausgebildeter akademischer Fachkräfte bzw. „Talente“ ist dies mittlerweile ein bedeutsamer bzw. erfolgsentscheidender Aspekt im Rahmen der Rekrutierungsaktivitäten (Konradt & Hertel, 2004). 5. Nachteile und Probleme des onlinebasierten Assessments Der Einsatz onlinebasierter Assessmentverfahren bringt je nach Ausgangssituation oder Rahmenbedingungen auch gewisse Probleme oder Nachteile mit sich. Anwender dieser Verfahren sollten sich solcher Risiken bewusst sein und wenn möglich Maßnahmen ergreifen, um die entsprechenden Risiken oder Nachteile zu begrenzen oder auszuschalten. Manipulierbarkeit der Testsituation Werden onlinebasierte Assessmentverfahren ohne Anwesenheit von Testleitern durchgeführt – was der Regelfall ist -, dann ist die Testsituation nur bedingt kontrollierbar. Hierdurch kann insbesondere die Durchführungsobjektivität von Online Assessments erheblich gefährdet bzw. eingeschränkt werden. So kann es z. B. zu mehrfachen Bearbeitungen eines Tests durch eine Person kommen. Hierdurch treten – insbesondere bei Leistungstests – Trainingseffekte auf, die die Testergebnisse verfälschen. Einerseits ist in diesem Fall zu überlegen, wie entsprechende multiple Eingaben durch restriktive Zugangsvorkehrungen (z.B. Authentifizierungsverfahren bzw. passwortgeschützter Zugang) verhindert werden können. Alternativ ist aber auch zu erwägen, wie interessierten Bewerbern vor der eigentlichen Testung Trainingsmöglichkeiten anhand ähnlicher Verfahren eingeräumt werden können. Hierdurch können auch Testverzerrungen durch eine unterschiedliche Vertrautheit der Zielpopulation mit dem Testmaterial reduziert werden. Neben Übungseffekten können onlinebasierte Assessments auch gezielt verfälscht werden, indem sich beispielsweise Bewerber von anderen bei der Testbearbeitung helfen lassen oder eine andere Person statt des Bewerbers den Test bearbeitet. Bisher gibt es kaum realistische Möglichkeiten einen solchen Missbrauch ohne persönliche Kontrolle durch einen Testleiter zu unterbinden (Hertel et al., 2003). Wie im Eingangsbeispiel geschildert, sind regionale Testzentren eine Alternative zu langwierigen Anreisen zu einem Unternehmen. Allerdings existieren solche regionalen Testzentren bisher nur als Pilotprojekte (Fontaine & Wild, 2001). Durch die erhöhte Zugänglichkeit des Testmaterials bei Online Assessmentverfahren wird außerdem befürchtet, dass Foren entstehen, in denen „richtige“ oder Musterantworten ausgetauscht werden und damit die Tests „entschlüsselt“ werden. Eine Vorsichtsmaßnahme gegen diese Art der Manipulation besteht in der zufälligen Anordnung und Auswahl von Testitems, die anhand einer Itemdatenbank generiert wird. Um die Auftretensrate von Manipulationen zu reduzieren, werden im angloamerikanischen Kontext auch sog. „Ehrenwortverträge“ abgeschlossen, in denen der Bewerber versichert, keine unzulässigen Hilfsmittel oder andere Personen heran zu ziehen. Ein Nachweis für die Effektivität solcher Verträge wurde bisher jedoch noch nicht erbracht (Konradt & Hertel, 2004). Probleme in Bezug auf Fairness und Gleichberechtigung Ein zentraler Grundsatz psychologischer Personalauswahl beinhaltet, dass es zu keinen Benachteiligungen der Bewerber hinsichtlich Geschlecht, Religion oder ökonomischem Hintergrund kommen darf (Westhoff et al., 2004). In diesem Zusammenhang gewährleisten onlinebasierte Assessments einerseits, dass eine entsprechende gleichberechtigte Behandlung von Bewerbern eingehalten wird, da auch Teilnehmer mit eingeschränkter Mobilität oder aus entfernten Regionen unproblematisch am Auswahlverfahren teilnehmen können, und die Beurteilung unabhängig von der äußeren Erscheinung erfolgt. Der Einsatz von Online Assessments kann aber andererseits auch zu Ungleichheiten führen, wenn Personen der Zielgruppe nicht über eine geeignete EDV-Ausstattung oder nur geringe Internetkenntnisse verfügen. Selektive Zugangsmöglichkeiten und Medienpräferenzen wirken sich möglicherweise auch negativ für das suchende Unternehmen aus, da hierdurch gegebenenfalls die Bewerbergruppe deutlich eingeschränkt wird und dadurch eine suboptimale Besetzung der Stelle resultieren könnte. Außerdem gilt es im Zusammenhang mit der Verfahrensfairness zu prüfen, ob die Ergebnisse der verfahrensbezogenen Validierung und Normierung auf alle Bewerber generalisierbar sind und insbesondere Nutzer von Online Assessments sich nicht systematisch von Bewerbern, die solche Zugänge nicht verwenden können, unterscheiden. Sind diesbezüglich Zweifel angebracht, sollten entsprechende Vergleichstudien durchgeführt werden. Brenner (2002) gibt die Diskussion zu möglichen Verzerrungen durch den Einsatz von Online Assessmenttools ausführlich wieder. Probleme der Globalisierung bei der Personalauswahl Der potenziell weltweit mögliche Zugang zu Online Assessments erlaubt eine internationale Suche nach Bewerbern mit nur geringem Mehraufwand. Eine entsprechende Globalisierung des Stellenmarktes bzw. der Bewerberrekrutierung wirft jedoch eine Reihe zusätzlicher Fragen in Bezug auf die Sprache des Auswahlinstruments, die Berücksichtigung nationaler Teststandards, Normen und Rechtsvorschriften sowie die Beachtung kultureller Unterschiede bei der Konstruktion des Testmaterials auf. Erste Erfahrungen in diesem Kontext legen nahe, dass die Auswahlverfahren möglichst in der Muttersprache der Bewerber bearbeitet und die Ergebnisse mit den jeweiligen nationalen Referenzgruppen verglichen, und die Auswahlkriterien länderspezifisch angepasst werden sollten (vgl. Konradt & Hertel, 2004). Zu berücksichtigen ist darüber hinaus in diesem Zusammenhang, dass es länderspezifische Präferenzen in Bezug auf Personalauswahlverfahren gibt (so ist z. B. der Einsatz von Persönlichkeitstests in Deutschland deutlich weniger verbreitet als in anderen europäischen und angloamerikanischen Ländern). Technische Anforderungen an Hard- und Software In Bezug auf technische Anforderungen ist bei Online Assessments die Abhängigkeit von technologischen Standards problematisch. In Bezug auf Standards bei Übertragungsraten sind Online Tests im Moment noch so zu programmieren, dass Sie auch bei geringen Datenübertragungsraten (z. B. mit einem 56 K-Modem) funktionieren. Ist dies nicht der Fall, könnte dies zu einer Einschränkung der Bewerbergruppe führen, da Personen, die nicht über die höheren technischen Standards verfügen, von den Testverfahren ausgeschlossen werden. Dies hat teilweise zur Folge, dass bestimmte Itemformate (z. B. videobasierte Tests) nicht verwendet werden können. Darüber hinaus stellt es ein Problem dar, dass trotz erheblicher Anstrengungen, Programmsprachen für die Anwendung im Internet zu standardisieren, bei komplexeren Anwendungen immer noch Probleme durch unterschiedliche Softwaresysteme entstehen können. Es wird daher empfohlen, minimale Voraussetzungen für onlinebasierte Verfahren festzulegen, verschiedene Versionen für die verbreitetsten Internet-Browser zur Verfügung zu stellen und gegebenenfalls die Durchführbarkeit von Onlineassessments auf lokalen Geräten mittels Ferndiagnosetools zu überprüfen. Weitere technische Probleme können sich teilweise auch durch die Stabilität des Internetzugangs ergeben. So kann es passieren, dass ein Server kurzfristig überlastet ist und die Internetverbindung unterbrochen wird. Solche Unterbrechungen sind insbesondere bei zeitabhängigen „Speedtests“ problematisch, da hierdurch die Durchführungsobjektivität des Tests verletzt wird. Datensicherheit von Online Assessments Ein für Online Assessments spezifisches Risiko stellt die Datensicherheit dar. Hier muss aus Datenschutzgründen gewährleistet werden, dass personenbezogene Daten vor unbefugten Zugriffen geschützt sind. Zum Schutz solcher Daten können die bei anderen onlinebasierten Anwendungen üblichen Techniken wie z. B. Passwortschutz oder Verschlüsselungstechniken verwendet werden. Außerdem sollte die Skepsis der Benutzer gegenüber Sicherheitslücken bereits bei der Kontaktaufnahme abgebaut werden. Das Unternehmen bzw. der Testanbieter sollte daher auf den entsprechenden Webseiten darauf hinweisen, was mit den Daten geschieht, wer Zugriff darauf hat, und dass die vertrauliche Handhabung der Daten sowie der Bewerbung garantiert wird (Moser, Zempel & Göritz, 2003). Eine andere Problematik stellt den Schutz der Iteminhalte bzw. Testmaterialien dar. Aus urheberrechtlichen Gründen und um das „Entschlüsseln“ oder Üben bestimmter Aufgaben zu verhindern, sollte eine Verbreitung von Testinhalten nach Möglichkeit unterbunden werden. Da die getesteten Personen die Aufgaben auf jeden Fall dargeboten bekommen, ist eine mögliche Vervielfältigung der Testinhalte (z. B. durch Abfotografieren von Bildschirminhalten) durch rein technische Maßnahmen nicht zu verhindern. Ein Schutz vor Vervielfältigung der Testinhalte kann allenfalls durch die Anwesenheit von Testleitern in Online-Testzentren gewährleistet werden. Testmotivation und Akzeptanz gegenüber Online Assessments Die Motivation von Benutzern, an eignungsdiagnostischen Verfahren im Netz teilzunehmen, kann sehr unterschiedlich ausgeprägt sein und damit auch einen differenziellen Einfluss auf das Testverhalten und die Verfahrensakzeptanz ausüben. Mögliche Gründe, an Onlinetests teilzunehmen, können sein, dass man Informationen über Testmodalitäten und – anforderungen sucht, die Person an einer Selbstbewertung der eigenen Leistungsvoraussetzungen interessiert ist oder tatsächlich eine neue Stelle gesucht wird. Die Testmotivation, d. h. die Verhaltenstendenz bei einem Test Einsatz zu zeigen und gut abzuschneiden, kann je nach motivationaler Ausgangslage und –intensität unterschiedlich ausfallen und mit divergierenden Präferenzen für unterschiedliche Verfahrenstypen verbunden sein. Personen mit hoher Testmotivation präferieren beispielsweise eher Persönlichkeits- und Leistungstests als biographische Fragebögen, während es bei Personen mit niedriger Testmotivation umgekehrt ist (Konradt & Hertel, 2004). Dies sollte bei der Auswahl entsprechender Online Verfahren je nach Zielgruppe und Assessmentabsicht berücksichtigt werden. Die Akzeptanz von Online Assessments (ähnlich wie bei herkömmlichen Auswahlverfahren) hängt darüber hinaus auch davon ab, wie ausführlich und transparent die Bewerber über die Stellenanforderungen sowie das Ziel und Procedere des Auswahlverfahrens informiert werden. Um die Akzeptanz der Bewerber gegenüber Online Assessments zu steigern, sollten entsprechende Informationen im Vorfeld des Assessments auf den Webseiten gegeben und insbesondere „realistische vorausschauende Informationen“ über die Stelle und das Unternehmen vermittelt werden. Dies führt schließlich auch zu einer sorgfältigeren und zuverlässigeren Abwägung der Bewerbungsabsicht und einer Selbstselektion der Bewerber. Abschließend ist zu erwähnen, dass auch die „wahrgenommene Fairness“ als Teilaspekt der Akzeptanz gegenüber Auswahlverfahren durch folgende Aspekte positiv beeinflusst werden kann (vgl. Hough, Oswald & Ployhart, 2001): hoher Anforderungsbezug des Verfahrens zum Stellenprofil Möglichkeit, eigene Fähigkeiten und Kenntnisse im Verfahren einbringen zu können Konsistenz der Testdurchführung Informationen über den Auswahlprozess und Feedback über die erzielte Leistung sowie die Auswahlentscheidung respektvoller Umgang mit den Bewerbern von Seiten des Unternehmens. Nützlichkeit und Wirtschaftlichkeit des Einsatzes von Online Assessments Generell kann man davon ausgehen, dass onlinebasierte Assessments immer dann relativ kostengünstig realisiert werden können, wenn bereits computergestützte (Offline-)Versionen der in Frage kommenden Auswahlverfahren zur Verfügung stehen. Die Eigenentwicklung von onlinebasierten Assessmentverfahren ist im Unterschied dazu aber meist sehr aufwands- und kostenintensiv. Solche Eigenentwicklungen lohnen sich meist erst dann, wenn hohe Bewerberzahlen zu bearbeiten sind oder mehrfache bzw. multiple Einsatzmöglichkeiten für das Instrument zu erwarten sind. Ein Vorteil von Eigenentwicklungen stellt insbesondere die Möglichkeit dar, solche Verfahren besser auf die Anforderungen des Unternehmens bzw. des Stellenprofils zuschneiden zu können. Bei geringen Bewerberzahlen kann man alternativ auch auf Angebote von Dienstleistungsanbietern in diesem Bereich zurückgreifen, die bereits fertige und in der Regel gut überprüfte Online Auswahlverfahren zur Verfügung stellen, wobei sich die Preise zurzeit zwischen 25 bis 150 Euro pro Einzeltestung bewegen (Hertel et al., 2003). Den Kosten der Verfahren sind in diesem Zusammenhang nicht nur der direkte Gewinn durch qualitativ bessere Personalentscheidungen gegenüberzustellen, sondern auch die Auswirkungen, die durch den Einsatz von Online Assessments bei der Rekrutierung qualifizierter Nachwuchskräfte im Kontext einer innovationsorientierten Firmenkultur erzielt werden. 6. Fazit und Gestaltungsanforderungen an onlinebasiertes Assessment Insgesamt sollte deutlich geworden sein, dass onlinebasierte Assessments beträchtliche Potenziale besitzen, um die Wirtschaftlichkeit und Qualität von Personalauswahlprozessen und -verfahren zu verbessern. Ein adäquater und zuverlässiger Einsatz von Online Assessments im Kontext der Personalauswahl erfordert es aber auch, dass angemessen mit den spezifischen Problemen und Grenzen dieser Verfahrensformen umgegangen wird. Hierzu besteht teilweise auch noch erheblicher Forschungsbedarf. Insgesamt ist es vor dem geschilderten Hintergrund auch wenig realistisch in absehbarer Zukunft davon auszugehen, dass konventionelle Auswahlinstrumente und –formen vollständig durch onlinebasierte Verfahren ersetzt werden. Realistische Einsatzmöglichkeiten sind vielmehr in der sinnvollen und praktikablen Ergänzung konventioneller Verfahren beispielsweise bei der Vor- und Selbstselektion von Bewerbern zu sehen. Die vorangegangenen Darstellungen dürften angesichts der Vielschichtigkeit der angesprochenen Aspekte darüber hinaus verdeutlicht haben, dass die Gestaltung von Online Assessments anspruchsvolle Aufgaben beinhalten. Konradt und Hertel (2004) weisen insbesondere auf folgende Aspekte hin: Kommunikation: Bei jedem Online Assessment sollten Informationen und Erläuterungen über Ziel und Vorgehen des Auswahlverfahrens sowie über den Datenschutz gegeben werden. Außerdem sollte in Bezug auf die jeweilige Zielgruppe des Verfahrens die Zugänglichkeit zum Online Assessment geprüft werden sowie Anspracheformen und Instruktionen auf die Zielgruppe abgestimmt werden. Gebrauchstauglichkeit: Online Assessmentverfahren sollten – wie andere Software auch - ergonomische Kriterien für Benutzeroberflächen und Dialogführung erfüllen (Booth, 1998). Sie sollten somit einen klaren und übersichtlichen Aufbau besitzen, einfach und intuitiv bedienbar sein und sich bei Fehlbedienungen fehlertolerant verhalten bzw. Möglichkeiten zur Fehlerkorrektur aufweisen. Informationsgehalt: Bei der Gestaltung von Online Assessments sollten Inhalte Priorität vor dem Design haben. Wichtige Informationen stellen im Rahmen der Assessments z.B. auch Erläuterungen zur Unternehmens- und Kommunikationskultur, zur Personalpolitik des Unternehmens, zu Aufstiegs- und Entwicklungsmöglichkeiten sowie zu Arbeitsplätzen und zum Arbeitsumfeld dar (Steffens-Duch, 2003). Kontrollierbarkeit: Um die Bedingungen der Testsituation expliziter zu kontrollieren und das Risiko von Verfälschungen zu mindern, sollten die Bewerber aufgefordert werden, offen und ehrlich zu antworten oder auch eine Versicherung zu wahrheitsgemäßen Antworten vor dem Testen eingeholt werden. Denkbar ist auch, dass bestimmte Umgebungsbedingungen wie z. B. Anzahl der anwesenden Personen, Ort und Zeit der Testung sowie Art der Störungen per Abfrage erfasst werden und als Moderatoren der Testleistung berücksichtigt werden. Nicht zuletzt ist nochmals darauf hinzuweisen, dass in Bezug auf den Einsatz von Online Assessments im Rahmen eignungsdiagnostischer Prozesse – speziell der Personalauswahl – noch erheblicher Forschungs- und Entwicklungsbedarf besteht. Offene Fragen betreffen insbesondere den verstärkten Einsatz von interaktiven und multimedialen Testformaten, die Erfassung zusätzlicher Verhaltensparameter bzw. Testkennwerte, Möglichkeiten zur Individualisierung und Adaptivitätsgestaltung der Verfahren, die Optimierung des Dialogs zwischen Unternehmen und Bewerber, Fragen der Prozessoptimierung im Bereich der Bewerberadministration sowie die Untersuchung des Einflusses von moderierenden Personenund Situationsmerkmalen. In Bezug auf den letzten Punkt ist insbesondere die Entwicklung evidenzbasierter psychologischer Modelle zu personalen und situativen Bedingungen gefordert, die in der Lage sind, die Teilnahmemotivation und das Testverhalten in Situationen des onlinebasierten Assessments vorherzusagen. Dies ist insbesondere für nicht vollständig kontrollierte Testsituationen, in denen Betreuer fehlen und die daher eher der Regelfall für Online Assessments sind, von Interesse. Literatur Bartram, D. (2000). Internet recruitment and selection: Kissing frogs to find princes. International Journal of Selection and Assessment, 8, 261-274. Bodmann, S.M. & Robinson, D.H. (2004). Speed and performance differences among computer-based and paper-pencil-tests. Journal of Educational Computing Research, 31, 51-60. Bogner, W. (1996). Die Validität von Online-Befragungen. Planung und Analyse, 6, 9-12. Booth, J.F. (1998). The user-interface in computer-based selection and assessment: Applied and theoretical problematics of an evolving technology. International Journal of Selection and Assessment, 6, 61-82. Brenner, V. (2002). Genearlizability issues in internet-based survey research. In B. Batinic, U.-D. Reips & M. Bosnjak (Hrsg.), Online Social Science (S. 93-114). Seattle: Hogrefe & Huber. Etzel, S. & Küppers, A. (2002). Innovative Managementdiagnostik. Göttingen: Hogrefe. Fontaine, A. de la & Wild, B. (2001). Bewerberpotenziale online erkennen. Personalwirtschaft, Heft 9/01, 52-54. Frank, G.P. & Giesen, B. (2004). Personalmarketing und Recruiting im Internet. In G. Hertel & U. Konradt (Hrsg.), Human Resource Management im Inter- und Intranet (S. 33-54). Göttingen: Hogrefe. Frey, A. (2006). Validitätssteigerungen durch adaptives Testen. Fankfurt: Peter Lang. Hertel, G., Konradt, U. & Orlikowski, B. (2003). Ziele und Strategien von E-Assessment aus Sicht der psychologischen Personalauswahl. In U. Konradt & W. Sarges (Hrsg.), ERecruitment und E-Assessment (S. 37-53). Göttingen: Verlag für Angewandte Psychologie. Hough, L.M., Oswald, F.L. & Ployhart, R.E. (2001). Determinants, detection and amelioration of adverse impact in personnel selection procedures: Issues, evidence and lessons learned. International Journal of Selection and Assessment, 9, 152-194. International Testing Commission (2005). International Guidelines on Computer-Based and Internet Delivered Testing – Version 2005. Verfügbar unter: http://www.intestcom.org/Downloads/ITC%20Guidelines%20on%20Computer%20%20version%202005%20approved.pdf [13.10.2008] Joinson, A. (1999). Social desirability, anonymity and internet-based questionnaires. Behavior and Research Methods, Instruments and Computers, 31, 433-438. Jude, N. & Wirth, J. (2007). Neue Chancen bei der technologiebasierten Erfassung von Kompetenzen. In Bundesministerium für Bildung und Forschung (BMBF) (Hrsg.), Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik (S. 49-56). Bonn: BMBF Referat Öffentlichkeitsarbeit. Jung, B., Ahad, A. & Weber, M. (2005). The affective virtual patient: An e-learning tool for social interaction training within medical field. In Proceedings TESI 2005 – Training Education & Education International Conference. Nexus Media. Verfügbar unter: http://isnm.de/~aahad/Downloads/AVP_TESI.pdf [13.10.2008] Jurecka, A. & Hartig, J. (2007). Computer- und netzwerbasiertes Assessment. In Bundesministerium für Bildung und Forschung (BMBF) (Hrsg.), Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik (S. 37-48). Bonn: BMBF Referat Öffentlichkeitsarbeit. Kersting, M. (1999). Diagnostik und Personalauswahl mit computergestützten Problemlöseszenarien? Zur Kriteriumsvalidität von Problemlöseszenarien und Intelligenztests. Göttingen: Hogrefe. Konradt, U. & Hertel, G. (2004). Personalauswahl, Patzierung und Potenzialanalyse mit internetbasierten Verfahren. In G. Hertel & U. Konradt (Hrsg.), Human Resource Management im Inter- und Intranet (S. 55-71). Göttingen: Hogrefe. Konradt, U., Lehmann, K., Böhm-Rupprecht, J. & Hertel, G. (2003). Computer- und internetbasierte Verfahren der Berufseignungsdiagnostik: Ein empirischer Überblick. In U. Konradt & W. Sarges (Hrsg.), E-Recruitment und E-Assessment (S. 105-124). Göttingen: Verlag für Angewandte Psychologie. Konradt, U. & Sarges, W. (2003). Suche, Auswahl und Förderung von Personal mit dem Intra- und Internet: Strategien, Zielrichtungen und Entwicklungspfade. In U. Konradt & W. Sarges (Hrsg.), E-Recruitment und E-Assessment (S. 3-15). Göttingen: Verlag für Angewandte Psychologie. Mead, A.D. & Drasgow, F. (1993). Equivalence of computerized and paper-pencil cognitive ability tests: A meta-analysis. Psychological Bulletin, 114, 449-458. Moser, K., Zempel, J. & Göritz, A. (2003). Personalmarketing im Internet: Ziele, Strategien, Praktiken und Erfahrungen. In U. Konradt & W. Sarges (Hrsg.), E-Recruitment und EAssessment (S. 19-36). Göttingen: Verlag für Angewandte Psychologie. Ridgeway, J. & McCusker, S. (2004). Literature review of e-assessment. Bristol, NESTA. Riedinger, M. & Rolfs, H. (1998). Computergestützte Postkorbaufgaben: Mailbox ‚90, PCOffice und PC-Postkorb „Seeblick“. Zeitschrift für Arbeits- und Organisationspsychologie, 42, 43-50. Schuler, H. (2006). Lehrbuch Personalpsychologie. Göttingen: Hogrefe Steffens-Duch, S. (2003). Human Resources im Internet – das Beispiel der Deutschen Bank. In U. Konradt & W. Sarges (Hrsg.), E-Recruitment und E-Assessment (S. 213-228). Göttingen: Verlag für Angewandte Psychologie. Weekly, J.A. & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50, 25-49. Westhoff, K., Hellfritsch, L.J., Hornke, L.F., Kubinger, K.D., Lang, F., Moosbrugger, H., Püschel, A. & Reimann, G. (2004). Grundwissen für die berufsbezogene Eignungsbeurteilung nach DIN 33430. Lengerich: Pabst. Wilhelm, O. (1999). Ability and achievement testing on the world wide web. Paper presented at the German Online Research (GOR ’99), Erlangen.