eAssessment im Testcenter der Universität Bremen

eKlausuren im Testcenter
der Universität Bremen
– Ein Praxisbericht
 Hintergrund
 Der Service “eAssessment”
 Dienstleistungen des ZMML
 Testcenter
 Qualitätsmanagement
 Fazit nach 3 Jahren Testcenter
Dr. Jens Bücking
ITMC Tagung – TU Dortmund 29. Oktober 2010
1
Der eAssessment-Dienst des ZMML
Campusweites Angebot zur Erstellung, Organisation,
Durchführung und Auswertung computergestützter
Prüfungen, Einstufungstests und Übungen
2
Entwicklungspfad von eLearning-Diensten
Lebenszyklusphase
Einstieg
Aufbau
Professionalisierung
Optimierung
Positionierung
Organisationsübergreifend
Etablierung
Institutionalisierung
Pilotprojekte
Diversifizierung
prozessintegriert
PE-orientiert
Maßnahmenfokussiert
versuchsorientiert
3
Entwicklung des eAssessment-Dienstes WS 01/02:
erster Pilotversuch mit FirstClass
WS 04/05:
Projekt eExamination + INFORM
Lebenszyklusphase
Positionierung
Etablierung
Institutionalisierung
WS 06/07:
Projekt eLearningIQ + QS Forsch./Lehre
12/2007: Eröffnung des Testcenters
03/2008: 0,5 + 0,5 WiMi-Stellen
Veranstaltungen
Pilotprojekte
Diversifizierung
Prüfungsleistungen
25
5000
20
4000
15
3000
10
2000
5
1000
0
0
4
21.02.05 08:00-10:00
10:30-12:30
13:00-15:00
15:30-17:30
18:00-20:00
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
23.02.05 08:00-10:00
10:30-12:30
13:00-15:00
15:30-17:30
●
●
●
●
24.02.05 15:00-16:30
●
GW2
●
●
●
●
●
●
●
●
WIWI
●
●
●
●
●
●
●
●
MZH3
●
●
●
●
●
●
●
●
●
MZH2
●
●
●
●
●
22.02.05 08:00-10:00
10:30-12:30
13:00-15:00
15:30-17:30
MZH1
●
●
●
●
●
BIBA2
18.02.05 09:00-10:30
11:00-12:30
13:00-14:30
15:00-16:30
17:00-18:30
18:00-19:30
BIBA1
●
●
●
●
Slot
MZH3
●
●
●
●
Tag
MZH2
●
●
●
●
GW2
MZH1
●
●
●
●
WIWI
BIBA2
●
●
●
●
Slot
16.02.05 08:00-10:00
10:30-12:30
13:00-15:00
15:30-17:30
Tag
BIBA1
Die Ausgangssituation WiSe04/05
●
●
●
●
●
●
●
●
●
●
●
●
100 Durchläufe in max. 7 Parallelen
5
eKlausuren in Zahlen
Fachbereiche / Veranstaltungen
Sprachwissenschaften
Sozialwissenschaften
Biologie / Chemie
Produktionstechnik
Human u. Gesundh.wiss.
Mathematik / Informatik
Erziehungswissenschaft
Wirtschaftswissenschaft
1
2
3
3
10
7
5
3
5
10
35
30
25
20
Testcenter
Rechtswissenschaft
Testcenter
Kunst- u. Kulturwiss.
Veranstaltungen mit eKlausur
15
10
5
0
 31.000 Prüfungsleistungen / 42.000 Anmeldungen
 WS09/10: ~ 5900 Prüfungsleistungen in 50 Prüfungen, ∅ 160 Anmeldungen pro Prüfung
 PC- Pool-Lösung: 9 Durchläufe/Prüfung | Testcenter: 2 Durchläufe/Prüfung
6
eAssessments im Testcenter der Universität Bremen
(12/2007 – 12/2009)
17
2
11
Einstufungstests
5
Probeklausuren
eKlausuren
91
Softwareprüfungen - Uni
Softwareprüfungen - Extern
7
Testcenterauslastung
Prüfungszeit (h) / Monat
70
60
50
40
2009 (h)
30
2010 (h)
20
10
0
Jan. Feb. Mrz. Apr. Mai Jun. Jul Aug. Sep. Okt. Nov. Dez.
Exklusive Wechselphasen, Vor- und Nachbereitung, Einsichten und externe Prüfungen
8
eAssessment als Dienstleistung des ZMML
Unterstützung der Lehrenden in allen Phasen
computergestützter Assessments
Im Vorfeld
Währendessen
Planung
Erstellung
Vorbereitung
Im Anschluß
Nachbewertung
Durchführung
Auswertung
Archivierung
Dienstleistungen des ZMML
Beratung und Support
Statistische Auswertung
Prüfungsmanagement
Erstellung und Qualitätssicherung der Fragenkataloge
Qualifizierung
Technische Betreuung (Prüfungen, Einsichten)
Bereitstellung Testcenter und Prüfungssoftware
10
Projekt „eKlausur“
Beratungsgespräch
Editorschulung
Anmeldeorganisation
Katalogerstellung
Aufsichtsorganisation
Qualitätssicherung
Prüfungsvorbereitung
Abnahme / Zugangstest
Prüfung im Testcenter
ggf. Nachbewertung
Ergebnisexport und -analyse
Klausureinsicht im Testcenter
Testcenter
13
Ausstattung des Testcenters
 Arbeitsplätze (120 + 10)
 Sehr leise + raumsparende Desktop-PCs, 19“ TFT-Bildschirm, leise
Tastatur + Maus, Headset, WebCam
 Server (8)
 Produktiv-Web, Produktiv-DB, Test, Übung, Management, Backup,
Firewall, Spare
 Autonomes Netzwerk
 Client-Management-System + Remote-Control-Software
 Parallel-Datenprojektion + Audioanlage (Mediensteuerung)
 Client-Software (Win-XP, MS-Office)
14
Investionskosten
 Umbau (~300.000 €, Bauetat der Universität)
 Klimatisierung
 Boden
 Verkabelung (Netz + Strom)
 Schließ- und Alarmanlage
 Mobiliar
 IT-Ausstattung (315.000 €, CIP-HBFG)
 Clients
 Server
 Netzwerk
 Medien
 Software
 Gesamtinvestition ~ 615.000 €
15
Prüfungsablauf
Testcenterfilm
16
Prüfungsablauf
 Raumvorbereitung
 Instruktion der Teilnehmer durch die Aufsichten
 Einloggen (Nachname, Matrikelnummer)
 Prüfungsstart
 Bearbeitung
 Manuelle Abgabe oder Zeitablauf
 Ggf. Ergebnismitteilung / Einsicht
 Raumabschluss
Testcenterfilm
17
Prüfungsorganisation: Statusgruppen bei eKlausuren
Aufsichten
Studierende
Autor
Editor
Verwaltung
eLearning-Support
18
Beispielprozess: Erstellung der Fragenkataloge
eLearning-Service
Erstberatung
Festlegung Deadlines
Schulung
Produktion Vorlagen
Digitalisierung
lokale Kontrolle -1
lokale Kontrolle -2
Editoren
Autoren
Upload Erstversion
Kontrolle der Fragen
Überarbeitung
Upload Endversion
Kontrolle Einstellungen
Registrierung der TN
Zugangstest / Endabnahme
19
Qualitätsmanagement der Fragenkataloge
Fragenerstellung
Prüfkriterien
Statistische
Auswertung
Kontrolle
Autoren
o Inhaltsvalidität
o Konstruktvalidität
o Fragestellung
o Bewertung
Kommentare
Studierende
Katalog
Revision
Kontrolle
ZMML
o Schwierigkeitsgrad
o Trennschärfe
o Thematische Zuordnung
o Layout
Einstellungstest
Katalogtest
o Zeitbedarf
TMT – Dateiaustausch, Planung, Termine und Controlling
21
Prüfungsplanung
22
Fazit nach 3 Jahren Testcenter
 Kapazitätsproblem betrifft „nur“ noch Personalressourcen, nicht die
Infrastruktur
 Stabile Prozesse - 100% Durchführungssicherheit
 Prüfungsprozesse deutlich effizienter
 Neue Prüfungsformate (z.B. Anwendungssoftware) möglich
ABER
 Effizienzgewinn darf nicht auf Kosten der Validität gehen
(Reinvestment in gute Fragenkataloge und Prüfungsdesigns)
 Prüfungsdidaktische Beratung und Qualifizierung notwendig
23
Fazit: Wo stehen Wir?
Projekt
Formen
eAssessment
Generation
(Bennett 1998)
Pilotprojekt
Diversifizierung
Etablierung
Institutionalisierung
Einstieg
Aufbau
Professionalisierung
Optimierung
ePortfolio
Softwareprüfung
1.
Generation
Papier  Computer
Einmalig, TC
2.
Generation
Multimedia
Einmalig, TC
eKlausur
Generation
„R“
VR, Simulation, …
Wiederholt, Ortsunabhängig
Aktuelle Projekte und Ausblick
 Freie Platzbuchung - Assessment-on-Demand
Erprobung für eGeneral Studies - Veranstaltungen
 Förderung formativer eAssessments über Kleinprojekte
(Stud.IP + DoIT, Stud.IP + ILIAS, ePortfolio)
 Beantragung und Beteiligung am
„Zentrum für kompetenzorientiertes Prüfen“ (Prof. Karsten Wolf)
25
Vielen Dank für Ihre Aufmerksamkeit
[email protected]
www.eassessment.uni-bremen.de
26
Ihre Zeit ist abgelaufen
OK