Summary and future prospects

AAA Continuation Activity 2013
WP 7.2 Outlook
iLUB
Summary and future prospects of
e-assessment scenarios and solutions at the University of Bern
WP 7.2
Universität Bern
Vizerektorat Lehre, iLUB
Fabrikstrasse 8
CH-3012 Bern
http://www.ilub.unibe.ch
Im Rahmen des Programmes "Learning Infrastructure" erwarb die Supportstelle für ICT-gestützte
Lehre und Forschung (iLUB) Erfahrungen in Testdurchführungen (Online Musterprüfungen). Getestet wurde die Kombination des ILIAS Lernplattform mit dem Safe Exam Browser auf studentischen
Notebooks. Waren die technischen Hürden einmal überwunden, wurde die Umsetzung der Prüfungsfragen in einem Online-Test als durchwegs positiv bewertet.
Bei der Umsetzung der Musterprüfung ins ILIAS-Test-Tool wurden verschiedene Anmerkungen
und Wünsche geäussert. Die Rückmeldungen der Dozierenden und Studierenden wurden als Einträge in das offizielle Feature Wiki der ILIAS-Community eingestellt, drei Features wurden finanziert.
Die positiven Erfahrungen mit dem ILIAS-Test-Tool bewegen die Dozierenden den Wunsch zu
äussern, im FS2014 mit Online-Prüfungen beginnen zu können. Man sieht hier Vorteile vor allem
auch in der vereinfachten Auswertung, da die Antworten automatisiert korrigiert werden. Weiter
spielt bei Freitextaufgaben die Problematik mit unleserlichen Handschriften keine Rolle mehr, was
ebenfalls dazu beiträgt, dass die Auswertung für die Dozierenden vereinfacht wird. Viele Studierende sind es sich nicht mehr gewohnt, so viel von Hand zu schreiben. Dies erkenne man im Verlauf der Prüfung an der erhöhten Unleserlichkeit.
Die Supportstelle iLUB hat in einer Sitzung zusammen mit dem Rechtsdienst der Universität Bern
und der Studienangebotsentwicklung der Universität Bern verschiedene E-Klausuren Szenarien
diskutiert. Der Rechtsdienst wurde um eine Stellungnahme gebeten, inwiefern aus rechtlicher Sicht
elektronisch gestützte Klausuren an der Universität Bern möglich sind, oder ob die RSLReglemente zu überarbeiten sind oder sonstwie bestimmte Vorkehrungen getragen werden.
Der Rechtsdienst der Universität Bern hat die RSL-Reglemente der Fakultäten durchsucht. Auf
rechtlicher Ebene wurden keine Probleme gefunden. Der Rechtsdienst und die Studienangebotsentwicklung empfehlen aber, dass bei einem allfälligen E-Assessment-Rollout iLUB zusammen mit
dem Rechtsdienst Richtlinien bzw. ein Betriebskonzept für die Durchführungsebene entwerfen, um
die angestrebte Qualität zu erreichen.
Die Supportstelle für ICT-gestützte Lehre und Forschung der Universität Bern fokussiert sich in den
nächsten Jahren auf folgende Bereiche:
Unterstützung formativer Prüfungen
In Veranstaltungen der Universität Bern, welche die ILIAS-Plattform zur Unterstützung einsetzen,
können bereits jetzt formative Prüfungen mit elektronischer Unterstützung durchgeführt werden,
beispielsweise die studienbegleitende Überprüfung des Lernstandes und -fortschritts (Lernstandserfassung). Formative Prüfungen geben den Studierenden ein Feedback über den aktuellen Lernstand, bzw. ein Feedback für den Dozierenden zum Lernstand der Studierenden.
ILIAS Testsystem Weiterentwicklungen
Die Bedürfnisse der Dozierenden und der Lernenden werden kontinuerlich erfasst, bewertet und in
Zusammenarbeit mit der ILIAS OpenSource Community and der ILIAS EAssessment-Gruppe finanziert und entwickelt.
Prüfungsvorbereitungstests
Auch Probeklausuren für eine gezielte Vorbereitung auf Abschlussprüfungen können und sollen
auf der ILIAS-Lernplattform durchgeführt werden. Um Spitzenbelastungen des Haupt-Systems zu
verhindern, sollen die Studierende während längerer Zeit Zugang zu den Prüfungsvorbereitungstests erhalten. Die Prüfungsvorbereitungstests werden so eingerichtet, dass die Zeit beschränkt
wird. Das iLUB-Team unterstützt die Dozierenden bei der Erstellung und Konfiguration dieser
Tests.
Maschinelle Auswertung von Multiple-Choice-Prüfungen
Neben ILIAS werden an der Universität Bern unterstützende Systeme wie EvaExam für EKlausuren, sogenannte Scan-Lösungen, eingesetzt. Die Supportstelle iLUB sieht hier grosses Einsparungspotential bei der automatisierten Korrektur, va. bei grossen MC-Prüfungen. Positiv ist
auch die Tatsache, dass "Scan-Klausuren" weiterhin wie bisher organisiert, durchgeführt (in Hörsälen oder Seminarräumen, mit Papier und Stift) und archiviert werden. Es fallen hier keine grossen
Kosten an, die von zentralen Institutionen zu leisten sind. Die Supportstelle iLUB steht den Instituten bei der Wahl eines geeingeten Prüfungs-Systems beratend zur Seite.
Seite 3/4
Entwicklung eines E-Klausurensystems für Anwaltsprüfungen
Anwaltsprüfungen heben sich in verschiedener Weise von anderen Prüfungen ab. Die Prüflinge
erhalten einen schriftlichen Fall vorgelegt. Die Hauptarbeit besteht darin, den Fall zu analysieren
und schriftlich zum Fall Stellung zu beziehen (beispielsweise einen Entscheid der zuständigen
Rechtsmittelinstanz zu verfassen). Die schriftliche Arbeit dauert 6-8 Stunden, an drei Tagen ist je
zu einem Fall Stellung zu beziehen. Das Maximum einer schriftlichen Arbeit der letzten Jahre, auf
dem Notebook geschrieben, waren ca. 34`000 Zeichen. Die Supportstelle iLUB klärt in Zusammenarbeit mit der Kantonalen Anwaltsprüfungskommission die Umsetzungen für die technische
Unterstützung dieser schriftlichen Prüfungen. Folgende Funktionalitäten sind zwingend umzusetzen: Automatisches Sichern, WYSIWYG-Editor, Zuverlässigkeit und Usability auch bei längeren
Texten, Versionierung. Eine zu entwickelnde Lösung entspricht auch dem Bedürfnis anderer Ausbildungen.
E-Klausuren
Eine E-Klausur-Infrastruktur und ein E-Klausur-Service auf einem zentralen System aufzubauen,
ist kein zentrales Anliegen der Supportstelle iLUB, denn ein solcher offizieller Service ist nur mit
einer personellen und infrastrukturellen Aufrüstung (Server, Räume) realisierbar. Eine zu prüfende
Alternative zur Einrichtung eines offiziellen Services ist es, mit kleinen Prüfungen zu beginnen und
vorhandenes Knowhow, z.B. des Instituts für Medizinische Lehre, zu nutzen. iLUB selbst sieht Online Klausuren gerade wegen des Aufwandes und der Kosten im Vergleich zur Scanner-Klausur
durchaus kritisch.
Seite 4/4