Summary and future prospects
Transcrição
Summary and future prospects
AAA Continuation Activity 2013 WP 7.2 Outlook iLUB Summary and future prospects of e-assessment scenarios and solutions at the University of Bern WP 7.2 Universität Bern Vizerektorat Lehre, iLUB Fabrikstrasse 8 CH-3012 Bern http://www.ilub.unibe.ch Im Rahmen des Programmes "Learning Infrastructure" erwarb die Supportstelle für ICT-gestützte Lehre und Forschung (iLUB) Erfahrungen in Testdurchführungen (Online Musterprüfungen). Getestet wurde die Kombination des ILIAS Lernplattform mit dem Safe Exam Browser auf studentischen Notebooks. Waren die technischen Hürden einmal überwunden, wurde die Umsetzung der Prüfungsfragen in einem Online-Test als durchwegs positiv bewertet. Bei der Umsetzung der Musterprüfung ins ILIAS-Test-Tool wurden verschiedene Anmerkungen und Wünsche geäussert. Die Rückmeldungen der Dozierenden und Studierenden wurden als Einträge in das offizielle Feature Wiki der ILIAS-Community eingestellt, drei Features wurden finanziert. Die positiven Erfahrungen mit dem ILIAS-Test-Tool bewegen die Dozierenden den Wunsch zu äussern, im FS2014 mit Online-Prüfungen beginnen zu können. Man sieht hier Vorteile vor allem auch in der vereinfachten Auswertung, da die Antworten automatisiert korrigiert werden. Weiter spielt bei Freitextaufgaben die Problematik mit unleserlichen Handschriften keine Rolle mehr, was ebenfalls dazu beiträgt, dass die Auswertung für die Dozierenden vereinfacht wird. Viele Studierende sind es sich nicht mehr gewohnt, so viel von Hand zu schreiben. Dies erkenne man im Verlauf der Prüfung an der erhöhten Unleserlichkeit. Die Supportstelle iLUB hat in einer Sitzung zusammen mit dem Rechtsdienst der Universität Bern und der Studienangebotsentwicklung der Universität Bern verschiedene E-Klausuren Szenarien diskutiert. Der Rechtsdienst wurde um eine Stellungnahme gebeten, inwiefern aus rechtlicher Sicht elektronisch gestützte Klausuren an der Universität Bern möglich sind, oder ob die RSLReglemente zu überarbeiten sind oder sonstwie bestimmte Vorkehrungen getragen werden. Der Rechtsdienst der Universität Bern hat die RSL-Reglemente der Fakultäten durchsucht. Auf rechtlicher Ebene wurden keine Probleme gefunden. Der Rechtsdienst und die Studienangebotsentwicklung empfehlen aber, dass bei einem allfälligen E-Assessment-Rollout iLUB zusammen mit dem Rechtsdienst Richtlinien bzw. ein Betriebskonzept für die Durchführungsebene entwerfen, um die angestrebte Qualität zu erreichen. Die Supportstelle für ICT-gestützte Lehre und Forschung der Universität Bern fokussiert sich in den nächsten Jahren auf folgende Bereiche: Unterstützung formativer Prüfungen In Veranstaltungen der Universität Bern, welche die ILIAS-Plattform zur Unterstützung einsetzen, können bereits jetzt formative Prüfungen mit elektronischer Unterstützung durchgeführt werden, beispielsweise die studienbegleitende Überprüfung des Lernstandes und -fortschritts (Lernstandserfassung). Formative Prüfungen geben den Studierenden ein Feedback über den aktuellen Lernstand, bzw. ein Feedback für den Dozierenden zum Lernstand der Studierenden. ILIAS Testsystem Weiterentwicklungen Die Bedürfnisse der Dozierenden und der Lernenden werden kontinuerlich erfasst, bewertet und in Zusammenarbeit mit der ILIAS OpenSource Community and der ILIAS EAssessment-Gruppe finanziert und entwickelt. Prüfungsvorbereitungstests Auch Probeklausuren für eine gezielte Vorbereitung auf Abschlussprüfungen können und sollen auf der ILIAS-Lernplattform durchgeführt werden. Um Spitzenbelastungen des Haupt-Systems zu verhindern, sollen die Studierende während längerer Zeit Zugang zu den Prüfungsvorbereitungstests erhalten. Die Prüfungsvorbereitungstests werden so eingerichtet, dass die Zeit beschränkt wird. Das iLUB-Team unterstützt die Dozierenden bei der Erstellung und Konfiguration dieser Tests. Maschinelle Auswertung von Multiple-Choice-Prüfungen Neben ILIAS werden an der Universität Bern unterstützende Systeme wie EvaExam für EKlausuren, sogenannte Scan-Lösungen, eingesetzt. Die Supportstelle iLUB sieht hier grosses Einsparungspotential bei der automatisierten Korrektur, va. bei grossen MC-Prüfungen. Positiv ist auch die Tatsache, dass "Scan-Klausuren" weiterhin wie bisher organisiert, durchgeführt (in Hörsälen oder Seminarräumen, mit Papier und Stift) und archiviert werden. Es fallen hier keine grossen Kosten an, die von zentralen Institutionen zu leisten sind. Die Supportstelle iLUB steht den Instituten bei der Wahl eines geeingeten Prüfungs-Systems beratend zur Seite. Seite 3/4 Entwicklung eines E-Klausurensystems für Anwaltsprüfungen Anwaltsprüfungen heben sich in verschiedener Weise von anderen Prüfungen ab. Die Prüflinge erhalten einen schriftlichen Fall vorgelegt. Die Hauptarbeit besteht darin, den Fall zu analysieren und schriftlich zum Fall Stellung zu beziehen (beispielsweise einen Entscheid der zuständigen Rechtsmittelinstanz zu verfassen). Die schriftliche Arbeit dauert 6-8 Stunden, an drei Tagen ist je zu einem Fall Stellung zu beziehen. Das Maximum einer schriftlichen Arbeit der letzten Jahre, auf dem Notebook geschrieben, waren ca. 34`000 Zeichen. Die Supportstelle iLUB klärt in Zusammenarbeit mit der Kantonalen Anwaltsprüfungskommission die Umsetzungen für die technische Unterstützung dieser schriftlichen Prüfungen. Folgende Funktionalitäten sind zwingend umzusetzen: Automatisches Sichern, WYSIWYG-Editor, Zuverlässigkeit und Usability auch bei längeren Texten, Versionierung. Eine zu entwickelnde Lösung entspricht auch dem Bedürfnis anderer Ausbildungen. E-Klausuren Eine E-Klausur-Infrastruktur und ein E-Klausur-Service auf einem zentralen System aufzubauen, ist kein zentrales Anliegen der Supportstelle iLUB, denn ein solcher offizieller Service ist nur mit einer personellen und infrastrukturellen Aufrüstung (Server, Räume) realisierbar. Eine zu prüfende Alternative zur Einrichtung eines offiziellen Services ist es, mit kleinen Prüfungen zu beginnen und vorhandenes Knowhow, z.B. des Instituts für Medizinische Lehre, zu nutzen. iLUB selbst sieht Online Klausuren gerade wegen des Aufwandes und der Kosten im Vergleich zur Scanner-Klausur durchaus kritisch. Seite 4/4