Programm - Frankfurt - Goethe
Transcrição
Programm - Frankfurt - Goethe
Goethe-Universität Frankfurt Prof. Dr. Katrin Auspurg [email protected] Sprechstunde: Mi, 14.30 – 15.30 Wintersemester 2014/15 Forschungspraktikum (14 CP) Gute Lehre, guter Abschluss? Methodische Fallstricke und Erkenntnispotenziale von Lehrevaluationen und Studierendenbefragungen Master Soziologie, Module 7 / 8 und Master Internationale Studien / Friedens- und Konfliktforschung Mi 8.15-11.45, PEG 2.G 111 Seminarunterstützung: Christian Moreau ([email protected]) Inhalte: In Universitäten ist wie in vielen anderen Bildungseinrichtungen eine Zunahme von Evaluationen zu beobachten, die von Kritikern häufig schon als „Evaluitis“ angesprochen wird. Gängige Instrumente sind Lehrevaluationen und Absolventenbefragungen, aus denen zunehmend praktische Schlussfolgerungen gezogen werden. So orientieren sich etwa die Zuweisungen von Gehältern, Stellen oder Forschungsgeldern häufig an Lehrevaluationen, und bestimmt die Lehrqualität zunehmend über den Ruf von Hochschulen, und damit womöglich auch über die Arbeitsmarktplatzierung von Absolventinnen und Absolventen. Evaluationen sind daher für die Methodenforschung wie Soziologie sozialer Ungleichheit gleichermaßen interessant: Wie ist methodisch eine hohe Qualität von Evaluationen sicherzustellen? Wie belastbar sind die Ergebnisse? Welche inhaltlichen Schlüsse lassen sich im Hinblick auf den Studienerfolg, die Arbeitsmarktplatzierung und die damit zusammenhängenden Ungleichheiten gewinnen? Diese und weitere Fragen sollen im Rahmen dieses Forschungspraktikums analysiert werden. In der Veranstaltung werden Fragen der methodischen Qualität und zentrale Aspekte der SurveyForschung am Beispiel von quantitativen Lehrevaluationen und Studierendenbefragungen diskutiert. Nach welchen Kriterien werden gute Surveyfragen und möglichst „repräsentative“ Stichproben gestaltet? Zudem werden in den Sozialwissenschaften relevante Forschungsfragen zur sozialen Ungleichheit behandelt: Gibt es Hinweise, dass bestimmte Gruppen im Studium benachteiligt werden? Zu welchem Anteil sind Dozierende oder Rahmenbedingungen für die Qualität von Veranstaltungen verantwortlich? Wie lassen sich solche Fragestellungen anhand von Evaluationen beantworten? Die Teilnehmenden entwickeln jeweils ihre eigene Forschungsfrage, die sie u.a. auf der Grundlage bereits erhobener Daten analysieren. Dazu kann Datenmaterial zu Evaluationen und Studierendenbefragungen der hiesigen und weiteren Universitäten genutzt werden. Je nach Forschungsinteressen und Wissensstand der Teilnehmenden ist zudem die Konzeption einer eigenen kleinen Pilot-Befragung an der Goethe-Universität möglich, die speziell der Evaluation des Methodenzentrums dienen soll. Ergebnisse werden in Forschungsberichten dokumentiert und mit den anderen Teilnehmenden diskutiert. Damit vermittelt das Seminar zentrale Kompetenzen in der Durchführung, Analyse und Interpretation von (Studiengangs-)Evaluationen sowie Umfragen. Prüfungsleistung: Projektskizze und Forschungsbericht, mehrere kleine Kurzpräsentationen. Literatur zur Einführug: Diekmann, Andreas (2010): Empirische Sozialforschung : Grundlagen, Methoden, Anwendungen. Reinbek bei Hamburg: Rowohlt. Groves, Robert M., Fowler, Floyd J. Jr., Couper, Mick P., Lepkowski, James M., Singer, Eleanor, & Tourangeau, Roger (2004): Survey methodology. Hoboken (NJ): Wiley & Sons. Wolbring, Tobias (2013): Fallstricke der Lehrevaluation: Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität. Frankfurt a. M. : Campus. Voraussetzungen: Solide Grundkenntnisse in quantitativen Methoden und Statistik; gute Vorkenntnisse in angewandter Datenanalyse und im Umgang mit Statistik-Software (z.B. Stata), etwa erworben durch Besuch eines entsprechenden Seminars. 1 Programm: 1 15.10.14 Einführung und Übersicht über das Programm Grundlagen: Theorien (zudem je nach Bedarf Stata- Auffrischung) 2 22.10.14 Grundlagen I: Dimensionen von Lehrevaluationen; Kausalanalysen 3 29.10.14 Grundlagen II: Stichproben und Non-Response; Theorien der Befragung 4 19.11.14 Grundlagen III: Bildungs- und Arbeitsmarktsoziologie 12.11.14 Keine Veranstaltung! (Auslandskonferenz) Konkretisierung von Projektvorhaben und Feldzeit der Evaluation des Methodenzentrums (Aufgaben: Für eine Sitzung kurzes Impulsreferat zu empirischer Studie und ersten eigenen Projektideen;Mithilfe bei Evaluationsbefragungen; bis Weihnachten: Abgabe eines Proposals) 5 26.11.14 Abstimmung mit den Füßen? No-Show-Bias und Studienabbrüche / Diversität und Studiumserfolg 6 03.12.14 Online oder Papier? Einflüsse des Befragungsmodus und der Fragebogengestaltung 7 10.12.14 Subjektive Einschätzung und objektive Fakten: Studienverlauf und Arbeitsmarkterfolg 8 17.12.14 Schlechtere Lehre am Montagmorgen? Einfluss und Kontrolle von BiasVariablen; alternative Befragungsformen Diskussion der Proposals (ggf. Evaluation Methodenwoche) Aufgabe: Ein anderes Proposal mündlich begutachten) 9 Dienstag 18.00-20.00, Gästehaus der Uni 13.01.15 Forum Methodenzentrum, Vortrag von Prof. Dr. Andreas Diekmann (ETH Zürich): "Methodik empirischer Sozialforschung. Fehlerquellen, statistische Artefakte und was wir dagegen tun können" 10 14.01.15 Diskussion der Proposals Datenauswertungen und Ergebnispräsentationen 11 21.01.15 Datenauswertungen I: Deskription, bivariate Analysen 12 28.01.15 Datenauswertungen II: Einfache Regressionen 13 04.02.15 Datenauswertungen III: Komplexere Verfahren 14 11.02.15 Beratung - optional 15 18.02.15 Projektvorstellungen und Abschlussdiskussion Bis 31.03.15 Abgabe der Forschungsberichte (alternativ Poster mit kurzer schriftlicher Ausführung) 2 Literatur und Arbeitsaufgaben I) Grundlagen 22.10.14 Ziele und Dimensionen von Lehrevaluationen; Kausalanalysen Shadish, William R., Cook, Thomas D. und Donald T. Campbell (2002): Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton Mifflin Company. Daraus: S. 53-82 Kromrey, Helmut (2001): Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24(2): 105-131. Überlegen Sie sich nach dem Schema von Shadish et al. vier Beispiele, welche Aspekte die Validität der Evaluation des Methodenzentrums gefährden könnten. Was könnte man ggf. zur Abhilfe tun? 29.10.14 Stichproben und Non-Response, Theorien der Befragung Groves, Robert M., Fowler, Floyd J., Couper, Mick P., Lepkowski, James M., Singer, Eleanor, und Roger Tourangeau (2009): Survey Methodology. Hoboken, New Jersey: John Wiley & Sons. Daraus: Kap.2: Inference and Error in Surveys (S. 39‐63). Schnell, Rainer (2012): Survey-Interviews. Methoden standardisierter Befragung. Wiesbaden: VS Verlag für Sozialwissenschaften. Daraus: Kap. 2 (Psychologische Grundlagen). Stellen Sie drei Hypothesen auf, welche Verzerrungen (etwa im Sinne eines Nonresponse-Bias) bei der Zentrumsevaluation zu erwarten sind. Leiten Sie diese Hypothesen möglichst aus Theorien zum Befragtenverhalten ab (kurze Begründung: Warum erwarten Sie welche Verzerrung; Formulierung der Hypothese als empirisch testbarer Zusammenhang). 19.11.14 Bildungs- und Arbeitsmarkttheorien Hinz, Thomas, und Martin Abraham (2008): Arbeitsmarkttheorien: Ein Überblick. In: Abraham, Martin/Hinz, Thomas (Hrsg.): Arbeitsmarktsoziologie. Wiesbaden: VS Verlag für Sozialwissenschaften, S. 17.68. Hieraus insbesondere Abschnitte 2.3 und 2.6. (Human- und Sozialkapital. Becker, Rolf (2009): Lehrbuch der Bildungssoziologie. Wiesbaden: VS-Verlag für Sozialwissenschaften. Daraus: Kapitel 4, Abschsnitt 3: Theorien zur Erklärung von sozialer Ungleichheit der Bildungschancen (S. 104-125). Überlegen Sie sich drei theoretisch begründete Hypothesen zum Arbeitsmarkterfolg von Absolvent*innen und der hierbei bestehenden Rolle von Studieninhalten/-verlaufsmerkmalen. Wie könnten Sie Ihre Hypothesen mit Absolventendaten testen? Alternativ: Stellen Sie drei theoretisch begründete Hypothesen zu sozialen oder ethnischen Ungleichheiten beim Studienerfolg auf, die sich mit den Daten der geplanten Evaluation des Methodenzentrums prüfen lassen. II) Empirische Studien und eigene Projektvorhaben Von allen Teilnehmer*innen ist die angegebene Grundlagenliteratur zu lesen. Jede/r präsentiert zudem zu einem Termin weitere Literatur und erste Ideen zum eigenen Vorhaben. Teil I der Präsentation: Forschungsstand (Einbezug/Vorstellung mind. 1 weiterer Studie). Teil II: Eigene Projektideen: Motivation und Ziele: Was soll untersucht werden (Hypothesen)? Mit welchen Daten und Methoden? Wie geht das über den Forschungsstand hinaus? 26.11.14 Abstimmung mit den Füßen? Studienabbrüche und Diversität Georg, Werner (2009): Individual and institutional factors in the tendency to drop out of higher education: a multilevel analysis using data from the Konstanz Student Survey. Studies in Higher Education 34(6): 647-661. 3 03.12.14 Online oder Papier? Einflüsse des Befragungsmodus und der Fragebogengestaltung Dresel, Markus und Karen Tinsner (2008): Onlineevaluation von Lehrveranstaltungen: Methodeneffekte bei der Onlineevaluation von Lehrveranstaltungen. Zeitschrift für Evaluation 7(2): 183-211. 10.12.14 Subjektive Einschätzung und objektive Fakten: Arbeitsmarkterfolg nach Absolventendaten Krempkov, Renè, und Mandy Pastohr (2006): Was macht Hochschulabsolventen erfolgreich? Eine Analyse der Determinanten beruflichen Erfolgs anhand der Dresdner Absolventenstudien 2000 bis 2004. Zeitschrift für Evaluation 1/2006, 7-37. 17.12.14 Einfluss und Kontrolle von Bias-Variablen; alternative Befragungsformen Wolbring, Tobias und Anja Hellmann (2010): Atraktivität, Reziprozität und Lehrveranstaltungsevaluation. Eine experimentelle Untersuchung. Kölner Zeitschrift für Soziologie und Sozialpsychologie 62: 707-730. III) Diskussion der Proposal Bis zu den Weihnachtsferien Abgabe eines ca. fünfseitigen Proposals (Was soll warum wie erforscht werden?). Über die Ferien ist dann ein Proposal zu begutachten (Eindruck und Anregungen: kurze Zusammenfassung; ist das machbar, was könnte man noch besser/anders machen). Dies wird mündlich in der ersten Sitzung nach den Ferien diskutiert. IV) Datenauswertungen (21.01.14 bis 11.02.14) Analysen der Evaluation des Methodenzentrums und weiterer projektbezogener Daten; die folgende Literatur ist zur Auffrischung und als Nachschlagewerke empfehlenswert.. Kohler, Ulrich, und Frauke Kreuter (2008). Datenanalyse mit Stata. Allgemeine Konzepte der Datenanalyse und ihre praktische Anwendung. München; Wien, Oldenbourg. Kuhn, A. und O. Ruf (2006/03). Einführung in die Statistiksoftware STATA. IEW - Working Papers, Institute for Empirical Research in Economics - University of Zurich. Wolf, Christof, und Henning Best (2010). Handbuch der sozialwissenschaftlichen Datenanalyse. Wiesbaden, VS Verlag für Sozialwissenschaften. (Weitere Empfehlungen in den Materialien zur Stata-Einführung.) IV) Ergänzende Literaturempfehlungen Burzan, Nicole und Isa Jahnke (2010): Was misst die studentische Lehrkritik. Eine empirische Infragestellung von Lehrevaluation an Hochschulen. Soziologie 39(4): 438-461. Clayson, Dennis E. (2009): Student Evaluations of Teaching: Are They Related to What Students Learn? A Meta-Analysis and Review of the Literature. Journal of Marketing Education 31(1): 16-30. Clayson, Dennis E., Frost, Taggart F. und Mary Jane Sheffet (2006): Grades and the Student Evaluation of Instruction: A Test of the Reciprocity Effect. Academy of Management Learning and Education 5(1): 52-65. Dillman, Don A. (2007): Mail and Internet Surveys. The Tailored Design Method. Hoboken, New Jersey: John Wiley & Sons. Daraus: Kap. 1: Introduction to Tailored Design (S. 3-31). Rindermann, Heiner (2003): Lehrevaluation an Hochschulen: Schlußfolgerungen aus Forschung und Anwendung für Hochschulunterricht und seine Praxis. Zeitschrift für Evaluation 2, 233-256. Schmidt, Boris und Tim Lossnitzer (2010): Lehrveranstaltungsevaluation: State of the Art, ein Definitionsvorschlag und Entwicklungslinien. Zeitschrift für Evaluation 9 (1): 49-72. Schnell, Rainer (2012): Survey-Interviews. Standardisierte Befragungen in den Sozialwissenschaften. Wiesbaden: VS-Verlag für Sozialwissenschaften. Spooren Pieter , Brockx, Bert und Dimitri Mortelmans (2013): On the validity of student evaluation of teaching: the state of the art. Review of Educational Research 83(4): 598-642. 4 Wolbring, Tobias (2013): Fallstricke der Lehrevaluation. Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität. Frankfurt am Main/New York: Campus. Anwendungsstudien, die für eigene Vorhaben herangezogen werden können: Diversität: Ethnischer Hintergrund und Studiumserfolg Hinz, Thomas, und Tanja Thielemann (2013): Studieren mit Migrationshintergrund an einer deutschen Universität : Abiturnote, Bildung der Eltern und subjektiver Studienerfolg. Soziale Welt 64, 381-399. Kristen, Cornelia (2014): Migrationsspezifische Ungleichheiten im deutschen Hochschulbereich. Journal für Bildungsforschung 6, 113-134. (Forschungsüberblick mit Verweis auf einschlägige Studien; Überblicke über einschlägige Theorien finden sich zudem etwa im Lehrbuch von Rolf Becker 2009). No-Show Bias und Studienzufriedenheit Wolbring, Tobias (2012): Class Attendance and Students‘ Evaluations of Teaching. Do No-Shows Bias Course Ratings and Rankings? Evaluation Review 36(1): 72-96. Berger, Uwe und Christine Schleußner (2003): Hängen Ergebnisse einer Lehrveranstaltungs-Evaluation von der Häufigkeit des Veranstaltungsbesuches ab? Zeitschrift für Pädagogische Psychologie 17(2): 125-131. Befragungsmode Meinefeld, Werner (2010): Online-Befragungen im Kontext von Lehrevaluation – praktisch und unzuverlässig. Kölner Zeitschrift für Soziologie und Sozialpsychologie 62(2): 297-315. Simon, Anke, Zajontz, Yvonne, und Vanessa Reit (2013): Lehrevaluation online oder papierbasiert? Ein empirischer Vergleich zwischen traditionellem Fragebogen und inhaltsgleicher Online-Erhebung. Beiträge zur Hochschulforschung 35, 8-26. Studienverlauf und Arbeitsmarkterfolg Franzen, Axel, und Anna Hecken (2002): Studienmotivation, Erwerbspartizipation und der Einstieg in den Arbeitsmarkt. Kölner Zeitschrift für Soziologie und Sozialpsychologie 54, 733-752. Berger, Roger, und Peter Kriwy (2004): Wer verdient wie viel? Eine Analyse des Verdienstes von Münchner Soziologieabsolventen. Sozialwissenschaften und Berufspraxis 27, 133-154. Bias-Variablen: Insbesondere Studienmotivation und Fach Berger, Uwe und Christine Schleußner (2003): Hängen Ergebnisse einer Lehrveranstaltungs-Evaluation von der Häufigkeit des Veranstaltungsbesuches ab? Zeitschrift für Pädagogische Psychologie 17(2): 125-131. Engel, Uwe, und Gaby Krekeler (2001): Studienqualität. Über studentische Bewertungen und Rankings von Studienfächern einer Universität. In: Engel, Uwe (Hrsg.): Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre. Frankfurt/Main: Campus, S. 121-176. Großmann, Daniel (2012): Studienmotivationen und ihr Einfluss auf Evaluationsergebnisse. Soziologie 41(4): 413-29. 5