Programm - Frankfurt - Goethe

Goethe-Universität Frankfurt
Prof. Dr. Katrin Auspurg
[email protected]
Sprechstunde: Mi, 14.30 – 15.30
Wintersemester 2014/15
Forschungspraktikum (14 CP)
Gute Lehre, guter Abschluss? Methodische Fallstricke und Erkenntnispotenziale von Lehrevaluationen und Studierendenbefragungen
Master Soziologie, Module 7 / 8 und Master Internationale Studien / Friedens- und Konfliktforschung
Mi 8.15-11.45, PEG 2.G 111
Seminarunterstützung: Christian Moreau ([email protected])
Inhalte:
In Universitäten ist wie in vielen anderen Bildungseinrichtungen eine Zunahme von Evaluationen zu
beobachten, die von Kritikern häufig schon als „Evaluitis“ angesprochen wird. Gängige Instrumente
sind Lehrevaluationen und Absolventenbefragungen, aus denen zunehmend praktische
Schlussfolgerungen gezogen werden. So orientieren sich etwa die Zuweisungen von Gehältern, Stellen
oder Forschungsgeldern häufig an Lehrevaluationen, und bestimmt die Lehrqualität zunehmend über
den Ruf von Hochschulen, und damit womöglich auch über die Arbeitsmarktplatzierung von
Absolventinnen und Absolventen. Evaluationen sind daher für die Methodenforschung wie Soziologie
sozialer Ungleichheit gleichermaßen interessant: Wie ist methodisch eine hohe Qualität von
Evaluationen sicherzustellen? Wie belastbar sind die Ergebnisse? Welche inhaltlichen Schlüsse lassen
sich im Hinblick auf den Studienerfolg, die Arbeitsmarktplatzierung und die damit zusammenhängenden Ungleichheiten gewinnen? Diese und weitere Fragen sollen im Rahmen dieses
Forschungspraktikums analysiert werden.
In der Veranstaltung werden Fragen der methodischen Qualität und zentrale Aspekte der SurveyForschung am Beispiel von quantitativen Lehrevaluationen und Studierendenbefragungen diskutiert.
Nach welchen Kriterien werden gute Surveyfragen und möglichst „repräsentative“ Stichproben
gestaltet? Zudem werden in den Sozialwissenschaften relevante Forschungsfragen zur sozialen
Ungleichheit behandelt: Gibt es Hinweise, dass bestimmte Gruppen im Studium benachteiligt werden?
Zu welchem Anteil sind Dozierende oder Rahmenbedingungen für die Qualität von Veranstaltungen
verantwortlich? Wie lassen sich solche Fragestellungen anhand von Evaluationen beantworten?
Die Teilnehmenden entwickeln jeweils ihre eigene Forschungsfrage, die sie u.a. auf der Grundlage
bereits erhobener Daten analysieren. Dazu kann Datenmaterial zu Evaluationen und
Studierendenbefragungen der hiesigen und weiteren Universitäten genutzt werden. Je nach
Forschungsinteressen und Wissensstand der Teilnehmenden ist zudem die Konzeption einer eigenen
kleinen Pilot-Befragung an der Goethe-Universität möglich, die speziell der Evaluation des
Methodenzentrums dienen soll. Ergebnisse werden in Forschungsberichten dokumentiert und mit den
anderen Teilnehmenden diskutiert. Damit vermittelt das Seminar zentrale Kompetenzen in der
Durchführung, Analyse und Interpretation von (Studiengangs-)Evaluationen sowie Umfragen.
Prüfungsleistung: Projektskizze und Forschungsbericht, mehrere kleine Kurzpräsentationen.
Literatur zur Einführug:
Diekmann, Andreas (2010): Empirische Sozialforschung : Grundlagen, Methoden, Anwendungen. Reinbek bei
Hamburg: Rowohlt.
Groves, Robert M., Fowler, Floyd J. Jr., Couper, Mick P., Lepkowski, James M., Singer, Eleanor, &
Tourangeau, Roger (2004): Survey methodology. Hoboken (NJ): Wiley & Sons.
Wolbring, Tobias (2013): Fallstricke der Lehrevaluation: Möglichkeiten und Grenzen der Messbarkeit von
Lehrqualität. Frankfurt a. M. : Campus.
Voraussetzungen: Solide Grundkenntnisse in quantitativen Methoden und Statistik; gute
Vorkenntnisse in angewandter Datenanalyse und im Umgang mit Statistik-Software (z.B. Stata), etwa
erworben durch Besuch eines entsprechenden Seminars.
1
Programm:
1
15.10.14
Einführung und Übersicht über das Programm
Grundlagen: Theorien (zudem je nach Bedarf Stata- Auffrischung)
2
22.10.14
Grundlagen I: Dimensionen von Lehrevaluationen; Kausalanalysen
3
29.10.14
Grundlagen II: Stichproben und Non-Response; Theorien der Befragung
4
19.11.14
Grundlagen III: Bildungs- und Arbeitsmarktsoziologie
12.11.14
Keine Veranstaltung! (Auslandskonferenz)
Konkretisierung von Projektvorhaben und Feldzeit der Evaluation des Methodenzentrums
(Aufgaben: Für eine Sitzung kurzes Impulsreferat zu empirischer Studie und ersten eigenen
Projektideen;Mithilfe bei Evaluationsbefragungen; bis Weihnachten: Abgabe eines Proposals)
5
26.11.14
Abstimmung mit den Füßen? No-Show-Bias und Studienabbrüche /
Diversität und Studiumserfolg
6
03.12.14
Online oder Papier? Einflüsse des Befragungsmodus und der
Fragebogengestaltung
7
10.12.14
Subjektive Einschätzung und objektive Fakten: Studienverlauf und
Arbeitsmarkterfolg
8
17.12.14
Schlechtere Lehre am Montagmorgen? Einfluss und Kontrolle von BiasVariablen; alternative Befragungsformen
Diskussion der Proposals (ggf. Evaluation Methodenwoche)
Aufgabe: Ein anderes Proposal mündlich begutachten)
9
Dienstag 18.00-20.00, Gästehaus der Uni
13.01.15
Forum Methodenzentrum, Vortrag von Prof. Dr. Andreas Diekmann
(ETH Zürich): "Methodik empirischer Sozialforschung. Fehlerquellen,
statistische Artefakte und was wir dagegen tun können"
10
14.01.15
Diskussion der Proposals
Datenauswertungen und Ergebnispräsentationen
11
21.01.15
Datenauswertungen I: Deskription, bivariate Analysen
12
28.01.15
Datenauswertungen II: Einfache Regressionen
13
04.02.15
Datenauswertungen III: Komplexere Verfahren
14
11.02.15
Beratung - optional
15
18.02.15
Projektvorstellungen und Abschlussdiskussion
Bis 31.03.15 Abgabe der Forschungsberichte (alternativ Poster mit kurzer schriftlicher Ausführung)
2
Literatur und Arbeitsaufgaben
I) Grundlagen
22.10.14
Ziele und Dimensionen von Lehrevaluationen; Kausalanalysen
Shadish, William R., Cook, Thomas D. und Donald T. Campbell (2002): Experimental and Quasi-Experimental
Designs for Generalized Causal Inference. Boston: Houghton Mifflin Company. Daraus: S. 53-82
Kromrey, Helmut (2001): Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und
Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24(2): 105-131.
 Überlegen Sie sich nach dem Schema von Shadish et al. vier Beispiele, welche Aspekte die Validität
der Evaluation des Methodenzentrums gefährden könnten. Was könnte man ggf. zur Abhilfe tun?
29.10.14
Stichproben und Non-Response, Theorien der Befragung
Groves, Robert M., Fowler, Floyd J., Couper, Mick P., Lepkowski, James M., Singer, Eleanor, und Roger
Tourangeau (2009): Survey Methodology. Hoboken, New Jersey: John Wiley & Sons. Daraus: Kap.2: Inference
and Error in Surveys (S. 39‐63).
Schnell, Rainer (2012): Survey-Interviews. Methoden standardisierter Befragung. Wiesbaden: VS Verlag für
Sozialwissenschaften. Daraus: Kap. 2 (Psychologische Grundlagen).
 Stellen Sie drei Hypothesen auf, welche Verzerrungen (etwa im Sinne eines Nonresponse-Bias) bei
der Zentrumsevaluation zu erwarten sind. Leiten Sie diese Hypothesen möglichst aus Theorien zum
Befragtenverhalten ab (kurze Begründung: Warum erwarten Sie welche Verzerrung; Formulierung der
Hypothese als empirisch testbarer Zusammenhang).
19.11.14
Bildungs- und Arbeitsmarkttheorien
Hinz, Thomas, und Martin Abraham (2008): Arbeitsmarkttheorien: Ein Überblick. In: Abraham, Martin/Hinz,
Thomas (Hrsg.): Arbeitsmarktsoziologie. Wiesbaden: VS Verlag für Sozialwissenschaften, S. 17.68. Hieraus
insbesondere Abschnitte 2.3 und 2.6. (Human- und Sozialkapital.
Becker, Rolf (2009): Lehrbuch der Bildungssoziologie. Wiesbaden: VS-Verlag für Sozialwissenschaften. Daraus:
Kapitel 4, Abschsnitt 3: Theorien zur Erklärung von sozialer Ungleichheit der Bildungschancen (S. 104-125).
 Überlegen Sie sich drei theoretisch begründete Hypothesen zum Arbeitsmarkterfolg von
Absolvent*innen und der hierbei bestehenden Rolle von Studieninhalten/-verlaufsmerkmalen. Wie
könnten Sie Ihre Hypothesen mit Absolventendaten testen?
Alternativ: Stellen Sie drei theoretisch begründete Hypothesen zu sozialen oder ethnischen
Ungleichheiten beim Studienerfolg auf, die sich mit den Daten der geplanten Evaluation des
Methodenzentrums prüfen lassen.
II) Empirische Studien und eigene Projektvorhaben
 Von allen Teilnehmer*innen ist die angegebene Grundlagenliteratur zu lesen. Jede/r präsentiert zudem
zu einem Termin weitere Literatur und erste Ideen zum eigenen Vorhaben.
Teil I der Präsentation: Forschungsstand (Einbezug/Vorstellung mind. 1 weiterer Studie).
Teil II: Eigene Projektideen: Motivation und Ziele: Was soll untersucht werden (Hypothesen)? Mit
welchen Daten und Methoden? Wie geht das über den Forschungsstand hinaus?
26.11.14
Abstimmung mit den Füßen? Studienabbrüche und Diversität
Georg, Werner (2009): Individual and institutional factors in the tendency to drop out of higher education: a
multilevel analysis using data from the Konstanz Student Survey. Studies in Higher Education 34(6): 647-661.
3
03.12.14
Online oder Papier? Einflüsse des Befragungsmodus und der Fragebogengestaltung
Dresel, Markus und Karen Tinsner (2008): Onlineevaluation von Lehrveranstaltungen: Methodeneffekte bei der
Onlineevaluation von Lehrveranstaltungen. Zeitschrift für Evaluation 7(2): 183-211.
10.12.14
Subjektive Einschätzung und objektive Fakten: Arbeitsmarkterfolg nach
Absolventendaten
Krempkov, Renè, und Mandy Pastohr (2006): Was macht Hochschulabsolventen erfolgreich? Eine Analyse der
Determinanten beruflichen Erfolgs anhand der Dresdner Absolventenstudien 2000 bis 2004. Zeitschrift für
Evaluation 1/2006, 7-37.
17.12.14
Einfluss und Kontrolle von Bias-Variablen; alternative Befragungsformen
Wolbring, Tobias und Anja Hellmann (2010): Atraktivität, Reziprozität und Lehrveranstaltungsevaluation. Eine
experimentelle Untersuchung. Kölner Zeitschrift für Soziologie und Sozialpsychologie 62: 707-730.
III) Diskussion der Proposal
 Bis zu den Weihnachtsferien Abgabe eines ca. fünfseitigen Proposals (Was soll warum wie
erforscht werden?). Über die Ferien ist dann ein Proposal zu begutachten (Eindruck und Anregungen:
kurze Zusammenfassung; ist das machbar, was könnte man noch besser/anders machen). Dies wird
mündlich in der ersten Sitzung nach den Ferien diskutiert.
IV) Datenauswertungen (21.01.14 bis 11.02.14)
 Analysen der Evaluation des Methodenzentrums und weiterer projektbezogener Daten; die
folgende Literatur ist zur Auffrischung und als Nachschlagewerke empfehlenswert..
Kohler, Ulrich, und Frauke Kreuter (2008). Datenanalyse mit Stata. Allgemeine Konzepte der Datenanalyse und
ihre praktische Anwendung. München; Wien, Oldenbourg.
Kuhn, A. und O. Ruf (2006/03). Einführung in die Statistiksoftware STATA. IEW - Working Papers, Institute
for Empirical Research in Economics - University of Zurich.
Wolf, Christof, und Henning Best (2010). Handbuch der sozialwissenschaftlichen Datenanalyse. Wiesbaden, VS
Verlag für Sozialwissenschaften.
(Weitere Empfehlungen in den Materialien zur Stata-Einführung.)
IV) Ergänzende Literaturempfehlungen
Burzan, Nicole und Isa Jahnke (2010): Was misst die studentische Lehrkritik. Eine empirische Infragestellung
von Lehrevaluation an Hochschulen. Soziologie 39(4): 438-461.
Clayson, Dennis E. (2009): Student Evaluations of Teaching: Are They Related to What Students Learn? A
Meta-Analysis and Review of the Literature. Journal of Marketing Education 31(1): 16-30.
Clayson, Dennis E., Frost, Taggart F. und Mary Jane Sheffet (2006): Grades and the Student Evaluation of
Instruction: A Test of the Reciprocity Effect. Academy of Management Learning and Education 5(1): 52-65.
Dillman, Don A. (2007): Mail and Internet Surveys. The Tailored Design Method. Hoboken, New Jersey: John
Wiley & Sons. Daraus: Kap. 1: Introduction to Tailored Design (S. 3-31).
Rindermann, Heiner (2003): Lehrevaluation an Hochschulen: Schlußfolgerungen aus Forschung und Anwendung
für Hochschulunterricht und seine Praxis. Zeitschrift für Evaluation 2, 233-256.
Schmidt, Boris und Tim Lossnitzer (2010): Lehrveranstaltungsevaluation: State of the Art, ein
Definitionsvorschlag und Entwicklungslinien. Zeitschrift für Evaluation 9 (1): 49-72.
Schnell, Rainer (2012): Survey-Interviews. Standardisierte Befragungen in den Sozialwissenschaften.
Wiesbaden: VS-Verlag für Sozialwissenschaften.
Spooren Pieter , Brockx, Bert und Dimitri Mortelmans (2013): On the validity of student evaluation of teaching:
the state of the art. Review of Educational Research 83(4): 598-642.
4
Wolbring, Tobias (2013): Fallstricke der Lehrevaluation. Möglichkeiten und Grenzen der Messbarkeit von
Lehrqualität. Frankfurt am Main/New York: Campus.
Anwendungsstudien, die für eigene Vorhaben herangezogen werden können:
Diversität: Ethnischer Hintergrund und Studiumserfolg
Hinz, Thomas, und Tanja Thielemann (2013): Studieren mit Migrationshintergrund an einer deutschen
Universität : Abiturnote, Bildung der Eltern und subjektiver Studienerfolg. Soziale Welt 64, 381-399.
Kristen, Cornelia (2014): Migrationsspezifische Ungleichheiten im deutschen Hochschulbereich. Journal für
Bildungsforschung 6, 113-134. (Forschungsüberblick mit Verweis auf einschlägige Studien; Überblicke über
einschlägige Theorien finden sich zudem etwa im Lehrbuch von Rolf Becker 2009).
No-Show Bias und Studienzufriedenheit
Wolbring, Tobias (2012): Class Attendance and Students‘ Evaluations of Teaching. Do No-Shows Bias Course
Ratings and Rankings? Evaluation Review 36(1): 72-96.
Berger, Uwe und Christine Schleußner (2003): Hängen Ergebnisse einer Lehrveranstaltungs-Evaluation von der
Häufigkeit des Veranstaltungsbesuches ab? Zeitschrift für Pädagogische Psychologie 17(2): 125-131.
Befragungsmode
Meinefeld, Werner (2010): Online-Befragungen im Kontext von Lehrevaluation – praktisch und unzuverlässig.
Kölner Zeitschrift für Soziologie und Sozialpsychologie 62(2): 297-315.
Simon, Anke, Zajontz, Yvonne, und Vanessa Reit (2013): Lehrevaluation online oder papierbasiert? Ein
empirischer Vergleich zwischen traditionellem Fragebogen und inhaltsgleicher Online-Erhebung. Beiträge
zur Hochschulforschung 35, 8-26.
Studienverlauf und Arbeitsmarkterfolg
Franzen, Axel, und Anna Hecken (2002): Studienmotivation, Erwerbspartizipation und der Einstieg in den
Arbeitsmarkt. Kölner Zeitschrift für Soziologie und Sozialpsychologie 54, 733-752.
Berger, Roger, und Peter Kriwy (2004): Wer verdient wie viel? Eine Analyse des Verdienstes von Münchner
Soziologieabsolventen. Sozialwissenschaften und Berufspraxis 27, 133-154.
Bias-Variablen: Insbesondere Studienmotivation und Fach
Berger, Uwe und Christine Schleußner (2003): Hängen Ergebnisse einer Lehrveranstaltungs-Evaluation von der
Häufigkeit des Veranstaltungsbesuches ab? Zeitschrift für Pädagogische Psychologie 17(2): 125-131.
Engel, Uwe, und Gaby Krekeler (2001): Studienqualität. Über studentische Bewertungen und Rankings von
Studienfächern einer Universität. In: Engel, Uwe (Hrsg.): Hochschulranking. Zur Qualitätsbewertung von
Studium und Lehre. Frankfurt/Main: Campus, S. 121-176.
Großmann, Daniel (2012): Studienmotivationen und ihr Einfluss auf Evaluationsergebnisse. Soziologie 41(4):
413-29.
5