Kontrolle in Experimenten

Transcrição

Empirische Softwaretechnik
Prof. Dr. Walter F. Tichy
Dr. Matthias Müller
Sommersemester 2006
1
Kontrolle in Experimenten
Literatur: L.B. Christensen, Experimental Methodology, Allyn
and Bacon, 2001, Kap. 7
2
Wozu Kontrolle?

Interne Gültigkeit eines Experiments liegt vor, wenn man
gerechtfertigt ist anzugeben, dass die unabhängige
Variable den beobachteten Effekt hervorgerufen hat. Falls
der Effekt nur durch Variation der unabhängigen Variablen
verursacht wird, hat man interne Gültigkeit erreicht und
einen kausalen Zusammenhang beobachtet.

Es gibt aber noch viele andere Variablen, die einen Einfluss
haben können, sog. Störvariablen. Deren Einfluss ist zu
kontrollieren oder überwachen.

Eliminierung des Einflusses einer Störvariablen ist oft nicht
möglich. Statt dessen kann aber der Einfluss dieser
Variablen konstant gegenüber den Variationen der
unabhängigen Variable gehalten werden.
3
Wozu Kontrolle?

Wenn der Einfluss von Störvariablen nicht konstant
gehalten werden kann (z.B. Motivation oder
Aufmerksamkeit), dann kann man u.U. trotzdem ihren
differenziellen Effekt eliminieren.

Beispiel: Wir untersuchen, ob Nachhilfe (unabhängige
Variable) die Noten (abhängige Variable) verbessert. Falls
die Schüler mit Nachhilfe diejenigen waren, die gescheiter
sind, könnte der Notenunterschied durch diese Eigenschaft
und nicht durch Nachhilfe hervorgerufen sein. Man kann
aber Intelligenz nicht Ein- und Ausschalten, d.h. ihren Effekt
nicht eliminieren.

Es folgen einige Störvariablen, die zu kontrollieren sind.
4
Historie (History)
Vortest
Nachtest
Im Zeitinterval zw. Vor- und Nachtest
können Ereignisse die Messung im
Nachtest beeinflussen. D.h. eine
rivalisierende Hypothese entsteht.
Je länger die Zeitperiode zw. Vor- und Nachtest, desto eher wird die
Historie zu einer alternativen Hypothese. Auch bei kurzen Experimenten
kann Historie einen Einfluss haben, z.B. wenn in einem
Gruppenexperiment jemand einen schlechten Witz oder eine
herabsetzende Bemerkung macht.
Im vorigen Beispiel könnte eine Änderung in der Familie (Scheidung,
5
Krankheit) die Nachhilfe beeinflussen.
Reifung (Maturation)

Reifung bezieht sich auf Änderungen der internen
Konstitution eines Individuums im Laufe der Zeit
(ohne Einfluss spezifischer, externer Ereignisse).
Eingeschlossen sind biologische und
psychologische Änderungen, z.B. Alter, Lernen,
Müdigkeit, Langeweile, Hunger. Wenn diese das
Antwortverhalten unter den experimentellen
Bedingungen ändern, dann gefährden sie die
interne Gültigkeit.

Im Beispiel könnten Schüler auch ohne Nachhilfe
mit der Zeit etwas reifer werden und sich besser
anstrengen. (Kontrollgruppe erforderlich)
6
Instrumentierung
(Instrumentation)
Mit Instrumentierung meint man Änderungen in der
Messung der abhängigen Variablen mit der Zeit.

Menschliche Beobachter unterliegen Müdigkeit,
Langeweile, und Lernprozessen

Mit der Zeit kann ein Experimentator besser werden und
genauere, zuverlässigere Testergebnisse liefern.

Daher: benutze mehrere Beobachter, trainiere sie vorher!
7
Selektion (Selection)

Bei unterschiedlichen Selektionsmethoden für die
Vergleichsgruppen kann Ungültigkeit
eingeschleppt werden.

Z.B. könnte man für Nachhilfe unterschiedliche
Gruppen zusammenstellen--eine, die schwach in
Mathe ist, eine andere die hyperaktiv ist. Dann
könnten Unterschiede in den Noten auf anderen
Eigenschaften beruhen als die Nachhilfe.

Es kann auch Interaktion zw. Selektion und
Historie, Reifung und Instrumentierung geben.
8
Sterblichkeit (Mortality)

Sterblichkeit bedeutet unterschiedlichen Verlust
von Teilnehmern in den Gruppen.

Teilnehmer erscheinen nicht oder habe eine lange
Party am Vorabend oder nehmen nicht an allem
teil...

Damit kann es Unterschiede zwischen Gruppen
geben, die nicht von der unabhängige Variablen
herrühren.
9
Subjekt-Effect (Subject Effect)
Positive Selbstdarstellung: Subjekte interpretieren den Sinn
des Experiments und zeigen sich von ihrer besten Seite.

Z.B. sagen Lernaufgaben etwas über Intelligenz aus. Da
viele Teilnehmer intelligent erscheinen wollen, bemühen
sie sich, im Experiment möglichst rasch zu lernen.

Wenn ein Experiment etwas über emotionale Stabilität
impliziert, werden manche Teilnehmer besonders stabil
erscheinen wollen.
Damit sind Ergebnisse evtl. beeinflusst vom Motiv der
Teilnehmer, sich positiv darzustellen.
10
Subjekt-Effekt (2)

Ein Experiment von Carlston und Cohen zeigte
einen Fall, in dem diejenigen Subjekte, die an die
Experiment-Hypothese glaubten, Ergebnisse
lieferten, die die Hypothese stützten, und die
Gruppe, die die Hypothese nicht glaubte, lieferte
gegenteilige Ergebnisse.

Wenn man Subjekt-Effekt nicht ausschließen kann,
muss man ihn möglichst konstant halten.
11
Subjekt-Effekt (3)

Intertreatment interaction: Subjekte interpretieren
unterschiedliche Aufgaben bzgl. positiver
Selbstdarstellung unterschiedlich. Z.B. kann man
Subjekten den Eindruck vermitteln, sich bei widrigen
Umständen besonders anzustrengen um sie zu
überwinden. Bei der nächsten Aufgabe kann man
Subjekten vermitteln, sich trotz positiver Bedingungen
nicht anzustrengen, weil sie sonst als zwanghaft oder
verbohrt erscheinen würden.

Intratreatment interaction: Verschiedene Subjekte
interpretieren die Möglichkeit der positiven
Selbstdarstellung in der gleichen Aufgabe unterschiedlich
(siehe Beispiele zwei Folien früher)
12
Experimentator-Effekt
(Experimenter Effect)
Experimentatoren haben Vorlieben, Meinungen,
Erwartungen. Insbesondere haben sie Vorstellungen über
das Ergebnis des Experiments. Wenn diese den
Teilnehmern bekannt werden, verhalten sie sich anders als
normal (positive Selbstdarstellung).

Beispiel: Hans, das rechnende Pferd (1911). Hans konnte
das Ergebnis von Rechenaufgaben durch Hufklopfen
angeben. Allerdings stellte man fest, dass der Eigentümer
durch Aufschauen dem Pferd mitteilte, wann es zu
klopfen aufhören sollte.
13
Experimentator-Effekt (2)
Ferner kann die Erwartung des
Experimentators ihn selbst beeinflussen.

Messungen ungenau in einer Richtung

Fallenlassen „unmöglicher“ Werte

tendenziöse Interpretation der Daten
Eliminierung durch

neutrale Formulierung der Aufgaben

Doppel-Blind-Versuche oder minimalem Kontakt
mit Experimentator (automatische Zuweisung
14
von Aufgaben mit Rechnern)
Folge-Effekt (Sequencing
Effect)
Man hat zwei Möglichkeiten,Teilnehmer einzusetzen:

a) Jeder Teilnehmer nimmt an genau einem Versuch teil.
Der Wert der unabhängigen Variable wird dabei zufällig
gewählt. Dann tritt kein Folge-Effekt auf.

b) Jeder Teilnehmer nimmt an mehreren Versuchen teil,
wobei er mit unterschiedlichen Werten der unabhängigen
Variablen konfrontiert wird (z.B. eine Aufgabe mit
Entwurfsmuster, eine Aufgabe ohne Entwurfsmuster
lösen). Hierbei kann ein Folge-Effekt auftreten.
15
Folge-Effekt (2)

Ein Folge-Effekt (auch Übertragungseffekt)
tritt auf, wenn die Teilnahme unter einer
Versuchsbedingung das Verhalten in einer
zweiten Versuchsbedingung beeinflusst.
(z.B. könnte der Teilnehmer beim zweiten
Mal gezielt nach Entwurfsmustern suchen
oder sie einzusetzen versuchen)
16
Techniken zum Erreichen
von Konstanz
in Experimenten
Literatur: L.B. Christensen, Experimental Methodology, Allyn
and Bacon, 2001, Kap. 8, 9, 10
17
Wozu Konstanz?
Um interne Gültigkeit zu erreichen, muss man
Techniken benutzen, die den differenziellen
Einfluss von Störvariablen ausschalten.
Möglichkeiten dazu:

statistische Technik wie Varianzanalyse (nicht besprochen)

Kontrolltechniken

Versuchsaufbau
18
I. Kontrolltechniken

Kontrolltechniken halten den Einfluss von
Störvariablen konstant für den
Variationsbereich der unabhängigen
Variablen.

Sie werden in Versuchsaufbauten eingesetzt
(siehe diese)
19
Randomisierung

Randomisierung ist die wichtigste und
grundlegendste Technik, um zu vermeiden,
dass Störvariablen (bekannte und
unbekannte) das Ergebnis systematisch
beeinflussen.
1. Zufällige Selektion der Teilnehmer
2. Zufällige Zuweisung der Teilnehmer zu
Versuchsbedingungen.
20
Randomisierung: Selektion
Zunächst ist man bemüht, eine repräsentative Stichprobe
einer Population als Teilnehmer zu bekommen.

Beispiele: weibliche Professoren, Schüler unter 12, Autofahrer/innen,
Informatikstudenten, Programmierer.

Eine randomisierte, repräsentative Selektion ist meist sehr
teuer; wenn sie nicht gelingt, dann ist das Ergebnis nicht
generalisierbar. Für die Kontrolle von Störvariablen ist
randomisierte Selektion nicht erforderlich.

Die (mehr oder weniger) zufällig selektierten Teilnehmer
werden dann echt zufällig auf Versuchsbedingungen
verteilt.
21
Randomisierung: Zuweisung

Zufällige Zuweisung der Teilnehmer an
Versuchsbedingungen erzielt eine zufällige Verteilung aller
Störgrößen, die zufällig auftreten. Daher sollte der Einfluss
dieser Störvariablen (bekannt oder unbekannt) in allen
Versuchsbedingungen etwa gleich sein.

Randomisierung reicht nicht aus bei Subjekt- und
Experimentator-Effekt. Diese sind nicht zufällig verteilt.

Natürlich kann man trotz Randomisierung eine
ungleichmäßige Verteilung erhalten. Dies kann man bei
bekannten Störvariablen überprüfen, z.B. bei Intelligenz
durch IQ-Test oder Noten.

Man soll auch bei kleinen Gruppen zufällig zuweisen, da
damit die Wahrscheinlichkeit eines systematischen
Einflusses der Störvariablen sinkt.
22
Angleichung (Matching)

Wenn der zu beobachtende Effekt sehr klein ist,
kann Randomisierung zu insensitiv sein. D.h. der
Ausschlag der abhängigen Variablen ist so klein,
dass er im Rauschen untergeht.

Durch Angleichung der Teilnehmer in den Gruppen
kann die Empfindlichkeit des Experiments erhöht
werden.

Angleichung ist aber kein Ersatz für
Randomisierung, sondern ein Zusatz.
23
Angleichung:
Störvariable konstant halten
Wenn möglich kann man den Einfluss einer
Störvariablen minimieren, in dem man sie festhält.

Wenn z.B. das Geschlecht der Teilnehmer eine Störvariable
sein könnte, könnte man nur männliche Teilnehmer aus der
Stichprobe wählen und diese dann zufällig auf die
Versuchsbedingungen verteilen.

Nachteil 1: nicht generalisierbar auf Populationen,
für die die Störvariable andere Werte annimmt.

Nachteil 2: die Stichprobe kann zu klein werden.
24
Angleichung: Einschließung der
Störvariable in den
Versuchsaufbau.

Die Störvariable wird dann zu einer weiteren unabhängigen
Variablen.

Beispiel: wir wollen bestimmte Lernstrategien untersuchen. Die
Intelligenz ist aber ein Störfaktor. Also variieren wir nicht nur die
Lernstrategie, sondern auch den IQ-Wert (ähnlich für Alter)
Strat. A Strat. B
Stichprobe
mit IQ 90-99
Stichprobe
mit IQ von 90-120
Stichprobe
mit IQ 100-109
Stichprobe
mit IQ 110-120
25
Angleichung durch Paarung

Man formt Paare, die in den wesentlichen Störfaktoren
ähnlich sind, z.B. im Alter, Geschlecht, IQ, etc.

Die Paare werden dann zufällig auf die Gruppen verteilt.

(ähnlich wie vorige Methode, nur dass sich die Anzahl der
Gruppen nicht erhöht).

D.h. für jede Kombination von Störfaktoren gibt es einen
weiteren Teilnehmer mit der gleichen Kombination in der
anderen Gruppe

Nachteile: was sind die wesentlichen Variablen? Paarung
bei vielen Variablen kann schwierig werden.
26
Angleichung der
Häufigkeitsverteilung

Gruppen werden so gewählt, dass sie ähnliche
Verteilung der Störvariablen haben.

Beispiel 1: wähle eine erste Gruppe. Bestimme IQ
Mittelwert, Varianz, Verteilung der IQ-Werte.
Selektiere daraufhin eine weitere Gruppe mit
ähnlichen Werten.

Beispiel 2: Stratifzierung: Bestimme die 20% der
Teilnehmer mit der besten Vorbildung. Verteile
diese auf die verschiedenen Gruppen. Wiederhole
für eine oder zwei weitere Vorbildungsniveaus.
(benutze z.B. die Dauer der praktischen Erfahrung
27
in der Programmierung)
Subjekt-Effekt (1)

Wir benötigen eine Konstanz dessen, wie
Teilnehmer ihr Bedürfnis der positiven
Selbstdarstellung meinen erfüllen zu können.

Doppel-blinder Versuch mit Placebo:

erzeuge Variationen die allen Beteiligten unter allen
Umständen als gleich erscheinen.

Subjekte erhalten entweder eine echte Behandlung oder
eine Scheinbehandlung (Placebo). Alle Subjekte glauben,
sie haben die gleiche Behandlung erfahren.

Experimentator weiß nicht, welche Behandlung gewählt
wurde, kann dies also nicht kommunizieren.
28
Subjekt-Effekt (2)
Doppel-blinde Versuche sind oftmals nicht möglich, da nicht
alle Versuchsbedingungen so gestaltet werden können,
dass sie gleich erscheinen. Behelf:

Bewusste Irreführung: Den Teilnehmern wird eine plausibler
Zweck des Experiments angegeben, der aber unabhängig von der
wirklich getesteten Hypothese ist. Damit haben alle den gleichen
Anreiz, sich positiv darzustellen, der aber (hoffentlich) das
Ergebnis nicht beeinflusst.

Verborgenes Experiment: Teilnehmer wissen nicht, dass sie an
einem Experiment teilnehmen, z.B. als Teil einer Klausur oder in
dem man Leute auf der Straße in ein Gespräch verwickelt.
Ethische Problem mit beiden.
29
Subjekt-Effekt (3)
Wenn Subjekt-Effekte konstant gehalten wurden,
muss man trotzdem wissen, welche Werte sie
hatten. Das macht man mit einem Fragebogen am
Ende des Experiments. Fragen:

Was war der Zweck des Experiments?

Was wollte der Experimentator herausfinden?

Welche Arten von Antworten haben Sie gegeben und
warum?

Wie haben andere auf das Experiment reagiert?
Antworten auf diese Fragen helfen, die Annahmen
der Teilnehmer zu bestimmen und ob dadurch
30
Fehler im Experiment auftraten.
Experimentator-Effekt

Messfehler: automatische Erfassung oder Erfassung durch
einen Unbeteiligten oder durch mehrere Erfasser, die ihre
Werte abstimmen müssen.

Blinder Versuch: Experimentator kennt die Zuordnung der
Teilnehmer zu den Gruppen nicht (Zuteilung automatisch
oder durch einen Unbeteiligten).

partiell blinder Versuch: Experimentator kennt die
Zuordnung nicht bis zum letzt möglichen Moment. Z.B.
könnte er die Anweisungen allen geben und dann als
letztes die Zuteilung randomisiert durchführen.
31
Folge-Effekt
Wenn Teilnehmer unter mehreren,
aufeinanderfolgenden Versuchsbedingungen
arbeiten, können Folge-Effekte auftreten.

Lernen (Methoden und Werkzeuge)

Vertrautheit mit der Versuchsanordnung, Umgebung

Übertragungseffekt von einer Bedingung auf die nächste.
Gegenmaßnahmen: Zunächst Ausbildung der
Teilnehmer an Werkzeugen und Methoden,
vertraute Umgebung benutzen.
32
Folge-Effekt:
Gegenbalanzierung(1)
Intra-Subjekt Gegenbalanzierung: bei zwei
Versuchsbedingungen (A und B), gib jedem
Teilnehmer beide Reihenfolgen: ABBA.

Beispiel: Coca Cola vs. Pepsi Cola Geschmackstest.

Angenommen, bei jedem wiederholten Versuch steigt die
Bewertung um einen konstanten Wert, dann ist die Summe
der Bewertungen für A und B gleich. Damit ist der FolgeEffekt neutralisiert.
Bedingung
A B B A
Bewertung
0 1 2 3
Bewertung A: 3
Bewertung B: 3
33
Folge-Effekt: Gegenbalanzierung (2)

Wenn die Steigerung der Bewertung nicht linear ist
(z.B. 0, 4, 6, 8), dann kann man den
Ordnungseffekt damit kontrollieren, indem man die
andere Hälfte der Teilnehme die Reihenfolge
BAAB durchführen lässt.
Bedingung
A B B A
B A A B
Bewertung
0 4 6 8
0 4 6 8
Bewertung A: 18
Bewertung B: 18
Gegen Effekte, die durch Übertragung entstehen (dadurch, dass man einen Test
gemacht hat, verhält man sich beim nächsten anders, ist meist außer Training
wenig zu machen)
34
Folge-Effekt: Gegenbalanzierung (3)
Anstelle von Intra-Subjekt-Gegenbalanzierung
kann man auch Inter-Gruppen Gegenbalanzierung
anwenden. D.h. eine Gruppe führt AB aus, die
andere BA.

Angenommen, wir untersuchen den Effekt von
Entwurfsmustern. Eine Gruppe bekommt erst eine
Aufgabe ohne Entwurfsmuster, dann eine mit (AB); die
zweite Gruppe in umgekehrter Reihenfolge (BA).
Allerdings braucht man hierzu jeweils andere Aufgaben.
Man kann innerhalb einer Gruppe nicht die gleiche
Aufgabe zweimal verwenden. Dabei kann es einen
Folgeeffekt durch die Reihenfolge der Aufgaben geben.
D.h. man muss dann auch die Aufgaben in beiden
Reihenfolgen stellen, was zu insgesamt vier Gruppen
führt.
35
II Versuchsaufbau
(Research Design)

Der Versuchsaufbau beschreibt den Plan,
wie man eine Forschungsfrage beantworten
wird

Wichtiger Aspekt ist Kontrolle über
ungewollte Variablen, aber auch die
Messungen und Aufteilung in Gruppen

Der Aufbau bestimmt, ob sinnvolle und
objektive Aussagen getroffen werden
können.
36
Ungeeignete Aufbauten
Einzelne Gruppe mit Vor- und Nachtest

Vortest --> Behandlung --> Nachtest

Beispiel: Behandlung ist eine spezielle
Ausbildung, Vor- und Nachtest sind
standardisierte Tests.

Ergebnis: Leistungssteigerung

Schwächen dieses Aufbaus ?

Ausgleich der Schwächen ?
37
Nichtäquivalente Gruppen

Zugehörigkeit zu einer Gruppe nicht zufällig
festgelegt

Unterschiede in unabhängigen Variablen die
Folge

Beispiel: Teilnehmer entscheiden selber in
welche Gruppe sie gehen
38
Anforderungen an
Versuchsaufbau
1. Der Aufbau muss erlauben, die Forschungsfrage
zu beantworten. Einfach nur irgendwelche Daten
zu sammeln ist selten zielführend.
2. Störvariablen müssen kontrolliert werden, um
sicher zu sein, ob der beobachtete Effekt auf die
unabhängige Variable zurückzuführen ist.
Alternative Hypothesen können mit
Kontrollmethoden (z.B. Randomisierung) oder
einer Kontrollgruppe eliminiert werden.
39
Anforderungen an
Versuchsaufbau
3. Ergebnis muss auf andere Individuen oder
Gruppen als die Teilnehmer generalisierbar sein.
40
Mögliche Aufbauten

Versuchsgruppe erhält die unabhängige
Variable zu einem gewissen Maß.

Kontrollgruppe wird entweder einer
unabhängigen Variablen nicht ausgesetzt oder
erhält einen standardisierten oder typischen
Wert für diese Variable.

Kontrollgruppe dient als Vergleichsbasis und
als Kontrolle für rivalisierende Hypothesen. Sie
muss dazu alle Störvariablen möglichst
genauso wie die Versuchsgruppe erhalten
41
haben.
Geeignete Versuchaufbauten
Inter-Subjekt-Experiment mit Nachtest
Versuchsgruppe
Stichprobe
von
Teilnehmern
Behandlung
Messung
X
Y
zufällig
verteilt
auf
Vergleich
Kontrollgruppe
Y
Beispiel: Käufer akzeptieren einen höheren Preis, wenn sie vorher einem
Kauf zugestimmt haben. Untersucht mit einem Experiment, das um Teilnahme an einem
Experiment bittet. Versuchsgruppe wird vorher nicht gesagt, dass das Experiment schon
um 7:00 morgens stattfindet, Kontrollgruppe schon. Von der Versuchsgruppe erscheinen
42
mehr, weil sie vorher Teilnahme schon zugesagt hatten.
Eigenschaften

Mit genügend vielen Teilnehmern erzeugt
die Randomisierung gleichwertige Gruppen

Nachteile:

möglicherweise nicht empfindlich genug

möglicherweise keine Gleichwertigkeit der
Gruppen erreicht

Ausgleich: Angleichung der Gruppen. Allerdings
braucht man hierzu mehr Teilnehmer.
43
Angeglichenes Inter-SubjektExperiment mit Nachtest
Stichprobe
von
Teilnehmern
Versuchsgruppe
Jeder Teilnehmer
wird mit einem
anderen gepaart
Paare
zufällig
verteilt
auf
Behandlung
Messung
X
Y
Vergleich
Kontrollgruppe
Y
44
Einfaches randomisiertes
Experiment
(Inter-Subjekt, Nachtest)
Behandlung
Messung
Y
Kontrollgruppe
X1
Versuchsgruppe 1
Y
R
Vergleich
Versuchsgruppe 2
X2
Y
Versuchsgruppe 3
X3
Y
Für mehr als zwei unterschiedliche Werte oder Niveaus der
unabhängigen Variable. (R bedeutet zufällige Zuweisung.)
Z.B. die verschiedenen Arten, eine Inspektion durchzuführen.
45
Faktorielles Experiment
Zwei oder mehr Variablen werden gleichzeitig
untersucht, um ihre unabhängigen Auswirkungen
und ihre Interaktionen zu bestimmen.
Angenommen, Variable A hat drei Werte A1, A2, A3;
Variable B habe zwei Werte (B1, B2); sechs
Gruppen erforderlich.
B1
B2
A1
A2
A3
A1 B1
A2 B1
A3 B1
Mittel B1
A1 B2
A2 B2
A3 B2
Mittel B2
Mittel A1 Mittel A2 Mittel A3
Haupteffekt A
Haupteffekt B
46
Interaktionen beim faktoriellen
Entwurf
B1
B2
B2
B1
A1
A2
A3
A1
a) nur Haupteffekt A
A2
A3
b) nur Haupteffekt B
B1
B2
B1
B2
A1
A2
A3
c) nur Interaktion (Spaltensummen
gleich und Zeilensummen gleich)
A1
A2
A3
d) Haupteffekt A und B,
keine Interaktion (Parallelen)
47
Interaktionen (2)
B2
B2
B1
A1
A2
B1
A3
A1
e) Haupteffekt A und Interaktion
(Zeilensummen gleich)
B2
B1
A1
A2
A3
A2
A3
f) Haupteffekt B und Interaktion
(Spaltensummen gleich)
Wenn Haupteffekt oder Interaktion allein
signifikant sind, werden diese interpretiert.
Wenn gemischt, dann hauptsächlich die
Interaktion interpretieren.
g) Haupteffekt A und B und
Interaktion
48
Intra-Subjekt-Experiment mit
Nachtest

Alle Teilnehmer nehmen an allen
Behandlungen teil.
Behandlung
P1, P2, P3, P4, ...., Pn
X1
Messung
Y
Vergleich
P1, P2, P3, P4, ...., Pn
X2
Y
P1, P2, P3, P4, ...., Pn
X3
Y
49
Intra-Subjekt-Experiment (2)
Vorteile

perfekte Angleichung: jeder Teilnehmer ist seine
eigene Kontrolle; daher hohe Empfindlichkeit.

Variablen wie Alter, Geschlecht, Erfahrung
bleiben konstant für das gesamte Experiment.

weniger Teilnehmer erforderlich als beim InterSubjekt-Experiment.
50
Intra-Subjekt-Experiment (3)
Nachteile
Folge-Effekte:

lineare Folgeeffekte durch Gegenbalanzierung
ausgleichen

nicht-lineare Folgeeffekte durch Gegenbalanzierung
nicht ausgleichbar
Einfluss von Reifung und Historie nicht
feststellbar.
51
Experiment mit Vor- und
Nachtest

Kontrolliert Historie und Reifung, da alle
Teilnehmer normalerweise Historie und Reifung
gleich unterliegen.
Versuchsgruppe
Vortest
Behandlung
Nachtest
Y
X
Y
Unterschied
Vor-Y - NachY
R
Kontrollgruppe
Vergleich
Y
Y
Vor-Y - NachY
52
Quasi-Experiment
Von einem Quasi-Experiment spricht man,
wenn nicht alle Forderungen an einen
experimentellen Versuchsaufbau erfüllt
werden können, z.B. Randomisierung

dies ist oft bei Experimenten außerhalb des
Labors der Fall

Hier muss man darauf achten, dass die
Gefährdungen der Gültigkeit durch andere
Maßnahmen gering gehalten werden.
53
Quasi-Experiment
Wichtige Gefährdungen der Gültigkeit:

Selektion

Historie (auch lokale Historie, d.h., die nur auf
eine Gruppe wirkt)

Reifung
Ein Aufbau wie das Experiment mit Vor- und
Nachtest, aber ohne zufällige Zuweisung
erlaubt es, Selektion und Historie wenigstens
zu beobachten.
54
Quasi-Experiment mit Vor-und
Nachtest

Wenn die Kontrollgruppe im Vor- und Nachtest
gleich bleibt, dann können Änderungen in der
Versuchsgruppe auf einen Selektions- oder lokale
Historie zurückzuführen sein.

Wenn Kontroll- und Versuchsgruppe
unterschiedlich starke Änderungen vom Vortest
zum Nachtest aufweisen, kann es sich um ein
Selektionseffekt (unterschiedliche Reifung) oder
lokale Historie handeln, die dem wahren Effekt
überlagert ist (Unter- oder Überschätzung).
55
Quasi-Experiment mit Vor-und
Nachtest (2)

Nur wenn es eine Überkreuzung gibt, kann
man einigermaßen sicher sein, dass es sich
nicht um einen Selektionseffekt handelt. Bei
einer Überkreuzung hat die schwächere
Versuchsgruppe im Vortest schlechtere, im
Nachtest bessere Ergebnisse als die
Kontrollgruppe.
Versuchsgruppe
Kontrollgr.
Vortest
Nachtest
56
Wichtige Begriffe

Versuchsaufbau

nichtäquivalente Gruppen mit Nachtest

Einzelne Gruppe mit Vor- und Nachtest

Inter-Subjekt-Experiment mit Nachtest

Angeglichenes Inter-Subjekt-Experiment

Einfaches randomisertes Experiment

Faktorielles Experiment, Haupteffekt, Interaktionseffekt, Zelle

Intra-Subjekt-Experiment mit Nachtest

Experiment mit Vor- und Nachtest

Quasi-Experiment
57