Axiomatik der klassischen Testtheorie

Transcrição

Übersicht 10.05.04
Axiomatik der klassischen Testtheorie (wdh.)
Varianzzerlegung
Varianzzerlegung und Definition der Reliabilität.
Itemkennwerte: Schwierigkeit, Varianz,
Trennschärfe
Mögliche Themen für den eigenen Test
Eindimensionalität des Konstrukts (wdh.)
Kriterien bei der Itemformulierung
Besprechung konkreter Konstruktionsvorhaben (?)
Testtheorie und Testkonstruktion
Johannes Hartig und Nina Jude
Klassische Testtheorie (KTT)
Wesentliche Annahme der KTT ist, dass sich die
mit einem Test ermittelte Merkmalsausprägung
eines Individuums aus dem „wahren Wert“ dieses
Individuums und einem Messfehler
zusammensetzt.
Die KTT basiert auf einigen zentralen
Grundannahmen, die mit den Methoden der KTT
nicht empirisch prüfbar sind.
Die wesentlichsten Grundannahmen sind das
Existenzaxiom und das Verknüpfungsaxiom,
Verknüpfungsaxiom
zusätzlich wichtig ist die Annahme der
Unkorreliertheit der Messfehler.
Messfehler
1
Axiomatik der klassischen Testtheorie:
Existenzaxiom
Es existiert ein wahrer Testwert („true score“) τvi
als Erwartungswert einer Messung xvi:
E(xvi) = τvi
xvi : Wert einer Person v im Item i eines Tests
τvi: „true Score“ einer Person v im Item i eines Tests
Verknüpfungsaxiom
Jede Messung xvi setzt sich aus dem wahren Wert
τvi und einem „zufälligen“ Messfehler εvi
zusammen.
xvi = τvi + εvi
xvi: Wert einer Person v im Item i eines Tests
τvi: „true Score“ einer Person v im Item i eines Tests
εvi: Messfehler der Messung mit Item i an Person v
Unkorreliertheit der Messfehler
Die Messfehler einzelner Items und Personen sind
unkorreliert:
ρ(εvi, εvj) = 0
ρ(εvi, εwj) = 0
Æ Die Messfehler der Messungen mit den
Items i und j an derselben Person v
sind unabhängig voneinander.
Æ Die Messfehler der Messungen mit
demselben Item i an den Personen v
und w sind unabhängig voneinander.
Die Messfehler sind unkorreliert mit dem wahren
Testwert:
ρ(τvi, εvi) = 0
Æ Der Messfehler einer Messungen xvi ist
unabhängig von dem zugrunde
liegenden wahren Wert τvi.
2
Aus der Kombination von Existenz- und
Verknüpfungsaxiom und der Unkorreliertheit der
Fehler ergibt sich, dass der Erwartungswert des
Fehlers gleich null ist:
E(xvi) = τvi
xvi = τvi + εvi
E(εvi) = 0
Bildung des GesamtGesamt-Testwertes
Der Erwartungswert des Testwertes einer Person
xv (Summe mehrerer Items eines Tests) ist der
Wahre Testwert τv (Summe der wahren Werte der
Items).
m
 m
 m
E(x v ) = E  ∑ x vi  = ∑ E(x vi ) = ∑ τ vi = τ v
i =1
 i =1
 i =1
Klassische Testtheorie (KTT)
Wesentliche Annahme der KTT ist, dass sich die
mit einem Test ermittelte Merkmalsausprägung
eines Individuums aus dem „wahren Wert“ dieses
Individuums und einem Messfehler
zusammensetzt.
Die Methoden der KTT zielen zum großen Teil
darauf ab, den Anteil dieses Messfehlers zu
bestimmen, sie wird daher auch als
„Messfehlertheorie“ bezeichnet.
3
Varianzzerlegung
Für den einzelnen Fall liegt nur die beobachtete
Messung xv vor, der individuelle wahre Wert τv
und der Fehleranteil der Messung ε lassen sich
nicht bestimmen.
Für eine Stichprobe von Messungen lässt sich
jedoch die Varianz der Messwerte (z.B. der
Punkte in einem Test) sich zerlegen in „wahre“
Varianz und Fehlervarianz.
Varianzzerlegung
Grundsätzlich gilt: die Varianz einer Summe ist
gleich der Summe aller Elemente der
Kovarianzmatrix der Summanden. z.B.
σ2 ( x + y + z ) =
 σ2 ( x ) σ ( x, y ) σ ( x, z ) 


∑  σ ( x, y ) σ2 ( y ) σ ( z, y )  =
 σ ( x, z ) σ ( z, y ) σ 2 ( z ) 


σ2 ( x ) + σ 2 ( y ) + σ 2 ( z ) + 2σ ( x, y ) + 2σ ( x, z ) + 2σ ( z, y )
Varianzzerlegung
Grundsätzlich gilt: die Varianz einer Summe ist
gleich der Summe aller Elemente der
Kovarianzmatrix der Summanden.
z.B. für drei Summanden x, y, z:
σ2 ( x + y + z ) =
 σ2 ( x ) σ ( x, y ) σ ( x, z ) 


∑ σ ( x, y ) σ2 ( y ) σ ( z, y ) =
 σ ( x, z ) σ ( z, y ) σ 2 ( z ) 


σ 2 ( x ) + σ 2 ( y ) + σ2 ( z ) + 2σ ( x, y ) + 2σ ( x, z ) + 2σ ( z, y )
4
Varianzzerlegung
Für zwei Summanden:
σ2 ( x + y ) =
 σ2 ( x ) σ ( x, y ) 
∑ σ ( x, y ) σ2 ( y )  =


2
2
σ ( x ) + σ ( y ) + 2σ ( x, y )
Varianzzerlegung
Verknüpfungsaxiom:
Jede Messung xvi setzt sich aus dem wahren Wert
τvi und einem „zufälligen“ Messfehler εvi
zusammen.
xv = τ v + ε v
Varianz der Summe zweier Summanden:
σ2(x) = σ2(τ) + σ2(ε) + 2σ(x,ε)
Varianzzerlegung
Unkorreliertheit der Messfehler:
Der Messfehler einer Messungen xvi ist
unabhängig von dem zugrunde liegenden wahren
Wert τvi.
ρ(x,ε) = 0 Æ
σ(x,ε) = 0
5
Varianzzerlegung
Varianz der beobachteten Werte xv:
σ2(x) = σ2(τ) + σ2(ε) + 2σ(x,ε)
= σ2(τ) + σ2(ε) + 0
= σ2(τ) + σ2(ε)
Varianzzerlegung
Die Varianz der beobachteten Testwerte xv: setzt
sich zusammen aus zerlegen wahrer Varianz und
Fehlervarianz:
σ2(x) = σ2(τ) + σ2(ε)
Varianzzerlegung und
Definition der Reliabilität
σ2 ( x ) = σ2 ( τ ) + σ2 ( ε )
Die Reliabilität (Messgenauigkeit) eines Test ist
definiert als der Anteil der beobachteten Varianz
in den Testwerten, der auf Variation in den
wahren Testwerten der Testpersonen zurückgeht:
Rel =
σ2 ( τ )
σ2 ( x )
=
σ2 ( x ) − σ2 ( ε )
σ2 ( x )
6
Varianzzerlegung und
Definition der Reliabilität
σ2 ( x ) = σ2 ( τ ) + σ2 ( ε )
Für σ2(x) = σ2(τ):
Rel =
σ2 (τ) σ2 (τ)
=
=1
σ 2 (x) σ2 (τ)
„Der Test misst völlig
fehlerfrei.“
„Der Test misst gar
nichts.“
Für σ2(x) = σ2(ε):
σ 2 ( τ ) = σ 2 ( x ) − σ 2 ( ε ) = 0 → Rel =
0
=0
σ2 (x)
Itemanalyse und Itemkennwerte
Die Methoden der Analyse der Itemeigenschaften
ist nicht im engeren Sinne Bestandteil der
Klassischen Testtheorie
Im Rahmen einer auf der KTT basierenden
Testkonstruktion und -revision spielen die
Itemkennwerte dennoch eine zentrale Rolle.
Itemanalyse und Itemkennwerte
Die Itemanalyse betrachtet die Eigenschaften der
Messungen xvi eines mit einem einzelnen Item.
Im Folgenden wird eingegangen auf
Itemschwierigkeit,
Itemvarianz und
Itemtrennschärfe
7
Itemanalyse und Itemkennwerte:
Itemschwierigkeit Pi
Die Itemschwierigkeit drückt aus, wie schwer eine
Aufgabe für Personen einer Stichprobe im Sinne
des erfassten Konstrukts zu beantworten war.
Bei einem Leistungstest bedeutet dies, wie viele
Personen der Stichprobe das Item gelöst haben.
Bei einem Persönlichkeitsfragebogen bedeutet
„Schwierigkeit“, wie viele Personen einer Aussage
im Sinne des Kriteriums zugestimmt haben.
Der Schwierigkeitsindex Pi hat einen Wertebereich
von 0 bis 100.
Hierbei bedeutet Pi = 0, dass keine Person das
Item gelöst bzw. in Sinne des Kriteriums
beantwortet hat. Das Item ist sehr schwer.
Pi = 1 bedeutet, dass alle Person das Item gelöst
bzw. in Sinne des Kriteriums beantwortet haben.
Das Item ist sehr leicht.
Pi könnte also auch als „Leichtigkeitsindex“
bezeichnet werden!
!
Itemschwierigkeit
Der Schwierigkeitsindex Pi eines Items i basiert im
wesentlichen darauf, wie viele Punkte alle
Personen in diesem Item im Mittel erreicht haben.
Pi =
x i − x min
⋅100
x max − x min
xi = Mittelwert des Items i
xmin = minimale erreichbare Punktzahl im Item i
xmax= maximal erreichbare Punktzahl im Item i
8
Ist die minimal erreichbare Punktzahl in einem
Item null, vereinfacht sich die Bestimmung des
Schwierigkeitsindex zu:
Pi =
xi
⋅100
x max
xi = Mittelwert des Items i
xmax= maximal erreichbare Punktzahl im Item i
Beispiel Leistungstest
In einer Klausuraufgabe in psychologischer
Testkonstruktion erhält man für das Lösen einer Aufgabe
einen Punkt (xmax = 1), für eine falsche Antwort null Punkte
(xmin = 0).
Von 12 KursteilnehmerInnen lösen diese Aufgabe 9.
Æ Der Mittelwert für dieses Item beträgt 9 : 12 = 0.75.
Pi =
xi
0.75
⋅100 =
⋅100 = 75
x max
1
Æ Es handelt sich um ein leichtes Item
Beispiel Persönlichkeitsfragebogen
Für Antworten auf das Item „Ich mag mich selbst nicht“
erhält man auf einer fünfstufigen Skala xmin = 0 bis xmax = 4
Punkte für Neurotizismus.
In einer Stichprobe von 399 Personen beträgt der
Mittelwert für dieses Item 0.79.
Pi =
xi
0.79
⋅100 =
⋅100 = 19.78
x max
4
Æ Es handelt sich um ein schweres Item
9
Grundsätzlich sind Items mit mittlerer Schwierigkeit (Pi ≈
50) zu bevorzugen, da sie am besten zwischen
unterschiedlichen Merkmalsausprägungen differenzieren
können.
Sehr leichte oder sehr schwere Items werden entweder
von fast allen oder von fast keiner Person gelöst.
Dennoch können einige Items mit hohen oder niedrigen
Schwierigkeiten in einem Test zweckmäßig sein, um auch
im unteren oder oberen Merkmalsbereich zu
differenzieren.
Itemvarianz σ2(xi)
Die Varianz σ2(xi) eines einzelnen Items gibt an,
wie stark die Antworten auf dieses Item in der
Stichprobe streuen.
Zur Erinnerung: die Varianz einer Variablen ist die
durchschnittliche quadrierte Abweichung der
einzelnen Werte vom Mittelwert:
N
σ2 ( x i ) =
∑(x
v =1
iv
-x i )
2
N
Itemvarianz σ2(xi)
Nur ein Item, auf die Personen unterschiedlich antworten,
kann zur Messung von Unterschieden zwischen Personen
etwas beitragen.
Eine Varianz von σ2(xi) = 0 würde bedeuten, dass alle
Personen auf ein Item gleich geantwortet haben.
Die Zahlenwerte der Itemvarianz hängen von der
jeweiligen Antwortskala ab.
Die Werte sind daher für sich genommen wenig
aussagekräftig, können aber im Vergleich verschiedener
Items aufschlussreich sein.
10
Itemtrennschärfe ri(ti(t-i)
Die Itemtrennschärfe ri(t-i) ist der wichtigste
Itemkennwert im Kontext der KTT!
Die Trennschärfe soll eine Einschätzung
ermöglichen, wie gut ein Item „zwischen Personen
mit niedriger und hoher Merkmalsausprägung
trennt“.
Hierzu wird der korrelative Zusammenhang eines
einzelnen Items mit dem Gesamttest ermittelt.
Für die Ermittelung der Trennschärfe wird i.d.R.
eine „part-whole-Korrektur“ vorgenommen, d.h.
das Item wird aus allen übrigen Items des Tests
ermittelten Testwert in Beziehung gesetzt:
ri( t −i) =
σ ( x i , x t −i )
σ ( x i ) ⋅ σ 2 ( x t −i )
2
xi = Werte im Item i
xt-i = Werte im Gesamttest ohne das Item i
Der Wertebereich der Itemtrennschärfe liegt
zwischen -1 und 1.
Bei einer hohen positiven Trennschärfe erfasst das
Item etwas Ähnliches wie der Gesamttest.
Eine Trennschärfe nahe null weist darauf hin, dass
ein Item mit dem restlichen Test nichts gemeinsam
hat.
Eine negative Trennschärfe kann einen Hinweis
darauf geben, dass ein Item umgekehrt wie
beabsichtigt verstanden oder – wahrscheinlicher –
bei der Auswertung nicht richtig gepolt wurde.
11
Itemkennwerte und Itemselektion
Bei der Konstruktion von Tests auf Basis der KTT
werden oft mittels der Itemkennwerte "schlechte"
Items identifiziert und aus der endgültigen
Fassung ausgeschlossen.
Die Itemkennwerte Schwierigkeit, Varianz und
Trennschärfe sind deskriptive Größen.
Es gibt daher keine klaren Regeln wie etwa bei
einem Hypothesentest, ab wann ein Item definitiv
aus einem Test ausgeschlossen werden sollte.
Itemkennwerte und Itemselektion
Die Itemvarianz wird selten als Selektionskriterium
herangezogen, kann aber in Kombination mit den anderen
Kennwerten aufschlussreich sein.
Itemschwierigkeiten kleiner als .20 oder größer als .80
werden i.d.R. als zu schwer oder zu leicht betrachtet.
Bei Itemtrennschärfen werden z.B. Untergrenzen von .30
oder .40 als Ausschlusskriterium genannt.
Es ist hier aber auch darauf zu achten, wie die
Trennschärfen aller Items liegen und ob ein Item durch
eine deutlich unterdurchschnittliche Trennschärfe negativ
auffällt.
Zusammenhänge zwischen
den drei Itemkennwerten
Zwischen den verschiedenen Itemkennwerten
bestehen einige systematische, zwangsläufige
Zusammenhänge:
Ein Item mit einer extrem hohen oder niedrigen Schwierigkeit
kann nur noch eine eingeschränkte Varianz haben.
Æ Bei Pi=0 oder Pi=100 muss die Varianz null sein: Alle
Personen haben gleich geantwortet.
Je niedriger die Varianz eines Items, desto
unwahrscheinlicher ist es, dass ein Item noch eine hohe
Trennschärfe aufweist.
Æ Ein Item mit einer Varianz von null kann keinen
Zusammenhang mehr mit dem Gesamttest aufweisen.
12
Zusammenhänge zwischen
den drei Itemkennwerten
Spezialfall:
Spezialfall bei dichotomen (zweistufigen) Items
besteht ein fester Zusammenhang zwischen
Itemschwierigkeit und Itemvarianz.
Zusammenfassung
Die Itemschwierigkeit gibt Auskunft darüber, wie
viele Personen ein Item gelöst haben bzw. wie
stark einem Item im Sinne des erfassten
Konstruktes zugestimmt wurde.
Die Itemvarianz gibt an, wie stark die Antworten
auf ein Item sich zwischen Personen
unterscheiden.
Die Itemtrennschärfe ist ein Indikator dafür,
inwieweit ein Item etwas Ähnliches erfasst wie der
übrige Test.
Zusammenfassung
Hinsichtlich der Itemschwierigkeit sind Items
mittlerer Schwierigkeit erstrebenswert. Leichte
und schwere Items können dennoch nützlich sein,
um in Bereichen niedriger und hoher
Merkmalsausprägung eine differenzierte Messung
zu ermöglichen.
Die Itemvarianz ist ein eher unbedeutender
Kennwert, eine hohe Varianz ist wünschenswert.
Die Itemtrennschärfe ist der wichtigste Kennwert
zur Selektion messgenauer Items.
13
Pause
Eindimensionalität des Konstruktes
Der selbst konstruierte Fragebogen soll ein
eindimensionales Konstrukt erfassen, das heißt:
Es muss sinnvoll definiert sein, was ein hoher und
ein niedriger Punktewert bedeutet!
Die einzelnen Items müssen für sich genommen
sinnvoll hinsichtlich eines „mehr“ oder „weniger“
des erfassten Konstruktes interpretierbar sein!
Aphorisms for a Questionnaire
Keep it simple,
One thing at a time.
Little words work best,
Two lines are too many,
Long is wrong
When in doubt, leave it out.
Reasons for asking aren’t reasons for
answering,
Answers ask questions.
By Ben Wright, In: Rasch Transactions. Aus Rost (2004)
14
Kriterien bei der Itemformulierung
Sprachliche Verständlichkeit
Eindeutigkeit des Inhalts
Schwierigkeit der Items
Abstufung über die Antwortmöglichkeiten
Eindeutigkeit hinsichtlich des Konstruktes
Kriterien bei der Itemformulierung:
Sprachliche Verständlichkeit
Die Items sollten für die Probanden ohne große
Mühe und nach einmaligem durchlesen
verständlich sein.
Zu vermeiden sind nach Möglichkeit:
Verneinungen, erst recht doppelte Verneinungen
Zu komplizierte Satzkonstruktionen
Zu allgemeine, vage Aussagen
Der Inhalt des Items muss eindeutig sein, d.h. die
Antwort auf ein Item muss einen Rückschluss
darauf zulassen, was die beantwortende Person
gemeint hat.
Es darf keine Möglichkeit geben, den Text in
unterschiedlicher Weise zu interpretieren.
Ein Item darf nur eine Aussage enthalten: Bei zwei
Aussagen in einem Item ist nicht mehr klar, auf welche
geantwortet wurde.
Die Antwort darf nicht von unterschiedlichem Vorwissen
abhängig sein.
15
Nur eine Aussage je Item!
Schlecht:
Ich habe verschiedene klare Ziele im Leben und arbeite
systematisch auf sie zu.
Besser:
Ich habe klare Ziele im Leben.
Ich bemühe mich, auf meine Ziele systematisch
hinzuarbeiten.
Unabhängigkeit vom Vorwissen!
Schlecht:
Schlecht
Die jüngsten Erfolge der Molekularbiologie im Bereich der
Krebstherapie sprechen für die Gentechnologie.
Besser:
Besser
Gentechnologie sollte gefördert werden, weil damit neue
Heilmethoden entwickelt werden können.
Schwierigkeit der Items
Schlecht:
Schlecht
Frauen, die abtreiben, sollten zu langen Gefängnisstrafen verurteilt
werden.
Besser:
Besser
Um gegen Abtreibungen vorzugehen, können auch strafrechtliche
Maßnahmen angemessen sein.
Schlecht:
Schlecht
Wenn ich nachts in einer dunklen, einsamen, engen Gasse
unterwegs bin und hinter mir plötzlich Schritte höre, werde ich
unruhig.
Besser:
Besser
Wenn ich nachts zu Fuß durch eine unbelebte Straße muss,
ängstigt mich das.
16
Ich habe
Wenn
ichAngst,
zum Zahnarzt
wenn ichmuss,
zum habe
ich jedesmal
Zahnarzt
muss.
extreme Angst.
1
2
3
4
5
6
trif
ft
ni c übe
h t r ha
trif zu upt
ft n
ich
tz
trif
u
ft e
he
rn
trif
ich
ft e
tz
he
u
rz
trif
u
ft z
u
trif
ft s
eh
rz
u
Meine Arbeit ist eintönig
meistensund
eintönig
langweilt
mich.mich fast immer.
und langweilt
trif
ft
ni c ü b e
ht r h a
trif zu upt
ft n
ich
tz
trif
u
ft e
he
r
trif
nic
ft e
ht
zu
he
rz
trif
u
ft z
u
trif
ft s
eh
rz
u
Abstufung über die Antwortmöglichkeiten
1
2
3
4
5
6
Wichtig! Es muss eindeutig sein, ob eine
Zustimmung zu einem einzelnen Item im Sinne
einer höheren oder niedrigeren Ausprägung des
im Gesamttest erfassten Konstruktes zu
interpretieren ist.
„Einstellung zu Psychotherapie“
Psychotherapie sollte denselben Stellenwert haben wie
medizinische Behandlung.
Therapeuten haben selbst psychische Probleme.
Wer sich in Therapie begibt, ist unfähig, seine Probleme
selbst zu lösen.
Ich kann mir nicht vorstellen, jemals eine Psychotherapie zu
brauchen.
17
„Abhängigkeit der Stimmung vom Wetter“
Sonne hellt meine Stimmung auf.
Bei miesem Wetter werde ich schneller ungeduldig als sonst.
Trübes Wetter hat keinen Einfluß auf meine Stimmung.
Bei gutem Wetter fällt es mir leichter, freundlich zu anderen
zu sein.
An sonnigen Tagen lache ich häufiger.
Testtheorie und
Testkonstruktion
Johannes Hartig: 970 976 41 [email protected]
Nina Jude:
970 976 21 [email protected]
18

Axiomatik der klassischen Testtheorie

Transcrição

Documentos relacionados

Folien - Institut für Statistik

Zum sechzigsten Geburtstag von Nina Hagen am 11. März

Die Sprecherin: Nina Kunzendorf Fragen an Nina Kunzendorf

Lehrerbegleitmaterial Auch Spuken will gelernt sein

Was macht das Theater, Nina Kunzendorf?

download alien vs predator demo

AXIS P1204 BULK 10 PCS

36 Die Schauspielerin nina langensand hat im Moment mehr Sex

http://www.pspsource.de/news.php?item.257 Seite 1/1 Offizielle

Überwältigt von Simbabwe - Three Pairs Of Underwear