Minuten

Testhefte (internationaler Testteil [I], erster Testtag)

I1

I2

I3

I4

I5

I6

I7

I8

I9

15

R1

R2

R3

R4

R5

R6

R7

M4

N4

15

R1

R2

R3

R4

R5

R6

R7

M2

N2

15

R2

R3

R4

R5

R6

R7

R1

N1

M1

15

R2

R3

R4

R5

R6

R7

R1

N3

M3

15

Pause

15

R4

R5

R6

R7

R1

R2

R3

R8

R9

15

R4

R5

R6

R7

R1

R2

R3

R8

R9

15

M1

N1

M3

N3

M2

N2

R8

R9

R8

15

M2

N2

M4

N4

M3

N3

R8

R9

R8

10

Pause

06

Lesegeschwindigkeit

30

Internationaler Schülerfragebogen

10

Selbstreguliertes Lernen

05

Computererfahrung

R = Blöcke mit Leseaufgaben, M = Blöcke mit Mathematikaufgaben, N = Blöcke mit Naturwissenschaftsaufgaben.

Tabelle 40:PISA-O: Testdesign für den internationalen Vergleich der PISA-2000-Studie

Minuten

Testhefte (nationaler Testteil [N], zweiter Testtag)

N1

N2

N3

N4

N5

N6

N7

N8

N9

03

Testbezogene Motivation

25

MA

MB

MC

MD

ME

MF

NA

NB

NC

25

NA

NB

NC

ND

NE

NF

MG

MH

MI

04

Testbezogene Motivation

10

Pause

20

Problemlösen

30

Schlussfolgerndes Denken

15

Gruppenaufgaben

10

Pause

20

Kooperation und Kommunikation

30

Nationaler Schülerfragebogen

M = Blöcke mit Mathematikaufgaben, N = Blöcke mit Naturwissenschaftsaufgaben.

Tabelle 41:PISA-E: Testdesign für den nationalen Bundesländervergleich der PISA-2000-Studie

Ist die Analysestichprobe dieser Arbeit noch mit der ursprünglichen PISA-Stichprobe von Neuntklässlern vergleichbar? Hierzu wurde die Stichprobe der Neuntklässler aus PISA 2000 mit der Analysestichprobe hinsichtlich mehrerer soziodemografischer, motivationaler und kognitiver Variablen verglichen (Tab. 42). Die entscheidende Frage bei den Analysen war, welche Verzerrung (relativer Bias) durch die Selektion entsteht. Als Maß für den relativen Bias wurde die Differenz zwischen dem ursprünglichen Mittelwert in der PISA-Stichprobe und dem Mittelwert in der Analysestichprobe durch den Mittelwert in der PISA-Stichprobe geteilt. Im Kontext von Simulationsstudien wird ein relativer Bias kleiner 5 Prozent als trivial, kleiner 10 Prozent als moderat und größer 10 Prozent als substanziell betrachtet (Flora & Curran, 2004). Weiterhin war von Interesse, ob das 95%-Konfidenzintervall um den Mittelwert in der Analysestichprobe den ursprünglichen Mittelwert enthielt. Die Rationale hierfür ist, dass der Mittelwert, der auf Grundlage der ursprünglichen Stichprobe geschätzt wurde, ein Punktschätzer für den Populationsmittelwert ist.

Hierbei ist es wichtig zu beachten, dass dieser so geschätzte Populationsmittelwert gewissermaßen fiktiv ist, da er auf Grundlage ungewichteter Schülerdaten beruht. Dieser Wert entspricht also nicht dem tatsächlichen Populationsmittelwert für die Population der deutschen Neuntklässler aus dem Jahr 2000!

Nicht alle Neuntklässler in der PISA-2000-Stichprobe hatten gültige Werte bei diesen Variablen (der Anteil fehlender Werte lag zwischen 91% für das Interesse am Lesen und 100% für die Schulformzugehörigkeit). Daher wurden fehlende Werte für alle analysierten Variablen zunächst mit dem Programm Norm (Schafer, 2000) imputiert, damit die Vergleiche auf derselben Stichprobe basieren. Im Imputationsmodell waren alle in Tabelle 42 aufgelisteten Variablen enthalten. Um mögliche Mittelwertunterschiede zwischen den Stichproben zu berücksichtigen, war auch eine Variable im Imputationsmodell enthalten, die indizierte, ob die Daten eines Schülers in der Analysestichprobe enthalten waren (codiert als 1) oder nicht (codiert als 0). Die Standardfehler zur Bestimmung der 95%-Konfidenzintervalle wurden mit Mplus 3.01 (Muthén & Muthén, 1998–2004b) mittels des Moduls complex berechnet. So wurde berücksichtigt, dass durch die mehrstufige Stichprobenziehung bei PISA eine genestete Datenstruktur entstand (Schüler sind genestet in Schulen) (zu dieser Problematik siehe z.B. Snijders & Bosker, 1999).

Insgesamt gesehen kann der relative Bias als trivial bezeichnet werden. Die größte Verzerrung resultierte für den Gesamtscore schlussfolgerndes Denken mit einer Unterschätzung des ursprünglichen Mittelwerts von 5 Prozent. Alle 95%-Konfidenzintervalle schließen die Mittelwerte der PISA-2000-Stichprobe mit ein. Diese Ergebnisse zeigen, dass die Analysestichprobe weitestgehend vergleichbar mit der ursprünglichen PISA-2000-Stichprobe der Neuntklässler war.

Vergleichsvariable

PISA

Analysestichprobe

Relativer Bias

M

M [95%-KI]

Alter

15,84

15,83

[15,82,

15,84]

0,00

Geschlecht

0,50

0,50

[0,49,

0,50]

0,01

ISEI

43,28

43,27

[42,84,

43,71]

0,00

Anzahl an Bücher

3,56

3,57

[3,5,

3,61]

0,00

Relativer Anteil Hauptschüler

0,16

0,15

[0,13,

0,17]

0,04

Relativer Anteil Realschüler

0,24

0,24

[0,22,

0,26]

0,00

Relativer Anteil Gymnasiasten

0,30

0,30

[0,28,

0,33]

–0,02

Relativer Anteil Gesamtschüler

0,13

0,13

[0,11,

0,15]

0,00

Relativer Anteil Schüler aus Schulen mit mehreren
Bildungsgängen

0,17

0,18

[0,16,

0,20]

–0,01

Mathematik (national)

457,46

458,20

[454,85,

461,54]

0,00

Lesen

488,74

490,78

[487,07,

494,48]

0,00

Schlussfolgerndes Denken (Gesamtscore)

0,11

0,12

[0,09,

0,15]

–0,05

Interesse Lesen

2,50

2,50

[2,48,

2,52]

0,00

Interesse Mathematik

2,65

2,61

[2,58,

2,63]

0,02

Selbstkonzept Lesen

2,85

2,85

[2,84,

2,86]

0,00

Selbstkonzept Mathematik

2,78

2,74

[2,71,

2,76]

0,02

KI = Konfidenzinterwall, ISEI = International Socio-Economic Index of Occupational Status.

Tabelle 42:Analysen zur Vergleichbarkeit der Analysestichprobe mit der PISA-2000-Stichprobe

Da die Testhefte zufällig den Schülern zum Bearbeiten vorgelegt wurden, sollten sich die mittleren Leistungen von Schülern, die ein bestimmtes Testheft bearbeiteten, nicht von den mittleren Leistungen von Schülern unterscheiden, die ein anderes Testheft bearbeiteten. Ist dies jedoch der Fall spricht man von Testhefteffekten (booklet effects, Adams & Wu, 2002, S. 157). Bei den nationalen Testheften wurden bei PISA 2000 keine Testhefteffekte dokumentiert, allerdings bei den internationalen Testheften (Adams & Wu, 2002): Als Erklärung boten Adams und Wu Effekte der Bearbeitungsreihenfolge an.

Aufgrund der Testhefteffekte wurden in der vorliegenden Arbeit die geschätzten WLE-Scores nachträglich für unterschiedliche mittlere Schwierigkeiten der Stoffgebiete in Abhängigkeit des bearbeiteten internationalen Testhefts korrigiert. Die mittleren Schwierigkeiten wurden mit dem Verfahren, wie es Adams und Wu beschreiben (2002, S. 160–161) getrennt für die mathematischen Stoffgebiete ermittelt. Die Testhefteffekte sind in Tabelle 43 dokumentiert.

Internationales Testheft

Algebra

Arithmetik

Geometrie

Stochastik

1

.05

.02

.06

.32

2

–.02

–.01

–.01

–.01

3

–.04

–.03

–.05

–.19

4

.02

.02

.06

.01

5

.01

.01

.02

.07

6

.05

–.03

–.01

–.02

7

.00

.00

.01

–.05

8

–.09

–.01

–.15

–.25

9

.01

.05

.07

.12

Tabelle 43:Korrekturparameter der WLE-Scores in Abhängigkeit der internationalen Testhefte

Allerdings sind hierbei mehrere Dinge zu bedenken (siehe Tab. 44):

Erstens, gemessen an der Varianz (η²), die durch mittlere Unterschiede zwischen den internationalen Testheften entstand, sind diese Unterschiede als eher marginal zu beurteilen. Zur Berechnung dieses Varianzanteils wurde eine einfaktorielle Varianzanalyse (mit neun Faktorstufen) durchgeführt, bei der das bearbeitete internationale Testheft die unabhängige Variable war.

Zweitens, trotz der Korrektur der WLE-Scores verschwanden die Mittelwertunterschiede zwischen den internationalen Testheften (insbesondere für Stochastik) nicht vollständig. Der Anteil der durch die Testhefte erklärten Varianz sank jedoch bei Stochastik etwas ab.

Drittens, traten auch unerwartet Mittelwertunterschide zwischen den nationalen Testheften auf (siehe Tab. 44).

Viertens, dass Testhefteffekte für die vorliegende Arbeit nur eine untergeordnete Rolle spielen: Die Arbeit fokussiert Varianzen, Kovarianzen und Mittelwerte für eine neu definierte Analysestichprobe der PISA-2000-Untersuchung und Schülersubgruppen aus dieser Stichprobe. Selbst wenn die WLE-Scores noch nicht vollständig für die Testheftschwierigkeiten korrigiert sind, betreffen mögliche Verzerrungen der WLE-Scores alle Schüler gleichermaßen, da die Testhefte zufällig zugeteilt wurden. Dies bedeutet schlimmstenfalls eine Verschlechterung der Reliabilität der WLE-Scores. Es hat aber auf das Verhältnis von Varianzen, Kovarianzen und Mittelwerte der untersuchten Subgruppen (z.B. Schulformen) keinen Einfluss.

Stoffgebiet

Internationale Testhefte

Nationale Testhefte

Unkorrigiert

Korrigiert

Unkorrigiert

Korrigiert

Algebra

.00

.00

.00

.00

Arithmetik

.00

.00

.00

.00

Geometrie

.00

.00

.00

.00

Stochastik

.06

.05

.02

.02

Vergleich von unkorrigierten WLE-Scores, mit WLE-Scores, die für Testhefteffekte korrigiert wurden.

Tabelle 44:Durch Testhefteffekte erklärte Varianz (η²) der mathematischen Schülerleistung

In Tabelle 45 sind alle vorkommenden Muster gültiger und fehlender Werte bei den WLE-Scores zur Messung der kognitiven Fähigkeiten für die Gesamtstichprobe und für die jeweiligen Schulformen abgebildet (für eine nähere Beschreibung der WLE-Scores siehe Abschnitt 7.2.2). Die Tabelle ist so zu lesen, dass „x“ gültige und „0“ fehlende Werte indiziert. So konnte zum Beispiel für 29.231 Schüler der insgesamt 29.386 untersuchten Schüler das Muster gültiger und fehlender Werte mit „Muster 1“ beschrieben werden. Das heißt, diese Schüler hatten bei allen neun WLE-Scores gültige Werte.

Muster gültiger und fehlender Werte

1

2

3

4

5

6

7

8

9

Algebra

x

x

x

x

x

x

x

0

0

Arithmetik

x

x

x

x

x

x

x

0

0

Geometrie

x

x

x

x

x

x

x

0

0

Stochastik

x

x

x

x

x

x

x

0

0

Figurenanalogien

x

x

x

x

x

0

0

x

0

Wortanalogien

x

x

x

x

x

0

0

x

0

Information

x

x

x

x

0

x

x

x

x

Interpretation

x

x

0

0

0

x

0

x

x

Reflektion

x

0

x

0

0

x

0

x

x

Insgesamt

29.231

1

1

5

1

143

1

1

2

Hauptschulen

4.442

4

1

43

1

Realschulen

7.047

1

28

1

Gymnasien

8.877

31

Gesamtschulen

3.692

1

1

23

1

1

Schulen mit mehreren Bildungsgängen

5.173

18

Tabelle 45:Muster gültiger (x) und fehlender Werte (0) der WLE-Scores der kognitiven
Fähigkeiten für die Gesamtstichprobe und in Abhängigkeit der Schulform

SF

1.

2.

3.

4.

5.

6.

7.

8.

9.

1. Algebra

HS

0,47

RS

0,60

GY

0,61

2. Arithmetik

HS

0,22

0,63

RS

0,42

0,56

GY

0,50

0,58

3. Geometrie

HS

0,22

0,41

0,47

RS

0,36

0,41

0,50

GY

0,42

0,42

0,52

4. Stochastik

HS

0,18

0,19

0,17

0,50

RS

0,24

0,28

0,21

0,48

GY

0,32

0,33

0,26

0,53

5. Figurenanalogien

HS

0,16

0,32

0,30

0,15

0,90

RS

0,32

0,31

0,34

0,18

0,90

GY

0,37

0,34

0,35

0,22

0,83

6. Wortanalogien

HS

0,15

0,27

0,20

0,13

0,36

0,73

RS

0,31

0,32

0,30

0,18

0,42

0,80

GY

0,36

0,32

0,29

0,24

0,39

0,80

7. Information

HS

0,16

0,34

0,30

0,24

0,29

0,29

0,49

RS

0,30

0,34

0,28

0,22

0,30

0,35

0,46

GY

0,30

0,28

0,25

0,22

0,27

0,34

0,15

8. Interpretation

HS

0,16

0,35

0,30

0,26

0,29

0,32

0,61

0,65

RS

0,31

0,33

0,27

0,25

0,32

0,41

0,59

0,65

GY

0,30

0,29

0,24

0,23

0,28

0,38

0,49

0,44

9. Reflektion

HS

0,15

0,29

0,22

0,19

0,23

0,25

0,46

0,57

0,17

RS

0,23

0,25

0,20

0,17

0,24

0,31

0,43

0,54

0,44

GY

0,21

0,19

0,17

0,15

0,19

0,26

0,34

0,42

0,29

noch Tabelle 46:Deskriptive Statistiken getrennt für die Schulformen (SF) Hauptschule (HS), Realschule (RS) und Gymnasium (GY)

SF

1.

2.

3.

4.

5.

6.

7.

8.

9.

M

HS

–1,08

–0,84

–0,80

–0,32

–0,70

–0,87

–0,99

–0,99

–1,16

RS

–0,12

–0,10

–0,13

0,19

0,00

–0,08

–0,10

–0,11

–0,22

GY

1,28

0,91

0,82

0,79

0,70

0,95

0,69

0,75

0,67

SD

HS

0,93

1,21

1,32

1,19

0,97

1,00

0,98

0,90

1,09

RS

1,13

1,17

1,29

1,07

0,96

1,04

0,92

0,84

1,02

GY

1,20

1,23

1,20

1,09

0,89

1,14

0,86

0,82

0,91

#fehlend

HS

1

1

1

1

44

44

1

5

5

RS

1

1

1

1

29

29

0

0

1

GY

0

0

0

0

31

31

0

0

0

Korrelationen, Mittelwerte und Standardabweichungen beziehen sich auf die mit dem Full Information Maximum Likelihood (FIML) Schätzer ermittelten Stichprobenkennwerte. In der Diagonale sind die Reliabilitäten der WLE-Scores (kursiv dargestellt) eingetragen (die Berechnung erfolgte analog zu der in Abschnitt 7.2.2 beschriebenen Methode). Ein Grund für die teilweise sehr geringen Reliabilitäten der drei Indikatoren der verbalen Fähigkeiten (Information, Interpretation und Reflektion) ist möglicherweise, dass die Reliabilitäten durch das verwendete Berechnungsverfahren unterschätzt wurden, da die Fehlervarianzen überschätzt wurden (siehe hierzu Rost, 2004b). SF = Skalierungsfehler, M = Mittelwert, SD = Standardabweichung, #fehlend = absolute Anzahl fehlender Werte. Anzahl Hauptschüler/Realschüler/Gymnasiasten mit gültigen Werten bei allen Variablen 4.442/7.047/8.877.

Tabelle 46:Deskriptive Statistiken getrennt für die Schulformen (SF) Hauptschule (HS), Realschule (RS) und Gymnasium (GY)

Die unstandardisierten Modellparameter der manifesten Variablen sind für beide Modelle in Tabelle 47 dokumentiert. Bemerkenswert ist hierbei, dass gemessen an der unstandardisierten Faktorladung die mathematikspezifische Fähigkeit vornehmlich die Leistung in Algebra und weitaus geringer die anderen drei Stoffgebiete beeinflusste. Dieser Befund zeigte sich auch, wenn nicht der Algebra-WLE-Score als Referenzindikator gewählt wurde (und dessen Faktorladung auf 1,0 fixiert wurde).

Standardmodell

Nested-Faktormodell

λ*_M

λ*_Gf

λ*_V

μ

θ² _HS

θ² _RS

θ² _GY

λ*_M´

λ*_g

λ*_V´

μ

θ² _HS

θ² _RS

θ² _GY

Alg

1,00^a

–1,00

0,71

0,73

.67

1,00^a

1,00^a

–1,05

0,70

0,49

0,26

Ari

0,85

–0,92

1,06

0,81

.84

0,36

1,07

–0,91

1,04

0,87

0,93

Geo

0,78

–0,88

1,37

1,15

.93

0,26

1,03

–0,88

1,34

1,19

1,00

Sto

0,52

–0,33

1,26

0,97

.96

0,17

0,68

–0,33

1,26

0,99

0,98

FA

1,00^a

–0,80

0,61

0,55

.49

0,95

–0,67

0,66

0,60

0,51

WA

1,00^a

–0,76

0,69

0,64

.86

1,20

–0,84

0,71

0,63

0,79

Info

1,00^a

–0,99

0,46

0,41

.43

0,79

1,00^a

–0,98

0,48

0,42

0,44

Int

1,05

–1,01

0,24

0,23

.31

0,77

1,20

–1,01

0,23

0,22

0,31

Ref

1,03

–1,10

0,67

0,62

.57

0,74

1,22

–1,10

0,66

0,61

0,56

Alle Faktorladungen waren statistisch signifikant von Null verschieden. M = generelle mathematische Fähigkeit, Gf = fluide Fähigkeit, V = verbale Fähigkeit, HS = Hauptschule, RS = Realschule, GY = Gymnasium, M´ = mathematikspezifische Fähigkeit, g = allgemeine kognitive Fähigkeit, V´ = spezifische verbale Fähigkeit, Alg = Algebra, Ari = Arithmetik, Geo = Geometrie, Sto = Stochastik, FA = Figurenanalogien, WA = Wortanalogien, Info = Informationen ermitteln, Int = textbezogenes Interpretieren, Ref = Reflektieren und Bewerten.

^a Die unstandardisierte Fakorladung dieser manifesten Variable wurde für alle Schulformen auf 1,00 fixiert.

Tabelle 47:Skalarinvariante Modellvarianten: Unstandardisierte (λ*) Faktorladungen, unstandardisierte Intercepts (μ) und schulformspezifische Residualvarianzen (θ²) der manifesten Variablen

In Tabelle 48 sind die schulformspezifischen Varianzen und Korrelationen der latenten Variablen eingetragen, die (mit Ausnahme der Varianz von M´) nicht in Abschnitt 8.1 berichtet wurden.

Schulform

σ²(M)/
σ²(M´)

σ²(Gf)/
σ²(g)

σ²(V)/
σ²(V´)

r(Gf, M)/
r(g, M´)

r(Gf, V)/
r(g, V´)

r(V, M)/
r(V´, M´)

Standardm o dell

Hauptschule

.38

.34

0.51

.75

.63

.66

Realschule

.68

.42

0.43

.77

.68

.63

Gymnasium

.84

.36

0.30

.83

.71

.58

Nested-Faktorm o dell

Hauptschule

.05

.28

0.24

0^a

0^a

0^a

Realschule

.46

.36

0.17

0^a

0^a

0^a

Gymnasium

.75

.35

0.11

0^a

0^a

0^a

σ² = Varianz, r = Korrelation. Es ist zu beachten, dass die unstandardisierten Parameter nicht zwischen dem Standardmodell und dem Nested-Faktormodell verglichen werden können.

^aDiese Modellparameter wurden auf Null fixiert.

Tabelle 48:Skalarinvariante Modellvarianten: Schulformspezifische Statistiken der latenten Variablen

Die Frage nach Unterschieden der Heterogenität der Schüler hinsichtlich der mathematikspezifischen Fähigkeit wurde in dieser Arbeit anhand schulformspezifischer Unterschiede der Faktorvarianzen der mathematikspezifischen Fähigkeit beantwortet. Diese Faktorvarianzen basierten auf den Kovarianzen stoffgebietsspezifischer Maße mathematischer Schülerleistung. Ein fairer Vergleich der Kovariation zwischen Gruppen setzt voraus, dass die Maße mathematischer Schülerleistung ausreichend hohe schulformspezifische und fähigkeitsgruppenspezifische Reliabilitäten und Varianzen aufweisen. Waren diese Kriterien in der vorliegenden Arbeit erfüllt? Zur Beantwortung dieser Frage werden zunächst die Reliabilitäten betrachtet.

Als Maß der Reliabilität wurden die mittlere Schätzfehlervarianz der WLE-Scores für die Fähigkeitsgruppen und die schulformspezifischen Fähigkeitsgruppen berechnet (kleinere Varianzen indizieren eine höhere Reliabilität). Aus den Abbildungen 34 und 35 geht hervor, dass die mittlere Schätzfehlervarianz aller mathematischen WLE-Scores (mit Ausnahme von Algebra) in den Fähigkeitsgruppen wie auch in den schulformspezifischen Fähigkeitsgruppen weitestgehend konstant war.

Angesichts dieser Ergebnisse stellt sich die Frage, ob die geringere Reliabilität des Algebra-WLE-Scores generell zu den beobachteten Unterschieden in der Differenzierung der mathematikspezifischen Fähigkeit führte. Gegen diese Annahme sprachen jedoch einige Gründe:

• · Bei den Analysen zur generellen Differenzierungshypothese war auch ein Anstieg der Faktorvarianz von M´ zwischen den Fähigkeitsgruppen 6 und 7 festzustellen, obwohl die mittlere Schätzfehlervarianz des Algebra-WLE-Scores bei diesen Fähigkeitsgruppen konstant blieb. Dies sprach gegen einen generellen Effekt der Reliabilität des Algebra-WLE-Scores.

• · Die Analysen zur schulformspezifischen Differenzierung zeigten in der Fähigkeitsgruppe 6 eine Umkehrung der erwarteten Schulformrangfolge. Die mittlere Schätzfehlervarianz war jedoch bei Gymnasiasten geringer als bei Realschülern. Bei Hauptschülern war sie am größten. Dies widerspricht einem generellen Effekt der Reliabilität des Algebra-WLE-Scores.

• · Die Reliabilität der Scores ist selbst Bestandteil der Differenzierung, denn die „wahre“ Varianz eines Scores setzt sich im Nested-Faktormodell aus drei Anteilen zusammen (siehe Abb. 17): allgemeine kognitive Fähigkeit, stoffgebietsspezifische Fähigkeiten und mathematikspezifische Fähigkeit. Eine höhere Reliabilität des Algebra-WLE-Scores kann demnach auch auf einen stärkeren Einfluss der mathematikspezifischen Fähigkeit attribuiert werden. Reliabilitätsunterschiede können also ein Begleitphänomen von schulformspezifischen Unterschieden des Einflusses kognitiver Fähigkeiten sein.

Hierbei ist anzumerken, dass schulform- und fähigkeitsgruppenübergreifende konstante Reliabilitäten der WLE-Scores natürlich wünschenswert gewesen wären. Dies kann man erreichen, indem man gleiche schulformspezifische Testfunktionen durch die Itemzusammenstellung anstrebt (z.B. van der Linden, 2000). Hierbei ist jedoch zu bedenken, dass ein sehr großer Pool bearbeiteter Items notwendig ist, damit nicht auf Kosten der angestrebten konstanten Reliabilitäten, insgesamt gesehen zwar konstante, aber nur geringe Reliabilitäten der Scores erzielt werden. Weiterhin ist die inhaltliche Validität (American Educational Research Association, 1999) des neu gebildeten Tests gefährdet, wenn nicht alle mathematikdidaktischen Gesichtspunkte bei der Testzusammenstellung berücksichtigt werden. Aufgrund der begrenzten Gesamtanzahl von 117 Aufgaben im PISA-2000-Mathematiktest von denen Schüler maximal 41 bearbeiteten (vgl. Tab. 5), erschien es in der vorliegenden Arbeit nicht möglich die Anforderungen der inhaltlichen Validität gleichzeitig mit den schulformübergreifenden konstanten und ausreichend hohen Reliabilitäten für jedes Stoffgebiet zu vereinbaren.

Neben Reliabilitätsunterschieden kann eine potenzielle Varianzrestriktion für den Effekt schulformspezifischer Unterschiede des Einflusses verantwortlich sein. Wie aus den Abbildungen 36 und 37 hervorgeht, war dies aber unplausibel:

• · Wie zum Beispiel Abbildung 36 für 8 Fähigkeitsgruppen zeigt, nahm die Varianz mit Ausnahme des Algebra-WLE-Scores bis zu Fähigkeitsgruppe 7 sogar tendenziell ab. Dies würde – unter der Annahme eines Effekts der Varianzrestriktion – dafür sprechen, das die beobachtete generelle Differenzierung der mathematikspezifischen Fähigkeit eine untere Grenze für diese Differenzierung darstellt.

• · Aus den Abbildungen 37a bis 37d, die die Varianzen in Abhängigkeit der schulformspezifischen Fähigkeitsgruppen zeigen, ist nicht erkennbar, dass die Varianz der mathematischen WLE-Scores eingeschränkt war. Die beobachteten Schulformunterschiede können also kaum auf eine Varianzrestriktion attribuiert werden.

Zusammenfassend kann man festhalten, dass weder Reliabilitätsunterschiede noch potenzielle Varianzeinschränkungen die generelle wie auch die schulformspezifische Differenzierung der mathematikspezifischen Fähigkeit generell erklären konnten.

1.

2.

3.

4.

5.

6.

7.

8.

9.

1. Algebra

0,58

0,52

0,40

0,51

0,52

0,52

0,54

0,47

2. Arithmetik

0,42

0,53

0,39

0,48

0,48

0,50

0,52

0,44

3. Geometrie

0,36

0,42

0,33

0,47

0,44

0,44

0,45

0,38

4. Stochastik

0,26

0,28

0,23

0,32

0,33

0,37

0,39

0,32

5. Figurenanalogien

0,33

0,34

0,35

0,20

0,55

0,48

0,50

0,43

6. Wortanalogien

0,32

0,32

0,29

0,20

0,41

0,53

0,57

0,49

7. Information

0,30

0,34

0,29

0,25

0,32

0,36

0,71

0,59

8. Interpretation

0,31

0,35

0,29

0,26

0,34

0,40

0,59

0,67

9. Reflektion

0,23

0,26

0,22

0,18

0,25

0,30

0,44

0,53

SD (ohne Kontrolle SF)

1,41

1,36

1,41

1,18

1,08

1,27

1,09

1,05

1,20

SD (mit Kontrolle SF)

1,13

1,20

1,28

1,11

0,96

1,09

1,02

0,93

0,87

Bias

0,80

0,88

0,91

0,94

0,89

0,86

0,94

0,89

0,72

Unterhalb der Diagonale sind die Korrelationen bei Kontrolle der Schulformzugehörigkeit eingetragen. Diese Statistiken basieren auf einer EM-Schätzung (siehe Abschnitt 9.1.2). Über der Diagonale stehen die Korrelationen ohne Kontrolle der Schulformzugehörigkeit. Diese basieren auf den mit dem Full Information Maximum Likel i hood (FIML) Schätzer ermittelten Stichprobenkennwerten (siehe Abschnitt 7.2). SD = Standardabweichung, Bias = SD (mit Kontrolle SF) geteilt durch SD (ohne Kontrolle SF).

Tabelle 49:Vergleich der deskriptiven Statistiken mit und ohne Kontrolle der Schulformzugehörigkeit (SF)

Schülermerkmal

Kognitive Fähigkeiten

Gf

g

g_HO

M

M´

M´_HO

V

V´

V´_HO

Geschlecht

–.04

–.05

–.05

.13

.42

.17

–.12

–.17

–.08

ISEI

.33

.35

.34

.34

.05

.03

.35

.09

.05

Anzahl an Bücher

.40

.41

.41

.38

.01

.00

.41

.11

.05

Deutschnote

–.15

–.16

–.16

–.10

.10

.04

–.20

–.13

–.06

Mathematiknote

–.23

–.23

–.24

–.31

–.24

–.08

–.13

.14

.08

Interesse am Lesen

.29

.31

.31

.20

–.21

–.09

.36

.20

.10

Mathematisches Interesse

.10

.09

.11

.22

.34

.12

–.05

–.26

–.15

Verbales Selbstkonzept

.13

.15

.14

.07

–.17

–.06

.25

.25

.14

Mathematisches Selbstkonzept

.22

.21

.23

.34

.36

.12

.06

–.23

–.14

Fähigkeiten im Standardmodell: Gf = fluide Fähigkeit, M = generelle mathematische Fähigkeit, V = generelle verbale Fähigkeit. Fähigkeiten im Nested-Faktormodell: g = allgemeine kognitive Fähigkeit, M´ = mathematikspezifische Fähigkeit, V´ = spezifische verbale Fähigkeit. Fähigkeiten im Higher-Order-Modell: g_HO = allgemeine kognitive Fähigkeit, M´_HO = residualisierte mathematische Fähigkeit, V´_HO = residualisierte verbale Fähigkeit. Geschlecht (Mädchen = 0, Jungen = 1), ISEI = International Sozio-Economic Index of Occ u pational Status.

Tabelle 50:Vergleich der Korrelationen zwischen Schülermerkmalen und den kognitiven Fähigkeiten mathematischer Schülerleistung in Abhängigkeit verschiedener faktorieller Strukturmodelle

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14

15.

16.

1. M/M´

.00^a

.00^a

–.22

.35

.37

–.18

.11

–.25

.43

.01

.05

–.05

.12

–.14

.02

2. Gf/g

.89

.00^a

.31

.09

.21

.15

–.16

–.23

–.05

.41

.35

–.06

.63

–.12

–.19

3. V/V´

.80

.83

.20

–.26

–.23

.25

–.13

.14

–.17

.12

.09

.04

.08

.00

–.01

4. INT-L

.19

.29

.36

–.05

–.05

.35

–.21

.00

–.30

.30

.14

–.07

.22

–.02

–.09

5. INT-M

.22

.10

–.05

–.05

.87

–.15

.04

–.47

.23

–.01

–.02

–.01

–.05

.00

.01

6. SK-M

.33

.22

.06

–.04

.87

–.13

–.02

–.62

.22

.03

.03

–.02

.00

.00

.00

7. SK-V

.07

.13

.25

.35

–.15

–.13

–.55

.03

–.25

.16

.09

–.06

.13

.00

–.02

8. D-Note

–.10

–.15

–.20

–.21

.04

–.02

–.54

.31

.20

–.12

–.07

.00^b

.00^b

.00^b

.00^b

9. M-Note

–.30

–.23

–.13

.00

–.47

–.62

.03

.31

–.09

–.05

–.06

.00^b

.00^b

.00^b

.00^b

10. Geschl.

.13

–.04

–.12

–.30

.23

.22

–.25

.20

–.08

–.04

.03

.01

–.07

.01

.02

11. Anz.-B.

.38

.39

.41

.30

–.01

.03

.16

–.12

–.05

–.04

.38

–.06

.34

–.03

–.14

12. ISEI

.34

.33

.35

.14

–.02

.03

.09

–.07

–.06

.03

.38

–.05

.34

–.02

–.16

13. DRS

–.08

–.05

–.03

–.07

–.01

–.02

–.06

.00^b

.00^b

.01

–.06

–.05

–.37

–.21

–.26

14. DGY

.64

.59

.58

.22

–.05

.00

.13

.00^b

.00^b

–.07

.34

.34

–.37

–.25

–.31

15. DGS

–.17

–.11

–.10

–.02

.00

.00

.00

.00^b

.00^b

.01

–.03

–.02

–.21

–.25

–.18

16. DMGB

–.16

–.19

–.17

–.09

.01

.00

–.02

.00^b

.00^b

.02

–.14

–.16

–.26

–.31

–.18

Unter der Diagonale sind die Interkorrelationen für das Standardmodell eingetragen. Über der Diagonale stehen die Interkorrelationen für das Nested-Faktormodell. M = generelle mathematische Fähigkeit, M´ = mathematikspezifische Fähigkeit, Gf = fluide Fähigkeit, g = allgemeine kognitive Fähigkeit, V = generelle verbale Fähigkeit, V´ = spezifische verbale Fähigkeit, INT-L = Interesse am Lesen, INT-M = mathematisches Interesse, SK-M = mathematisches Selbstkonzept, SK-V = verbales Selbstkonzept, D-Note = Deutschnote, M-Note = Mathematiknote, Geschl. = Geschlecht (Mädchen = 0, Jungen = 1), Anz.-B. = Anzahl an Büchern. ISEI = International Socio-Economic Index of Occ u pational Status, DRS = Dummyvariable für die Zugehörigkeit zur Realschule (0 = andere Schulformen, 1 = Realschule), DGY = Dummyvariable für die Zugehörigkeit zum Gymnasium (0 = andere Schulformen, 1 = Gymnasium), DGS = Dummyvariable für die Zugehörigkeit zur Gesamtschule (0 = andere Schulformen, 1 = Gesamtschule), DMBG = Dummyvariable für die Zugehörigkeit zur Schule mit mehreren Bildungsgängen (0 = andere Schulformen, 1 = Schule mit mehreren Bildungsgängen).

^a Diese Modellparameter wurden auf Null fixiert.

^b Diese Korrelationen waren „Null“, weil die Noten innerhalb von Schulen zentriert wurden.

Tabelle 51:Interkorrelationen der kognitiven Fähigkeiten, der Schulformzugehörigkeit und der untersuchten Schülervariablen für das Standardmodell und das Nested-Faktormodell

Die durchgeführten Analysen zu den Geschlechterdifferenzen, zum familiären Hintergrund und den Schulnoten konzentrierten sich auf die bivariaten Zusammenhänge zwischen den kognitiven Fähigkeiten mathematischer Schülerleistung und diesen Schülermerkmalen. Auch bei den Analysen zu den domänenspezifischen Selbstkonzepten und Interessen wurde nur eine begrenzte Anzahl an Prädiktoren gleichzeitig analysiert. Deshalb wurde ein explorativer Blick auf die multivariaten Zusammenhänge zwischen allen untersuchten Schülermerkmalen (inkl. der Schulformzugehörigkeit, vgl. Kap. 8) geworfen (siehe auch Tabelle 51 zu einer Interkorrelation aller untersuchten Schülervariablen inkl. der Schulformzugehörigkeit).

Hierzu wurden die Schulnoten und die kognitiven Fähigkeiten mathematischer Schülerleistung untersucht. Angesichts der Multikolinearität der Variablen (siehe Tabelle 51), die eine weitergehende Interpretation der Regressionsgewichte weitestgehend unterbindet (Cohen & Cohen, 1983), ist vor allem interessant, wie viel Prozent der Varianz insgesamt erklärt werden konnte.

Bei den kognitiven Fähigkeiten lagen die Anteile erklärter Varianz zwischen 55 Prozent (Gf und V) und 64 Prozent (M), wohingegen sie im Nested-Faktormodell zwischen 33 Prozent (V´) und 65 Prozent (g) lagen (Tab. 52).

Prädiktor

Standardmodell

Nested-Faktormodell

Abhängige Variable

Abhängige Variable

Gf

M

V

g

M´

V´

INT-L

.14

.07

.17

.14

–.11

.18

INT-M

–.19

–.13

–.26

–.21

.09

–.27

SK-V

–.03

–.02

.06

.00

–.08

.15

SK-M

.34

.35

.28

.35

.29

.06

D-Note

–.07

–.10

–.04

–.08

–.14

.05

M-Note

–.09

–.07

–.08

–.09

.00

–.05

Geschl.

.01

.15

.00

.06

.34

–.12

Anz.-B.

.12

.10

.11

.12

.05

.06

ISEI

.04

.05

.06

.06

.01

.05

DRS

.34

.32

.38

.38

.06

.25

DGY

.74

.80

.73

.83

.41

.31

DGS

.19

.15

.21

.20

–.06

.17

DMGB

.20

.22

.24

.24

.07

.15

R²

.55

.64

.55

.65

.59

.33

In beiden Modellen wurden die Faktorladungen der Maße der kognitiven Fähigkeiten auf die unstandardisierten Parameter fixiert, die bei der Analyse in Abschnitt 7.2 ermittelt wurden. Durch diese Invarianzspezifikation waren die jeweiligen Faktoren äquivalent zu den Analysen in Abschnitt 7.2. Gf = fluide Fähigkeit, M = generelle mathematische Fähigkeit, V = generelle verbale Fähigkeit, g = allgemeine kognitive Fähigkeit, M´ = mathematikspezifische Fähigkeit, V´ = spezifische verbale Fähigkeit, INT-L = Interesse am Lesen, INT-M = mathematisches Interesse, SK-V = verbales Selbstkonzept, SK-M = mathematisches Selbstkonzept, D-Note = Deutschnote, M-Note = Mathematiknote, Geschl. = Geschlecht (Mädchen = 0, Jungen = 1), Anz.-B. = Anzahl an Büchern, ISEI = Internat i onal Socio-Economic Index of Occupational Status, DRS = Dummyvariable für die Zugehörigkeit zur Realschule (0 = andere Schulformen, 1 = Realschule), DGY = Dummyvariable für die Zugehörigkeit zum Gymnasium (0 = andere Schulformen, 1 = Gymnasium), DGS = Dummyvariable für die Zugehörigkeit zur Gesamtschule (0 = andere Schulformen, 1 = Gesamtschule), DMBG = Dummyvariable für die Zugehörigkeit zur Schule mit mehreren Bildungsgängen (0 = andere Schulformen, 1 = Schule mit mehreren Bildungsgängen).

Tabelle 52:Vorhersage der kognitiven Fähigkeiten mathematischer Schülerleistung durch die analysierten Schülermerkmale und die Schulformzugehörigkeit

Mit Blick auf die Schulnoten waren die Anteile aufgeklärter Varianz in beiden Modellen fast identisch (Tab. 53). Die Werte lagen hierbei im Standardmodell (Nested-Faktormodell) bei 34 Prozent (35%) bei der Deutschnote und 43 Prozent (43%) bei der Mathematiknote.

Standardmodell

Nested-Faktormodell

Prädiktor

Abhängige Variable

Prädiktor

Abhängige Variable

D-Note

M-Note

D-Note

M-Note

M

–.10

–.26

M´

–.02

–.09

V

–.03

.07

V´

–.01

.03

Gf

–.08

.00

g

–.19

–.17

INT-L

.02

.01

INT-L

.03

.01

INT-M

.13

.27

INT-M

.13

.27

SK-V

–.53

–.04

SK-V

–.53

–.04

SK-M

–.17

–.79

SK-M

–.17

–.80

Geschl.

.10

.07

Geschl.

.10

.07

Anz.-B.

–.02

.01

Anz.-B.

–.02

.01

ISEI

–.03

–.02

ISEI

–.03

–.02

DRS

.09

.05

DRS

.10

.05

DGY

.29

.18

DGY

.29

.17

DGS

.07

.02

DGS

.08

.02

DMBG

.07

.03

DMBG

.07

.03

R²

.34

.43

R²

.35

.43

In beiden Modellen wurden die Faktorladungen der Maße der kognitiven Fähigkeiten auf die unstandardisierten Parameter fixiert, die bei der Analyse in Abschnitt 7.2 ermittelt wurden. Durch diese Invarianzspezifikation waren die jeweiligen Faktoren äquivalent zu den Analysen in Abschnitt 7.2. D-Note = Deutschnote, M-Note = Mathematiknote, M = generelle mathematische Fähigkeit, M´ = mathematikspezifische Fähigkeit, V = generelle verbale Fähigkeit, V´ = spezifische verbale Fähigkeit, Gf = fluide Fähigkeit, g = allgemeine kognitive Fähigkeit, INT-L = Interesse am Lesen, INT-M = mathematisches Interesse, SK-V = verbales Selbstkonzept, SK-M = mathematisches Selbstkonzept, Geschl. = Geschlecht (Mädchen = 0, Jungen = 1), Anz.-B. = Anzahl an Büchern, ISEI = Internation a l Socio-Economic Index of Occupational Status, DRS = Dummyvariable für die Zugehörigkeit zur Realschule (0 = andere Schulformen, 1 = Realschule), DGY = Dummyvariable für die Zugehörigkeit zum Gymnasium (0 = andere Schulformen, 1 = Gymnasium), DGS = Dummyvariable für die Zugehörigkeit zur Gesamtschule (0 = andere Schulformen, 1 = Gesamtschule), DMBG = Dummyvariable für die Zugehörigkeit zur Schule mit mehreren Bildungsgängen (0 = andere Schulformen, 1 = Schule mit mehreren Bildungsgängen).

Tabelle 53:Vorhersage der Schulnoten durch die kognitiven Fähigkeiten mathematischer Schülerleistung, die analysierten Schülermerkmale und die Schulformzugehörigkeit