Anhang

Testdesign bei der PISA-2000-Studie

Tabelle 40:PISA-O: Testdesign für den internationalen Vergleich der PISA-2000-Studie

Minuten

Testhefte (internationaler Testteil [I], erster Testtag)

       
 

I1

I2

I3

I4

I5

I6

I7

I8

I9

15

R1

R2

R3

R4

R5

R6

R7

M4

N4

15

R1

R2

R3

R4

R5

R6

R7

M2

N2

15

R2

R3

R4

R5

R6

R7

R1

N1

M1

15

R2

R3

R4

R5

R6

R7

R1

N3

M3

15

Pause

       

15

R4

R5

R6

R7

R1

R2

R3

R8

R9

15

R4

R5

R6

R7

R1

R2

R3

R8

R9

15

M1

N1

M3

N3

M2

N2

R8

R9

R8

15

M2

N2

M4

N4

M3

N3

R8

R9

R8

10

Pause

       

06

Lesegeschwindigkeit

       

30

Internationaler Schülerfragebogen

       

10

Selbstreguliertes Lernen

       

05

Computererfahrung

       

R = Blöcke mit Leseaufgaben, M = Blöcke mit Mathematikaufgaben, N = Blöcke mit Naturwissenschaftsaufgaben.

         
         
         

Tabelle 41:PISA-E: Testdesign für den nationalen Bundesländervergleich der PISA-2000-Studie

Minuten

Testhefte (nationaler Testteil [N], zweiter Testtag)

       
 

N1

N2

N3

N4

N5

N6

N7

N8

N9

03

Testbezogene Motivation

       

25

MA

MB

MC

MD

ME

MF

NA

NB

NC

25

NA

NB

NC

ND

NE

NF

MG

MH

MI

04

Testbezogene Motivation

       

10

Pause

       

20

Problemlösen

       

30

Schlussfolgerndes Denken

       

15

Gruppenaufgaben

       

10

Pause

       

20

Kooperation und Kommunikation

       

30

Nationaler Schülerfragebogen

       

M = Blöcke mit Mathematikaufgaben, N = Blöcke mit Naturwissenschaftsaufgaben.

         
          

Stichprobenvergleich: PISA 2000 versus Stichprobe dieser Arbeit

Ist die Analysestichprobe dieser Arbeit noch mit der ursprünglichen PISA-Stichprobe von Neuntklässlern vergleichbar? Hierzu wurde die Stichprobe der Neuntklässler aus PISA 2000 mit der Analysestichprobe hinsichtlich mehrerer soziodemografischer, motivationaler und kognitiver Variablen verglichen (Tab. 42). Die entscheidende Frage bei den Analysen war, welche Verzerrung (relativer Bias) durch die Selektion entsteht. Als Maß für den relativen Bias wurde die Differenz zwischen dem ursprünglichen Mittelwert in der PISA-Stichprobe und dem Mittelwert in der Analysestichprobe durch den Mittelwert in der PISA-Stichprobe geteilt. Im Kontext von Simulationsstudien wird ein relativer Bias kleiner 5 Prozent als trivial, kleiner 10 Prozent als moderat und größer 10 Prozent als substanziell betrachtet (Flora & Curran, 2004). Weiterhin war von Interesse, ob das 95%-Konfidenzintervall um den Mittelwert in der Analysestichprobe den ursprünglichen Mittelwert enthielt. Die Rationale hierfür ist, dass der Mittelwert, der auf Grundlage der ursprünglichen Stichprobe geschätzt wurde, ein Punktschätzer für den Populationsmittelwert ist.31 Enthält das 95%-Konfidenzintervall diesen Wert, dann kann man mit einer Irrtumswahrscheinlichkeit von 5 Prozent schlussfolgern, dass die Analysestichprobe aus einer Population mit einem solchen Mittelwert stammt.

Nicht alle Neuntklässler in der PISA-2000-Stichprobe hatten gültige Werte bei diesen Variablen (der Anteil fehlender Werte lag zwischen 91% für das Interesse am Lesen und 100% für die Schulformzugehörigkeit). Daher wurden fehlende Werte für alle analysierten Variablen zunächst mit dem Programm Norm (Schafer, 2000) imputiert, damit die Vergleiche auf derselben Stichprobe basieren. Im Imputationsmodell waren alle in Tabelle 42 aufgelisteten Variablen enthalten. Um mögliche Mittelwertunterschiede zwischen den Stichproben zu berücksichtigen, war auch eine Variable im Imputationsmodell enthalten, die indizierte, ob die Daten eines Schülers in der Analysestichprobe enthalten waren (codiert als 1) oder nicht (codiert als 0). Die Standardfehler zur Bestimmung der 95%-Konfidenzintervalle wurden mit Mplus 3.01 (Muthén & Muthén, 1998–2004b) mittels des Moduls complex berechnet. So wurde berücksichtigt, dass durch die mehrstufige Stichprobenziehung bei PISA eine genestete Datenstruktur entstand (Schüler sind genestet in Schulen) (zu dieser Problematik siehe z.B. Snijders & Bosker, 1999).

Insgesamt gesehen kann der relative Bias als trivial bezeichnet werden. Die größte Verzerrung resultierte für den Gesamtscore schlussfolgerndes Denken mit einer Unterschätzung des ursprünglichen Mittelwerts von 5 Prozent. Alle 95%-Konfidenzintervalle schließen die Mittelwerte der PISA-2000-Stichprobe mit ein. Diese Ergebnisse zeigen, dass die Analysestichprobe weitestgehend vergleichbar mit der ursprünglichen PISA-2000-Stichprobe der Neuntklässler war.

Tabelle 42:Analysen zur Vergleichbarkeit der Analysestichprobe mit der PISA-2000-Stichprobe

Vergleichsvariable

PISA

Analysestichprobe

Relativer Bias

 

M

M [95%-KI]

 

Alter

15,84

 

15,83

[15,82,

15,84]

0,00

 

Geschlecht

0,50

 

0,50

[0,49,

0,50]

0,01

 

ISEI

43,28

 

43,27

[42,84,

43,71]

0,00

 

Anzahl an Bücher

3,56

 

3,57

[3,5,

3,61]

0,00

 

Relativer Anteil Hauptschüler

0,16

 

0,15

[0,13,

0,17]

0,04

 

Relativer Anteil Realschüler

0,24

 

0,24

[0,22,

0,26]

0,00

 

Relativer Anteil Gymnasiasten

0,30

 

0,30

[0,28,

0,33]

–0,02

 

Relativer Anteil Gesamtschüler

0,13

 

0,13

[0,11,

0,15]

0,00

 

Relativer Anteil Schüler aus Schulen mit mehreren
Bildungsgängen


0,17

 


0,18


[0,16,


0,20]


–0,01

 

Mathematik (national)

457,46

 

458,20

[454,85,

461,54]

0,00

 

Lesen

488,74

 

490,78

[487,07,

494,48]

0,00

 

Schlussfolgerndes Denken (Gesamtscore)

0,11

 

0,12

[0,09,

0,15]

–0,05

 

Interesse Lesen

2,50

 

2,50

[2,48,

2,52]

0,00

 

Interesse Mathematik

2,65

 

2,61

[2,58,

2,63]

0,02

 

Selbstkonzept Lesen

2,85

 

2,85

[2,84,

2,86]

0,00

 

Selbstkonzept Mathematik

2,78

 

2,74

[2,71,

2,76]

0,02

 

KI = Konfidenzinterwall, ISEI = International Socio-Economic Index of Occupational Status.

Testheftspezifische Korrekturparameter der WLE-Scores

Da die Testhefte zufällig den Schülern zum Bearbeiten vorgelegt wurden, sollten sich die mittleren Leistungen von Schülern, die ein bestimmtes Testheft bearbeiteten, nicht von den mittleren Leistungen von Schülern unterscheiden, die ein anderes Testheft bearbeiteten. Ist dies jedoch der Fall spricht man von Testhefteffekten (booklet effects, Adams & Wu, 2002, S. 157). Bei den nationalen Testheften wurden bei PISA 2000 keine Testhefteffekte dokumentiert, allerdings bei den internationalen Testheften (Adams & Wu, 2002): Als Erklärung boten Adams und Wu Effekte der Bearbeitungsreihenfolge an.

Aufgrund der Testhefteffekte wurden in der vorliegenden Arbeit die geschätzten WLE-Scores nachträglich für unterschiedliche mittlere Schwierigkeiten der Stoffgebiete in Abhängigkeit des bearbeiteten internationalen Testhefts korrigiert. Die mittleren Schwierigkeiten wurden mit dem Verfahren, wie es Adams und Wu beschreiben (2002, S. 160–161) getrennt für die mathematischen Stoffgebiete ermittelt. Die Testhefteffekte sind in Tabelle 43 dokumentiert.

Tabelle 43:Korrekturparameter der WLE-Scores in Abhängigkeit der internationalen Testhefte

Internationales Testheft

Algebra

Arithmetik

Geometrie

Stochastik

1

.05

 

.02

 

.06

 

.32

 

2

–.02

 

–.01

 

–.01

 

–.01

 

3

–.04

 

–.03

 

–.05

 

–.19

 

4

.02

 

.02

 

.06

 

.01

 

5

.01

 

.01

 

.02

 

.07

 

6

.05

 

–.03

 

–.01

 

–.02

 

7

.00

 

.00

 

.01

 

–.05

 

8

–.09

 

–.01

 

–.15

 

–.25

 

9

.01

 

.05

 

.07

 

.12

 
     
     

Allerdings sind hierbei mehrere Dinge zu bedenken (siehe Tab. 44):

Erstens, gemessen an der Varianz (η2), die durch mittlere Unterschiede zwischen den internationalen Testheften entstand, sind diese Unterschiede als eher marginal zu beurteilen. Zur Berechnung dieses Varianzanteils wurde eine einfaktorielle Varianzanalyse (mit neun Faktorstufen) durchgeführt, bei der das bearbeitete internationale Testheft die unabhängige Variable war.

Zweitens, trotz der Korrektur der WLE-Scores verschwanden die Mittelwertunterschiede zwischen den internationalen Testheften (insbesondere für Stochastik) nicht vollständig. Der Anteil der durch die Testhefte erklärten Varianz sank jedoch bei Stochastik etwas ab.

Drittens, traten auch unerwartet Mittelwertunterschide zwischen den nationalen Testheften auf (siehe Tab. 44).

Viertens, dass Testhefteffekte für die vorliegende Arbeit nur eine untergeordnete Rolle spielen: Die Arbeit fokussiert Varianzen, Kovarianzen und Mittelwerte für eine neu definierte Analysestichprobe der PISA-2000-Untersuchung und Schülersubgruppen aus dieser Stichprobe. Selbst wenn die WLE-Scores noch nicht vollständig für die Testheftschwierigkeiten korrigiert sind, betreffen mögliche Verzerrungen der WLE-Scores alle Schüler gleichermaßen, da die Testhefte zufällig zugeteilt wurden. Dies bedeutet schlimmstenfalls eine Verschlechterung der Reliabilität der WLE-Scores. Es hat aber auf das Verhältnis von Varianzen, Kovarianzen und Mittelwerte der untersuchten Subgruppen (z.B. Schulformen) keinen Einfluss.

Tabelle 44:Durch Testhefteffekte erklärte Varianz (η2) der mathematischen Schülerleistung

Stoffgebiet

Internationale Testhefte

Nationale Testhefte

 

Unkorrigiert

Korrigiert

Unkorrigiert

Korrigiert

Algebra

.00

.00

.00

.00

Arithmetik

.00

.00

.00

.00

Geometrie

.00

.00

.00

.00

Stochastik

.06

.05

.02

.02

Vergleich von unkorrigierten WLE-Scores, mit WLE-Scores, die für Testhefteffekte korrigiert wurden.

     
     

Fehlende Werte bei den Maßen der kognitiven Fähigkeiten

In Tabelle 45 sind alle vorkommenden Muster gültiger und fehlender Werte bei den WLE-Scores zur Messung der kognitiven Fähigkeiten für die Gesamtstichprobe und für die jeweiligen Schulformen abgebildet (für eine nähere Beschreibung der WLE-Scores siehe Abschnitt 7.2.2). Die Tabelle ist so zu lesen, dass „x“ gültige und „0“ fehlende Werte indiziert. So konnte zum Beispiel für 29.231 Schüler der insgesamt 29.386 untersuchten Schüler das Muster gültiger und fehlender Werte mit „Muster 1“ beschrieben werden. Das heißt, diese Schüler hatten bei allen neun WLE-Scores gültige Werte.

Tabelle 45:Muster gültiger (x) und fehlender Werte (0) der WLE-Scores der kognitiven
Fähigkeiten für die Gesamtstichprobe und in Abhängigkeit der Schulform

 

Muster gültiger und fehlender Werte

        
 

1

2

3

4

5

6

7

8

9

 

Algebra

x

x

x

x

x

x

x

0

0

 

Arithmetik

x

x

x

x

x

x

x

0

0

 

Geometrie

x

x

x

x

x

x

x

0

0

 

Stochastik

x

x

x

x

x

x

x

0

0

 

Figurenanalogien

x

x

x

x

x

0

0

x

0

 

Wortanalogien

x

x

x

x

x

0

0

x

0

 

Information

x

x

x

x

0

x

x

x

x

 

Interpretation

x

x

0

0

0

x

0

x

x

 

Reflektion

x

0

x

0

0

x

0

x

x

 

Insgesamt

29.231

1

1

5

1

143

 

1

1

2

Hauptschulen

4.442

  

4

1

43

   

1

Realschulen

7.047

1

   

28

   

1

Gymnasien

8.877

    

31

    

Gesamtschulen

3.692

 

1

1

 

23

 

1

1

 

Schulen mit mehreren Bildungsgängen

5.173

    

18

    
           
           

Schulformspezifische deskriptive Statistiken

Tabelle 46:Deskriptive Statistiken getrennt für die Schulformen (SF) Hauptschule (HS), Realschule (RS) und Gymnasium (GY)

 

SF

1.

2.

3.

4.

5.

6.

7.

8.

9.

       

1. Algebra

HS

0,47

               
 

RS

0,60

               
 

GY

0,61

               
                  

2. Arithmetik

HS

0,22

0,63

              
 

RS

0,42

0,56

              
 

GY

0,50

0,58

              
                  

3. Geometrie

HS

0,22

0,41

0,47

             
 

RS

0,36

0,41

0,50

             
 

GY

0,42

0,42

0,52

             
                  

4. Stochastik

HS

0,18

0,19

0,17

0,50

            
 

RS

0,24

0,28

0,21

0,48

            
 

GY

0,32

0,33

0,26

0,53

            
                  

5. Figurenanalogien

HS

0,16

0,32

0,30

0,15

0,90

           
 

RS

0,32

0,31

0,34

0,18

0,90

           
 

GY

0,37

0,34

0,35

0,22

0,83

           
                  

6. Wortanalogien

HS

0,15

0,27

0,20

0,13

0,36

0,73

          
 

RS

0,31

0,32

0,30

0,18

0,42

0,80

          
 

GY

0,36

0,32

0,29

0,24

0,39

0,80

          
                  

7. Information

HS

0,16

0,34

0,30

0,24

0,29

0,29

0,49

         
 

RS

0,30

0,34

0,28

0,22

0,30

0,35

0,46

         
 

GY

0,30

0,28

0,25

0,22

0,27

0,34

0,15

         
                  

8. Interpretation

HS

0,16

0,35

0,30

0,26

0,29

0,32

0,61

0,65

        
 

RS

0,31

0,33

0,27

0,25

0,32

0,41

0,59

0,65

        
 

GY

0,30

0,29

0,24

0,23

0,28

0,38

0,49

0,44

        
                  

9. Reflektion

HS

0,15

0,29

0,22

0,19

0,23

0,25

0,46

0,57

0,17

       
 

RS

0,23

0,25

0,20

0,17

0,24

0,31

0,43

0,54

0,44

       
 

GY

0,21

0,19

0,17

0,15

0,19

0,26

0,34

0,42

0,29

       
                  

noch Tabelle 46:Deskriptive Statistiken getrennt für die Schulformen (SF) Hauptschule (HS), Realschule (RS) und Gymnasium (GY)

                   
 

SF

1.

2.

3.

4.

5.

6.

7.

8.

9.

       

M

HS

–1,08

 

–0,84

 

–0,80

 

–0,32

 

–0,70

 

–0,87

 

–0,99

 

–0,99

 

–1,16

 
 

RS

–0,12

 

–0,10

 

–0,13

 

0,19

 

0,00

 

–0,08

 

–0,10

 

–0,11

 

–0,22

 
 

GY

1,28

 

0,91

 

0,82

 

0,79

 

0,70

 

0,95

 

0,69

 

0,75

 

0,67

 
                    

SD

HS

0,93

 

1,21

 

1,32

 

1,19

 

0,97

 

1,00

 

0,98

 

0,90

 

1,09

 
 

RS

1,13

 

1,17

 

1,29

 

1,07

 

0,96

 

1,04

 

0,92

 

0,84

 

1,02

 
 

GY

1,20

 

1,23

 

1,20

 

1,09

 

0,89

 

1,14

 

0,86

 

0,82

 

0,91

 
                  

#fehlend

HS

1

1

1

1

44

44

1

5

5

       
 

RS

1

1

1

1

29

29

0

0

1

       
 

GY

0

0

0

0

31

31

0

0

0

       

Korrelationen, Mittelwerte und Standardabweichungen beziehen sich auf die mit dem Full Information Maximum Likelihood (FIML) Schätzer ermittelten Stichprobenkennwerte. In der Diagonale sind die Reliabilitäten der WLE-Scores (kursiv dargestellt) eingetragen (die Berechnung erfolgte analog zu der in Abschnitt 7.2.2 beschriebenen Methode). Ein Grund für die teilweise sehr geringen Reliabilitäten der drei Indikatoren der verbalen Fähigkeiten (Information, Interpretation und Reflektion) ist möglicherweise, dass die Reliabilitäten durch das verwendete Berechnungsverfahren unterschätzt wurden, da die Fehlervarianzen überschätzt wurden (siehe hierzu Rost, 2004b). SF = Skalierungsfehler, M = Mittelwert, SD = Standardabweichung, #fehlend = absolute Anzahl fehlender Werte. Anzahl Hauptschüler/Realschüler/Gymnasiasten mit gültigen Werten bei allen Variablen 4.442/7.047/8.877.

                   
                    
                    

Modellparameter der Mehrgruppenfaktorenanalysen

Die unstandardisierten Modellparameter der manifesten Variablen sind für beide Modelle in Tabelle 47 dokumentiert. Bemerkenswert ist hierbei, dass gemessen an der unstandardisierten Faktorladung die mathematikspezifische Fähigkeit vornehmlich die Leistung in Algebra und weitaus geringer die anderen drei Stoffgebiete beeinflusste. Dieser Befund zeigte sich auch, wenn nicht der Algebra-WLE-Score als Referenzindikator gewählt wurde (und dessen Faktorladung auf 1,0 fixiert wurde).

Tabelle 47:Skalarinvariante Modellvarianten: Unstandardisierte (λ*) Faktorladungen, unstandardisierte Intercepts (μ) und schulformspezifische Residualvarianzen (θ2) der manifesten Variablen

 

Standardmodell

 

Nested-Faktormodell

                 
 

λ*M

λ*Gf

λ*V

μ

θ2 HS

θ2 RS

θ2 GY

 

λ*

λ*g

λ*

μ

θ2 HS

θ2 RS

θ2 GY

     

Alg

 

1,00a

  

–1,00

0,71

0,73

.67

  

1,00a

 

1,00a

 

–1,05

0,70

0,49

0,26

   

Ari

 

0,85

  

–0,92

1,06

0,81

.84

  

0,36

 

1,07

 

–0,91

1,04

0,87

0,93

   

Geo

 

0,78

  

–0,88

1,37

1,15

.93

  

0,26

 

1,03

 

–0,88

1,34

1,19

1,00

   

Sto

 

0,52

  

–0,33

1,26

0,97

.96

  

0,17

 

0,68

 

–0,33

1,26

0,99

0,98

   

FA

 

1,00a

 

–0,80

0,61

0,55

.49

   

0,95

 

–0,67

0,66

0,60

0,51

    

WA

 

1,00a

 

–0,76

0,69

0,64

.86

   

1,20

 

–0,84

0,71

0,63

0,79

    

Info

   

1,00a

–0,99

0,46

0,41

.43

   

0,79

 

1,00a

–0,98

0,48

0,42

0,44

  

Int

   

1,05

–1,01

0,24

0,23

.31

   

0,77

 

1,20

–1,01

0,23

0,22

0,31

  

Ref

   

1,03

–1,10

0,67

0,62

.57

   

0,74

 

1,22

–1,10

0,66

0,61

0,56

  

Alle Faktorladungen waren statistisch signifikant von Null verschieden. M = generelle mathematische Fähigkeit, Gf = fluide Fähigkeit, V = verbale Fähigkeit, HS = Hauptschule, RS = Realschule, GY = Gymnasium, M´ = mathematikspezifische Fähigkeit, g = allgemeine kognitive Fähigkeit, V´ = spezifische verbale Fähigkeit, Alg = Algebra, Ari = Arithmetik, Geo = Geometrie, Sto = Stochastik, FA = Figurenanalogien, WA = Wortanalogien, Info = Informationen ermitteln, Int = textbezogenes Interpretieren, Ref = Reflektieren und Bewerten.

a Die unstandardisierte Fakorladung dieser manifesten Variable wurde für alle Schulformen auf 1,00 fixiert.

                     

In Tabelle 48 sind die schulformspezifischen Varianzen und Korrelationen der latenten Variablen eingetragen, die (mit Ausnahme der Varianz von M´) nicht in Abschnitt 8.1 berichtet wurden.

Tabelle 48:Skalarinvariante Modellvarianten: Schulformspezifische Statistiken der latenten Variablen

Schulform

σ2(M)/
σ2(M´)

σ2(Gf)/
σ2(g)

σ2(V)/
σ2(V´)

r(Gf, M)/
r(g, M´)

r(Gf, V)/
r(g, V´)

r(V, M)/
r(V´, M´)

Standardm o dell

      

Hauptschule

.38

.34

0.51

.75

.63

.66

Realschule

.68

.42

0.43

.77

.68

.63

Gymnasium

.84

.36

0.30

.83

.71

.58

       

Nested-Faktorm o dell

      

Hauptschule

.05

.28

0.24

0a

0a

0a

Realschule

.46

.36

0.17

0a

0a

0a

Gymnasium

.75

.35

0.11

0a

0a

0a

σ2 = Varianz, r = Korrelation. Es ist zu beachten, dass die unstandardisierten Parameter nicht zwischen dem Standardmodell und dem Nested-Faktormodell verglichen werden können.

aDiese Modellparameter wurden auf Null fixiert.

       
       

Fähigkeitsgruppenspezifische Varianz der Faktorscores der allgemeinen
kognitiven Fähigkeit

Differenzierungshypothesen: Prüfung psychometrischer Gesichtspunkte

Die Frage nach Unterschieden der Heterogenität der Schüler hinsichtlich der mathematikspezifischen Fähigkeit wurde in dieser Arbeit anhand schulformspezifischer Unterschiede der Faktorvarianzen der mathematikspezifischen Fähigkeit beantwortet. Diese Faktorvarianzen basierten auf den Kovarianzen stoffgebietsspezifischer Maße mathematischer Schülerleistung. Ein fairer Vergleich der Kovariation zwischen Gruppen setzt voraus, dass die Maße mathematischer Schülerleistung ausreichend hohe schulformspezifische und fähigkeitsgruppenspezifische Reliabilitäten und Varianzen aufweisen. Waren diese Kriterien in der vorliegenden Arbeit erfüllt? Zur Beantwortung dieser Frage werden zunächst die Reliabilitäten betrachtet.

Als Maß der Reliabilität wurden die mittlere Schätzfehlervarianz der WLE-Scores für die Fähigkeitsgruppen und die schulformspezifischen Fähigkeitsgruppen berechnet (kleinere Varianzen indizieren eine höhere Reliabilität). Aus den Abbildungen 34 und 35 geht hervor, dass die mittlere Schätzfehlervarianz aller mathematischen WLE-Scores (mit Ausnahme von Algebra) in den Fähigkeitsgruppen wie auch in den schulformspezifischen Fähigkeitsgruppen weitestgehend konstant war.

Angesichts dieser Ergebnisse stellt sich die Frage, ob die geringere Reliabilität des Algebra-WLE-Scores generell zu den beobachteten Unterschieden in der Differenzierung der mathematikspezifischen Fähigkeit führte. Gegen diese Annahme sprachen jedoch einige Gründe:

Hierbei ist anzumerken, dass schulform- und fähigkeitsgruppenübergreifende konstante Reliabilitäten der WLE-Scores natürlich wünschenswert gewesen wären. Dies kann man erreichen, indem man gleiche schulformspezifische Testfunktionen durch die Itemzusammenstellung anstrebt (z.B. van der Linden, 2000). Hierbei ist jedoch zu bedenken, dass ein sehr großer Pool bearbeiteter Items notwendig ist, damit nicht auf Kosten der angestrebten konstanten Reliabilitäten, insgesamt gesehen zwar konstante, aber nur geringe Reliabilitäten der Scores erzielt werden. Weiterhin ist die inhaltliche Validität (American Educational Research Association, 1999) des neu gebildeten Tests gefährdet, wenn nicht alle mathematikdidaktischen Gesichtspunkte bei der Testzusammenstellung berücksichtigt werden. Aufgrund der begrenzten Gesamtanzahl von 117 Aufgaben im PISA-2000-Mathematiktest von denen Schüler maximal 41 bearbeiteten (vgl. Tab. 5), erschien es in der vorliegenden Arbeit nicht möglich die Anforderungen der inhaltlichen Validität gleichzeitig mit den schulformübergreifenden konstanten und ausreichend hohen Reliabilitäten für jedes Stoffgebiet zu vereinbaren.

Neben Reliabilitätsunterschieden kann eine potenzielle Varianzrestriktion für den Effekt schulformspezifischer Unterschiede des Einflusses verantwortlich sein. Wie aus den Abbildungen 36 und 37 hervorgeht, war dies aber unplausibel:

Zusammenfassend kann man festhalten, dass weder Reliabilitätsunterschiede noch potenzielle Varianzeinschränkungen die generelle wie auch die schulformspezifische Differenzierung der mathematikspezifischen Fähigkeit generell erklären konnten.

Interkorrelationen der Maße kognitiver Fähigkeiten bei Kontrolle
der Schulformzugehörigkeit

Tabelle 49:Vergleich der deskriptiven Statistiken mit und ohne Kontrolle der Schulformzugehörigkeit (SF)

 

1.

2.

3.

4.

5.

6.

7.

8.

9.

1. Algebra

 

0,58

0,52

0,40

0,51

0,52

0,52

0,54

0,47

2. Arithmetik

0,42

 

0,53

0,39

0,48

0,48

0,50

0,52

0,44

3. Geometrie

0,36

0,42

 

0,33

0,47

0,44

0,44

0,45

0,38

4. Stochastik

0,26

0,28

0,23

 

0,32

0,33

0,37

0,39

0,32

5. Figurenanalogien

0,33

0,34

0,35

0,20

 

0,55

0,48

0,50

0,43

6. Wortanalogien

0,32

0,32

0,29

0,20

0,41

 

0,53

0,57

0,49

7. Information

0,30

0,34

0,29

0,25

0,32

0,36

 

0,71

0,59

8. Interpretation

0,31

0,35

0,29

0,26

0,34

0,40

0,59

 

0,67

9. Reflektion

0,23

0,26

0,22

0,18

0,25

0,30

0,44

0,53

 
          

SD (ohne Kontrolle SF)

1,41

1,36

1,41

1,18

1,08

1,27

1,09

1,05

1,20

SD (mit Kontrolle SF)

1,13

1,20

1,28

1,11

0,96

1,09

1,02

0,93

0,87

Bias

0,80

0,88

0,91

0,94

0,89

0,86

0,94

0,89

0,72

Unterhalb der Diagonale sind die Korrelationen bei Kontrolle der Schulformzugehörigkeit eingetragen. Diese Statistiken basieren auf einer EM-Schätzung (siehe Abschnitt 9.1.2). Über der Diagonale stehen die Korrelationen ohne Kontrolle der Schulformzugehörigkeit. Diese basieren auf den mit dem Full Information Maximum Likel i hood (FIML) Schätzer ermittelten Stichprobenkennwerten (siehe Abschnitt 7.2). SD = Standardabweichung, Bias = SD (mit Kontrolle SF) geteilt durch SD (ohne Kontrolle SF).

         
          
          

Vergleich der Korrelationen zwischen Schülermerkmalen und kognitiven
Fähigkeiten in Abhängigkeit verschiedener faktorieller Strukturmodelle

Tabelle 50:Vergleich der Korrelationen zwischen Schülermerkmalen und den kognitiven Fähigkeiten mathematischer Schülerleistung in Abhängigkeit verschiedener faktorieller Strukturmodelle

Schülermerkmal

Kognitive Fähigkeiten

                
 

Gf

g

gHO

M

HO

V

HO

        

Geschlecht

–.04

 

–.05

 

–.05

 

.13

 

.42

 

.17

 

–.12

 

–.17

 

–.08

 

ISEI

.33

 

.35

 

.34

 

.34

 

.05

 

.03

 

.35

 

.09

 

.05

 

Anzahl an Bücher

.40

 

.41

 

.41

 

.38

 

.01

 

.00

 

.41

 

.11

 

.05

 

Deutschnote

–.15

 

–.16

 

–.16

 

–.10

 

.10

 

.04

 

–.20

 

–.13

 

–.06

 

Mathematiknote

–.23

 

–.23

 

–.24

 

–.31

 

–.24

 

–.08

 

–.13

 

.14

 

.08

 

Interesse am Lesen

.29

 

.31

 

.31

 

.20

 

–.21

 

–.09

 

.36

 

.20

 

.10

 

Mathematisches Interesse

.10

 

.09

 

.11

 

.22

 

.34

 

.12

 

–.05

 

–.26

 

–.15

 

Verbales Selbstkonzept

.13

 

.15

 

.14

 

.07

 

–.17

 

–.06

 

.25

 

.25

 

.14

 

Mathematisches Selbstkonzept

.22

 

.21

 

.23

 

.34

 

.36

 

.12

 

.06

 

–.23

 

–.14

 

Fähigkeiten im Standardmodell: Gf = fluide Fähigkeit, M = generelle mathematische Fähigkeit, V = generelle verbale Fähigkeit. Fähigkeiten im Nested-Faktormodell: g = allgemeine kognitive Fähigkeit, M´ = mathematikspezifische Fähigkeit, V´ = spezifische verbale Fähigkeit. Fähigkeiten im Higher-Order-Modell: gHO = allgemeine kognitive Fähigkeit, M´HO = residualisierte mathematische Fähigkeit, V´HO = residualisierte verbale Fähigkeit. Geschlecht (Mädchen = 0, Jungen = 1), ISEI = International Sozio-Economic Index of Occ u pational Status.

                  
                  
                  

Interkorrelationen der untersuchten Schülervariablen

Tabelle 51:Interkorrelationen der kognitiven Fähigkeiten, der Schulformzugehörigkeit und der untersuchten Schülervariablen für das Standardmodell und das Nested-Faktormodell

 

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14

15.

16.

    

1. M/M´

 

.00a

.00a

–.22

.35

.37

–.18

.11

–.25

.43

.01

.05

–.05

.12

–.14

.02

  

2. Gf/g

.89

 

.00a

.31

.09

.21

.15

–.16

–.23

–.05

.41

.35

–.06

.63

–.12

–.19

  

3. V/V´

.80

.83

 

.20

–.26

–.23

.25

–.13

.14

–.17

.12

.09

.04

.08

.00

–.01

    

4. INT-L

.19

.29

.36

 

–.05

–.05

.35

–.21

.00

–.30

.30

.14

–.07

.22

–.02

–.09

    

5. INT-M

.22

.10

–.05

–.05

 

.87

–.15

.04

–.47

.23

–.01

–.02

–.01

–.05

.00

.01

    

6. SK-M

.33

.22

.06

–.04

.87

 

–.13

–.02

–.62

.22

.03

.03

–.02

.00

.00

.00

    

7. SK-V

.07

.13

.25

.35

–.15

–.13

 

–.55

.03

–.25

.16

.09

–.06

.13

.00

–.02

    

8. D-Note

–.10

–.15

–.20

–.21

.04

–.02

–.54

 

.31

.20

–.12

–.07

.00b

.00b

.00b

.00b

    

9. M-Note

–.30

–.23

–.13

.00

–.47

–.62

.03

.31

 

–.09

–.05

–.06

.00b

.00b

.00b

.00b

    

10. Geschl.

.13

–.04

–.12

–.30

.23

.22

–.25

.20

–.08

 

–.04

.03

.01

–.07

.01

.02

    

11. Anz.-B.

.38

.39

.41

.30

–.01

.03

.16

–.12

–.05

–.04

 

.38

–.06

.34

–.03

–.14

    

12. ISEI

.34

.33

.35

.14

–.02

.03

.09

–.07

–.06

.03

.38

 

–.05

.34

–.02

–.16

    

13. DRS

–.08

–.05

–.03

–.07

–.01

–.02

–.06

.00b

.00b

.01

–.06

–.05

 

–.37

–.21

–.26

    

14. DGY

.64

.59

.58

.22

–.05

.00

.13

.00b

.00b

–.07

.34

.34

–.37

 

–.25

–.31

    

15. DGS

–.17

–.11

–.10

–.02

.00

.00

.00

.00b

.00b

.01

–.03

–.02

–.21

–.25

 

–.18

    

16. DMGB

–.16

–.19

–.17

–.09

.01

.00

–.02

.00b

.00b

.02

–.14

–.16

–.26

–.31

–.18

     

Unter der Diagonale sind die Interkorrelationen für das Standardmodell eingetragen. Über der Diagonale stehen die Interkorrelationen für das Nested-Faktormodell. M = generelle mathematische Fähigkeit, M´ = mathematikspezifische Fähigkeit, Gf = fluide Fähigkeit, g = allgemeine kognitive Fähigkeit, V = generelle verbale Fähigkeit, V´ = spezifische verbale Fähigkeit, INT-L = Interesse am Lesen, INT-M = mathematisches Interesse, SK-M = mathematisches Selbstkonzept, SK-V = verbales Selbstkonzept, D-Note = Deutschnote, M-Note = Mathematiknote, Geschl. = Geschlecht (Mädchen = 0, Jungen = 1), Anz.-B. = Anzahl an Büchern. ISEI = International Socio-Economic Index of Occ u pational Status, DRS = Dummyvariable für die Zugehörigkeit zur Realschule (0 = andere Schulformen, 1 = Realschule), DGY = Dummyvariable für die Zugehörigkeit zum Gymnasium (0 = andere Schulformen, 1 = Gymnasium), DGS = Dummyvariable für die Zugehörigkeit zur Gesamtschule (0 = andere Schulformen, 1 = Gesamtschule), DMBG = Dummyvariable für die Zugehörigkeit zur Schule mit mehreren Bildungsgängen (0 = andere Schulformen, 1 = Schule mit mehreren Bildungsgängen).

a Diese Modellparameter wurden auf Null fixiert.

b Diese Korrelationen waren „Null“, weil die Noten innerhalb von Schulen zentriert wurden.

                    
                     
                     

Regressionsmodelle zur Vorhersage von kognitiven Fähigkeiten und Schulnoten

Die durchgeführten Analysen zu den Geschlechterdifferenzen, zum familiären Hintergrund und den Schulnoten konzentrierten sich auf die bivariaten Zusammenhänge zwischen den kognitiven Fähigkeiten mathematischer Schülerleistung und diesen Schülermerkmalen. Auch bei den Analysen zu den domänenspezifischen Selbstkonzepten und Interessen wurde nur eine begrenzte Anzahl an Prädiktoren gleichzeitig analysiert. Deshalb wurde ein explorativer Blick auf die multivariaten Zusammenhänge zwischen allen untersuchten Schülermerkmalen (inkl. der Schulformzugehörigkeit, vgl. Kap. 8) geworfen (siehe auch Tabelle 51 zu einer Interkorrelation aller untersuchten Schülervariablen inkl. der Schulformzugehörigkeit).

Hierzu wurden die Schulnoten und die kognitiven Fähigkeiten mathematischer Schülerleistung untersucht. Angesichts der Multikolinearität der Variablen (siehe Tabelle 51), die eine weitergehende Interpretation der Regressionsgewichte weitestgehend unterbindet (Cohen & Cohen, 1983), ist vor allem interessant, wie viel Prozent der Varianz insgesamt erklärt werden konnte.

Bei den kognitiven Fähigkeiten lagen die Anteile erklärter Varianz zwischen 55 Prozent (Gf und V) und 64 Prozent (M), wohingegen sie im Nested-Faktormodell zwischen 33 Prozent (V´) und 65 Prozent (g) lagen (Tab. 52).

Tabelle 52:Vorhersage der kognitiven Fähigkeiten mathematischer Schülerleistung durch die analysierten Schülermerkmale und die Schulformzugehörigkeit

Prädiktor

Standardmodell

 

Nested-Faktormodell

            
 

Abhängige Variable

 

Abhängige Variable

            
 

Gf

M

V

 

g

        

INT-L

.14

 

.07

 

.17

  

.14

 

–.11

 

.18

    

INT-M

–.19

 

–.13

 

–.26

  

–.21

 

.09

 

–.27

    

SK-V

–.03

 

–.02

 

.06

  

.00

 

–.08

 

.15

    

SK-M

.34

 

.35

 

.28

  

.35

 

.29

 

.06

    

D-Note

–.07

 

–.10

 

–.04

  

–.08

 

–.14

 

.05

    

M-Note

–.09

 

–.07

 

–.08

  

–.09

 

.00

 

–.05

    

Geschl.

.01

 

.15

 

.00

  

.06

 

.34

 

–.12

    

Anz.-B.

.12

 

.10

 

.11

  

.12

 

.05

 

.06

    

ISEI

.04

 

.05

 

.06

  

.06

 

.01

 

.05

    

DRS

.34

 

.32

 

.38

  

.38

 

.06

 

.25

    

DGY

.74

 

.80

 

.73

  

.83

 

.41

 

.31

    

DGS

.19

 

.15

 

.21

  

.20

 

–.06

 

.17

    

DMGB

.20

 

.22

 

.24

  

.24

 

.07

 

.15

    
                 

R2

.55

 

.64

 

.55

  

.65

 

.59

 

.33

    

In beiden Modellen wurden die Faktorladungen der Maße der kognitiven Fähigkeiten auf die unstandardisierten Parameter fixiert, die bei der Analyse in Abschnitt 7.2 ermittelt wurden. Durch diese Invarianzspezifikation waren die jeweiligen Faktoren äquivalent zu den Analysen in Abschnitt 7.2. Gf = fluide Fähigkeit, M = generelle mathematische Fähigkeit, V = generelle verbale Fähigkeit, g = allgemeine kognitive Fähigkeit, M´ = mathematikspezifische Fähigkeit, V´ = spezifische verbale Fähigkeit, INT-L = Interesse am Lesen, INT-M = mathematisches Interesse, SK-V = verbales Selbstkonzept, SK-M = mathematisches Selbstkonzept, D-Note = Deutschnote, M-Note = Mathematiknote, Geschl. = Geschlecht (Mädchen = 0, Jungen = 1), Anz.-B. = Anzahl an Büchern, ISEI = Internat i onal Socio-Economic Index of Occupational Status, DRS = Dummyvariable für die Zugehörigkeit zur Realschule (0 = andere Schulformen, 1 = Realschule), DGY = Dummyvariable für die Zugehörigkeit zum Gymnasium (0 = andere Schulformen, 1 = Gymnasium), DGS = Dummyvariable für die Zugehörigkeit zur Gesamtschule (0 = andere Schulformen, 1 = Gesamtschule), DMBG = Dummyvariable für die Zugehörigkeit zur Schule mit mehreren Bildungsgängen (0 = andere Schulformen, 1 = Schule mit mehreren Bildungsgängen).

                
                

Mit Blick auf die Schulnoten waren die Anteile aufgeklärter Varianz in beiden Modellen fast identisch (Tab. 53). Die Werte lagen hierbei im Standardmodell (Nested-Faktormodell) bei 34 Prozent (35%) bei der Deutschnote und 43 Prozent (43%) bei der Mathematiknote.

Tabelle 53:Vorhersage der Schulnoten durch die kognitiven Fähigkeiten mathematischer Schülerleistung, die analysierten Schülermerkmale und die Schulformzugehörigkeit

Standardmodell

 

Nested-Faktormodell

             

Prädiktor

Abhängige Variable

 

Prädiktor

Abhängige Variable

           
 

D-Note

M-Note

  

D-Note

M-Note

         

M

–.10

 

–.26

  

–.02

 

–.09

      

V

–.03

 

.07

  

–.01

 

.03

      

Gf

–.08

 

.00

  

g

–.19

 

–.17

      

INT-L

.02

 

.01

  

INT-L

.03

 

.01

      

INT-M

.13

 

.27

  

INT-M

.13

 

.27

      

SK-V

–.53

 

–.04

  

SK-V

–.53

 

–.04

      

SK-M

–.17

 

–.79

  

SK-M

–.17

 

–.80

      

Geschl.

.10

 

.07

  

Geschl.

.10

 

.07

      

Anz.-B.

–.02

 

.01

  

Anz.-B.

–.02

 

.01

      

ISEI

–.03

 

–.02

  

ISEI

–.03

 

–.02

      

DRS

.09

 

.05

  

DRS

.10

 

.05

      

DGY

.29

 

.18

  

DGY

.29

 

.17

      

DGS

.07

 

.02

  

DGS

.08

 

.02

      

DMBG

.07

 

.03

  

DMBG

.07

 

.03

      
                

R2

.34

 

.43

  

R2

.35

 

.43

      

In beiden Modellen wurden die Faktorladungen der Maße der kognitiven Fähigkeiten auf die unstandardisierten Parameter fixiert, die bei der Analyse in Abschnitt 7.2 ermittelt wurden. Durch diese Invarianzspezifikation waren die jeweiligen Faktoren äquivalent zu den Analysen in Abschnitt 7.2. D-Note = Deutschnote, M-Note = Mathematiknote, M = generelle mathematische Fähigkeit, M´ = mathematikspezifische Fähigkeit, V = generelle verbale Fähigkeit, V´ = spezifische verbale Fähigkeit, Gf = fluide Fähigkeit, g = allgemeine kognitive Fähigkeit, INT-L = Interesse am Lesen, INT-M = mathematisches Interesse, SK-V = verbales Selbstkonzept, SK-M = mathematisches Selbstkonzept, Geschl. = Geschlecht (Mädchen = 0, Jungen = 1), Anz.-B. = Anzahl an Büchern, ISEI = Internation a l Socio-Economic Index of Occupational Status, DRS = Dummyvariable für die Zugehörigkeit zur Realschule (0 = andere Schulformen, 1 = Realschule), DGY = Dummyvariable für die Zugehörigkeit zum Gymnasium (0 = andere Schulformen, 1 = Gymnasium), DGS = Dummyvariable für die Zugehörigkeit zur Gesamtschule (0 = andere Schulformen, 1 = Gesamtschule), DMBG = Dummyvariable für die Zugehörigkeit zur Schule mit mehreren Bildungsgängen (0 = andere Schulformen, 1 = Schule mit mehreren Bildungsgängen).

                
               
               


Fußnoten und Endnoten

31  Hierbei ist es wichtig zu beachten, dass dieser so geschätzte Populationsmittelwert gewissermaßen fiktiv ist, da er auf Grundlage ungewichteter Schülerdaten beruht. Dieser Wert entspricht also nicht dem tatsächlichen Populationsmittelwert für die Population der deutschen Neuntklässler aus dem Jahr 2000!



© Die inhaltliche Zusammenstellung und Aufmachung dieser Publikation sowie die elektronische Verarbeitung sind urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung. Das gilt insbesondere für die Vervielfältigung, die Bearbeitung und Einspeicherung und Verarbeitung in elektronische Systeme.
XDiML DTD Version 4.0Zertifizierter Dokumentenserver
der Humboldt-Universität zu Berlin
HTML-Version erstellt am:
02.08.2006