Show simple item record

2016-01-21Dissertation DOI: 10.18452/17424
Essays zu methodischen Herausforderungen im Large-Scale Assessment
dc.contributor.authorRobitzsch, Alexander
dc.date.accessioned2017-06-18T14:46:32Z
dc.date.available2017-06-18T14:46:32Z
dc.date.created2016-02-04
dc.date.issued2016-01-21
dc.identifier.urihttp://edoc.hu-berlin.de/18452/18076
dc.description.abstractMit der wachsenden Verbreitung empirischer Schulleistungsleistungen im Large-Scale Assessment gehen eine Reihe methodischer Herausforderungen einher. Die vorliegende Arbeit untersucht, welche Konsequenzen Modellverletzungen in eindimensionalen Item-Response-Modellen (besonders im Rasch-Modell) besitzen. Insbesondere liegt der Fokus auf vier methodischen Herausforderungen von Modellverletzungen. Erstens, implizieren Positions- und Kontexteffekte, dass gegenüber einem eindimensionalen IRT-Modell Itemschwierigkeiten nicht unabhängig von der Position im Testheft und der Zusammenstellung des Testheftes ausgeprägt sind und Schülerfähigkeiten im Verlauf eines Tests variieren können. Zweitens, verursacht die Vorlage von Items innerhalb von Testlets lokale Abhängigkeiten, wobei unklar ist, ob und wie diese in der Skalierung berücksichtigt werden sollen. Drittens, können Itemschwierigkeiten aufgrund verschiedener Lerngelegenheiten zwischen Schulklassen variieren. Viertens, sind insbesondere in low stakes Tests nicht bearbeitete Items vorzufinden. In der Arbeit wird argumentiert, dass trotz Modellverletzungen nicht zwingend von verzerrten Schätzungen von Itemschwierigkeiten, Personenfähigkeiten und Reliabilitäten ausgegangen werden muss. Außerdem wird hervorgehoben, dass man psychometrisch häufig nicht entscheiden kann und entscheiden sollte, welches IRT-Modell vorzuziehen ist. Dies trifft auch auf die Fragestellung zu, wie nicht bearbeitete Items zu bewerten sind. Ausschließlich Validitätsüberlegungen können dafür Hinweise geben. Modellverletzungen in IRT-Modellen lassen sich konzeptuell plausibel in den Ansatz des Domain Samplings (Item Sampling; Generalisierbarkeitstheorie) einordnen. In dieser Arbeit wird gezeigt, dass die statistische Unsicherheit in der Modellierung von Kompetenzen nicht nur von der Stichprobe der Personen, sondern auch von der Stichprobe der Items und der Wahl statistischer Modelle verursacht wird.ger
dc.description.abstractSeveral methodological challenges emerge in large-scale student assessment studies like PISA and TIMSS. Item response models (IRT models) are essential for scaling student abilities within these studies. This thesis investigates the consequences of several model violations in unidimensional IRT models (especially in the Rasch model). In particular, this thesis focuses on the following four methodological challenges of model violations. First, position effects and contextual effects imply (in comparison to unidimensional IRT models) that item difficulties depend on the item position in a test booklet as well as on the composition of a test booklet. Furthermore, student abilities are allowed to vary among test positions. Second, the administration of items within testlets causes local dependencies, but it is unclear whether and how these dependencies should be taken into account for the scaling of student abilities. Third, item difficulties can vary among different school classes due to different opportunities to learn. Fourth, the amount of omitted items is in general non-negligible in low stakes tests. In this thesis it is argued that estimates of item difficulties, student abilities and reliabilities can be unbiased despite model violations. Furthermore, it is argued that the choice of an IRT model cannot and should not be made (solely) from a psychometric perspective. This also holds true for the problem of how to score omitted items. Only validity considerations provide reasons for choosing an adequate scoring procedure. Model violations in IRT models can be conceptually classified within the approach of domain sampling (item sampling; generalizability theory). In this approach, the existence of latent variables need not be posed. It is argued that statistical uncertainty in modelling competencies does not only depend on the sampling of persons, but also on the sampling of items and on the choice of statistical models.eng
dc.language.isoger
dc.publisherHumboldt-Universität zu Berlin, Kultur-, Sozial- und Bildungswissenschaftliche Fakultät
dc.rightsNamensnennung
dc.rights.urihttp://creativecommons.org/licenses/by/3.0/de/
dc.subjectItempositionseffekteger
dc.subjectItem-Response-Modelleger
dc.subjectGeneralisierbarkeitstheorieger
dc.subjectDomain Samplingger
dc.subjectLängsschnittanalysenger
dc.subjectFehlende Werteger
dc.subjectMultilevel DIFger
dc.subjectItem response modelseng
dc.subjectGeneralizability theoryeng
dc.subjectDomain samplingeng
dc.subjectLongitudinal analysiseng
dc.subjectMissing dataeng
dc.subjectItem position effectseng
dc.subjectMultilevel DIFeng
dc.subject.ddc370 Erziehung, Schul- und Bildungswesen
dc.titleEssays zu methodischen Herausforderungen im Large-Scale Assessment
dc.typedoctoralThesis
dc.identifier.urnurn:nbn:de:kobv:11-100236562
dc.identifier.doihttp://dx.doi.org/10.18452/17424
dc.identifier.alephidBV043340398
dc.date.accepted2015-10-27
dc.contributor.refereeKöller, Olaf
dc.contributor.refereeLüdtke, Oliver
dc.contributor.refereePant, Hans Anand
dc.subject.dnb22 Erziehung, Bildung, Unterricht
dc.subject.rvkCS 4000
local.edoc.pages240
local.edoc.type-nameDissertation
local.edoc.institutionKultur-, Sozial- und Bildungswissenschaftliche Fakultät

Show simple item record