Die Matrizenkonstruktionsaufgabe
Validierung eines distraktorfreien Aufgabenformats zur Vorgabe figuraler Matrizen
Abstract
Figurale Matrizenaufgaben stellen eine bedeutsames Aufgabenformat im Bereich der Diagnostik kognitiver Fähigkeiten dar. Während die Konstruktion der Aufgabenstämme in der Literatur relativ gut dokumentiert ist, finden sich nur wenige Hinweise zur Konstruktion der für die Vorgabe benötigten Distraktoren. Dies erweist sich als problematisch, da ein Einfluss der Distraktorgestaltung auf das Bearbeitungsverhalten von Testpersonen vermutet werden kann. Die Matrizenkonstruktionsaufgabe stellt ein alternatives Format zur Vorgabe figuraler Matrizen dar. In diesem müssen die Testpersonen die Lösung der Aufgaben in einer computerisierten Testumgebung selbst konstruieren, weshalb auf die Verwendung von Distraktoren verzichtet werden kann. Im Rahmen der Studie wurden einer Stichprobe von 318 Studierenden 40 Matrizenkonstruktionsaufgaben vorgegeben. Die Ergebnisse deuten auf eine gute psychometrische Eignung des Aufgabenformats hin: Es konnte eine große Bandbreite an Aufgabenschwierigkeiten realisiert werden. Die Aufgaben erfassen eine latente Fähigkeitsdimension und weisen eine gute Konstrukt- und Kriteriumsvalidität auf. In der Diskussion werden Perspektiven zur Weiterentwicklung des Aufgabenformats besprochen.
Figural matrices are a common and well-proven item format used for intellectual assessment. While the construction of the item stems is well documented, only little is known about the construction of the distractors. This proves to be problematic since the distractors seem to influence the solution process of the testers. In this study, the psychometric properties of an item format called construction task were put to the test. A total of 338 subjects took a test composed of 40 item stems presented as construction tasks. Since the subjects had to generate the correct answer in a computerized testing environment, no distractors had to be constructed. The results indicate good psychometric properties of the test. The test items cover a variety of difficulty levels. They assess only one latent dimension but demonstrate good construct and criterion validity. Perspectives for the future development of the item format are discussed.
Literatur
(2003). IRT-basierter Vergleich zweier Varianten automatisiert erstellter Matrizentestaufgaben. Zeitschrift für Differentielle und Diagnostische Psychologie, 24, 261 – 275.
(2002). Analysis of age differences in types of errors on the Raven’s Advanced Progressive Matrices. Intelligence, 30, 485 – 503.
(2006). On the performance of maximum likelihood versus means and variance adjusted weighted least square estimation in confirmatory factor analysis. Structural Equation Modeling, 13, 186 – 203.
(1984). Adaptive reasoning: Componential and eye movement analysis of geometric analogy performance. Intelligence, 8, 205 – 238.
(1981). Ability and science learning: A quantitative synthesis. Journal of Research in Science Teaching, 18, 113 – 121.
(1987). The importance of general intelligence. In , Arthur Jensen: Consensus and controversy (pp. 251 – 265). New York, NY: Falmer.
(2002). d2. Aufmerksamkeits-Belastungs-Test [Testverfahren]. Göttingen: Hogrefe.
(2005). Reasoning = working memory ≠ attention. Intelligence, 33, 251 – 272.
(1990). What one intelligence test measures: A theoretical account of the processing in the Raven progressive matrices test. Psychological Review, 97, 404 – 431.
(1993). Human cognitive abilities. A survey of factor-analytic studies. Cambridge: Cambridge University Press.
(2005). Working memory span tasks: A methodological review and user’s guide. Psychonomic Bulletin & Review, 12, 769 – 786.
(1995). The role of working memory capacity and general control processes in intelligence. Intelligence, 20, 169 – 189.
(1999). Working-memory, short-term memory and general fluid intelligence: a latent variable approach. Journal of Experimental Psychology, 128, 309 – 331.
(1983). The relationship of student characteristics and student performance in science as viewed by metaanalysis research. Journal of Research in Science Teaching, 20, 481 – 495.
(2008). Explaining and controlling for the psychometric properties of computer-generated figural matrix items. Applied Psychological Measurement, 32, 195 – 210.
(1997). Why g matters: The complexity of everyday life. Intelligence, 24, 24 – 30.
(2004). Intelligence: Is it the epidemiologists’ elusive „fundamental cause” of social class inequalities in health? Journal of Personality and Social Psychology, 86, 174 – 199.
(2003). Neuronal mechanisms of general fluid intelligence. Nature Neuroscience, 6, 316 – 322.
(1967). Systematic construction of distractors for ability and achievement test items. Educational and Psychological Measurement, 27, 569 – 580.
(2007). Separating cognitive capacity from knowledge: a new hypothesis. Trends in Cognitive Science, 11, 236 – 242.
(1966). Refinement and test of the theory of fluid and crystallized general intelligences. Journal of Educational Psychology, 57, 253 – 270.
(1983). Leistungsprüfsystem [Testverfahren]. Göttingen: Hogrefe.
(1984). Regelgeleitete Konstruktion und Evaluation von nicht-verbalen Denkaufgaben. Wehrpsychologische Untersuchungen, 19, 1 – 153.
(2000). Konstruktion und Evaluation eines adaptiven Matrizentests. Diganostica, 46, 182 – 188.
(2010). Bochumer Matrizentest [Testverfahren]. Göttingen: Hogrefe.
(2005) Sex differences in means and variability on the Progressive Matrices in university students: A meta-analysis. British Journal of Psychology, 96, 505 – 524.
(1998). The g Factor: The Science of Mental Ability. Westport: Greenwood.
(2004). The Generality of Working Memory Capacity: A Latent-Variable Approach to Verbal and Visuospatial Memory Span and Reasoning. Journal of Experimental Psychology: General, 133, 189 – 217.
(1990). Reasoning ability is (little more than) working-memory capacity? Intelligence, 14, 389 – 433.
(1983). The Complexity Continuum in the Radex and Hierarchical Models of Intelligence. Intelligence, 7, 107 – 127.
(2010). Recreating Ravens: Software for systematically generating large numbers of Raven-like matrix problems with normed properties. Behavior Research Methods, 42, 525 – 541.
(2008). CHC theory and the human cognitive abilities project: Standing on the shoulders of the giants of psychometric intelligence research. Intelligence, 37, 1 – 10.
(2007). Element salience as a predictor of item difficulty for Raven’s Progressive Matrices. Intelligence, 35, 359 – 368.
(2008). Die verflixten Distraktoren. Über den Nutzen einer theoretischen Distraktorenanalyse bei Matrizentests (für besser Begabte und Hochbegabte). Diagnostica, 54, 193 – 201.
(2007). MPlus Version 6 [Software]. Los Angeles, CA: Muthén & Muthén.
(1996). Intelligence: Knowns and Unknowns. American Psychologist, 51, 77 – 101.
(2003). Diagnostik intellektueller Hochbegabung. Testentwicklung zur Erfassung der fluiden Intelligenz. Göttingen: Hogrefe.
(2001). Complexity of geometric inductive reasoning tasks. Contribution to the understanding of fluid intelligence. Intelligence, 30, 41 – 70.
(1981). Problemlöseprozesse und Intelligenztestleistung. Bern: Huber.
(1978). Problemlöseprozesse bei der Konstruktion von Lösungen für abstrakt-logische Intelligenztestaufgaben. Unveröffentlichte Diplomarbeit, Heinrich-Heine-Universität Düsseldorf.
(2009). Intelligenz. Weinheim: Beltz.
(2009). When does age-related cognitive decline begin? Neurobiology of Aging, 30, 507 – 514.
(2006). Messen Konzentrationstests Konzentration? Eine Analyse der Komponenten von Konzentrationsleistungen. Diagnostica, 52, 33 – 44.
(1983). Affect, Ability, and Science Achievement: A Quantitative Synthesis of Correlational Research. Review of Educational Research, 53, 369 – 396.
(2002). Working-memory capacity explains reasoning ability–and a little bit more. Intelligence, 30, 261 – 288.
(2011). Global and Domain-Specific Changes in Cognition throughout Adulthood. Developmental Psychology, 47, 331 – 343.
(1994). Error analysis of Raven test performance. Personality and Individual Differences, 16, 433 – 445.
(1973). Frankfurter Denkaufgaben für 3.–6. Klassen [Testverfahren]. Weinheim: Beltz.
(1981). Convergence principles: Information in the answer sets of some multiple-choice intelligence tests. Applied Psychological Measurement, 5, 21 – 27.
