„Cues“ und „pseudocues“ in chirurgischen MC-Fragen des deutschen Staatsexamens

Zusammenfassung

Hintergrund

Multiple-Choice(MC)-Fragen sind die meistverwendeten Fragetypen in medizinischen Examina. Die Gestaltung von MC-Fragen ist anspruchsvoll. „Cues“ und „pseudocues“, die das Antwortverhalten beeinflussen, müssen vermieden werden, um die Reliabilität nicht zu gefährden.

Fragestellung

Aufgrund der Examensfragen 2000 bis 2011 sollte die Häufigkeit solcher „cues“ und „pseudocues“ ermittelt werden.

Material und Methoden

Die chirurgischen Fragen der Staatsexamina 2000 bis 2011 wurden in eine Datenbank eingegeben. Anschließend wurden die Einträge von drei Studenten unterschiedlicher Vorkenntnisse und einem Arzt auf „cues“ und „pseudocues“ entlang 6 vorgegebener Kategorien untersucht.

Ergebnisse

Insgesamt 1014 Fragen wurden initial als ausschließlich chirurgisch gewertet und in die Untersuchung miteinbezogen. Es wurden in 15,2 % der Fragen „cues“ oder „pseudocues“ gefunden. 0,2 % der Fragen enthielten einen „cue“ Typ A (Unterbrechung des grammatischen Flusses), 6,5 % enthielten Typ-B- (signifikant unterschiedliche Antwortlänge oder -tiefe), 4 % Typ-C- (zwei oder mehr Antwortmöglichkeiten stehen in engem Bezug, „focus of attention“), 0,6 % Typ-D-Konvergenz-„Cues“ (Antwort mit den meisten Gemeinsamkeiten mit den Distraktoren), 0,7 % wiesen „verbal association cues“ auf (Typ E: ähnliche Wortverwendung wie im Fragestamm) und 1 % der Fragen enthielt Antworten mit Absolutbegriffen (Typ F). „Pseudocues“ wurden in 3,7 % der Fragen gefunden.

Diskussion

Die gefundenen Häufigkeiten der „cues“ und „pseudocues“ stellen eine Aufforderung zur Verbesserung dar, ihre Vermeidung erfordert spezifische Aufmerksamkeit im Fragegestaltungs- und Fragereviewprozess.

Schlussfolgerungen

„Cues“ und insbesondere „pseudocues“ kommen in relevanten Anteilen in den Fragen des Staatsexamens vor und sollten vermieden werden, um Validität und Reliabilität nicht zu gefährden.

Abstract

Aim

Multiple choice questions (MCQs) are the most common written test item in medical examinations. Writing MCQs is difficult and cues can decrease test validity. The aim of this article is to describe the prevalence and pattern of cues in surgical MCQs in the central German medical examination questions from 2000–2011.

Method

All surgical questions were entered into a database. The questions were reviewed for cues and pseudocues independently by three students of different academic background and one clinical physician.

Results

Initially, 1014 questions were included, 22 questions were not rated uniformly by the reviewers and 3 questions were excluded because no consensus could be reached. Overall 15.2 % of the questions analyzed contained some type of cue or pseudocue. Of the total questions 0.2 % contained type A cues (i.e. disruption of grammatical flow), 6.5 % contained type B cues (i.e. heterogeneous length or differentiation), 4.0 % contained type C cues (two or more answers described closely related topics, serving to focus attention), 0.6 % contained type D convergence cues (i.e. answers with the most items in common with distractors are correct), 0.7 % contained type E verbal association cues (i.e. connection in the use of words leading to the correct answer) and 1.0 % contained type F cues (i.e. answers with absolute terms). Pseudocues were found in 3.7 % of the questions.

Discussion

The proportion of questions that contained cues or pseudocues should lead to further efforts to avoid such factors compromising test reliability by specific attention in the process of question design and review.

Conclusion

Cues are still an important consideration in designing MCQs and are present in considerable numbers in medical state examination questions. Pseudocues should be explicitly avoided so as not to compromise validity and reliability.