Qualitätsverbesserung von Multiple-Choice-Prüfungen

Zusammenfassung

Es werden Verbesserungsschritte in Planung, Durchführung und Auswertung von Multiple-Choice-Prüfungen in den Fächern Psychiatrie, Psychosomatik, Psychotherapie und Neurologie beschrieben. 640 Fragen von 1419 Studierenden wurden über 4 Jahre analysiert. Veränderungen betrafen die Abschaffung problematischer Multiple-Choice-Fragetypen, Einführung von reformierten validen Multiple-Choice-Frageformaten, automatisiertes Einlesen und Auswerten der Antworten; Erweiterung der fallbasierten Fragen, Verlängerung der Fragenstämme, quantitative Auswertung der Fragen und Einführung eines Peer-review-Systems. Folgen waren eine Zunahme des Schweregrades um 18%, Zunahme der Trennschärfe um 67% und Abnahme der Auswertungszeiten auf wenige Stunden. Als Nachteil des Prozesses kam es durch das Peer-review-Verfahren zu einer Zunahme der Vorbereitungszeit, was jedoch von den Beteiligten als positiv empfunden wurde, da die Fragenqualität verbessert werden konnte.

Summary

We describe a continuous improvement process in planning, performance, and evaluation of multiple choice examination questions in psychiatry, neurology, psychosomatic medicine, and psychotherapy. We analyzed 640 multiple choice questions of 1,419 students during a period of 4 years. Crucial changes concerned the abolishment of problematic question types, implementation of validated new question formats, extension of case-based questions, elongation of question stems, quantitive evaluation of item difficulty, discriminatory value, and the introduction of a peer review system. Consequences of these improvements were greater item difficulty (average 18%) and discriminatory value (average 67%) and reduced post hoc analysis times. Introduction of peer reviews resulted in longer preparation time, which was however appreciated by the peers due to a clear improvement in item quality.