In welchem Umfang müssen Reviewer für Multiple-Choice-Aufgaben geschult werden? Ein Vergleich zwischen Merkblatt-Distribution und Kurztrainings

详细信息    查看全文

• 作者：Wolfgang Ö ; chsner¹ ; ^{wolfgang.oechsner@uniklinik-ulm.de" class="auth_mail" title="E-mail the corresponding author} ; Anja Bö ; ckers²
• 关键词：MC-Aufgaben ; Review-Prozess ; Qualitä ; tssicherung ; Effekte von Workshops ; Effekte von Merkblä ; ttern ; effizienter Ressourceneinsatz
• 刊名：Zeitschrift für Evidenz, Fortbildung und Qualität im Gesundheitswesen
• 出版年：2016
• 出版时间：2016
• 年：2016
• 卷：112
• 期：Complete
• 页码：43-52
• 全文大小：454 K

文摘

In der Medizin spielen Multiple-Choice-Tests eine wichtige Rolle, sowohl während des Studiums wie auch in der beruflichen Weiterbildung. Zur Qualitätssicherung der MC-Aufgaben ist deshalb ein kompetent durchgeführter Review-Prozess unverzichtbar, zumal zahlreiche Studien immer wieder auf Qualitätsmängel in medizinischen MC-Aufgaben hingewiesen haben. Andererseits sollte dieser Kompetenzerwerb für das ohnehin stark belastete ärztliche Personal keinen unnötigen zusätzlichen Ressourcenaufwand bedeuten.

Methoden

Aus einem Pool von 370 medizinischen MC-Aufgaben, für die ein formales Expertenreview als Goldstandard vorlag, wurden 100 Aufgaben ausgewählt und den freiwilligen Studienteilnehmern (n = 12) in identischer Weise vorgelegt. Alle Studienteilnehmer hatten Erfahrung mit dem Lösen von MC-Aufgaben, nicht aber mit deren Erstellung oder Review. 6 Studienteilnehmer erhielten zuvor ein spezifisches Merkblatt mit den für ein hochwertiges Review notwendigen Informationen (Merkblatt-Gruppe). Die übrigen 6 Studienteilnehmer erhielten eine Woche vor Studienbeginn einen 2,5-stündigen Workshop, dessen Vorträge inhaltsgleich zum Merkblatt konzipiert waren, der aber zusätzlich eingebaute Übungs- und Diskussionsphasen enthielt (Workshop-Gruppe). Alle 100 MC-Aufgaben wurden von den Studienteilnehmern anhand eines vorgefertigten Review-Bogens gereviewt, der 11 formale Qualitätskriterien enthielt. Ein Informationsaustausch zwischen oder Rückfragen während der Studiendauer waren ausgeschlossen. Die Review-Ergebnisse wurden mit einer lizensierten Version des IBM Software SPSS 19.0 (SPSS Inc., Chicago, IL) ausgewertet.

Ergebnisse

Insgesamt unterschieden sich die Review-Ergebnisse der Studienteilnehmer signifikant von den Ergebnissen der Experten (Goldstandard). In der Subgruppenanalyse konnte allerdings gezeigt werden, dass die Ergebnisse der Workshop-Gruppe deutlich näher am Goldstandard lagen als die Ergebnisse der Merkblatt-Gruppe. Das galt besonders für die quantitativ bedeutsamste Kategorie der MC-Aufgaben mittlerer Qualität: Hier unterschieden sich die Ergebnisse der Workshop-Gruppe nicht mehr signifikant vom Goldstandard. In der Merkblatt-Gruppe waren die Ergebnisse signifikant schlechter als die Experten-Reviews, unabhängig von der Qualität der vorgelegten Aufgaben und vom betrachteten Qualitätskriterium.

Schlussfolgerungen

Die Distribution eines spezifischen Merkblatts an die Reviewer von MC-Aufgaben genügt nicht, um die Qualität der Review-Arbeit zu sichern. Ein 2,5-stündiger Workshop verbessert die Review-Ergebnisse deutlich, so dass trotz des erhöhten Aufwands eine Empfehlung zur Durchführung solcher Workshops ausgesprochen werden muss.