Detailansicht
About the psychometric quality of various multiple choice formats in the context of cultural differences between Austria and the United States of America
Brigitte Christine Hansmann
Art der Arbeit
Diplomarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Betreuer*in
Klaus D. Kubinger
DOI
10.25365/thesis.9708
URN
urn:nbn:at:at-ubw:1-29231.62547.123854-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Problematisch bei Multiple Choice Tests ist, dass selbst eine Testperson, die keine Fähigkeiten besitzt ein bestimmtes Item zu lösen, dieses durch simples Raten doch lösen kann. Ziel dieser Studie war es nun, unterschiedliche Rateeffekte in den beiden Formaten Multiple-Choice „1 aus 5“ und dem sequentiellen Antwortformat „1 aus 5“ zu eruieren, wobei ein zusätzlicher Fokus auch auf Kulturunterschiede zwischen Österreich und den USA gerichtet wurde. Dazu wurde eine verbale Computer-Testbatterie, die aus den beiden Untertests FRRT (Family Relations Reasoning Test), bestehend aus 60 Items und den Syllogismen 2009, bestehend aus 10 Items, 225 deutschsprachigen Psychologie Studierenden an der Universität Wien und 104 englischsprachigen Psychologie Studierenden am Cypress College, California vorgegeben. Das Itemformat jedes Untertests variierte je Satz zufällig zwischen den beiden Antwortformaten. Es stellte sich heraus, dass ca. die Hälfte der Daten aus der amerikanischen Stichprobe für weitere Analysen ausgeschlossen werden musste, da die Studierenden ein auffälliges Antwortverhalten (Testbearbeitungszeiten unter einer Minute mit gleichzeitig niedrigen Rohscores) zeigten. Aus der daraus folgenden geringen Teilnehmerzahl in der amerikanischen Stichprobe war eine Analyse der englischen Items mit dem Rasch Modell nicht mehr möglich. Aus diesem Grund konnte keine Äquivalenzprüfung mittels Rasch Modell durchgeführt werden. Für die deutschsprachige Stichprobe konnte gezeigt werden, dass jene mit dem Rasch Modell konformen Items im Multiple Choice Antwortformat signifikant leichter waren, als dieselben Items im sequentiellen Antwortformat. Somit wiesen die Items im Multiple Choice Format einen signifikant höheren Rateeffekt auf, als im sequentiellen Format.
Abstract
(Englisch)
One problem within multiple choice tests is that even if a test taker does not know the answer of an item he or she can solve it, simply through lucky guessing. The aim of this study was not only to investigate if there are different guessing effects between the multiple choice format “1 out of 5” and the sequential response format “1 out of 5” but also if there are cultural differences in this cohesion between Austria and the USA. To investigate this topic 225 Psychology students of the University of Vienna, Austria and 104 Psychology students at the Cypress College, California executed a verbal computer test battery, which consisted out of the FRRT (Family Relations Reasoning Test) with 60 items and the Syllogisms 2009 with 10 items. Unfortunately it turned out that about 50 % of the American data had to be excluded of further analyses due to an extreme answering behaviour (editing times under one minute combined with low raw scores) of the test takers. Because of this fact, no Rasch model analyses of the English items had been feasible and therefore no test of equivalency via Rasch model between the two languages was possible. So, the focus was only put on the Austrian sample which showed significant results: It turned out that the items are significantly easier if they are in the multiple choice format “1 out of 5” – which means that they show a significant higher guessing probability – than the same items but in the sequential response format “1 out of 5”.
Schlagwörter
Schlagwörter
(Englisch)
multiple choice format sequential response format rasch model guessing effect
Schlagwörter
(Deutsch)
Multiple Choice Antwortformat Sequentielles Antwortformat Rasch Modell Rateeffekt
Autor*innen
Brigitte Christine Hansmann
Haupttitel (Englisch)
About the psychometric quality of various multiple choice formats in the context of cultural differences between Austria and the United States of America
Paralleltitel (Deutsch)
Über die psychometrische Qualität von unterschiedlichen Multiple Choice Antwortformaten im Kulturvergleich zwischen Österreich und den Vereinigten Staaten von Amerika
Paralleltitel (Englisch)
About the psychometric quality of various multiple choice formats in the context of cultural differences between Austria and the United States of America
Publikationsjahr
2010
Umfangsangabe
114 S.
Sprache
Englisch
Beurteiler*in
Klaus D. Kubinger
Klassifikation
77 Psychologie > 77.08 Psychologische Diagnostik
AC Nummer
AC08129653
Utheses ID
8758
Studienkennzahl
UA | 298 | | |