Performance-based assessments in higher education: How ethnic background impacts stakeholders’ fairness perceptions of structured versus unstructured assessment methods
ارزیابیهای مبتنی بر عملکرد در آموزش عالی: تأثیر پیشینهٔ قومی بر ادراک ذینفعان از انصاف در روشهای ارزیابی ساختاریافته در مقایسه با غیرساختاریافته
چکیده
Performance-based assessments (PBAs), like literature reviews, evaluate students’ professional skills (e.g., analytical thinking). However, unclear evaluation criteria in PBAs lead to grading inconsistencies and biased outcomes. This diminishes perceptions of fairness among stakeholders. A possible solution to reduce such inconsistencies is to structure methods (e.g., rubrics). Through an online survey, we collected data on two samples: students ( N = 387) and assessors ( N = 469). Using linear mixed modelling, we analysed their fairness perceptions via three vignettes, that varied assessment structure through the availability of evaluation criteria and a scoring strategy. Structured methods were rated as fairer by both samples. Ethnic minority students rated unstructured and moderately structured methods less fair compared to ethnic majority students. The findings highlight that structuring PBAs improves fairness perceptions, which are especially influenced by students’ ethnic background.
ارزیابیهای مبتنی بر عملکرد (PBAs)، مانند مرور ادبیات، مهارتهای حرفهای دانشجویان (مانند تفکر تحلیلی) را ارزیابی میکنند. با این حال، نبود معیارهای ارزیابی شفاف در PBAs منجر به ناسازگاری در نمرهدهی و نتایج جانبدارانه میشود. این امر ادراک انصاف را در میان ذینفعان کاهش میدهد. یکی از راهحلهای ممکن برای کاهش چنین ناسازگاریهایی، ساختارمند کردن روشها (مانند استفاده از روبریکها) است. از طریق یک نظرسنجی آنلاین، دادههایی از دو نمونه جمعآوری شد: دانشجویان (N = ۳۸۷) و ارزیابان (N = ۴۶۹). با استفاده از مدلسازی خطی آمیخته، ادراک انصاف آنها از طریق سه سناریو که ساختار ارزیابی را با توجه به وجود معیارهای ارزیابی و یک راهبرد نمرهدهی متغیر میکرد، تحلیل شد. هر دو نمونه، روشهای ساختاریافته را منصفانهتر ارزیابی کردند. دانشجویان اقلیت قومی، روشهای غیرساختاریافته و نیمهساختاریافته را نسبت به دانشجویان اکثریت قومی کمتر منصفانه ارزیابی کردند. یافتهها نشان میدهد که ساختارمند کردن PBAs ادراک انصاف را بهبود میبخشد و این ادراک بهویژه تحت تأثیر پیشینهٔ قومی دانشجویان قرار دارد.