Progressive integration of meaningful summative assessment and formative assessment: a longitudinal analysis of student performance in higher education
ادغام تدریجی ارزشیابی جمعبندی معنادار و ارزشیابی تکوینی: تحلیل طولی عملکرد دانشجویان در آموزش عالی
چکیده
Introduction Large-scale longitudinal evidence on how progressive institutional assessment policy reform is associated with student academic performance remains scarce, particularly in Latin American public higher education. This study examined the association between four successive institutional assessment policies and academic performance across four consecutive academic periods at a public university in Ecuador, focusing on the transition from undifferentiated assessment models to competency-differentiated structures integrating formative feedback within the summative framework. Methods A comparative quasi-longitudinal design was adopted using 921,795 student-course enrolment records. Four institutional assessment policies were examined: a balanced distributed model (Policy A: 60% coursework/40% examinations), a single high-stakes final examination (Policy B: 40% coursework/60% examination), a competency-differentiated model separating theoretical and practical components (Policy C: 40% coursework/30% theoretical examination/30% practical examination), and a hybrid model integrating formative feedback through an intermediate practical assessment (Policy D: 40% coursework/30% theoretical examination/15% progress submission/15% final submission). One-way ANOVA, Bonferroni-corrected pairwise post-hoc comparisons, chi-squared tests with Cramér's V , and subgroup analyses by faculty, study modality, and degree programme were conducted. Results Mean final grades increased monotonically from 78.08 under Policy A to 84.38 under Policy D, while pass rates followed a U-shaped pattern, reaching their minimum under Policy B (82.91%). The overall ANOVA was significant, F (3,921,791) = 7,143.53, p < .001, η ² = .023. Post-hoc comparisons revealed a structural inflection between undifferentiated policies (A/B) and competency-differentiated policies (C/D), with cross-block effect sizes ( d = .306-.380) substantially larger than within-block differences (d < .08). Pass rates differed significantly across policies, χ ²(3) = 9,867.90, p < .001, V = .103. Grade dispersion decreased under competency-differentiated policies, with the standard deviation declining from 19.73 under Policy B to 15.69 under Policy D. Faculty-level analyses showed minimal policy-associated variation in Health Sciences (η² = .001), compared with small but consistent effects in the other three faculties (η² = .014–.036). Online students exhibited the greatest performance gains (η² = .043), with the online-face-to-face performance gap shifting from −0.86 points under Policy A to +5.65 points under Policy D. Discussion The transition from undifferentiated assessment models to competency-differentiated structures separating declarative and procedural knowledge was consistently associated with higher mean academic performance, improved pass rates, and reduced grade dispersion. These associations were particularly pronounced among online students, although the observational design does not establish causality. The findings provide large-scale evidence on the relationship between institutional assessment policy design and academic performance, highlighting the relevance of integrating competency differentiation and formative feedback within summative assessment frameworks as an academic quality governance mechanism in public higher education.
مقدمه: شواهد طولی در مقیاس وسیع درباره ارتباط اصلاح تدریجی سیاستهای ارزشیابی نهادی با عملکرد تحصیلی دانشجویان، بهویژه در آموزش عالی دولتی آمریکای لاتین، همچنان اندک است. این مطالعه ارتباط میان چهار سیاست ارزشیابی نهادی متوالی و عملکرد تحصیلی را در چهار دوره متوالی تحصیلی در یک دانشگاه دولتی در اکوادور بررسی کرد و بر گذار از مدلهای ارزشیابی غیرمتمایز به ساختارهای مبتنی بر تمایز شایستگی با ادغام بازخورد تکوینی در چارچوب جمعبندی تمرکز داشت. روشها: یک طرح شبهطولی مقایسهای با استفاده از ۹۲۱٬۷۹۵ رکورد ثبتنام دانشجو-درس اتخاذ شد. چهار سیاست ارزشیابی نهادی بررسی شد: مدل توزیعشده متعادل (سیاست A: ۶۰٪ کار کلاسی/۴۰٪ آزمون)، یک آزمون نهایی با ریسک بالا (سیاست B: ۴۰٪ کار کلاسی/۶۰٪ آزمون)، مدل مبتنی بر تمایز شایستگی با تفکیک مؤلفههای نظری و عملی (سیاست C: ۴۰٪ کار کلاسی/۳۰٪ آزمون نظری/۳۰٪ آزمون عملی)، و مدل ترکیبی با ادغام بازخورد تکوینی از طریق ارزشیابی عملی میانی (سیاست D: ۴۰٪ کار کلاسی/۳۰٪ آزمون نظری/۱۵٪ ارائه پیشرفت/۱۵٪ ارائه نهایی). آزمون ANOVA یکطرفه، مقایسههای پسآزمون زوجی با اصلاح بونفرونی، آزمونهای کای-دو با V کرامر و تحلیلهای زیرگروهی بر اساس دانشکده، شیوه تحصیل و برنامه تحصیلی انجام شد. نتایج: میانگین نمرات نهایی به طور یکنواخت از ۷۸٫۰۸ در سیاست A به ۸۴٫۳۸ در سیاست D افزایش یافت، در حالی که نرخ قبولی الگوی U شکل داشت و حداقل خود را در سیاست B (۸۲٫۹۱٪) نشان داد. آزمون ANOVA کلی معنادار بود، F (3,921,791) = 7,143.53, p < .001, η² = .023. مقایسههای پسآزمون، نقطه عطف ساختاری میان سیاستهای غیرمتمایز (A/B) و سیاستهای مبتنی بر تمایز شایستگی (C/D) را نشان داد، بهطوریکه اندازه اثر بینبلوک (d = .306-.380) بهطور قابل توجهی بزرگتر از تفاوتهای درونبلوک (d < .08) بود. نرخ قبولی در سیاستها تفاوت معناداری داشت، χ²(3) = 9,867.90, p < .001, V = .103. پراکندگی نمرات در سیاستهای مبتنی بر تمایز شایستگی کاهش یافت، بهطوریکه انحراف معیار از ۱۹٫۷۳ در سیاست B به ۱۵٫۶۹ در سیاست D رسید. تحلیلهای سطح دانشکده نشان داد که تغییرات مرتبط با سیاست در علوم سلامت حداقل بود (η² = .001)، در حالی که در سه دانشکده دیگر اثرات کوچک اما پایدار مشاهده شد (η² = .014–.036). دانشجویان آنلاین بیشترین افزایش عملکرد را نشان دادند (η² = .043)، بهطوریکه فاصله عملکرد آنلاین-حضوری از ۰٫۸۶- نمره در سیاست A به ۵٫۶۵+ نمره در سیاست D تغییر یافت. بحث: گذار از مدلهای ارزشیابی غیرمتمایز به ساختارهای مبتنی بر تمایز شایستگی با تفکیک دانش اظهاری و رویهای، به طور پیوسته با افزایش میانگین عملکرد تحصیلی، بهبود نرخ قبولی و کاهش پراکندگی نمرات همراه بود. این ارتباطات بهویژه در میان دانشجویان آنلاین برجسته بود، اگرچه طرح مشاهدهای مطالعه علیت را اثبات نمیکند. یافتهها شواهدی در مقیاس وسیع درباره رابطه طراحی سیاست ارزشیابی نهادی و عملکرد تحصیلی ارائه میدهد و اهمیت ادغام تمایز شایستگی و بازخورد تکوینی در چارچوب ارزشیابی جمعبندی را بهعنوان سازوکار حاکمیت کیفیت علمی در آموزش عالی دولتی برجسته میکند.