Summative assessment

Background Assessing dance performance in physical education teacher education (PETE) requires judges to integrate technical and aesthetic qualities. Analytic rubrics make relevant dimensions explicit, whereas Adaptive Comparative Judgment (ACJ) elicits holistic pairwise decisions and produces a relative performance scale. This study compared the outcomes and student perceptions associated with the two approaches. Methods Seventeen pre-service teachers assessed 46 video-recorded student dance performances using an analytic rubric and ACJ. An expert reference was derived from five PETE lecturers who had assessed the performances live using the rubric and subsequently evaluated the video recordings through ACJ. Analyses examined rubric reliability and ACJ precision, convergence between method-derived rankings, student–expert rank alignment, cross-condition rubric score differences, and students’ perceptions of ease of use, usefulness, transparency, and fairness. Results Rubric- and ACJ-derived rankings were strongly associated within the student panel (Spearman's ρ = .863) and the expert reference panel ( ρ = .879). Aggregated student rankings also aligned closely with the expert-reference rankings under rubric scoring ( ρ = .890) and ACJ ( ρ = .888), with no clear difference in alignment between the methods. Aggregated student rubric scores showed high reliability, ICC(2,17) = .955, while ACJ scale separation reliability was .780 for students and .836 for experts. Student video-based rubric scores were, on average, 0.77 points higher than the archived live expert consensus scores. Students perceived ACJ as easier to use but the analytic rubric as more transparent. Perceived usefulness did not differ clearly, while fairness ratings descriptively favored the rubric. Conclusion Analytic rubric scoring and ACJ produced strongly convergent aggregate rankings, and the aggregated student panel differentiated relative performance quality in ways closely aligned with the expert reference under both approaches. However, the methods differed in score interpretation and perceived transparency. The results support considering ACJ as a complementary approach for digitally supported assessment and moderation rather than as a direct replacement for criterion-based summative assessment.

Curriculum changes in Indonesia place assessment as a key supporting factor in the learning process, as it provides authentic information on student competency development and helps teachers design more effective and targeted learning. This study aims to describe the English language assessment process in the Merdeka curriculum, which includes diagnostic, formative, and summative assessments. The approach used included a literature review, gathering information through exploration of various sources. Content analysis was used to analyze the data. The research findings revealed that in addition to the form of English assessment, there were also changes in assessment: non-cognitive diagnostic assessment and cognitive assessment were removed at the beginning of the 2021 Merdeka curriculum implementation in the second year, 2022. Formative and summative assessments were then continued in the first year of the Merdeka curriculum implementation in 2021 until 2025 using an in-depth learning approach. Formative assessments are conducted during the learning process, while summative assessments are conducted after a certain learning period. Teachers must conduct diagnostic, formative, and summative assessments to understand the strengths and weaknesses of student learning throughout the learning process and adapt teaching to each student's abilities and characteristics. The research results can be used as a reference for implementing assessment in the Merdeka curriculum

Introduction Large-scale longitudinal evidence on how progressive institutional assessment policy reform is associated with student academic performance remains scarce, particularly in Latin American public higher education. This study examined the association between four successive institutional assessment policies and academic performance across four consecutive academic periods at a public university in Ecuador, focusing on the transition from undifferentiated assessment models to competency-differentiated structures integrating formative feedback within the summative framework. Methods A comparative quasi-longitudinal design was adopted using 921,795 student-course enrolment records. Four institutional assessment policies were examined: a balanced distributed model (Policy A: 60% coursework/40% examinations), a single high-stakes final examination (Policy B: 40% coursework/60% examination), a competency-differentiated model separating theoretical and practical components (Policy C: 40% coursework/30% theoretical examination/30% practical examination), and a hybrid model integrating formative feedback through an intermediate practical assessment (Policy D: 40% coursework/30% theoretical examination/15% progress submission/15% final submission). One-way ANOVA, Bonferroni-corrected pairwise post-hoc comparisons, chi-squared tests with Cramér's V , and subgroup analyses by faculty, study modality, and degree programme were conducted. Results Mean final grades increased monotonically from 78.08 under Policy A to 84.38 under Policy D, while pass rates followed a U-shaped pattern, reaching their minimum under Policy B (82.91%). The overall ANOVA was significant, F (3,921,791) = 7,143.53, p < .001, η ² = .023. Post-hoc comparisons revealed a structural inflection between undifferentiated policies (A/B) and competency-differentiated policies (C/D), with cross-block effect sizes ( d = .306-.380) substantially larger than within-block differences (d < .08). Pass rates differed significantly across policies, χ ²(3) = 9,867.90, p < .001, V = .103. Grade dispersion decreased under competency-differentiated policies, with the standard deviation declining from 19.73 under Policy B to 15.69 under Policy D. Faculty-level analyses showed minimal policy-associated variation in Health Sciences (η² = .001), compared with small but consistent effects in the other three faculties (η² = .014–.036). Online students exhibited the greatest performance gains (η² = .043), with the online-face-to-face performance gap shifting from −0.86 points under Policy A to +5.65 points under Policy D. Discussion The transition from undifferentiated assessment models to competency-differentiated structures separating declarative and procedural knowledge was consistently associated with higher mean academic performance, improved pass rates, and reduced grade dispersion. These associations were particularly pronounced among online students, although the observational design does not establish causality. The findings provide large-scale evidence on the relationship between institutional assessment policy design and academic performance, highlighting the relevance of integrating competency differentiation and formative feedback within summative assessment frameworks as an academic quality governance mechanism in public higher education.

مقدمه: شواهد طولی در مقیاس وسیع درباره ارتباط اصلاح تدریجی سیاست‌های ارزشیابی نهادی با عملکرد تحصیلی دانشجویان، به‌ویژه در آموزش عالی دولتی آمریکای لاتین، همچنان اندک است. این مطالعه ارتباط میان چهار سیاست ارزشیابی نهادی متوالی و عملکرد تحصیلی را در چهار دوره متوالی تحصیلی در یک دانشگاه دولتی در اکوادور بررسی کرد و بر گذار از مدل‌های ارزشیابی غیرمتمایز به ساختارهای مبتنی بر تمایز شایستگی با ادغام بازخورد تکوینی در چارچوب جمع‌بندی تمرکز داشت. روش‌ها: یک طرح شبه‌طولی مقایسه‌ای با استفاده از ۹۲۱٬۷۹۵ رکورد ثبت‌نام دانشجو-درس اتخاذ شد. چهار سیاست ارزشیابی نهادی بررسی شد: مدل توزیع‌شده متعادل (سیاست A: ۶۰٪ کار کلاسی/۴۰٪ آزمون)، یک آزمون نهایی با ریسک بالا (سیاست B: ۴۰٪ کار کلاسی/۶۰٪ آزمون)، مدل مبتنی بر تمایز شایستگی با تفکیک مؤلفه‌های نظری و عملی (سیاست C: ۴۰٪ کار کلاسی/۳۰٪ آزمون نظری/۳۰٪ آزمون عملی)، و مدل ترکیبی با ادغام بازخورد تکوینی از طریق ارزشیابی عملی میانی (سیاست D: ۴۰٪ کار کلاسی/۳۰٪ آزمون نظری/۱۵٪ ارائه پیشرفت/۱۵٪ ارائه نهایی). آزمون ANOVA یک‌طرفه، مقایسه‌های پس‌آزمون زوجی با اصلاح بونفرونی، آزمون‌های کای-دو با V کرامر و تحلیل‌های زیرگروهی بر اساس دانشکده، شیوه تحصیل و برنامه تحصیلی انجام شد. نتایج: میانگین نمرات نهایی به طور یکنواخت از ۷۸٫۰۸ در سیاست A به ۸۴٫۳۸ در سیاست D افزایش یافت، در حالی که نرخ قبولی الگوی U شکل داشت و حداقل خود را در سیاست B (۸۲٫۹۱٪) نشان داد. آزمون ANOVA کلی معنادار بود، F (3,921,791) = 7,143.53, p < .001, η² = .023. مقایسه‌های پس‌آزمون، نقطه عطف ساختاری میان سیاست‌های غیرمتمایز (A/B) و سیاست‌های مبتنی بر تمایز شایستگی (C/D) را نشان داد، به‌طوری‌که اندازه اثر بین‌بلوک (d = .306-.380) به‌طور قابل توجهی بزرگ‌تر از تفاوت‌های درون‌بلوک (d < .08) بود. نرخ قبولی در سیاست‌ها تفاوت معناداری داشت، χ²(3) = 9,867.90, p < .001, V = .103. پراکندگی نمرات در سیاست‌های مبتنی بر تمایز شایستگی کاهش یافت، به‌طوری‌که انحراف معیار از ۱۹٫۷۳ در سیاست B به ۱۵٫۶۹ در سیاست D رسید. تحلیل‌های سطح دانشکده نشان داد که تغییرات مرتبط با سیاست در علوم سلامت حداقل بود (η² = .001)، در حالی که در سه دانشکده دیگر اثرات کوچک اما پایدار مشاهده شد (η² = .014–.036). دانشجویان آنلاین بیشترین افزایش عملکرد را نشان دادند (η² = .043)، به‌طوری‌که فاصله عملکرد آنلاین-حضوری از ۰٫۸۶- نمره در سیاست A به ۵٫۶۵+ نمره در سیاست D تغییر یافت. بحث: گذار از مدل‌های ارزشیابی غیرمتمایز به ساختارهای مبتنی بر تمایز شایستگی با تفکیک دانش اظهاری و رویه‌ای، به طور پیوسته با افزایش میانگین عملکرد تحصیلی، بهبود نرخ قبولی و کاهش پراکندگی نمرات همراه بود. این ارتباطات به‌ویژه در میان دانشجویان آنلاین برجسته بود، اگرچه طرح مشاهده‌ای مطالعه علیت را اثبات نمی‌کند. یافته‌ها شواهدی در مقیاس وسیع درباره رابطه طراحی سیاست ارزشیابی نهادی و عملکرد تحصیلی ارائه می‌دهد و اهمیت ادغام تمایز شایستگی و بازخورد تکوینی در چارچوب ارزشیابی جمع‌بندی را به‌عنوان سازوکار حاکمیت کیفیت علمی در آموزش عالی دولتی برجسته می‌کند.

Foundational basic science courses in early health sciences curricula are characterized by high conceptual density, complex disciplinary content, and large student enrollments. In this demanding environment, students frequently rely on superficial rote memorization rather than deep conceptual understanding, compromising the overarching curricular goal of establishing robust scientific foundations for subsequent clinical training. The pedagogical strategy implemented in this study consisted of an instructional framework combining weekly curated short instructional videos with asynchronous, incentivized online formative quizzes, designed to provide students with opportunities to identify conceptual gaps and perform active retrieval practice. Utilizing a multi-campus, observational quasi-experimental design across two consecutive cohorts of first-year dental students ( N = 771), the association between active quiz completion (Responders) and raw summative examination performance was analyzed. Active participation in the strategy was significantly and positively associated with raw summative examination scores across all evaluation periods (Cohen's d = 0.37–0.77), with continuous milestone completion accounting for 14.1% of the total variance in overall semester performance ( η 2 = 0.1409). Additionally, a concept-matched anchor-question design aligned with Bloom's revised taxonomy was implemented ( N = 412) to explore whether active participation was associated with item-level performance on higher-order questions, operationalized into categorical response profiles (Null, Basic, and Deep). Although small effect sizes were observed (Cramer's V = 0.10–0.11), item-level response profile distributions between Responders and Non-responders did not reach statistical significance following False Discovery Rate adjustment ( p adj >.25). The instructional design described here provides an adaptable, operationally scalable formative framework for large-enrollment health science courses. Prospective and longitudinal studies will be valuable to further investigate the relationship between continuous formative scaffolding and both long-term knowledge retention and higher-order analytical performance.

دروس علوم پایه بنیادین در اوایل برنامه‌های درسی علوم سلامت با تراکم مفهومی بالا، محتوای پیچیده رشته‌ای و تعداد زیاد دانشجویان مشخص می‌شوند. در این محیط پر‌چالش، دانشجویان اغلب به حفظیات سطحی تکیه می‌کنند تا درک عمیق مفهومی، که این امر هدف کلی برنامه درسی مبنی بر ایجاد بنیان‌های علمی قوی برای آموزش بالینی بعدی را به خطر می‌اندازد. راهبرد آموزشی به‌کاررفته در این پژوهش شامل چارچوبی آموزشی بود که ویدئوهای آموزشی کوتاه هفتگی گزینش‌شده را با آزمون‌های تکوینی آنلاین غیرهمزمان و مشوق‌دار ترکیب می‌کرد تا فرصت‌هایی برای شناسایی خلأهای مفهومی و تمرین بازیابی فعال برای دانشجویان فراهم آورد. با استفاده از طرح شبه‌آزمایشی مشاهده‌ای چند‌دانشگاهی در دو گروه متوالی از دانشجویان سال اول دندانپزشکی (N = 771)، ارتباط بین تکمیل فعال آزمون‌ها (پاسخ‌دهندگان) و عملکرد خام در آزمون‌های جمع‌بندی مورد تحلیل قرار گرفت. مشارکت فعال در این راهبرد به طور معنادار و مثبت با نمرات خام آزمون‌های جمع‌بندی در تمامی دوره‌های ارزیابی مرتبط بود (d کوهن = 0.37–0.77)، به‌طوری که تکمیل مستمر مراحل، ۱۴.۱٪ از واریانس کل عملکرد ترم را تبیین کرد (η۲ = 0.1409). علاوه بر این، طراحی سؤال لنگر مفهومی منطبق با طبقه‌بندی بازنگری‌شده بلوم (N = 412) به کار گرفته شد تا بررسی شود که آیا مشارکت فعال با عملکرد در سطح آیتم در سؤالات سطوح بالاتر، که به پروفایل‌های پاسخ‌دهی طبقه‌ای (Null، Basic و Deep) عملیاتی شده بود، مرتبط است یا خیر. اگرچه اندازه اثرات کوچک مشاهده شد (V کرامر = 0.10–0.11)، توزیع پروفایل‌های پاسخ‌دهی در سطح آیتم بین پاسخ‌دهندگان و غیرپاسخ‌دهندگان پس از اصلاح نرخ کشف کاذب از نظر آماری معنادار نشد (p adj >.25). طراحی آموزشی توصیف‌شده در اینجا، چارچوب تکوینی قابل تطبیق و مقیاس‌پذیری عملیاتی برای دروس علوم سلامت با ثبت‌نام بالا فراهم می‌کند. مطالعات آینده‌نگر و طولی برای بررسی بیشتر رابطه بین پشتیبانی تکوینی مستمر و هر دو نگهداری دانش بلندمدت و عملکرد تحلیلی سطوح بالاتر ارزشمند خواهند بود.

Principal supervision in educational leadership has historically been perceived as an evaluative process, primarily focused on ensuring compliance and accountability within schools. However, contemporary scholarship highlights its potential as a developmental process that can nurture leaders and build leadership capacity. A central challenge in realizing this potential is the inherent tension between the formative (coaching and development) and summative (evaluation and accountability) functions of principal supervision. This systematic review synthesizes literature from the past 15 years to explore how principal supervisors and school leaders navigate this evaluator-coach dilemma. Adhering to PRISMA 2020 guidelines, this review analyzes theoretical frameworks, structural strategies, and relational practices that mitigate role conflict across 22 empirical studies. Findings indicate that while the tension cannot be entirely eliminated, it can be effectively managed through role separation, reduced span of control, the cultivation of psychological safety, and the use of inquiry-based reflective conversations. The review concludes by proposing a Synthesized Model of Principal Supervision, offering implications for district-level policy and recommendations for establishing supervisory environments that transcend compliance to foster genuine educational transformation.

نظارت بر مدیران در رهبری آموزشی به طور تاریخی به عنوان فرایندی ارزیابانه تلقی شده است که عمدتاً بر اطمینان از رعایت مقررات و پاسخ‌گویی در مدارس تمرکز دارد. با این حال، پژوهش‌های معاصر بر ظرفیت بالقوه آن به عنوان فرایندی توسعه‌ای که می‌تواند رهبران را پرورش دهد و ظرفیت رهبری را ارتقا بخشد، تأکید دارند. چالش اصلی در تحقق این ظرفیت، تنش ذاتی میان کارکردهای شکل‌دهی (مربی‌گری و توسعه) و جمع‌بندی (ارزیابی و پاسخ‌گویی) در نظارت بر مدیران است. این مرور نظام‌مند با تلفیق ادبیات پژوهشی ۱۵ سال گذشته، بررسی می‌کند که چگونه ناظران مدیران و رهبران مدارس این دوگانگی ارزیاب-مربی را مدیریت می‌کنند. با پیروی از دستورالعمل‌های PRISMA 2020، این مرور چارچوب‌های نظری، راهبردهای ساختاری و شیوه‌های ارتباطی را که تعارض نقش را در ۲۲ مطالعه تجربی کاهش می‌دهند، تحلیل می‌کند. یافته‌ها نشان می‌دهد که اگرچه این تنش به طور کامل قابل حذف نیست، اما می‌توان آن را از طریق تفکیک نقش‌ها، کاهش دامنه کنترل، پرورش ایمنی روان‌شناختی و استفاده از گفت‌وگوهای بازتابی مبتنی بر پرسش به طور مؤثری مدیریت کرد. این مرور در پایان با ارائه مدل تلفیقی نظارت بر مدیران، پیامدهایی برای سیاست‌گذاری در سطح منطقه آموزشی و توصیه‌هایی برای ایجاد محیط‌های نظارتی فراتر از رعایت مقررات به منظور تحول واقعی آموزشی ارائه می‌دهد.