competency-based assessment

Critical thinking is one of the competencies learners are expected to develop under the Competency-Based Education in Kenya. This shift demands a paradigm shift from conventional assessment practices to inquiry-based Competency-Based Assessment practices. This study aimed to assess critical thinking assessment practices in Integrated Science instruction in public junior schools in Nairobi County. The study adopted a descriptive survey research design. The study used proportionate, convenience, and systematic sampling to select 382 respondents from a target population of 8,259. Structured questionnaires were used to collect information on critical thinking assessment practices in Integrated Science instruction from both teachers and learners. The reliability of the instruments was established through piloting in a neighboring county, Kajiado County. A Cronbach's alpha of 0.784 was obtained, thus making the tools suitable for data collection. The data were analyzed using descriptive statistics, and the study findings were presented using frequencies and percentage differences. The study findings show that teachers face challenges in assessing critical thinking in Integrated Science instruction, especially in interpreting the curriculum to incorporate inquiry, reflection, evidence-based reasoning, and application of knowledge in real-life situations. The gap was confirmed by learner responses, which consistently reported gaps in classroom practices that promote critical thinking. There is a gap in teachers’ perception of competence in critical thinking assessment practices in Integrated Science instruction in comparison to learner perceptions. The findings inform education stakeholders of the need to invest in equipping teachers with pedagogical skills for Competency-Based Assessment, especially in assessing critical thinking.

تفکر انتقادی یکی از شایستگی‌هایی است که انتظار می‌رود فراگیران در چارچوب آموزش مبتنی بر شایستگی در کنیا کسب کنند. این تغییر مستلزم یک تغییر پارادایم از رویه‌های ارزیابی سنتی به رویه‌های ارزیابی مبتنی بر پرسشگری و شایستگی است. هدف این پژوهش، ارزیابی رویه‌های ارزیابی تفکر انتقادی در تدریس علوم تلفیقی در مدارس دولتی متوسطه شهرستان نایروبی بود. این پژوهش از طرح پژوهش پیمایشی توصیفی استفاده کرد. نمونه‌گیری متناسب، در دسترس و نظام‌مند برای انتخاب ۳۸۲ نفر از جامعه هدف ۸٬۲۵۹ نفری به کار گرفته شد. پرسشنامه‌های ساختاریافته برای گردآوری اطلاعات درباره رویه‌های ارزیابی تفکر انتقادی در تدریس علوم تلفیقی از هر دو گروه معلمان و فراگیران استفاده شد. پایایی ابزارها از طریق اجرای آزمایشی در شهرستان همجوار، Kajiado County، تعیین شد. ضریب آلفای کرونباخ برابر با ۰٫۷۸۴ به دست آمد که ابزارها را برای گردآوری داده‌ها مناسب ساخت. داده‌ها با استفاده از آمار توصیفی تحلیل شدند و یافته‌های پژوهش با استفاده از فراوانی‌ها و تفاوت‌های درصدی ارائه گردید. یافته‌های پژوهش نشان می‌دهد که معلمان در ارزیابی تفکر انتقادی در تدریس علوم تلفیقی، به ویژه در تفسیر برنامه درسی برای ادغام پرسشگری، تأمل، استدلال مبتنی بر شواهد و کاربرد دانش در موقعیت‌های واقعی، با چالش‌هایی مواجه هستند. این شکاف با پاسخ‌های فراگیران تأیید شد که به طور مکرر به وجود شکاف‌هایی در رویه‌های کلاسی که تفکر انتقادی را تقویت می‌کنند، اشاره کردند. درک معلمان از شایستگی خود در رویه‌های ارزیابی تفکر انتقادی در تدریس علوم تلفیقی نسبت به درک فراگیران دارای فاصله است. یافته‌ها به ذی‌نفعان آموزشی لزوم سرمایه‌گذاری در تجهیز معلمان به مهارت‌های آموزشی برای ارزیابی مبتنی بر شایستگی، به ویژه در ارزیابی تفکر انتقادی را یادآور می‌شود.

Introduction Large-scale longitudinal evidence on how progressive institutional assessment policy reform is associated with student academic performance remains scarce, particularly in Latin American public higher education. This study examined the association between four successive institutional assessment policies and academic performance across four consecutive academic periods at a public university in Ecuador, focusing on the transition from undifferentiated assessment models to competency-differentiated structures integrating formative feedback within the summative framework. Methods A comparative quasi-longitudinal design was adopted using 921,795 student-course enrolment records. Four institutional assessment policies were examined: a balanced distributed model (Policy A: 60% coursework/40% examinations), a single high-stakes final examination (Policy B: 40% coursework/60% examination), a competency-differentiated model separating theoretical and practical components (Policy C: 40% coursework/30% theoretical examination/30% practical examination), and a hybrid model integrating formative feedback through an intermediate practical assessment (Policy D: 40% coursework/30% theoretical examination/15% progress submission/15% final submission). One-way ANOVA, Bonferroni-corrected pairwise post-hoc comparisons, chi-squared tests with Cramér's V , and subgroup analyses by faculty, study modality, and degree programme were conducted. Results Mean final grades increased monotonically from 78.08 under Policy A to 84.38 under Policy D, while pass rates followed a U-shaped pattern, reaching their minimum under Policy B (82.91%). The overall ANOVA was significant, F (3,921,791) = 7,143.53, p < .001, η ² = .023. Post-hoc comparisons revealed a structural inflection between undifferentiated policies (A/B) and competency-differentiated policies (C/D), with cross-block effect sizes ( d = .306-.380) substantially larger than within-block differences (d < .08). Pass rates differed significantly across policies, χ ²(3) = 9,867.90, p < .001, V = .103. Grade dispersion decreased under competency-differentiated policies, with the standard deviation declining from 19.73 under Policy B to 15.69 under Policy D. Faculty-level analyses showed minimal policy-associated variation in Health Sciences (η² = .001), compared with small but consistent effects in the other three faculties (η² = .014–.036). Online students exhibited the greatest performance gains (η² = .043), with the online-face-to-face performance gap shifting from −0.86 points under Policy A to +5.65 points under Policy D. Discussion The transition from undifferentiated assessment models to competency-differentiated structures separating declarative and procedural knowledge was consistently associated with higher mean academic performance, improved pass rates, and reduced grade dispersion. These associations were particularly pronounced among online students, although the observational design does not establish causality. The findings provide large-scale evidence on the relationship between institutional assessment policy design and academic performance, highlighting the relevance of integrating competency differentiation and formative feedback within summative assessment frameworks as an academic quality governance mechanism in public higher education.

مقدمه: شواهد طولی در مقیاس وسیع درباره ارتباط اصلاح تدریجی سیاست‌های ارزشیابی نهادی با عملکرد تحصیلی دانشجویان، به‌ویژه در آموزش عالی دولتی آمریکای لاتین، همچنان اندک است. این مطالعه ارتباط میان چهار سیاست ارزشیابی نهادی متوالی و عملکرد تحصیلی را در چهار دوره متوالی تحصیلی در یک دانشگاه دولتی در اکوادور بررسی کرد و بر گذار از مدل‌های ارزشیابی غیرمتمایز به ساختارهای مبتنی بر تمایز شایستگی با ادغام بازخورد تکوینی در چارچوب جمع‌بندی تمرکز داشت. روش‌ها: یک طرح شبه‌طولی مقایسه‌ای با استفاده از ۹۲۱٬۷۹۵ رکورد ثبت‌نام دانشجو-درس اتخاذ شد. چهار سیاست ارزشیابی نهادی بررسی شد: مدل توزیع‌شده متعادل (سیاست A: ۶۰٪ کار کلاسی/۴۰٪ آزمون)، یک آزمون نهایی با ریسک بالا (سیاست B: ۴۰٪ کار کلاسی/۶۰٪ آزمون)، مدل مبتنی بر تمایز شایستگی با تفکیک مؤلفه‌های نظری و عملی (سیاست C: ۴۰٪ کار کلاسی/۳۰٪ آزمون نظری/۳۰٪ آزمون عملی)، و مدل ترکیبی با ادغام بازخورد تکوینی از طریق ارزشیابی عملی میانی (سیاست D: ۴۰٪ کار کلاسی/۳۰٪ آزمون نظری/۱۵٪ ارائه پیشرفت/۱۵٪ ارائه نهایی). آزمون ANOVA یک‌طرفه، مقایسه‌های پس‌آزمون زوجی با اصلاح بونفرونی، آزمون‌های کای-دو با V کرامر و تحلیل‌های زیرگروهی بر اساس دانشکده، شیوه تحصیل و برنامه تحصیلی انجام شد. نتایج: میانگین نمرات نهایی به طور یکنواخت از ۷۸٫۰۸ در سیاست A به ۸۴٫۳۸ در سیاست D افزایش یافت، در حالی که نرخ قبولی الگوی U شکل داشت و حداقل خود را در سیاست B (۸۲٫۹۱٪) نشان داد. آزمون ANOVA کلی معنادار بود، F (3,921,791) = 7,143.53, p < .001, η² = .023. مقایسه‌های پس‌آزمون، نقطه عطف ساختاری میان سیاست‌های غیرمتمایز (A/B) و سیاست‌های مبتنی بر تمایز شایستگی (C/D) را نشان داد، به‌طوری‌که اندازه اثر بین‌بلوک (d = .306-.380) به‌طور قابل توجهی بزرگ‌تر از تفاوت‌های درون‌بلوک (d < .08) بود. نرخ قبولی در سیاست‌ها تفاوت معناداری داشت، χ²(3) = 9,867.90, p < .001, V = .103. پراکندگی نمرات در سیاست‌های مبتنی بر تمایز شایستگی کاهش یافت، به‌طوری‌که انحراف معیار از ۱۹٫۷۳ در سیاست B به ۱۵٫۶۹ در سیاست D رسید. تحلیل‌های سطح دانشکده نشان داد که تغییرات مرتبط با سیاست در علوم سلامت حداقل بود (η² = .001)، در حالی که در سه دانشکده دیگر اثرات کوچک اما پایدار مشاهده شد (η² = .014–.036). دانشجویان آنلاین بیشترین افزایش عملکرد را نشان دادند (η² = .043)، به‌طوری‌که فاصله عملکرد آنلاین-حضوری از ۰٫۸۶- نمره در سیاست A به ۵٫۶۵+ نمره در سیاست D تغییر یافت. بحث: گذار از مدل‌های ارزشیابی غیرمتمایز به ساختارهای مبتنی بر تمایز شایستگی با تفکیک دانش اظهاری و رویه‌ای، به طور پیوسته با افزایش میانگین عملکرد تحصیلی، بهبود نرخ قبولی و کاهش پراکندگی نمرات همراه بود. این ارتباطات به‌ویژه در میان دانشجویان آنلاین برجسته بود، اگرچه طرح مشاهده‌ای مطالعه علیت را اثبات نمی‌کند. یافته‌ها شواهدی در مقیاس وسیع درباره رابطه طراحی سیاست ارزشیابی نهادی و عملکرد تحصیلی ارائه می‌دهد و اهمیت ادغام تمایز شایستگی و بازخورد تکوینی در چارچوب ارزشیابی جمع‌بندی را به‌عنوان سازوکار حاکمیت کیفیت علمی در آموزش عالی دولتی برجسته می‌کند.

The swift evolution of Artificial Intelligence (AI) is dramatically changing the landscape of education, especially when it comes to assessment. Traditional methods, which focus heavily on standardized tests and final evaluations, are falling short in capturing the complex cognitive, social, and digital skills that are essential in today’s world. This paper delves into the transformative power of AI in educational assessment and suggests a strategic framework for embracing digital change. By reviewing current literature, the study highlights AI-driven innovations like adaptive testing, automated grading, learning analytics, and competency-based assessment models. It also tackles important challenges such as ethical issues, algorithmic bias, data privacy, and maintaining academic integrity. The paper emphasizes that a comprehensive, policy-oriented, and pedagogically sound approach are crucial for effectively integrating AI into assessment systems. In the end, it offers practical strategies for institutions aiming to update their assessment practices in an AI-enhanced educational environment.

تحول سریع هوش مصنوعی (AI) به طور چشمگیری چشم‌انداز آموزش را، به ویژه در حوزه ارزیابی، دگرگون کرده است. روش‌های سنتی که عمدتاً بر آزمون‌های استاندارد و ارزیابی‌های نهایی تمرکز دارند، در سنجش مهارت‌های پیچیده شناختی، اجتماعی و دیجیتال که در دنیای امروز ضروری هستند، ناکارآمد شده‌اند. این مقاله به بررسی قدرت تحول‌آفرین هوش مصنوعی در ارزیابی آموزشی می‌پردازد و چارچوبی راهبردی برای پذیرش تغییر دیجیتال پیشنهاد می‌کند. با مرور ادبیات موجود، پژوهش به نوآوری‌های مبتنی بر هوش مصنوعی مانند آزمون‌های تطبیقی، نمره‌دهی خودکار، تحلیل یادگیری و مدل‌های ارزیابی مبتنی بر شایستگی می‌پردازد. همچنین به چالش‌های مهمی همچون مسائل اخلاقی، سوگیری الگوریتمی، حریم خصوصی داده‌ها و حفظ سلامت علمی اشاره می‌کند. مقاله تأکید می‌کند که رویکردی جامع، سیاست‌محور و مبتنی بر اصول آموزشی برای ادغام مؤثر هوش مصنوعی در نظام‌های ارزیابی ضروری است. در پایان، راهبردهای عملی برای نهادهایی که قصد به‌روزرسانی شیوه‌های ارزیابی خود در محیط آموزشی تقویت‌شده با هوش مصنوعی را دارند، ارائه می‌دهد.