mathematics assessment

The Malaysia Education Blueprint 2013-2025 requires assessment of Higher-Order Thinking Skills (HOTS). The objective of this study is to develop and validate an assessment instrument measuring both HOTS and Mathematical Thinking (MT) skills in Malaysian Form 4 students studying quadratic functions, according to KSSM standards. The development of the assessment instrument began with (1) theoretical alignment between Bloom’s Taxonomy and Mason’s MT; (2) development of items based on KSSM content standards; (3) expert validation by five Malaysian mathematics education specialists using the Content Validity Index (CVI); and (4) pilot testing with 20 Form 4 students from Johor schools. Expert validation yielded excellent content validity with I-CVI scores ranging from 0.80 to 1.00. Pilot testing demonstrated high internal consistency, with Cronbach's alpha values of 0.89 for HOTS and 0.87 for MT. The final instrument comprises three parts: Calculator Proficiency (5 items), HOTS Assessment (4 items), and MT Assessment (4 items), with scoring rubrics aligned to KSSM standards. This study presents the first systematically validated instrument integrating Bloom's Taxonomy and Mason's MT framework for Malaysian Form 4 students studying quadratic functions. The validated tool equips teachers with reliable resources to assess advanced thinking, supports evidence-based instructional decisions, and contributes to national educational initiatives.

سند تحول آموزش و پرورش مالزی ۲۰۱۳-۲۰۲۵ بر ارزیابی مهارت‌های تفکر سطح بالای ریاضی (HOTS) تأکید دارد. هدف این پژوهش، تدوین و روایی‌سنجی ابزاری برای سنجش همزمان مهارت‌های HOTS و تفکر ریاضی (MT) در دانش‌آموزان پایه چهارم متوسطه مالزی در مبحث توابع درجه دوم بر اساس استانداردهای KSSM است. فرایند تدوین ابزار سنجش شامل: (۱) همسویی نظری میان طبقه‌بندی بلوم و چارچوب MT میسون؛ (۲) طراحی سؤال‌ها بر اساس استانداردهای محتوایی KSSM؛ (۳) روایی‌سنجی توسط پنج متخصص آموزش ریاضی مالزیایی با استفاده از شاخص روایی محتوا (CVI)؛ و (۴) اجرای آزمایشی ابزار بر روی ۲۰ دانش‌آموز پایه چهارم از مدارس ایالت جوهور بود. روایی‌سنجی متخصصان، روایی محتوایی عالی با مقادیر I-CVI بین ۰.۸۰ تا ۱.۰۰ را نشان داد. آزمون آزمایشی نیز پایایی درونی بالایی را با مقادیر آلفای کرونباخ ۰.۸۹ برای HOTS و ۰.۸۷ برای MT نشان داد. ابزار نهایی شامل سه بخش است: مهارت استفاده از ماشین حساب (۵ سؤال)، سنجش HOTS (۴ سؤال) و سنجش MT (۴ سؤال) که دستورالعمل نمره‌دهی آن‌ها با استانداردهای KSSM همسو است. این پژوهش نخستین ابزار روایی‌سنجی‌شده را که به طور نظام‌مند طبقه‌بندی بلوم و چارچوب MT میسون را برای دانش‌آموزان پایه چهارم متوسطه مالزی در مبحث توابع درجه دوم ادغام می‌کند، ارائه می‌دهد. ابزار روایی‌سنجی‌شده، منابع قابل اعتمادی را برای معلمان جهت ارزیابی تفکر پیشرفته فراهم می‌کند، از تصمیم‌گیری آموزشی مبتنی بر شواهد حمایت می‌کند و به ابتکارات آموزشی ملی کمک می‌نماید.

Assessment in higher education often suffers from a critical disconnect where student feedback benefits future cohorts rather than current participants. This study presents SHARP (Strategic, Holistic, Adaptive, Reflective, Process), a systematic framework for embedding real-time student voice into assessment design to develop students’ assessment literacy and engagement. SHARP was piloted across three in-class Mathematics tests with 246 students on a foundation-level UK university programme using a mixed-methods quasi-experimental design with post-assessment surveys from 108 students administered before grade release. Quantitative analysis revealed statistically significant improvements in clarity ratings, whilst fairness perceptions rose from 70.3% to 96.0%. A quasi-experimental comparison with historical controls demonstrated a 73% reduction in assessment volatility, reflecting more consistent student performance across assessments. Qualitative evidence illustrated students’ developing capacity to evaluate and articulate assessment design. This pilot demonstrates SHARP’s potential as a transferable framework for student-informed assessment practice, though replication is needed to establish broader generalisability.

ارزیابی در آموزش عالی اغلب با یک گسست اساسی مواجه است که در آن بازخورد دانشجویان بیشتر به نفع گروه‌های آینده است تا شرکت‌کنندگان فعلی. این مطالعه چارچوب SHARP (راهبردی، کل‌نگر، سازگارپذیر، تأملی، فرایندی) را معرفی می‌کند؛ چارچوبی نظام‌مند برای ادغام صدای دانشجویان در زمان واقعی در طراحی ارزیابی با هدف توسعه سواد ارزیابی و مشارکت دانشجویان. چارچوب SHARP در سه آزمون کلاسی ریاضی با حضور ۲۴۶ دانشجو در یک برنامه دانشگاهی سطح پایه در بریتانیا، با استفاده از طرح شبه‌آزمایشی روش‌های ترکیبی و پرسشنامه‌های پس از ارزیابی از ۱۰۸ دانشجو که پیش از اعلام نمرات اجرا شد، به صورت آزمایشی به کار گرفته شد. تحلیل کمی بهبود معنادار آماری در امتیازدهی به وضوح را نشان داد، در حالی که ادراک از انصاف ارزیابی از ۷۰٫۳٪ به ۹۶٫۰٪ افزایش یافت. مقایسه شبه‌آزمایشی با گروه‌های کنترل تاریخی، کاهش ۷۳٪ در نوسان ارزیابی را نشان داد که بیانگر عملکرد یکنواخت‌تر دانشجویان در ارزیابی‌ها بود. شواهد کیفی نیز نشان داد که توانایی دانشجویان در ارزیابی و بیان طراحی ارزیابی توسعه یافته است. این مطالعه آزمایشی، پتانسیل چارچوب SHARP را به عنوان الگویی قابل انتقال برای رویه ارزیابی مبتنی بر مشارکت دانشجویان نشان می‌دهد، هرچند تکرار پژوهش برای تعمیم‌پذیری گسترده‌تر ضروری است.

Introduction Generative artificial intelligence (GenAI) is increasingly used by students to obtain explanations, generate ideas, improve written responses and prepare assessment tasks. However, limited evidence exists on how students in open-distance alternative-access programmes experience GenAI in mathematics assessment. Methods This qualitative study examined how 27 Higher Certificate students at a South African open and distance learning institution described the role, benefits and limitations of GenAI while preparing fraction-related portfolio activities. Data were collected via a single open-ended questionnaire item, completed voluntarily after all assessment activities had been submitted. The responses were analysed using reflexive thematic analysis. Results Four overlapping themes were identified: support for understanding and approaching tasks, support for constructing written responses, conditional trust and evaluative engagement, and non-use, resistance and ambiguous engagement. Students reported that GenAI assisted with clarification, examples, organisation, and language, but they also described outputs they perceived as inaccurate, overly general, or insufficiently explained. Ten participants expressed concerns about reliability or described checking, adapting, limiting or rejecting GenAI use, although the study did not verify the quality of these practices. Discussion The findings suggest that the educational value of GenAI is shaped by students' capacity to exercise judgement and retain responsibility for the reasoning represented in their work. Verification is therefore positioned as a potentially important epistemic practice in GenAI-supported mathematics assessment. The study recommends explicit discipline-specific guidance and assessment designs that make students' mathematical reasoning visible.

مقدمه: هوش مصنوعی مولد (GenAI) به طور فزاینده‌ای توسط دانشجویان برای دریافت توضیحات، تولید ایده‌ها، بهبود پاسخ‌های نوشتاری و آماده‌سازی وظایف ارزیابی مورد استفاده قرار می‌گیرد. با این حال، شواهد محدودی درباره تجربه دانشجویان در برنامه‌های دسترسی جایگزین آموزش باز و از راه دور در زمینه استفاده از GenAI در ارزیابی ریاضی وجود دارد. روش‌ها: این مطالعه کیفی به بررسی نحوه توصیف نقش، مزایا و محدودیت‌های GenAI توسط ۲۷ دانشجوی Higher Certificate در یک مؤسسه آموزش باز و از راه دور در آفریقای جنوبی هنگام آماده‌سازی فعالیت‌های پرتفوی مرتبط با کسرها پرداخت. داده‌ها از طریق یک سؤال بازپاسخ در پرسشنامه که به صورت داوطلبانه پس از اتمام تمامی فعالیت‌های ارزیابی تکمیل شد، جمع‌آوری گردید. پاسخ‌ها با استفاده از تحلیل تماتیک بازتابی مورد بررسی قرار گرفتند. نتایج: چهار تم همپوشان شناسایی شد: حمایت برای درک و رویکرد به وظایف، حمایت در ساخت پاسخ‌های نوشتاری، اعتماد مشروط و مشارکت ارزیابانه، و عدم استفاده، مقاومت و مشارکت مبهم. دانشجویان گزارش دادند که GenAI در زمینه شفاف‌سازی، ارائه مثال، سازماندهی و زبان کمک‌کننده بوده است، اما همچنین خروجی‌هایی را توصیف کردند که آن‌ها را نادرست، بیش از حد کلی یا فاقد توضیح کافی می‌دانستند. ده نفر از شرکت‌کنندگان نگرانی‌هایی درباره پایایی ابراز کردند یا به بررسی، تطبیق، محدودسازی یا رد استفاده از GenAI اشاره نمودند، اگرچه این مطالعه کیفیت این اقدامات را تأیید نکرد. بحث: یافته‌ها نشان می‌دهد که ارزش آموزشی GenAI توسط توانایی دانشجویان در اعمال قضاوت و حفظ مسئولیت نسبت به استدلال ارائه‌شده در کارشان شکل می‌گیرد. بنابراین، راستی‌آزمایی به عنوان یک عمل معرفتی بالقوه مهم در ارزیابی ریاضی با حمایت GenAI مطرح می‌شود. مطالعه حاضر راهنمایی صریح و خاص رشته و طراحی ارزیابی‌هایی که استدلال ریاضی دانشجویان را آشکار می‌سازد، توصیه می‌کند.