student assessment

Background Assessing dance performance in physical education teacher education (PETE) requires judges to integrate technical and aesthetic qualities. Analytic rubrics make relevant dimensions explicit, whereas Adaptive Comparative Judgment (ACJ) elicits holistic pairwise decisions and produces a relative performance scale. This study compared the outcomes and student perceptions associated with the two approaches. Methods Seventeen pre-service teachers assessed 46 video-recorded student dance performances using an analytic rubric and ACJ. An expert reference was derived from five PETE lecturers who had assessed the performances live using the rubric and subsequently evaluated the video recordings through ACJ. Analyses examined rubric reliability and ACJ precision, convergence between method-derived rankings, student–expert rank alignment, cross-condition rubric score differences, and students’ perceptions of ease of use, usefulness, transparency, and fairness. Results Rubric- and ACJ-derived rankings were strongly associated within the student panel (Spearman's ρ = .863) and the expert reference panel ( ρ = .879). Aggregated student rankings also aligned closely with the expert-reference rankings under rubric scoring ( ρ = .890) and ACJ ( ρ = .888), with no clear difference in alignment between the methods. Aggregated student rubric scores showed high reliability, ICC(2,17) = .955, while ACJ scale separation reliability was .780 for students and .836 for experts. Student video-based rubric scores were, on average, 0.77 points higher than the archived live expert consensus scores. Students perceived ACJ as easier to use but the analytic rubric as more transparent. Perceived usefulness did not differ clearly, while fairness ratings descriptively favored the rubric. Conclusion Analytic rubric scoring and ACJ produced strongly convergent aggregate rankings, and the aggregated student panel differentiated relative performance quality in ways closely aligned with the expert reference under both approaches. However, the methods differed in score interpretation and perceived transparency. The results support considering ACJ as a complementary approach for digitally supported assessment and moderation rather than as a direct replacement for criterion-based summative assessment.

Research on information and communication technology (ICT) use and educational outcomes has reported positive, negative, and null associations, and little is known about creative thinking, which Programme for International Student Assessment (PISA) assessed for the first time in 2022. This study examined how profiles of ICT use relate to creative thinking and whether profile membership predicts creative thinking beyond the dimensions of use from which the profiles are derived. Using data from a large international sample of PISA 2022 students, latent profile analysis of the six Organisation for Economic Co-operation and Development (OECD) dimensions of ICT use identified four profiles that differed mainly in the overall level of use. Creative thinking was compared across profiles using all plausible values, replicate weights and a bias-adjusted three-step approach, and random forest models compared the predictive value of the profiles and the dimensions. Students with below-average use scored highest, followed by those with above-average use, whereas students with very low and very high use scored lowest. The low scores at the two ends had different correlates: adjustment for socioeconomic status and gender substantially reduced the gap for very low use but left the gap for very high use almost unchanged. In the random forest models, the six dimensions predicted creative thinking better than profile membership did. Partial dependence plots showed higher predicted scores with more school activities outside the classroom and lower predicted scores with high weekday leisure use and more support or feedback via ICT. The findings suggest that the association between ICT use and creative thinking is not linear, and that profiles based on the level of use are useful for describing groups of students but carry less information than the dimensions of use.

This study aims to analyze the characteristics of Science, Technology, Engineering, and Mathematics (STEM) concepts integrated into literacy and science assessment based on the standards of the Programme for International Student Assessment (PISA), as well as to develop a contextual and applicable assessment design appropriate to the characteristics of students at SMP PGRI 5 Denpasar. The study employed a mixed-methods approach with an exploratory sequential design. The participants consisted of 116 students and 6 teachers. Data were collected through observations, interviews, document analysis, questionnaires, and expert validation. Data analysis involved qualitative analysis, the Gregory validity index, empirical validity, and instrument reliability analysis. The findings indicate that STEM-PISA assessment characteristics include the use of contextual stimuli based on real-world problems, the utilization of data and graphs, higher-order reasoning, cross-disciplinary integration, varied response formats, and assessment of thinking processes. The developed assessment design integrates science, technology, engineering, and mathematics through authentic contexts, data literacy, problem-solving, and assessment rubrics. Students’ perceptions obtained a mean score of 3.96, while teachers’ perceptions reached 4.42 on a five-point scale, indicating that the assessment design was considered relevant and acceptable for supporting contextual learning and assessment.

هدف این پژوهش تحلیل ویژگی‌های مفاهیم علوم، فناوری، مهندسی و ریاضیات (STEM) ادغام‌شده در ارزشیابی سواد و علوم بر اساس استانداردهای برنامه ارزیابی بین‌المللی دانش‌آموزان (PISA) و همچنین توسعه یک طرح ارزشیابی زمینه‌محور و کاربردی متناسب با ویژگی‌های دانش‌آموزان دبیرستان PGRI 5 دنپاسار است. این پژوهش با رویکرد روش‌های ترکیبی و با طرح توالی اکتشافی انجام شد. شرکت‌کنندگان شامل ۱۱۶ دانش‌آموز و ۶ معلم بودند. داده‌ها از طریق مشاهده، مصاحبه، تحلیل اسناد، پرسشنامه و اعتبارسنجی خبرگان گردآوری شد. تحلیل داده‌ها شامل تحلیل کیفی، شاخص روایی Gregory، روایی تجربی و تحلیل پایایی ابزار بود. یافته‌ها نشان می‌دهد که ویژگی‌های ارزشیابی STEM-PISA شامل استفاده از محرک‌های زمینه‌ای مبتنی بر مسائل واقعی، بهره‌گیری از داده‌ها و نمودارها، استدلال سطوح بالاتر، ادغام میان‌رشته‌ای، قالب‌های پاسخ متنوع و ارزشیابی فرایندهای تفکر است. طرح ارزشیابی توسعه‌یافته، علوم، فناوری، مهندسی و ریاضیات را از طریق زمینه‌های اصیل، سواد داده، حل مسئله و روبریک‌های ارزشیابی ادغام می‌کند. میانگین نمره ادراک دانش‌آموزان ۳.۹۶ و ادراک معلمان ۴.۴۲ در مقیاس پنج‌درجه‌ای به دست آمد که نشان‌دهنده مرتبط و قابل قبول بودن طرح ارزشیابی برای حمایت از یادگیری و ارزشیابی زمینه‌محور است.

This study focused on the development and acceptability of a Physics Activity Manual for Grade 9 students in a laboratory school implementing an institution-based curriculum in Batangas Province. It aimed to identify priority Physics learning areas and associated competencies based on students’ assessment results, determine the level of acceptability of the developed manual, examine differences in acceptability ratings when respondents were grouped according to profile variables, and propose enrichments based on the findings. The study employed a descriptive-developmental research design. Assessment results of 75 Grade 9 students from School Year 2024–2025 were analyzed to identify the lowest-performing Physics learning areas and the competencies associated with them, which served as the basis for developing the manual. The developed material underwent preliminary review by qualified validators and was subsequently evaluated by 30 Science Teachers and 5 Science Experts using an adapted Learning Resource Management and Development System (LRMDS) Evaluation Tool for Printed Resources. Data were analyzed using descriptive and inferential statistics. The manual was rated Highly Acceptable by both groups across Content, Format, Presentation and Organization, and Accuracy and Up-to-Datedness. Overall mean ratings were 3.82 for Science Teachers and 3.70 for Science Experts. Differences were not significant for most profile variables; however, Science Teachers’ ratings differed significantly by educational attainment. The findings support the manual’s acceptability as a curriculum-aligned supplementary instructional resource, while classroom implementation and effectiveness remain subjects for future research.

این مطالعه بر تدوین و پذیرش‌پذیری راهنمای فعالیت‌های فیزیک برای دانش‌آموزان پایه نهم در یک مدرسه آزمایشگاهی که برنامه درسی مبتنی بر مؤسسه را در استان باتانگاس اجرا می‌کند، متمرکز بود. هدف پژوهش شناسایی حوزه‌های اولویت‌دار یادگیری فیزیک و شایستگی‌های مرتبط بر اساس نتایج ارزیابی دانش‌آموزان، تعیین سطح پذیرش‌پذیری راهنمای تدوین‌شده، بررسی تفاوت در امتیازات پذیرش‌پذیری هنگام گروه‌بندی پاسخ‌دهندگان بر اساس متغیرهای پروفایل و پیشنهاد غنی‌سازی‌ها بر اساس یافته‌ها بود. این پژوهش از طرح پژوهش توصیفی-توسعه‌ای استفاده کرد. نتایج ارزیابی ۷۵ دانش‌آموز پایه نهم در سال تحصیلی ۲۰۲۴–۲۰۲۵ برای شناسایی حوزه‌های یادگیری فیزیک با پایین‌ترین عملکرد و شایستگی‌های مرتبط با آن‌ها تحلیل شد که مبنای تدوین راهنما قرار گرفت. ماده تدوین‌شده توسط ارزیابان واجد شرایط مورد بازبینی اولیه قرار گرفت و سپس توسط ۳۰ معلم علوم و ۵ کارشناس علوم با استفاده از ابزار ارزیابی منابع چاپی سیستم مدیریت و توسعه منابع یادگیری (LRMDS) ارزیابی شد. داده‌ها با استفاده از آمار توصیفی و استنباطی تحلیل شدند. راهنما از سوی هر دو گروه در ابعاد محتوا، قالب، ارائه و سازماندهی، و صحت و به‌روز بودن، بسیار قابل پذیرش ارزیابی شد. میانگین کلی امتیازات برای معلمان علوم ۳٫۸۲ و برای کارشناسان علوم ۳٫۷۰ بود. تفاوت معناداری در بیشتر متغیرهای پروفایل مشاهده نشد؛ با این حال، امتیازات معلمان علوم بر اساس سطح تحصیلات تفاوت معناداری داشت. یافته‌ها از پذیرش‌پذیری راهنما به عنوان منبع آموزشی مکمل همسو با برنامه درسی حمایت می‌کند، در حالی که اجرای کلاسی و اثربخشی آن موضوع پژوهش‌های آتی باقی می‌ماند.

The improvement of literacy and numeracy quality is a major challenge in primary education in Indonesia, including in madrasah ibtidaiyah. Various international reports such as the Programme for International Student Assessment (PISA) and the National Assessment (AN) show the low achievement of Indonesian students in reading, mathematics, and science. This condition is worsened by the dense madrasah curriculum, limited facilities and infrastructure, and the dominance of traditional teacher-centered learning methods. This study aims to analyze innovative learning strategies relevant to improving literacy and numeracy skills among madrasah ibtidaiyah students while maintaining Islamic identity. The method used is library research with a descriptive-analytical approach through a review of academic literature, educational policies, and student achievement data. The study results indicate that strategies such as Project-Based Learning, digital technology integration, and context-based approaches linked to everyday life and religious values are effective in developing students' critical, creative, collaborative, and communicative thinking skills. The implementation of these strategies not only increases learning motivation but also makes literacy and numeracy more applicable and meaningful as life skills aligned with the teachings of the Qur'an and Hadith. Thus, innovative learning strategies have the potential to become an important instrument in improving the quality of Islamic primary education in Indonesia while shaping a generation that is intelligent, critical, creative, and of noble character."

ارتقای کیفیت سواد خواندن و مهارت‌های عددی یکی از چالش‌های اساسی آموزش ابتدایی در اندونزی، از جمله در مدارس ابتدایی اسلامی (مدرسه ابتدایی/مدرسه ابتدایی اسلامی)، به‌شمار می‌رود. گزارش‌های بین‌المللی مختلفی مانند برنامه ارزیابی بین‌المللی دانش‌آموزان (PISA) و ارزیابی ملی (AN) نشان‌دهنده دستاورد پایین دانش‌آموزان اندونزیایی در حوزه‌های خواندن، ریاضیات و علوم است. این وضعیت با تراکم برنامه درسی مدارس ابتدایی اسلامی، محدودیت امکانات و زیرساخت‌ها و غلبه روش‌های سنتی آموزش معلم‌محور تشدید می‌شود. هدف این پژوهش، تحلیل راهبردهای نوآورانه یادگیری مرتبط با ارتقای مهارت‌های سواد خواندن و عددی در میان دانش‌آموزان مدارس ابتدایی اسلامی با حفظ هویت اسلامی است. روش مورد استفاده، پژوهش کتابخانه‌ای با رویکرد توصیفی-تحلیلی از طریق مرور ادبیات علمی، سیاست‌های آموزشی و داده‌های عملکرد دانش‌آموزان است. نتایج پژوهش نشان می‌دهد که راهبردهایی مانند یادگیری مبتنی بر پروژه، ادغام فناوری دیجیتال و رویکردهای مبتنی بر زمینه که با زندگی روزمره و ارزش‌های دینی پیوند خورده‌اند، در توسعه مهارت‌های تفکر انتقادی، خلاقانه، مشارکتی و ارتباطی دانش‌آموزان مؤثر هستند. اجرای این راهبردها نه‌تنها انگیزه یادگیری را افزایش می‌دهد، بلکه سواد خواندن و مهارت‌های عددی را به‌عنوان مهارت‌های زندگی کاربردی‌تر و معنادارتر و همسو با آموزه‌های قرآن و حدیث می‌سازد. بنابراین، راهبردهای نوآورانه یادگیری می‌توانند به‌عنوان ابزاری مهم در ارتقای کیفیت آموزش ابتدایی اسلامی در اندونزی و تربیت نسلی هوشمند، انتقادی، خلاق و با اخلاق نیکو ایفای نقش کنند.

Teacher education and professional development (PD) are central institutional mechanisms for strengthening instructional quality, yet their relevance may differ for teachers working within versus outside their formal fields of preparation. Using questionnaire data from 1,324 mathematics, science, and technology teachers participating in the Programme for International Student Assessment (PISA) 2022, this study examines associations between teacher preparation, PD, employment conditions, and instructional practices designed to foster critical thinking, problem solving, knowledge transfer, and self-regulated learning. Results indicate that pedagogically oriented PD, particularly learning focused on curriculum and classroom practice, is positively associated with greater use of higher-order instructional practices among both in-field and out-of-field teachers. Among out-of-field teachers, advanced academic qualifications are additionally associated with greater emphasis on higher-order instructional practices, challenging assumptions that teaching outside one’s field of preparation necessarily constrains instructional quality. Differences by contract status further suggest that employment conditions afford opportunities to enact these practices. Collectively, the findings extend research on out-of-field teaching by demonstrating that teacher learning opportunities and organizational conditions matter more for instructional practice than field alignment alone. The study offers policy-relevant evidence for designing teacher education, PD, and employment supports for increasingly diverse STEM teaching workforces.

آموزش معلمان و توسعه حرفه‌ای (PD) از مکانیزم‌های نهادی اصلی برای تقویت کیفیت تدریس به‌شمار می‌روند، اما اهمیت آن‌ها ممکن است برای معلمانی که در حوزه تخصصی خود یا خارج از آن فعالیت می‌کنند، متفاوت باشد. این پژوهش با استفاده از داده‌های پرسشنامه‌ای ۱۳۲۴ معلم ریاضی، علوم و فناوری که در برنامه ارزیابی بین‌المللی دانش‌آموزان (PISA) 2022 شرکت کرده‌اند، به بررسی ارتباط بین آمادگی معلمان، توسعه حرفه‌ای، شرایط استخدامی و شیوه‌های تدریس طراحی‌شده برای تقویت تفکر انتقادی، حل مسئله، انتقال دانش و یادگیری خودتنظیمی می‌پردازد. نتایج نشان می‌دهد که توسعه حرفه‌ای با رویکرد آموزشی، به‌ویژه یادگیری متمرکز بر برنامه درسی و عمل کلاسی، با استفاده بیشتر از شیوه‌های تدریس سطح‌بالا در میان معلمان درون‌حوزه و برون‌حوزه ارتباط مثبت دارد. در میان معلمان برون‌حوزه، مدارک تحصیلی پیشرفته نیز با تأکید بیشتر بر شیوه‌های تدریس سطح‌بالا همراه است و این امر فرضیات مربوط به اینکه تدریس خارج از حوزه تخصصی لزوماً کیفیت تدریس را محدود می‌کند، به چالش می‌کشد. تفاوت‌ها بر اساس وضعیت قرارداد استخدامی نیز نشان می‌دهد که شرایط شغلی فرصت‌هایی برای اجرای این شیوه‌ها فراهم می‌کند. در مجموع، یافته‌ها پژوهش‌ها درباره تدریس برون‌حوزه را گسترش داده و نشان می‌دهد که فرصت‌های یادگیری معلمان و شرایط سازمانی برای شیوه تدریس اهمیت بیشتری نسبت به هم‌راستایی حوزه تخصصی دارند. این مطالعه شواهد سیاست‌محور برای طراحی آموزش معلمان، توسعه حرفه‌ای و حمایت‌های استخدامی برای نیروی کار متنوع‌تر معلمان STEM ارائه می‌دهد.