STEM assessment

This study aims to analyze the characteristics of Science, Technology, Engineering, and Mathematics (STEM) concepts integrated into literacy and science assessment based on the standards of the Programme for International Student Assessment (PISA), as well as to develop a contextual and applicable assessment design appropriate to the characteristics of students at SMP PGRI 5 Denpasar. The study employed a mixed-methods approach with an exploratory sequential design. The participants consisted of 116 students and 6 teachers. Data were collected through observations, interviews, document analysis, questionnaires, and expert validation. Data analysis involved qualitative analysis, the Gregory validity index, empirical validity, and instrument reliability analysis. The findings indicate that STEM-PISA assessment characteristics include the use of contextual stimuli based on real-world problems, the utilization of data and graphs, higher-order reasoning, cross-disciplinary integration, varied response formats, and assessment of thinking processes. The developed assessment design integrates science, technology, engineering, and mathematics through authentic contexts, data literacy, problem-solving, and assessment rubrics. Students’ perceptions obtained a mean score of 3.96, while teachers’ perceptions reached 4.42 on a five-point scale, indicating that the assessment design was considered relevant and acceptable for supporting contextual learning and assessment.

هدف این پژوهش تحلیل ویژگی‌های مفاهیم علوم، فناوری، مهندسی و ریاضیات (STEM) ادغام‌شده در ارزشیابی سواد و علوم بر اساس استانداردهای برنامه ارزیابی بین‌المللی دانش‌آموزان (PISA) و همچنین توسعه یک طرح ارزشیابی زمینه‌محور و کاربردی متناسب با ویژگی‌های دانش‌آموزان دبیرستان PGRI 5 دنپاسار است. این پژوهش با رویکرد روش‌های ترکیبی و با طرح توالی اکتشافی انجام شد. شرکت‌کنندگان شامل ۱۱۶ دانش‌آموز و ۶ معلم بودند. داده‌ها از طریق مشاهده، مصاحبه، تحلیل اسناد، پرسشنامه و اعتبارسنجی خبرگان گردآوری شد. تحلیل داده‌ها شامل تحلیل کیفی، شاخص روایی Gregory، روایی تجربی و تحلیل پایایی ابزار بود. یافته‌ها نشان می‌دهد که ویژگی‌های ارزشیابی STEM-PISA شامل استفاده از محرک‌های زمینه‌ای مبتنی بر مسائل واقعی، بهره‌گیری از داده‌ها و نمودارها، استدلال سطوح بالاتر، ادغام میان‌رشته‌ای، قالب‌های پاسخ متنوع و ارزشیابی فرایندهای تفکر است. طرح ارزشیابی توسعه‌یافته، علوم، فناوری، مهندسی و ریاضیات را از طریق زمینه‌های اصیل، سواد داده، حل مسئله و روبریک‌های ارزشیابی ادغام می‌کند. میانگین نمره ادراک دانش‌آموزان ۳.۹۶ و ادراک معلمان ۴.۴۲ در مقیاس پنج‌درجه‌ای به دست آمد که نشان‌دهنده مرتبط و قابل قبول بودن طرح ارزشیابی برای حمایت از یادگیری و ارزشیابی زمینه‌محور است.

Persistent assessment inequities in linguistically and culturally diverse classrooms necessitate contextually grounded frameworks that advance both academic excellence and educational justice. The study developed, implemented, and evaluated a culturally responsive, equity-driven, and differentiated pedagogical-assessment framework for STEM learning in multilingual and socioeconomically diverse classrooms in Ghana. A convergent parallel mixed-methods design integrated qualitative data (interviews, observations, focus groups) with quantitative measures (pre-post-tests, subscale gains, ANCOVA, and Bayesian analyses). The study involved 210 participants 24 STEM teachers, 6 headteachers, and 180 Primary 4-6 pupils from six public basic schools in Ghana. Quantitative findings revealed statistically significant learning gains across schools and domains. Mean post-test scores increased by 13.96 points (29.12%), with a large overall effect size (Cohen’s d = 1.68; Hedges’ g = 1.89; η ² = 0.79; p < 0.001), indicating strong practical and educational significance. Subscale analyses showed consistent and convergent gains across all framework dimensions, including conceptual mastery (d = 1.72), application of skills (d = 1.67), inclusive strategy use (d = 1.62), opportunity-to-learn (d = 1.59), tiered instruction (d = 1.66), flexible grouping (d = 1.64), linguistic alignment (d = 1.70), and cultural asset integration ( d = 1.69), all demonstrating large effects (d > 1.5). ANCOVA results confirmed significant effects of the intervention across all domains while controlling for pre-test performance, including inquiry-based STEM practices (F = 26.03, p < .001, η²ₚ = 0.10), integrated STEM tasks (F = 19.38, p < .001, η²ₚ = .077), equity-driven instructional practices (η²ₚ = 0.05–0.07), differentiated pedagogical assessment (η²ₚ = 0.04–0.05), and culturally responsive assessment practices (η²ₚ = 0.05–0.06). The pre-test covariate remained significant ( F = 88.21, p < .001, η² = 0.328), indicating the importance of baseline achievement while confirming robust intervention effects Bayesian analyses indicated strong evidential support (posterior probabilities > 0.98; Bayes Factors = 28.1–36.4). Qualitative findings corroborated these results, highlighting increased teacher capacity for culturally relevant task design and improved student engagement and identity affirmation. The study offers empirically grounded guidance for decolonizing STEM assessment in multilingual and underserved contexts.

تداوم نابرابری‌های ارزشیابی در کلاس‌های درس با تنوع زبانی و فرهنگی، چارچوب‌هایی را ایجاب می‌کند که مبتنی بر زمینه بوده و همزمان تعالی علمی و عدالت آموزشی را ارتقا دهند. این پژوهش، چارچوبی پداگوژیک-ارزشیابی مبتنی بر پاسخگویی فرهنگی، عدالت‌محور و تمایزیافته برای یادگیری STEM در کلاس‌های چندزبانه و با تنوع اجتماعی-اقتصادی در غنا توسعه داده، اجرا و ارزیابی کرد. طرح پژوهش آمیخته‌ی همگرا و موازی، داده‌های کیفی (مصاحبه‌ها، مشاهده‌ها، گروه‌های کانونی) را با سنجه‌های کمی (پیش‌آزمون-پس‌آزمون، افزایش زیرمقیاس‌ها، ANCOVA و تحلیل‌های بیزی) تلفیق نمود. شرکت‌کنندگان پژوهش شامل ۲۱۰ نفر (۲۴ معلم STEM، ۶ مدیر مدرسه و ۱۸۰ دانش‌آموز پایه چهارم تا ششم ابتدایی) از شش مدرسه‌ی دولتی در غنا بودند. یافته‌های کمی نشان دادند که افزایش معنادار آماری در یادگیری در سراسر مدارس و حوزه‌ها مشاهده شد. میانگین نمرات پس‌آزمون به میزان ۱۳.۹۶ نمره (۲۹.۱۲٪) افزایش یافت و اندازه‌ی اثر کلی بزرگ بود (d کوهن = ۱.۶۸؛ g هجز = ۱.۸۹؛ η² = ۰.۷۹؛ p < 0.001) که دلالت بر اهمیت عملی و آموزشی قوی دارد. تحلیل زیرمقیاس‌ها، افزایش‌های همگرا و سازگار را در تمامی ابعاد چارچوب نشان داد، از جمله تسلط مفهومی (d = ۱.۷۲)، کاربرد مهارت‌ها (d = ۱.۶۷)، استفاده از راهبردهای فراگیر (d = ۱.۶۲)، فرصت برای یادگیری (d = ۱.۵۹)، آموزش لایه‌بندی‌شده (d = ۱.۶۶)، گروه‌بندی انعطاف‌پذیر (d = ۱.۶۴)، همسویی زبانی (d = ۱.۷۰) و ادغام سرمایه‌ی فرهنگی (d = ۱.۶۹) که همگی اندازه‌ی اثر بزرگ (d > ۱.۵) را نشان دادند. نتایج ANCOVA اثرات معنادار مداخله را در تمامی حوزه‌ها در حالی که عملکرد پیش‌آزمون کنترل شده بود تأیید کرد، از جمله شیوه‌های مبتنی بر پژوهش STEM (F = ۲۶.۰۳، p < .001، η²ₚ = ۰.۱۰)، تکالیف یکپارچه‌ی STEM (F = ۱۹.۳۸، p < .001، η²ₚ = .۰۷۷)، شیوه‌های تدریس عدالت‌محور (η²ₚ = ۰.۰۵–۰.۰۷)، ارزشیابی پداگوژیک تمایزیافته (η²ₚ = ۰.۰۴–۰.۰۵) و شیوه‌های ارزشیابی مبتنی بر پاسخگویی فرهنگی (η²ₚ = ۰.۰۵–۰.۰۶). متغیر همپراش پیش‌آزمون همچنان معنادار باقی ماند (F = ۸۸.۲۱، p < .001، η² = ۰.۳۲۸) که اهمیت پیشرفت پایه را در عین تأیید اثرات قوی مداخله نشان می‌دهد. تحلیل‌های بیزی شواهد قوی (احتمال پسین > ۰.۹۸؛ عوامل بیز = ۲۸.۱–۳۶.۴) را نشان دادند. یافته‌های کیفی این نتایج را تأیید کردند و افزایش ظرفیت معلمان برای طراحی تکالیف مرتبط با فرهنگ و بهبود مشارکت و تأیید هویت دانش‌آموزان را برجسته ساختند. این پژوهش راهنمایی مبتنی بر شواهد برای استعمارزدایی ارزشیابی STEM در زمینه‌های چندزبانه و محروم ارائه می‌دهد.