empirical validity

The validity of assessment instruments is a crucial aspect in ensuring the quality of learning evaluations in Islamic Religious Education (PAI). However, there are still evaluation instruments that are developed without considering the alignment of indicators, constructs, and measurement objectives, which may result in inaccurate data. This study aims to examine the concepts, types, testing procedures, and methods for determining the validity of assessment instruments through a literature review. The method used is library research with a descriptive qualitative approach. Data were obtained from various books, scientific journals, and relevant documents, and then analyzed descriptively. The results of the study indicate that the validity of an instrument encompasses logical validity and empirical validity, which complement each other in ensuring the accuracy of measurements. Validity testing was conducted systematically through construct definition, development of a test blueprint, expert validation, instrument pilot testing, and statistical analysis. A valid instrument is capable of producing data that is accurate, credible, and supports sound educational decision-making.

This study aims to analyze the characteristics of Science, Technology, Engineering, and Mathematics (STEM) concepts integrated into literacy and science assessment based on the standards of the Programme for International Student Assessment (PISA), as well as to develop a contextual and applicable assessment design appropriate to the characteristics of students at SMP PGRI 5 Denpasar. The study employed a mixed-methods approach with an exploratory sequential design. The participants consisted of 116 students and 6 teachers. Data were collected through observations, interviews, document analysis, questionnaires, and expert validation. Data analysis involved qualitative analysis, the Gregory validity index, empirical validity, and instrument reliability analysis. The findings indicate that STEM-PISA assessment characteristics include the use of contextual stimuli based on real-world problems, the utilization of data and graphs, higher-order reasoning, cross-disciplinary integration, varied response formats, and assessment of thinking processes. The developed assessment design integrates science, technology, engineering, and mathematics through authentic contexts, data literacy, problem-solving, and assessment rubrics. Students’ perceptions obtained a mean score of 3.96, while teachers’ perceptions reached 4.42 on a five-point scale, indicating that the assessment design was considered relevant and acceptable for supporting contextual learning and assessment.

هدف این پژوهش تحلیل ویژگی‌های مفاهیم علوم، فناوری، مهندسی و ریاضیات (STEM) ادغام‌شده در ارزشیابی سواد و علوم بر اساس استانداردهای برنامه ارزیابی بین‌المللی دانش‌آموزان (PISA) و همچنین توسعه یک طرح ارزشیابی زمینه‌محور و کاربردی متناسب با ویژگی‌های دانش‌آموزان دبیرستان PGRI 5 دنپاسار است. این پژوهش با رویکرد روش‌های ترکیبی و با طرح توالی اکتشافی انجام شد. شرکت‌کنندگان شامل ۱۱۶ دانش‌آموز و ۶ معلم بودند. داده‌ها از طریق مشاهده، مصاحبه، تحلیل اسناد، پرسشنامه و اعتبارسنجی خبرگان گردآوری شد. تحلیل داده‌ها شامل تحلیل کیفی، شاخص روایی Gregory، روایی تجربی و تحلیل پایایی ابزار بود. یافته‌ها نشان می‌دهد که ویژگی‌های ارزشیابی STEM-PISA شامل استفاده از محرک‌های زمینه‌ای مبتنی بر مسائل واقعی، بهره‌گیری از داده‌ها و نمودارها، استدلال سطوح بالاتر، ادغام میان‌رشته‌ای، قالب‌های پاسخ متنوع و ارزشیابی فرایندهای تفکر است. طرح ارزشیابی توسعه‌یافته، علوم، فناوری، مهندسی و ریاضیات را از طریق زمینه‌های اصیل، سواد داده، حل مسئله و روبریک‌های ارزشیابی ادغام می‌کند. میانگین نمره ادراک دانش‌آموزان ۳.۹۶ و ادراک معلمان ۴.۴۲ در مقیاس پنج‌درجه‌ای به دست آمد که نشان‌دهنده مرتبط و قابل قبول بودن طرح ارزشیابی برای حمایت از یادگیری و ارزشیابی زمینه‌محور است.