test development

Background-This study addresses the persistently low pass rate on the Teacher Professional Education Competency Exam (UKP-PPG) among prospective science teachers in Indonesia. This low pass rate has been largely attributed to inadequate preparation and limited mastery of the subject matter. Objective-The study aims to develop a valid, reliable, and feasible pilot test (TO) as an evaluation tool to assess the readiness of prospective science teachers prior to taking the UKP-PPG. Method-Using a research and development approach based on the ADDIE framework, this study involved 857 participants with diverse demographic and occupational backgrounds, including gender and province as demographic data, and teaching level as occupational data. The researchers developed 35 items underwent psychometric analysis covering validity, reliability, difficulty level, discrimination power, and distractor effectiveness (DE). Results-Results indicated 20 valid items (α = 0.793, high reliability), with difficulty levels dominated by the easy category and varied DE across items. Furthermore, 61.6% of participants achieved high scores. Conclusion-These findings confirm that the developed TO instrument possesses high psychometric quality and is suitable for use as a diagnostic tool to accurately and reliably measure the readiness of prospective science teachers.

زمینه: این پژوهش به نرخ پایین قبولی مداوم در آزمون شایستگی آموزش حرفه‌ای معلمان (UKP-PPG) در میان داوطلبان معلمی علوم در اندونزی می‌پردازد. این نرخ پایین قبولی عمدتاً به آمادگی ناکافی و تسلط محدود بر محتوای درسی نسبت داده می‌شود. هدف: هدف این پژوهش توسعه یک آزمون آزمایشی (TO) معتبر، پایا و امکان‌پذیر به عنوان ابزاری برای ارزیابی آمادگی داوطلبان معلمی علوم پیش از شرکت در UKP-PPG است. روش: با استفاده از رویکرد پژوهش و توسعه مبتنی بر چارچوب ADDIE، این مطالعه با مشارکت ۸۵۷ نفر با پیشینه‌های جمعیت‌شناختی و شغلی متنوع، از جمله جنسیت و استان به عنوان داده‌های جمعیت‌شناختی و سطح تدریس به عنوان داده‌های شغلی انجام شد. پژوهشگران ۳۵ گویه طراحی کردند که مورد تحلیل روان‌سنجی از جمله روایی، پایایی، سطح دشواری، قدرت تمییز و اثربخشی گزینه‌های انحرافی (DE) قرار گرفتند. یافته‌ها: نتایج نشان داد که ۲۰ گویه معتبر (α = 0.793، پایایی بالا) هستند، سطوح دشواری عمدتاً در دسته آسان قرار داشتند و اثربخشی گزینه‌های انحرافی در گویه‌ها متفاوت بود. همچنین، ۶۱.۶٪ از شرکت‌کنندگان نمرات بالایی کسب کردند. نتیجه‌گیری: این یافته‌ها تأیید می‌کند که ابزار TO توسعه‌یافته از کیفیت روان‌سنجی بالایی برخوردار است و به عنوان ابزاری تشخیصی برای سنجش دقیق و پایای آمادگی داوطلبان معلمی علوم مناسب است.