item difficulty

Evaluation and assessment are integral components of modern biology education, serving not only to measure final learning outcomes but also to support continuous learning processes. This study aims to provide a comprehensive overview of the relationship among assessment instrument development, assessment result analysis, and biology teacher competence. A literature review method with a qualitative descriptive approach was employed. Data collection involved analyzing scientific articles published between 2020 and 2025 from various databases, including Google Scholar, ScienceDirect, and ERIC. The findings indicate that: (1) biology assessment instrument development currently focuses on measuring complex competencies, such as scientific literacy, higher-order thinking skills (HOTS), and genetic literacy; (2) the analysis of assessment results through validity, reliability, item difficulty, discrimination power, and distractor effectiveness is crucial to ensuring item quality; and (3) biology teachers play a strategic role encompassing conceptual, practical, and socio-emotional assessment literacy to design, implement, interpret, and utilize assessment results as a basis for feedback and instructional improvement. In conclusion, the integration of valid instruments, systematic item analysis, and adequate teacher assessment literacy is key to achieving quality biology education oriented toward holistic student competency development.

ارزیابی و سنجش از اجزای جدایی‌ناپذیر آموزش زیست‌شناسی مدرن به‌شمار می‌روند که نه‌تنها برای سنجش نتایج نهایی یادگیری بلکه برای حمایت از فرآیندهای یادگیری مستمر نیز به‌کار می‌روند. هدف این پژوهش ارائه مروری جامع بر ارتباط میان توسعه ابزارهای سنجش، تحلیل نتایج ارزشیابی و شایستگی معلمان زیست‌شناسی است. روش پژوهش مرور متون با رویکرد توصیفی-کیفی بوده است. گردآوری داده‌ها از طریق تحلیل مقالات علمی منتشرشده بین سال‌های 2020 تا 2025 از پایگاه‌های مختلف از جمله Google Scholar، ScienceDirect و ERIC انجام شده است. یافته‌ها نشان می‌دهد: (1) توسعه ابزارهای سنجش زیست‌شناسی در حال حاضر بر سنجش شایستگی‌های پیچیده‌ای مانند سواد علمی، مهارت‌های تفکر سطح‌بالا (HOTS) و سواد ژنتیکی متمرکز است؛ (2) تحلیل نتایج ارزشیابی از طریق روایی، پایایی، دشواری سؤال، قدرت تمایز و اثربخشی گزینه‌های انحرافی برای تضمین کیفیت سؤال‌ها حیاتی است؛ و (3) معلمان زیست‌شناسی نقش راهبردی دربرگیرنده سواد ارزشیابی مفهومی، عملی و اجتماعی-هیجانی دارند تا بتوانند نتایج ارزشیابی را طراحی، اجرا، تفسیر و به‌عنوان مبنایی برای بازخورد و بهبود آموزشی به‌کار گیرند. در نتیجه، ادغام ابزارهای معتبر، تحلیل نظام‌مند سؤال‌ها و سواد ارزشیابی کافی معلمان، کلید دستیابی به آموزش زیست‌شناسی باکیفیت و مبتنی بر توسعه شایستگی جامع دانش‌آموزان است.

Background External ventricular drainage (EVD) is an important intervention in the management of patients with severe neurological conditions, and standardized nursing care is essential for preventing complications and ensuring patient safety. Nurses’ knowledge of recommended EVD care practices is an important foundation for safe and evidence-based care. However, existing instruments for assessing EVD-related nursing knowledge are often lengthy or have limited psychometric validation, which may restrict their use in routine clinical assessment and large-scale training. Therefore, a brief, reliable, and psychometrically robust instrument is needed to efficiently assess nurses’ knowledge of EVD care practices and identify areas requiring targeted education. Aim To translate and culturally adapt the Short Knowledge Test to Evaluate Awareness of External Ventricular Drain Care Practices and evaluate its psychometric properties among Chinese nurses using the Rasch model, thereby providing a reliable tool for the rapid assessment of nurses’ self-reported knowledge of recommended EVD care practices and the identification of targeted training needs. Method The original scale was translated and culturally adapted into Chinese using the Brislin forward–backward translation method, resulting in the Chinese version of the Short Knowledge Test to Evaluate Awareness of External Ventricular Drain Care Practices (C-SKT-EVD). A cross-sectional survey was conducted among clinical nurses recruited from First Affiliated Hospital of Jinzhou Medical University, Liaoning Province, mainland China. 242 valid participants included in the final analysis. Descriptive statistics were performed using SPSS version 26.0, and the psychometric properties of the scale were evaluated using the Rasch Rating Scale Model in Winsteps version 3.72.3, focusing on unidimensionality, item fit, category functioning, item–person distribution, test information function, separation indices and reliability, and differential item functioning (DIF). Results The empirical variance explained by the measures was 55.1%, and the eigenvalue of the first contrast was 1.4, supporting the unidimensionality of the C-SKT-EVD. The Infit mean-square (MNSQ) values for the seven items ranged from 0.94 to 1.16, while the Outfit MNSQ values ranged from 0.94 to 1.07, all indicating acceptable fit to the Rasch model. The point-measure correlation coefficients (PT-Measure Corr.) ranged from 0.63 to 0.70, suggesting good alignment between the items and the underlying latent construct. The observed average measures across the five rating categories increased monotonically, and the category thresholds were ordered sequentially. The category probability curves also showed clearly defined peaks, indicating that the rating categories functioned well and that no category collapsing was required. The item difficulty distribution was generally well matched to the respondents’ levels of self-reported EVD care knowledge, and the test information function indicated higher measurement precision around the average level of the measured construct, with relatively less information provided for respondents with extremely high or low levels of the latent trait. Conclusion The C-SKT-EVD demonstrated generally acceptable Rasch measurement properties in the present sample of Chinese nurses, providing preliminary evidence for its use as a brief screening and educational assessment tool for self-reported knowledge of recommended EVD care practices. However, these findings do not establish comprehensive validity or objective clinical competence. Further multicenter studies in diverse nursing populations are needed to confirm its broader applicability.

زمینه: درناژ بطنی خارجی (EVD) یک مداخله مهم در مدیریت بیماران با شرایط شدید نورولوژیک است و مراقبت پرستاری استاندارد برای پیشگیری از عوارض و تضمین ایمنی بیمار ضروری است. دانش پرستاران درباره مراقبت‌های توصیه‌شده EVD، پایه‌ای مهم برای مراقبت ایمن و مبتنی بر شواهد به‌شمار می‌رود. با این حال، ابزارهای موجود برای سنجش دانش پرستاری مرتبط با EVD اغلب طولانی یا دارای روایی و پایایی روان‌سنجی محدودی هستند که ممکن است استفاده از آن‌ها را در ارزیابی‌های بالینی روتین و آموزش‌های وسیع محدود کند. بنابراین، وجود ابزاری کوتاه، پایا و دارای ویژگی‌های روان‌سنجی قوی برای سنجش کارآمد دانش پرستاران درباره مراقبت‌های EVD و شناسایی حوزه‌های نیازمند آموزش هدفمند ضروری است. هدف: ترجمه و بومی‌سازی فرهنگی آزمون کوتاه دانش برای ارزیابی آگاهی از مراقبت‌های درناژ بطنی خارجی و ارزیابی ویژگی‌های روان‌سنجی آن در میان پرستاران چینی با استفاده از مدل Rasch، به‌منظور ارائه ابزاری پایا برای ارزیابی سریع دانش خودگزارشی پرستاران از مراقبت‌های توصیه‌شده EVD و شناسایی نیازهای آموزشی هدفمند. روش: مقیاس اصلی با استفاده از روش ترجمه پیشرو–پسرو Brislin به زبان چینی ترجمه و بومی‌سازی فرهنگی شد و نسخه چینی آزمون کوتاه دانش برای ارزیابی آگاهی از مراقبت‌های درناژ بطنی خارجی (C-SKT-EVD) حاصل گردید. یک مطالعه مقطعی در میان پرستاران بالینی شاغل در بیمارستان وابسته اول دانشگاه علوم پزشکی Jinzhou، استان لیائونینگ، چین انجام شد. ۲۴۲ شرکت‌کننده معتبر در تحلیل نهایی وارد شدند. آمار توصیفی با استفاده از SPSS نسخه ۲۶.۰ انجام شد و ویژگی‌های روان‌سنجی مقیاس با مدل Rasch Rating Scale در نرم‌افزار Winsteps نسخه ۳.۷۲.۳ ارزیابی گردید و بر یک‌بعدی بودن، برازش ماده، عملکرد دسته‌بندی، توزیع ماده–فرد، تابع اطلاعات آزمون، شاخص‌های جداسازی و پایایی، و عملکرد افتراقی ماده (DIF) تمرکز شد. نتایج: واریانس تجربی تبیین‌شده توسط اندازه‌گیری‌ها ۵۵.۱٪ بود و مقدار ویژه اولین کنتراست ۱.۴ به‌دست آمد که یک‌بعدی بودن C-SKT-EVD را تأیید می‌کند. مقادیر Infit میانگین مربع (MNSQ) برای هفت ماده بین ۰.۹۴ تا ۱.۱۶ و مقادیر Outfit MNSQ بین ۰.۹۴ تا ۱.۰۷ بود که همگی برازش قابل قبول به مدل Rasch را نشان می‌دهند. ضرایب همبستگی نقطه–اندازه‌گیری (PT-Measure Corr.) بین ۰.۶۳ تا ۰.۷۰ بود که هم‌راستایی خوب مواد با سازه نهفته را نشان می‌دهد. میانگین اندازه‌گیری مشاهده‌شده در پنج دسته‌بندی امتیازدهی به‌صورت یکنواخت افزایش یافت و آستانه‌های دسته‌بندی به‌ترتیب مرتب بودند. منحنی‌های احتمال دسته‌بندی نیز اوج‌های مشخصی داشتند که نشان‌دهنده عملکرد مناسب دسته‌بندی‌ها و عدم نیاز به ادغام دسته‌ها بود. توزیع دشواری مواد به‌طور کلی با سطح دانش خودگزارشی مراقبت EVD پاسخ‌دهندگان تطابق داشت و تابع اطلاعات آزمون دقت اندازه‌گیری بالاتری را در سطح متوسط سازه اندازه‌گیری‌شده نشان داد، در حالی که برای پاسخ‌دهندگان با سطوح بسیار بالا یا پایین ویژگی نهفته، اطلاعات نسبتاً کمتری فراهم شد. نتیجه‌گیری: C-SKT-EVD در نمونه حاضر از پرستاران چینی ویژگی‌های اندازه‌گیری Rasch قابل قبولی را نشان داد و شواهد اولیه‌ای برای استفاده از آن به‌عنوان ابزار غربالگری و ارزیابی آموزشی کوتاه برای دانش خودگزارشی مراقبت‌های توصیه‌شده EVD فراهم کرد. با این حال، این یافته‌ها روایی جامع یا شایستگی بالینی عینی را اثبات نمی‌کند. مطالعات چندمرکزی بیشتر در جمعیت‌های متنوع پرستاری برای تأیید کاربرد وسیع‌تر آن مورد نیاز است.

Background-This study addresses the persistently low pass rate on the Teacher Professional Education Competency Exam (UKP-PPG) among prospective science teachers in Indonesia. This low pass rate has been largely attributed to inadequate preparation and limited mastery of the subject matter. Objective-The study aims to develop a valid, reliable, and feasible pilot test (TO) as an evaluation tool to assess the readiness of prospective science teachers prior to taking the UKP-PPG. Method-Using a research and development approach based on the ADDIE framework, this study involved 857 participants with diverse demographic and occupational backgrounds, including gender and province as demographic data, and teaching level as occupational data. The researchers developed 35 items underwent psychometric analysis covering validity, reliability, difficulty level, discrimination power, and distractor effectiveness (DE). Results-Results indicated 20 valid items (α = 0.793, high reliability), with difficulty levels dominated by the easy category and varied DE across items. Furthermore, 61.6% of participants achieved high scores. Conclusion-These findings confirm that the developed TO instrument possesses high psychometric quality and is suitable for use as a diagnostic tool to accurately and reliably measure the readiness of prospective science teachers.

زمینه: این پژوهش به نرخ پایین قبولی مداوم در آزمون شایستگی آموزش حرفه‌ای معلمان (UKP-PPG) در میان داوطلبان معلمی علوم در اندونزی می‌پردازد. این نرخ پایین قبولی عمدتاً به آمادگی ناکافی و تسلط محدود بر محتوای درسی نسبت داده می‌شود. هدف: هدف این پژوهش توسعه یک آزمون آزمایشی (TO) معتبر، پایا و امکان‌پذیر به عنوان ابزاری برای ارزیابی آمادگی داوطلبان معلمی علوم پیش از شرکت در UKP-PPG است. روش: با استفاده از رویکرد پژوهش و توسعه مبتنی بر چارچوب ADDIE، این مطالعه با مشارکت ۸۵۷ نفر با پیشینه‌های جمعیت‌شناختی و شغلی متنوع، از جمله جنسیت و استان به عنوان داده‌های جمعیت‌شناختی و سطح تدریس به عنوان داده‌های شغلی انجام شد. پژوهشگران ۳۵ گویه طراحی کردند که مورد تحلیل روان‌سنجی از جمله روایی، پایایی، سطح دشواری، قدرت تمییز و اثربخشی گزینه‌های انحرافی (DE) قرار گرفتند. یافته‌ها: نتایج نشان داد که ۲۰ گویه معتبر (α = 0.793، پایایی بالا) هستند، سطوح دشواری عمدتاً در دسته آسان قرار داشتند و اثربخشی گزینه‌های انحرافی در گویه‌ها متفاوت بود. همچنین، ۶۱.۶٪ از شرکت‌کنندگان نمرات بالایی کسب کردند. نتیجه‌گیری: این یافته‌ها تأیید می‌کند که ابزار TO توسعه‌یافته از کیفیت روان‌سنجی بالایی برخوردار است و به عنوان ابزاری تشخیصی برای سنجش دقیق و پایای آمادگی داوطلبان معلمی علوم مناسب است.

Keterampilan pemecahan masalah merupakan kompetensi esensial dalam pembelajaran abad ke-21 yang selaras dengan Sustainable Development Goal 4 tentang pendidikan berkualitas dan dapat dilatihkan melalui soal Higher Order Thinking Skills (HOTS). Namun, hingga saat ini belum terdapat instrumen soal HOTS terstandar yang secara spesifik untuk mengukur keterampilan pemecahan masalah pada submateri transport membran. Penelitian ini bertujuan menghasilkan instrumen soal HOTS untuk mengukur keterampilan pemecahan masalah pada submateri transport membran. Penelitian ini merupakan Research & Development dengan model 4D dan dilaksanakan di SMA Negeri 2 Lamongan dengan subjek siswa kelas XI IPA. Teknik pengumpulan data meliputi studi kepustakaan, validasi ahli dan uji coba terbatas. Analisis data meliputi uji validitas, reliabilitas, tingkat kesukaran, daya beda serta analisis ketercapaian indikator pemecahan masalah berdasarkan IDEAL. Penelitian ini menghasilkan dua set instrumen soal HOTS untuk mengukur keterampilan pemecahan masalah siswa pada submateri transport membran. Kedua set instrumen yang dikembangkan dinyatakan valid secara teoritis dan mayoritas butir soal valid secara empiris, serta reliabilitas yang tinggi. Tingkat kesukaran didominasi kategori sedang dan daya beda baik hingga sangat baik. Analisis ketercapaian indikator keterampilan pemecahan masalah menunjukkan bahwa kemampuan siswa berada pada kategori cukup, dengan indikator identify problem sebagai capaian tertinggi dan anticipate outcomes & act sebagai capaian terendah. Berdasarkan hasil tersebut, instrumen soal HOTS yang dikembangkan dinyatakan layak digunakan untuk mengukur keterampilan pemecahan masalah siswa pada submateri transport membran sebagai upaya mendukung pencapaian pendidikan berkualitas. Kata Kunci: instrumen soal, HOTS, keterampilan pemecahan masalah, transport membran, pendidikan berkualitas. Abstract Problem-solving skills are an essential competency in 21st-century learning that aligns with Sustainable Development Goal 4 on quality education and can be developed through Higher Order Thinking Skills (HOTS) questions. However, to date, there has been no standardized HOTS question instrument specifically designed to measure problem-solving skills in the subtopic of membrane transport. This study aims to develop a HOTS question instrument to measure problem-solving skills in the sub-topic of membrane transport. This study is a Research & Development project using the 4D model and was conducted at SMA Negeri 2 Lamongan with 11th-grade science students as the subjects. Data collection techniques included a literature review, expert validation, and a pilot test. Data analysis included validity and reliability tests, difficulty level assessment, discriminative power, and an analysis of problem-solving indicator achievement based on the IDEAL framework. This study produced two sets of HOTS test instruments to measure students’ problem-solving skills in the membrane transport subtopic. Both sets of instruments developed were found to be theoretically valid, with the majority of test items empirically valid, and demonstrated high reliability. The difficulty level was predominantly in the moderate category, and the discriminative power ranged from good to very good. Analysis of the achievement of problem-solving skill indicators showed that students’ abilities fell into the adequate category, with the “identify problem” indicator as the highest achievement and “anticipate outcomes & act” as the lowest. Based on these results, the developed HOTS test instruments were deemed suitable for measuring students’ problem-solving skills in the membrane transport subtopic as an effort to support the achievement of quality education. Keywords: test instruments, HOTS, problem-solving skills, membrane transport, quality education.

مهارت‌های حل مسئله یکی از شایستگی‌های اساسی در یادگیری قرن بیست و یکم است که با هدف چهارم توسعه پایدار درباره آموزش با کیفیت همسو بوده و می‌تواند از طریق سؤالات مهارت‌های تفکر سطوح بالاتر (HOTS) آموزش داده شود. با این حال، تاکنون ابزار سنجش سؤالات HOTS استاندارد شده‌ای که به طور خاص برای اندازه‌گیری مهارت‌های حل مسئله در زیرمبحث انتقال غشاء طراحی شده باشد، وجود نداشته است. هدف این پژوهش، تولید ابزار سنجش سؤالات HOTS برای اندازه‌گیری مهارت‌های حل مسئله در زیرمبحث انتقال غشاء است. این پژوهش از نوع تحقیق و توسعه (Research & Development) با استفاده از مدل 4D بوده و در دبیرستان دولتی شماره ۲ لامونگان با شرکت دانش‌آموزان پایه یازدهم رشته علوم تجربی انجام شده است. روش‌های گردآوری داده‌ها شامل مطالعه کتابخانه‌ای، اعتبارسنجی توسط خبرگان و آزمون آزمایشی محدود بوده است. تحلیل داده‌ها شامل آزمون روایی و پایایی، سنجش سطح دشواری، قدرت تمایز و تحلیل میزان تحقق شاخص‌های حل مسئله بر اساس چارچوب IDEAL بوده است. این پژوهش دو مجموعه ابزار سنجش سؤالات HOTS برای اندازه‌گیری مهارت‌های حل مسئله دانش‌آموزان در زیرمبحث انتقال غشاء تولید کرده است. هر دو مجموعه ابزار توسعه‌یافته از نظر نظری معتبر و اکثریت سؤالات از نظر تجربی دارای روایی بوده و پایایی بالایی نشان دادند. سطح دشواری عمدتاً در دسته متوسط قرار داشت و قدرت تمایز از خوب تا بسیار خوب متغیر بود. تحلیل تحقق شاخص‌های مهارت حل مسئله نشان داد که توانایی دانش‌آموزان در دسته کافی قرار دارد، به طوری که شاخص «شناسایی مسئله» بالاترین و شاخص «پیش‌بینی پیامدها و اقدام» پایین‌ترین میزان تحقق را داشتند. بر اساس این نتایج، ابزار سنجش سؤالات HOTS توسعه‌یافته برای اندازه‌گیری مهارت‌های حل مسئله دانش‌آموزان در زیرمبحث انتقال غشاء مناسب تشخیص داده شد و می‌تواند به عنوان تلاشی برای حمایت از تحقق آموزش با کیفیت مورد استفاده قرار گیرد.

Students’ understanding of atomistic concepts remains a central challenge in chemistry education, specifically because it requires the articulation between macroscopic, submicroscopic, and symbolic representations. This study assessed Moroccan upper secondary students’ understanding of atomistic concepts, combined with the investigation of learning practices associated with their scores. The instrument (32 items) showed satisfactory internal consistency, strong item discrimination, and appropriate range of item difficulty. Students’ scores were moderate, with significant differences by grade level and academic track, digital tool, tutoring type, and selfassessment. Exploratory factor analysis suggested a three-dimensional construct involving structural representations and quantitative chemistry, ionic classification and nomenclature, and fundamental atomic concepts. The study findings support the use of diagnostic assessment to identify students’ misconceptions about atomistic concepts.

درک دانش‌آموزان از مفاهیم اتمیستیک همچنان یکی از چالش‌های اساسی در آموزش شیمی است، به‌ویژه به این دلیل که مستلزم پیوند میان بازنمایی‌های ماکروسکوپی، زیرمیکروسکوپی و نمادین می‌باشد. این پژوهش به ارزیابی درک دانش‌آموزان دبیرستانی مراکشی از مفاهیم اتمیستیک، همراه با بررسی شیوه‌های یادگیری مرتبط با نمرات آن‌ها پرداخت. ابزار مورد استفاده (۳۲ گویه) از نظر پایایی درونی رضایت‌بخش، قدرت تمایز گویه‌ها بالا و دامنه مناسبی از دشواری گویه‌ها برخوردار بود. نمرات دانش‌آموزان در حد متوسط بود و تفاوت معناداری بر اساس پایه تحصیلی و رشته تحصیلی، ابزار دیجیتال، نوع آموزش تکمیلی و خودارزیابی مشاهده شد. تحلیل عاملی اکتشافی، ساختاری سه‌بعدی را پیشنهاد داد که شامل بازنمایی‌های ساختاری و شیمی کمی، طبقه‌بندی و نام‌گذاری یونی و مفاهیم بنیادی اتمی می‌شود. یافته‌های پژوهش از کاربرد ارزیابی تشخیصی برای شناسایی تصورات نادرست دانش‌آموزان درباره مفاهیم اتمیستیک حمایت می‌کند.