instrument development

Introduction: Registered dietitians (RDs) are frequently asked to provide guidance and expertise on dietary supplements; however, few assessment tools are available to objectively evaluate their knowledge in this area. A standardized instrument may help identify educational gaps and support the development of supplement-related competencies within dietetics education and practice. Methods: The 25-item Dietary Supplement Knowledge Assessment Tool for Registered Dietitians (DSKAT-RD) was developed to assess key areas of dietary supplement knowledge, including safety, efficacy, regulation, quality, and evidence-based research. Twelve subject-matter experts independently rated the relevance of each item on a 4-point scale. Item-Level Content Validity Index (I-CVI) values were calculated, with ratings of 3 or 4 considered content valid and ≥0.78 considered acceptable. Quantitative ratings and qualitative feedback guided revisions for clarity, accuracy, relevance, and response-option quality. Revised items were reviewed by a 3-member expert subgroup until consensus was reached. Results: Expert review demonstrated high content validity for the DSKAT-RD. Item-level Content Validity Index (I-CVI) values ranged from 0.75 to 1.00, with 24 of 25 items (96%) meeting the predefined acceptability criterion of ≥0.78. Nineteen items (76%) achieved an I-CVI of 1.00, and the Scale-Level Content Validity Index using the average method (S-CVI/Ave) was 0.97. Six items underwent additional review and revision based on quantitative ratings and qualitative expert feedback related to wording, response options, scientific or regulatory accuracy, and content alignment. Following secondary review by three subject-matter experts, all 25 items were retained in the final instrument. Conclusions: The DSKAT-RD demonstrated strong evidence of content validity and provides a structured method for assessing dietary supplement knowledge among RDs.

Despite growing international recognition of supervisory leadership as a mechanism for improving teaching quality, many primary schools in Northeastern Thailand—particularly those in rural, resource-constrained areas—continue to experience unclear supervisory systems, inconsistent implementation, and insufficient follow-up on teacher development, and no synthesized framework of supervisory leadership has yet been empirically examined for this context. This research aimed to: (1) investigate the components and indicators of supervisory leadership (SL) among primary school administrators in Northeastern Thailand, and (2) examine the goodness-of-fit of the resulting component and indicator model against empirical data. An Exploratory Sequential Mixed Methods design (instrument-development model) was employed, in which qualitative findings from Phase 1 directly informed (built) the quantitative instrument tested in Phase 2. Phase 1 comprised a narrative document synthesis and semi-structured interviews with nine purposively selected experts. Phase 2 collected quantitative data from 680 school administrators and academic teachers across 340 schools using multi-stage random sampling. The instrument was a five-point Likert scale questionnaire with a reliability coefficient (Cronbach’s α) of 0.93. Data were analyzed using second-order confirmatory factor analysis (CFA) with maximum-likelihood estimation. Results supported a five-component, 15-indicator structure of SL: (1) Curriculum and Instructional Management (β = 0.946), (2) Positive Communication (β = 0.918), (3) Decision-Making Ability (β = 0.913), (4) Supervision Evaluation and Assessment (β = 0.904), and (5) Teacher Professional Development (β = 0.884). The final, modification-index-guided model showed a favorable fit to the sample covariance structure (χ² = 95.693, df = 82, p = .143, χ²/df = 1.167, RMSEA = 0.016, SRMR = 0.014, CFI = 0.999, TLI = 0.999); this fit, however, should be read together with several disclosed caveats—non-normal item distributions, a ceiling effect, unmodeled clustering from the two-respondents-per-school sampling design, and reliance on a maximum-likelihood estimator not fully robust to these conditions (Sect. 6.3 )—which qualify how strongly it can be taken as evidence of the model’s robustness. Within these limits, the findings support supervisory leadership as a multidimensional competency integrating interpersonal, academic-administrative, and professional-development dimensions in this sample and context. The five-component structure is one empirically supported configuration among several conceptualizations of supervisory leadership documented in the international literature, rather than an exhaustive account of the construct, and its transferability beyond Northeastern Thailand remains a hypothesis for future replication.

علی‌رغم افزایش شناخت بین‌المللی نسبت به رهبری نظارتی به عنوان سازوکاری برای ارتقاء کیفیت آموزش، بسیاری از مدارس ابتدایی در شمال‌شرقی تایلند—به‌ویژه در مناطق روستایی و کم‌منبع—همچنان با نظام‌های نظارتی نامشخص، اجرای ناسازگار و پیگیری ناکافی توسعه معلمان مواجه هستند و تاکنون هیچ چارچوب تلفیقی از رهبری نظارتی به طور تجربی برای این زمینه مورد بررسی قرار نگرفته است. هدف این پژوهش عبارت بود از: (1) شناسایی مؤلفه‌ها و شاخص‌های رهبری نظارتی (SL) در میان مدیران مدارس ابتدایی در شمال‌شرقی تایلند و (2) بررسی برازش مدل مؤلفه‌ها و شاخص‌های حاصل با داده‌های تجربی. این پژوهش از طرح آمیخته اکتشافی متوالی (مدل توسعه ابزار) بهره برد که در آن یافته‌های کیفی مرحله اول به طور مستقیم ابزار کمی مرحله دوم را شکل داد. مرحله اول شامل سنتز اسناد روایی و مصاحبه‌های نیمه‌ساختاریافته با نه نفر از خبرگان منتخب هدفمند بود. در مرحله دوم، داده‌های کمی از ۶۸۰ مدیر مدرسه و معلم آموزشی در ۳۴۰ مدرسه با نمونه‌گیری تصادفی چندمرحله‌ای گردآوری شد. ابزار پژوهش پرسشنامه‌ای با مقیاس لیکرت پنج‌درجه‌ای و ضریب پایایی (آلفای کرونباخ) ۰.۹۳ بود. داده‌ها با استفاده از تحلیل عاملی تأییدی مرتبه دوم (CFA) با برآورد حداکثر درست‌نمایی تحلیل شدند. نتایج از ساختار پنج‌مؤلفه‌ای و ۱۵ شاخصی رهبری نظارتی حمایت کردند: (1) مدیریت برنامه درسی و آموزشی (β = 0.946)، (2) ارتباط مثبت (β = 0.918)، (3) توانایی تصمیم‌گیری (β = 0.913)، (4) ارزیابی و سنجش نظارتی (β = 0.904)، و (5) توسعه حرفه‌ای معلمان (β = 0.884). مدل نهایی که با شاخص اصلاح هدایت شد، برازش مطلوبی با ساختار کوواریانس نمونه نشان داد (χ² = 95.693، df = 82، p = .143، χ²/df = 1.167، RMSEA = 0.016، SRMR = 0.014، CFI = 0.999، TLI = 0.999)؛ با این حال، این برازش باید همراه با چند محدودیت افشا شده—توزیع غیرنرمال گویه‌ها، اثر سقف، خوشه‌بندی مدل‌نشده ناشی از طرح نمونه‌گیری دو پاسخ‌دهنده در هر مدرسه، و اتکا به برآوردگر حداکثر درست‌نمایی که به طور کامل نسبت به این شرایط مقاوم نیست (بخش ۶.۳)—تفسیر شود که میزان استحکام مدل را مشروط می‌کند. در این چارچوب، یافته‌ها از رهبری نظارتی به عنوان یک شایستگی چندبعدی که ابعاد بین‌فردی، علمی-اداری و توسعه حرفه‌ای را در این نمونه و زمینه ادغام می‌کند، حمایت می‌کنند. ساختار پنج‌مؤلفه‌ای یکی از پیکربندی‌های تجربی تأیید شده در میان چندین مفهوم‌پردازی رهبری نظارتی در ادبیات بین‌المللی است و نه شرحی جامع از این سازه؛ همچنین قابلیت تعمیم آن فراتر از شمال‌شرقی تایلند فرضیه‌ای برای تکرارهای آتی است.

Evaluation and assessment are integral components of modern biology education, serving not only to measure final learning outcomes but also to support continuous learning processes. This study aims to provide a comprehensive overview of the relationship among assessment instrument development, assessment result analysis, and biology teacher competence. A literature review method with a qualitative descriptive approach was employed. Data collection involved analyzing scientific articles published between 2020 and 2025 from various databases, including Google Scholar, ScienceDirect, and ERIC. The findings indicate that: (1) biology assessment instrument development currently focuses on measuring complex competencies, such as scientific literacy, higher-order thinking skills (HOTS), and genetic literacy; (2) the analysis of assessment results through validity, reliability, item difficulty, discrimination power, and distractor effectiveness is crucial to ensuring item quality; and (3) biology teachers play a strategic role encompassing conceptual, practical, and socio-emotional assessment literacy to design, implement, interpret, and utilize assessment results as a basis for feedback and instructional improvement. In conclusion, the integration of valid instruments, systematic item analysis, and adequate teacher assessment literacy is key to achieving quality biology education oriented toward holistic student competency development.

ارزیابی و سنجش از اجزای جدایی‌ناپذیر آموزش زیست‌شناسی مدرن به‌شمار می‌روند که نه‌تنها برای سنجش نتایج نهایی یادگیری بلکه برای حمایت از فرآیندهای یادگیری مستمر نیز به‌کار می‌روند. هدف این پژوهش ارائه مروری جامع بر ارتباط میان توسعه ابزارهای سنجش، تحلیل نتایج ارزشیابی و شایستگی معلمان زیست‌شناسی است. روش پژوهش مرور متون با رویکرد توصیفی-کیفی بوده است. گردآوری داده‌ها از طریق تحلیل مقالات علمی منتشرشده بین سال‌های 2020 تا 2025 از پایگاه‌های مختلف از جمله Google Scholar، ScienceDirect و ERIC انجام شده است. یافته‌ها نشان می‌دهد: (1) توسعه ابزارهای سنجش زیست‌شناسی در حال حاضر بر سنجش شایستگی‌های پیچیده‌ای مانند سواد علمی، مهارت‌های تفکر سطح‌بالا (HOTS) و سواد ژنتیکی متمرکز است؛ (2) تحلیل نتایج ارزشیابی از طریق روایی، پایایی، دشواری سؤال، قدرت تمایز و اثربخشی گزینه‌های انحرافی برای تضمین کیفیت سؤال‌ها حیاتی است؛ و (3) معلمان زیست‌شناسی نقش راهبردی دربرگیرنده سواد ارزشیابی مفهومی، عملی و اجتماعی-هیجانی دارند تا بتوانند نتایج ارزشیابی را طراحی، اجرا، تفسیر و به‌عنوان مبنایی برای بازخورد و بهبود آموزشی به‌کار گیرند. در نتیجه، ادغام ابزارهای معتبر، تحلیل نظام‌مند سؤال‌ها و سواد ارزشیابی کافی معلمان، کلید دستیابی به آموزش زیست‌شناسی باکیفیت و مبتنی بر توسعه شایستگی جامع دانش‌آموزان است.

Curriculum policy transitions demand teacher adaptation in managing learning resources and implementing comprehensive evaluations. However, preliminary observations at SMAN 2 Siak Hulu reveal that [specify percentage, e.g., 70%] of teachers still experience disorientation in designing authentic assessment instruments and aligning learning modules with student needs. This community service activity aims to reconstruct teachers' understanding and skills in curriculum management and learning evaluation through a Problem-Based Training (PBT) approach. The program was implemented using a Participatory Action Research (PAR) method integrated into three cyclical stages: (1) identification of pedagogical problems, (2) problem-solving workshops and instrument development, and (3) mentoring and peer-review evaluation. This activity involved [specify number, e.g., 45] teachers across various subjects. Program effectiveness was measured using pre-test and post-test instruments, as well as portfolio analysis of learning products. The results showed a significant increase in participants' pedagogical understanding by [e.g., 82%], as evidenced by the teachers' successful creation of [e.g., 45 validated teaching modules and formative-summative evaluation rubrics]. Furthermore, the PBT approach proved effective in collaboratively eliminating administrative constraints while shifting teachers' paradigms from a clerical orientation toward reflective habits for continuous learning quality improvement.

تحولات سیاست‌های برنامهٔ درسی، مستلزم سازگاری معلمان در مدیریت منابع یادگیری و اجرای ارزیابی‌های جامع است. با این حال، مشاهدات اولیه در دبیرستان SMAN 2 Siak Hulu نشان می‌دهد که [درصد مشخص، مانند ۷۰٪] از معلمان همچنان در طراحی ابزارهای ارزیابی اصیل و همسویی ماژول‌های یادگیری با نیازهای دانش‌آموزان دچار سردرگمی هستند. هدف این فعالیت خدمات‌رسانی به جامعه، بازسازی درک و مهارت‌های معلمان در مدیریت برنامهٔ درسی و ارزیابی یادگیری از طریق رویکرد آموزش مبتنی بر مسئله (PBT) است. این برنامه با استفاده از روش پژوهش مشارکتی عملی (PAR) و در سه مرحلهٔ چرخه‌ای اجرا شد: (۱) شناسایی مسائل آموزشی، (۲) کارگاه‌های حل مسئله و توسعهٔ ابزارها، و (۳) مشاوره و ارزیابی همتایان. در این فعالیت، [تعداد مشخص، مانند ۴۵] معلم از رشته‌های مختلف شرکت داشتند. اثربخشی برنامه با استفاده از ابزارهای پیش‌آزمون و پس‌آزمون و همچنین تحلیل پرتفوی محصولات یادگیری سنجیده شد. نتایج نشان داد که درک آموزشی شرکت‌کنندگان به طور معناداری به میزان [مثلاً ۸۲٪] افزایش یافته است، چنانکه معلمان موفق به تولید [مثلاً ۴۵ ماژول آموزشی معتبر و روبریک‌های ارزیابی تکوینی-جمع‌بندی] شدند. افزون بر این، رویکرد PBT در حذف محدودیت‌های اداری به صورت مشارکتی مؤثر بود و همچنین الگوی ذهنی معلمان را از رویکرد دفتری به سوی عادات بازتابی برای بهبود مستمر کیفیت یادگیری تغییر داد.

This study aimed to develop and validate a psychometrically sound questionnaire to measure the entrepreneurial interest of Vocational High School (SMK) students. The research employed a development design consisting of four stages: planning, reconstruction, quantitative analysis, and validation. The participants were 85 eleventh-grade students from SMK Negeri 3 Buru Selatan representing five study programs: Tourism Services, Multimedia, Electricity, Construction, and Accounting. The instrument development process resulted in a 30-item questionnaire constructed based on three theoretically grounded dimensions: economic growth, personal character, and technological development. Reliability analysis using Cronbach’s Alpha produced a coefficient of 0.976, indicating excellent internal consistency. From a measurement theory perspective, this high reliability coefficient suggests strong homogeneity among items in representing the underlying construct of entrepreneurial interest. Item validity was examined using Pearson product–moment correlations at the 5% significance level. The results show that all items had significant positive correlations with the total score (r > 0.213), confirming that each item meaningfully contributes to measuring the construct. These findings indicate that the developed instrument demonstrates strong internal consistency and satisfactory item-level validity. Therefore, the questionnaire can be used as a reliable measurement tool for assessing entrepreneurial interest among vocational students. Future research is recommended to conduct further construct validation using advanced factor-analytic procedures and larger samples to strengthen empirical support for the instrument's dimensional structure.

هدف این پژوهش، تدوین و اعتبارسنجی یک پرسشنامه روان‌سنجی معتبر برای سنجش علاقه کارآفرینی دانش‌آموزان دبیرستان‌های فنی و حرفه‌ای (SMK) بود. روش پژوهش از نوع توسعه‌ای و شامل چهار مرحله برنامه‌ریزی، بازسازی، تحلیل کمی و اعتبارسنجی بود. شرکت‌کنندگان شامل ۸۵ دانش‌آموز پایه یازدهم از دبیرستان SMK Negeri 3 Buru Selatan بودند که نماینده پنج رشته تحصیلی خدمات گردشگری، چندرسانه‌ای، برق، ساختمان و حسابداری بودند. فرایند تدوین ابزار منجر به ساخت پرسشنامه‌ای ۳۰ ماده‌ای بر اساس سه بعد نظری شامل رشد اقتصادی، ویژگی‌های فردی و توسعه فناوری شد. تحلیل پایایی با استفاده از آلفای کرونباخ ضریب ۰٫۹۷۶ را نشان داد که بیانگر انسجام درونی بسیار مطلوب است. از منظر نظریه اندازه‌گیری، این ضریب پایایی بالا نشان‌دهنده همگنی قوی مواد در بازنمایی سازه علاقه کارآفرینی است. روایی ماده‌ها با استفاده از همبستگی پیرسون در سطح معناداری ۵٪ بررسی شد. نتایج نشان داد که همه ماده‌ها دارای همبستگی مثبت معنادار با نمره کل بودند (r > 0.213) که تأیید می‌کند هر ماده به طور معناداری در سنجش سازه مشارکت دارد. این یافته‌ها نشان می‌دهد که ابزار تدوین‌شده از انسجام درونی قوی و روایی مطلوب در سطح ماده برخوردار است. بنابراین، این پرسشنامه می‌تواند به عنوان ابزاری پایا برای سنجش علاقه کارآفرینی در میان دانش‌آموزان فنی و حرفه‌ای مورد استفاده قرار گیرد. پیشنهاد می‌شود پژوهش‌های آتی با استفاده از روش‌های پیشرفته تحلیل عاملی و نمونه‌های بزرگ‌تر، روایی سازه ابزار را بیش‌تر تقویت کنند.