instrument reliability

This study aims to analyze the characteristics of Science, Technology, Engineering, and Mathematics (STEM) concepts integrated into literacy and science assessment based on the standards of the Programme for International Student Assessment (PISA), as well as to develop a contextual and applicable assessment design appropriate to the characteristics of students at SMP PGRI 5 Denpasar. The study employed a mixed-methods approach with an exploratory sequential design. The participants consisted of 116 students and 6 teachers. Data were collected through observations, interviews, document analysis, questionnaires, and expert validation. Data analysis involved qualitative analysis, the Gregory validity index, empirical validity, and instrument reliability analysis. The findings indicate that STEM-PISA assessment characteristics include the use of contextual stimuli based on real-world problems, the utilization of data and graphs, higher-order reasoning, cross-disciplinary integration, varied response formats, and assessment of thinking processes. The developed assessment design integrates science, technology, engineering, and mathematics through authentic contexts, data literacy, problem-solving, and assessment rubrics. Students’ perceptions obtained a mean score of 3.96, while teachers’ perceptions reached 4.42 on a five-point scale, indicating that the assessment design was considered relevant and acceptable for supporting contextual learning and assessment.

هدف این پژوهش تحلیل ویژگی‌های مفاهیم علوم، فناوری، مهندسی و ریاضیات (STEM) ادغام‌شده در ارزشیابی سواد و علوم بر اساس استانداردهای برنامه ارزیابی بین‌المللی دانش‌آموزان (PISA) و همچنین توسعه یک طرح ارزشیابی زمینه‌محور و کاربردی متناسب با ویژگی‌های دانش‌آموزان دبیرستان PGRI 5 دنپاسار است. این پژوهش با رویکرد روش‌های ترکیبی و با طرح توالی اکتشافی انجام شد. شرکت‌کنندگان شامل ۱۱۶ دانش‌آموز و ۶ معلم بودند. داده‌ها از طریق مشاهده، مصاحبه، تحلیل اسناد، پرسشنامه و اعتبارسنجی خبرگان گردآوری شد. تحلیل داده‌ها شامل تحلیل کیفی، شاخص روایی Gregory، روایی تجربی و تحلیل پایایی ابزار بود. یافته‌ها نشان می‌دهد که ویژگی‌های ارزشیابی STEM-PISA شامل استفاده از محرک‌های زمینه‌ای مبتنی بر مسائل واقعی، بهره‌گیری از داده‌ها و نمودارها، استدلال سطوح بالاتر، ادغام میان‌رشته‌ای، قالب‌های پاسخ متنوع و ارزشیابی فرایندهای تفکر است. طرح ارزشیابی توسعه‌یافته، علوم، فناوری، مهندسی و ریاضیات را از طریق زمینه‌های اصیل، سواد داده، حل مسئله و روبریک‌های ارزشیابی ادغام می‌کند. میانگین نمره ادراک دانش‌آموزان ۳.۹۶ و ادراک معلمان ۴.۴۲ در مقیاس پنج‌درجه‌ای به دست آمد که نشان‌دهنده مرتبط و قابل قبول بودن طرح ارزشیابی برای حمایت از یادگیری و ارزشیابی زمینه‌محور است.

This study aimed to develop and validate a psychometrically sound questionnaire to measure the entrepreneurial interest of Vocational High School (SMK) students. The research employed a development design consisting of four stages: planning, reconstruction, quantitative analysis, and validation. The participants were 85 eleventh-grade students from SMK Negeri 3 Buru Selatan representing five study programs: Tourism Services, Multimedia, Electricity, Construction, and Accounting. The instrument development process resulted in a 30-item questionnaire constructed based on three theoretically grounded dimensions: economic growth, personal character, and technological development. Reliability analysis using Cronbach’s Alpha produced a coefficient of 0.976, indicating excellent internal consistency. From a measurement theory perspective, this high reliability coefficient suggests strong homogeneity among items in representing the underlying construct of entrepreneurial interest. Item validity was examined using Pearson product–moment correlations at the 5% significance level. The results show that all items had significant positive correlations with the total score (r > 0.213), confirming that each item meaningfully contributes to measuring the construct. These findings indicate that the developed instrument demonstrates strong internal consistency and satisfactory item-level validity. Therefore, the questionnaire can be used as a reliable measurement tool for assessing entrepreneurial interest among vocational students. Future research is recommended to conduct further construct validation using advanced factor-analytic procedures and larger samples to strengthen empirical support for the instrument's dimensional structure.

هدف این پژوهش، تدوین و اعتبارسنجی یک پرسشنامه روان‌سنجی معتبر برای سنجش علاقه کارآفرینی دانش‌آموزان دبیرستان‌های فنی و حرفه‌ای (SMK) بود. روش پژوهش از نوع توسعه‌ای و شامل چهار مرحله برنامه‌ریزی، بازسازی، تحلیل کمی و اعتبارسنجی بود. شرکت‌کنندگان شامل ۸۵ دانش‌آموز پایه یازدهم از دبیرستان SMK Negeri 3 Buru Selatan بودند که نماینده پنج رشته تحصیلی خدمات گردشگری، چندرسانه‌ای، برق، ساختمان و حسابداری بودند. فرایند تدوین ابزار منجر به ساخت پرسشنامه‌ای ۳۰ ماده‌ای بر اساس سه بعد نظری شامل رشد اقتصادی، ویژگی‌های فردی و توسعه فناوری شد. تحلیل پایایی با استفاده از آلفای کرونباخ ضریب ۰٫۹۷۶ را نشان داد که بیانگر انسجام درونی بسیار مطلوب است. از منظر نظریه اندازه‌گیری، این ضریب پایایی بالا نشان‌دهنده همگنی قوی مواد در بازنمایی سازه علاقه کارآفرینی است. روایی ماده‌ها با استفاده از همبستگی پیرسون در سطح معناداری ۵٪ بررسی شد. نتایج نشان داد که همه ماده‌ها دارای همبستگی مثبت معنادار با نمره کل بودند (r > 0.213) که تأیید می‌کند هر ماده به طور معناداری در سنجش سازه مشارکت دارد. این یافته‌ها نشان می‌دهد که ابزار تدوین‌شده از انسجام درونی قوی و روایی مطلوب در سطح ماده برخوردار است. بنابراین، این پرسشنامه می‌تواند به عنوان ابزاری پایا برای سنجش علاقه کارآفرینی در میان دانش‌آموزان فنی و حرفه‌ای مورد استفاده قرار گیرد. پیشنهاد می‌شود پژوهش‌های آتی با استفاده از روش‌های پیشرفته تحلیل عاملی و نمونه‌های بزرگ‌تر، روایی سازه ابزار را بیش‌تر تقویت کنند.