inter-rater reliability

Assessment in Natural and Social Sciences (IPAS) at the elementary school level needs to document students’ knowledge, process skills, and character development continuously rather than relying solely on written test results. This study aimed to develop a flexible portfolio assessment instrument, determine its validity and practicality, and examine its perceived usefulness based on the fourth-grade teacher’s assessment at SD Negeri 075027 Silima Omo. The study employed a Research and Development (R&D) approach using the 4D model, comprising Define, Design, Develop, and Disseminate stages. The participants included three expert validators, one fourth-grade teacher, and 22 students, with 10 students participating in the small-group trial. The resulting product was a printed portfolio assessment instrument comprising seven integrated components. Validation results yielded mean scores of 3.83 for design, 3.75 for language, and 4.00 for evaluation on a four-point scale. The practicality score increased from 62.50% to 93.75%, while perceived usefulness increased from 64.29% to 85.71%. The small-group trial produced a mean portfolio score of 80.80. The instrument was considered suitable for use; however, inter-rater reliability and its effectiveness in improving learning outcomes require further empirical investigation. ABSTRAK Penilaian pembelajaran Ilmu Pengetahuan Alam dan Sosial (IPAS) di sekolah dasar perlu mencakup perkembangan pengetahuan, keterampilan proses, dan karakter murid secara berkelanjutan, bukan hanya berorientasi pada hasil tes tertulis. Penelitian ini bertujuan mengembangkan instrumen penilaian portofolio yang fleksibel, mengetahui kelayakan dan kepraktisannya, serta mengidentifikasi kebermanfaatannya berdasarkan persepsi guru kelas IV di SD Negeri 075027 Silima Omo. Penelitian menggunakan metode Research and Development (R&D) dengan model 4D yang meliputi tahap Define, Design, Develop, dan Disseminate. Subjek penelitian terdiri atas tiga validator ahli, satu guru kelas IV, dan 22 murid, dengan 10 murid sebagai subjek uji coba kelompok kecil. Produk yang dikembangkan berupa instrumen portofolio berbasis cetak dengan tujuh komponen terintegrasi. Hasil validasi menunjukkan skor rata-rata ahli desain 3,83, ahli bahasa 3,75, dan ahli evaluasi 4,00 pada skala empat. Persentase kepraktisan meningkat dari 62,50% menjadi 93,75%, sedangkan kebermanfaatan berdasarkan persepsi guru meningkat dari 64,29% menjadi 85,71%. Rata-rata nilai portofolio kelompok kecil mencapai 80,80. Instrumen dinyatakan layak digunakan, meskipun reliabilitas antarpenilai dan keefektifan terhadap hasil belajar masih memerlukan pengujian lebih lanjut.

Introduction Collaborative problem solving has become a key educational competence, yet existing observational instruments often assess only selected aspects of collaboration, rely on labor-intensive micro-analytic coding, or are tied to specific task contexts. To address these limitations, this study developed and validated the Collaborative Problem Solving Observation Grid (CPS-OG), an evidence-based observational instrument designed to provide a comprehensive, task-independent, macro-level assessment of collaboration quality. The instrument is grounded in four empirically derived dimensions of CPS: socio-cognitive exchange, socio-emotional exchange, task regulation, and group regulation. Method Validation was conducted with 84 groups of secondary school students working in triads ( N = 73) or dyads ( N = 11) on scientific and civic literacy tasks. The psychometric evaluation included analyses of interrater reliability, internal consistency, construct validity, and criterion-related validity. Results Across both task domains, the CPS-OG demonstrated excellent interrater reliability, good internal consistency, and preliminary support for the internal coherence of the four-conceptual dimensions, consistent with findings from a recent systematic review of CPS quality. The four dimensions included in the instrument showed meaningful associations with Mercer's dialogue types and group product quality, providing further evidence of criterion validity. The consistency of findings across scientific and civic literacy tasks indicates the instrument's robustness in different task contexts. Discussion Overall, the findings suggest that the CPS-OG is a reliable and promising observational instrument. It offers a comprehensive approach to monitoring and assessing collaborative problem solving, providing researchers and practitioners with a practical tool for evaluating collaboration across diverse educational tasks.

Background Ensuring equal access to quality education is essential for building fair and inclusive societies. However, educational inequalities persist across and within European countries, despite numerous policy initiatives aimed at addressing them. Objectives This systematic review aims to identify and categorise variables of educational inequalities in European primary and secondary schools, focusing on studies with longitudinal or repeated cross-sectional designs. Methods Following PRISMA 2020 guidelines, 1,399 studies published from 1995 to 2024 in seven European languages were identified through Scopus, Google Scholar, repositories of international organisations and citation mining. After a two-step screening, 157 studies that met the predefined criteria were analysed in depth using a review matrix. Inter-rater reliability checks ensured consistency. Results Despite targeted policy measures to enhance fairness and inclusion, inequalities remain widespread across European schools. Findings highlight that educational inequalities are multifaceted and begin early in a child's educational path, often widening over time. Overall, 70 variables influencing educational inequalities were identified and organised into a schema of four clusters: student, family, teacher/school and system levels. Solid links were observed between academic achievement, school engagement and student well-being. Discussion Longitudinal and repeated cross-sectional data offer valuable insights into the variables of educational inequalities and into the roles they play as factors and predictors of unequal academic achievement. Socioeconomic and cultural status, along with other family-related variables, emerged as central predictors of achievement gaps, alongside student-level variables such as school engagement. Teacher and school-level factors, as well as system-level ones, also significantly influence the complex phenomenon of educational inequalities. Conclusions/implications The evidence from this literature review reveals solid links between academic achievement and student engagement, emphasising that policies to address inequalities must address not only socioeconomic and academic factors but also socio-emotional aspects, with targeted interventions for vulnerable groups. The findings also underscore the need to explore further how variables influencing educational inequalities interact over time, from early childhood education through secondary education, to inform evidence-based interventions for more equitable educational outcomes.

زمینه: تضمین دسترسی برابر به آموزش با کیفیت برای ساختن جوامع عادلانه و فراگیر ضروری است. با این حال، نابرابری‌های آموزشی در سراسر و درون کشورهای اروپایی علی‌رغم ابتکارات سیاستی متعدد برای رفع آن‌ها همچنان پابرجا هستند. اهداف: این مرور نظام‌مند با تمرکز بر مطالعات با طرح‌های طولی یا مقطعی تکرارشونده، به شناسایی و دسته‌بندی متغیرهای نابرابری‌های آموزشی در مدارس ابتدایی و متوسطه اروپا می‌پردازد. روش‌ها: با پیروی از دستورالعمل‌های PRISMA 2020، تعداد ۱۳۹۹ مطالعه منتشرشده از سال ۱۹۹۵ تا ۲۰۲۴ به زبان‌های اروپایی از طریق Scopus، Google Scholar، مخازن سازمان‌های بین‌المللی و استخراج ارجاعات شناسایی شد. پس از غربالگری دو مرحله‌ای، ۱۵۷ مطالعه که معیارهای از پیش تعیین‌شده را داشتند، با استفاده از ماتریس مرور به‌طور عمیق تحلیل شدند. بررسی پایایی بین ارزیابان برای اطمینان از انسجام انجام شد. یافته‌ها: علی‌رغم اقدامات سیاستی هدفمند برای ارتقای عدالت و فراگیری، نابرابری‌ها در مدارس اروپایی همچنان گسترده‌اند. یافته‌ها نشان می‌دهد که نابرابری‌های آموزشی چندوجهی بوده و از ابتدای مسیر آموزشی کودک آغاز شده و اغلب در طول زمان افزایش می‌یابد. در مجموع، ۷۰ متغیر مؤثر بر نابرابری‌های آموزشی شناسایی و در قالب چهار خوشه در سطوح دانش‌آموز، خانواده، معلم/مدرسه و نظام سازمان‌دهی شدند. پیوندهای محکمی میان عملکرد تحصیلی، مشارکت مدرسه‌ای و بهزیستی دانش‌آموز مشاهده شد. بحث: داده‌های طولی و مقطعی تکرارشونده بینش‌های ارزشمندی درباره متغیرهای نابرابری‌های آموزشی و نقش آن‌ها به عنوان عوامل و پیش‌بینی‌کننده‌های عملکرد تحصیلی نابرابر ارائه می‌دهد. وضعیت اقتصادی-اجتماعی و فرهنگی، همراه با سایر متغیرهای مرتبط با خانواده، به عنوان پیش‌بینی‌کننده‌های مرکزی شکاف عملکرد تحصیلی، در کنار متغیرهای سطح دانش‌آموز مانند مشارکت مدرسه‌ای ظاهر شدند. عوامل سطح معلم و مدرسه، همچنین عوامل سطح نظام نیز به طور معناداری بر پدیده پیچیده نابرابری‌های آموزشی تأثیرگذارند. نتیجه‌گیری/پیامدها: شواهد این مرور ادبیات پیوندهای محکمی میان عملکرد تحصیلی و مشارکت دانش‌آموز نشان می‌دهد و تأکید می‌کند که سیاست‌های مقابله با نابرابری‌ها باید نه تنها عوامل اقتصادی-اجتماعی و تحصیلی، بلکه جنبه‌های اجتماعی-هیجانی را نیز با مداخلات هدفمند برای گروه‌های آسیب‌پذیر مدنظر قرار دهند. یافته‌ها همچنین بر ضرورت بررسی بیشتر نحوه تعامل متغیرهای مؤثر بر نابرابری‌های آموزشی در طول زمان، از آموزش دوران کودکی تا متوسطه، برای اطلاع‌رسانی به مداخلات مبتنی بر شواهد جهت نتایج آموزشی عادلانه‌تر تأکید دارد.

This study aims to analyze the effect of integrating traditional games adapted with regional folk songs on improving the social skills of elementary school students. It employed a quasi-experimental method with a nonequivalent control group design involving 56 sixth-grade students from SDN 01 Pandean, Madiun City, divided into an experimental group (n = 28) and a control group (n = 28). The intervention was carried out over six weeks in a total of 12 sessions, with two meetings per week, through the application of traditional games such as Cublak-Cublak Suweng and Jamuran combined with local folk songs. Data were collected using a Likert-scale social skills questionnaire and a structured observation sheet, with observation reliability tested through inter-rater reliability using Cohen's Kappa of 0.84. The equivalence of the groups' initial conditions was confirmed through pretest score comparisons and a baseline homogeneity test. Data analysis included the Kolmogorov-Smirnov normality test, Levene's homogeneity test, and the independent samples t-test. The results showed a significant difference between the two groups (p < 0.05), with the experimental group's gain score of 20.22 being higher than the control group's 8.43. These findings indicate that integrating traditional games based on regional folk songs is effective in improving the social skills of elementary school students, particularly in the aspects of communication, empathy, and collaboration

هدف این پژوهش تحلیل تأثیر ادغام بازی‌های سنتی سازگار شده با ترانه‌های محلی منطقه‌ای بر بهبود مهارت‌های اجتماعی دانش‌آموزان دبستان است. این پژوهش با روش شبه‌آزمایشی و طرح گروه کنترل نابرابر انجام شد و ۵۶ دانش‌آموز پایه ششم از دبستان SDN 01 Pandean شهر Madiun را دربر گرفت که به دو گروه آزمایش (n = ۲۸) و کنترل (n = ۲۸) تقسیم شدند. مداخله طی شش هفته در مجموع ۱۲ جلسه، با دو جلسه در هفته، از طریق اجرای بازی‌های سنتی مانند Cublak-Cublak Suweng و Jamuran همراه با ترانه‌های محلی صورت گرفت. داده‌ها با استفاده از پرسشنامه مهارت‌های اجتماعی مبتنی بر مقیاس لیکرت و برگه مشاهده ساختاریافته جمع‌آوری شد و پایایی مشاهده با روش پایایی بین ارزیابان و ضریب کاپای Cohen برابر با ۰.۸۴ ارزیابی گردید. همسانی شرایط اولیه گروه‌ها از طریق مقایسه نمرات پیش‌آزمون و آزمون همگنی خط پایه تأیید شد. تحلیل داده‌ها شامل آزمون نرمالیتی Kolmogorov-Smirnov، آزمون همگنی Levene و آزمون t مستقل بود. نتایج نشان داد که بین دو گروه تفاوت معناداری وجود دارد (p < ۰.۰۵)، به‌طوری که نمره افزایش یافته گروه آزمایش ۲۰.۲۲ و گروه کنترل ۸.۴۳ بود. این یافته‌ها نشان می‌دهد که ادغام بازی‌های سنتی مبتنی بر ترانه‌های محلی منطقه‌ای در بهبود مهارت‌های اجتماعی دانش‌آموزان دبستان، به‌ویژه در ابعاد ارتباط، همدلی و همکاری مؤثر است.

Abstract Although the discrete emotion perspective has gained increasing attention in affective and psycholinguistic research, large-scale normative datasets in a second language (L2) remain limited. To address this gap, the present study introduces a comprehensive database of discrete emotion norms for L2 English. The dataset comprises 1,122 words evaluated by 525 Chinese-English bilinguals across five discrete emotion categories: happiness, anger, fear, disgust and sadness. Participants rated subsets of these words using a 5-point Likert scale. The results demonstrate high inter-rater reliability and reveal systematic relationships between discrete emotion ratings and affective dimensions. Furthermore, these categorical ratings correlate with emotion prototypicality and key psycholinguistic variables, including age of acquisition, word frequency, concreteness and semantic diversity. Distributional analyses highlight a pronounced asymmetry: happiness dominates the semantic space. This database provides detailed discrete emotion ratings for each word and offers a fine-grained tool for selecting controlled stimuli for research on L2 emotion.

چکیده: اگرچه دیدگاه هیجان‌های گسسته در پژوهش‌های عاطفی و روان‌زبان‌شناسی توجه فزاینده‌ای را به خود جلب کرده است، اما مجموعه داده‌های هنجاری در مقیاس وسیع برای زبان دوم (L2) همچنان محدود است. برای رفع این خلأ، مطالعه حاضر یک پایگاه داده جامع از هنجارهای هیجان‌های گسسته برای زبان انگلیسی به عنوان زبان دوم ارائه می‌دهد. این مجموعه داده شامل ۱٬۱۲۲ واژه است که توسط ۵۲۵ فرد دوزبانه چینی-انگلیسی در پنج مقوله هیجان گسسته (شادی، خشم، ترس، انزجار و غم) ارزیابی شده‌اند. شرکت‌کنندگان زیرمجموعه‌هایی از این واژه‌ها را با استفاده از مقیاس لیکرت ۵ درجه‌ای ارزیابی کردند. نتایج نشان‌دهنده پایایی بالای ارزیابان و روابط نظام‌مند میان ارزیابی‌های هیجان‌های گسسته و ابعاد عاطفی است. همچنین، این ارزیابی‌های مقوله‌ای با نمونه‌وارگی هیجان و متغیرهای کلیدی روان‌زبان‌شناختی از جمله سن اکتساب، بسامد واژه، عینیت و تنوع معنایی همبستگی دارند. تحلیل‌های توزیعی، عدم تقارن بارزی را نشان می‌دهد: شادی بر فضای معنایی غالب است. این پایگاه داده، ارزیابی‌های دقیق هیجان‌های گسسته را برای هر واژه فراهم می‌کند و ابزاری دقیق برای انتخاب محرک‌های کنترل‌شده در پژوهش‌های هیجان در زبان دوم ارائه می‌دهد.