assessment standards

This research explores the critical intersection of consistency, standards and complexity in academic assessment integrity using focus groups consisting of academic staff and undergraduate nursing students. While academic quality standards are mandated by accreditation bodies to ensure accountability and skill acquisition, the marking process remains a complex, intuitive task heavily reliant on a marker's experience and practicality. Significant challenges arise when marking becomes overly criteria-driven at the expense of core assessment goals, leading to variability in judging relevant student ideas or specific technical skills such as referencing. Such variability undermines the reliability and objectivity essential for assessment fairness. To mitigate these risks, pre-marking meetings are identified as essential for establishing shared requirements and expectations among staff. Strategic timing of these supports, ideally pre-semester, provides the necessary framework for quality assurance and enables markers to make meaningful and accurate judgements regarding a student’s true knowledge and performance. Keywords: student/ marking/ assessment/ quality/consistency/ tertiary education

Despite scientific argumentation being a fundamental competency of the PISA assessment framework, prospective biology teachers often demonstrate insufficient development in evidence-based reasoning and rebuttal construction skills. Considering the limitations of large-scale implementation of individualized approaches in higher education, this study evaluates the effectiveness of Generative Artificial Intelligence (ChatGPT-4) configured as a “Socratic tutor” in developing argumentation skills among future educators. An 8-week quasi-experimental study involving 124 students from a pedagogical university employed traditional peer discussion methods in the control group ( n = 62), while the experimental group ( n = 62) utilized an AI agent that induced cognitive dissonance regarding socio-scientific issues. Analysis of Covariance (ANCOVA) of data obtained through Toulmin's Argument Pattern (TAP) and PISA rubrics confirmed that the experimental group achieved statistically significantly higher overall argumentation quality compared to the control group (F (1,121) = 14.23, p < .001, η 2 = .105). Particularly, participants who received AI-assisted instruction showed marked improvement in forming rebuttals and evaluating counterevidence, which are considered among the most cognitively demanding components within the PISA scientific literacy framework (OECD). These findings suggest that a Generative AI-mediated Socratic instructional package can be an effective and scalable approach for developing epistemic cognition, and they propose a pedagogical model for integrating structured AI-based tutoring into teacher preparation systems aligned with international assessment standards. These findings should be interpreted as evidence for the effectiveness of the structured, AI-mediated Socratic instructional package as a whole, rather than as evidence of AI's inherent superiority over other methods; the relative contribution of the AI medium versus the structured pedagogical protocol it delivers was not directly tested in this design.

با وجود اینکه استدلال علمی یکی از شایستگی‌های اساسی چارچوب ارزیابی PISA است، معلمان آینده زیست‌شناسی اغلب در توسعه مهارت‌های استدلال مبتنی بر شواهد و ساختاردهی ابطال‌ها، پیشرفت کافی نشان نمی‌دهند. با توجه به محدودیت‌های اجرای گسترده رویکردهای فردمحور در آموزش عالی، این مطالعه اثربخشی هوش مصنوعی مولد (ChatGPT-4) را که به عنوان «مربی سقراطی» پیکربندی شده است، در توسعه مهارت‌های استدلال در میان معلمان آینده مورد ارزیابی قرار می‌دهد. یک مطالعه شبه‌آزمایشی هشت‌هفته‌ای با مشارکت ۱۲۴ دانشجو از یک دانشگاه تربیت معلم انجام شد؛ در گروه کنترل (n = 62) از روش‌های سنتی بحث همتایان استفاده شد و گروه آزمایش (n = 62) از یک عامل هوش مصنوعی بهره برد که ناهماهنگی شناختی را در خصوص مسائل اجتماعی-علمی ایجاد می‌کرد. تحلیل کوواریانس (ANCOVA) داده‌های به‌دست‌آمده از طریق الگوی استدلال تولمین (TAP) و روبریک‌های PISA تأیید کرد که گروه آزمایش به طور معناداری از نظر کیفیت کلی استدلال نسبت به گروه کنترل عملکرد بهتری داشت (F (1,121) = 14.23, p < .001, η 2 = .105). به ویژه، شرکت‌کنندگانی که آموزش مبتنی بر هوش مصنوعی دریافت کردند، در شکل‌دهی ابطال‌ها و ارزیابی شواهد مخالف که از دشوارترین مؤلفه‌های شناختی در چارچوب سواد علمی PISA (OECD) محسوب می‌شوند، بهبود چشمگیری نشان دادند. این یافته‌ها نشان می‌دهد که بسته آموزشی سقراطی مبتنی بر هوش مصنوعی مولد می‌تواند رویکردی مؤثر و مقیاس‌پذیر برای توسعه شناخت معرفتی باشد و مدل آموزشی برای ادغام آموزش ساختاریافته مبتنی بر هوش مصنوعی در نظام‌های تربیت معلم همسو با استانداردهای ارزیابی بین‌المللی ارائه می‌کند. این یافته‌ها باید به عنوان شواهدی برای اثربخشی بسته آموزشی ساختاریافته و میانجی‌گری‌شده توسط هوش مصنوعی سقراطی به طور کلی تفسیر شود، نه به عنوان شواهدی از برتری ذاتی هوش مصنوعی نسبت به سایر روش‌ها؛ سهم نسبی رسانه هوش مصنوعی در مقابل پروتکل آموزشی ساختاریافته ارائه‌شده توسط آن، مستقیماً در این طرح مورد آزمون قرار نگرفته است.

This study aims to evaluate the effectiveness of integrating the WorldSkills Occupational and Assessment Standards for the Mechanical Engineering-CAD skill into the CAD-I and CAD-II course curricula of the Technical Education program in Industrial Machinery and Equipment Maintenance and Service, and implementing them through a learner-centered teaching methodology. The effectiveness of the curriculum innovation was evaluated based on the results of the Mongolian Skills competition and the learning outcomes of the revised curriculum, with the aim of determining a methodological basis for preparing professionals who meet international standards.

این مطالعه با هدف ارزیابی اثربخشی ادغام استانداردهای شغلی و ارزیابی WorldSkills برای مهارت مهندسی مکانیک-CAD در برنامه‌های درسی دروس CAD-I و CAD-II رشته آموزش فنی در حوزه نگهداری و خدمات ماشین‌آلات و تجهیزات صنعتی و اجرای آن‌ها از طریق روش تدریس مبتنی بر فراگیر انجام شده‌است. اثربخشی نوآوری در برنامهٔ درسی بر اساس نتایج رقابت مهارت‌های مغولستان و پیامدهای یادگیری برنامهٔ درسی بازنگری‌شده ارزیابی شد تا مبنای روشی برای تربیت متخصصانی که با استانداردهای بین‌المللی مطابقت دارند، تعیین گردد.