Nur Aeni

This study investigates the alignment between human judgment and artificial intelligence (AI) in IELTS speaking assessment to inform effective pedagogical practices. Through a comparative analysis of 30 Indonesian EFL learners’ performances evaluated by two experienced human raters and three AI systems (ChatGPT, Otter AI, Claude AI), we identified systematic and significant differences that varied considerably across individual AI systems. When AI scores were averaged, human evaluators assigned higher scores than the automated systems overall (mean difference = 0.522, p < .001), with a moderate positive correlation ( r = .497, p = .005). However, disaggregating the AI systems revealed that this overall pattern was driven primarily by two of the three tools: ChatGPT scores did not differ significantly from one of the two human raters, while Otter AI and, in particular, Claude AI diverged substantially from both human raters. Beyond quantifying these differences, this paper explores their profound implications for language teaching and learning. The findings reveal AI’s superior consistency in measuring technical accuracy (e.g., pronunciation, grammar) and human raters’ strength in assessing communicative effectiveness. We argue that this complementarity presents a critical opportunity rather than a problem. The research concludes by proposing a practical hybrid pedagogical framework where AI is leveraged for low-stakes practice, instantaneous feedback, and freeing up teacher time for high-value instruction on pragmatic and interactive speaking skills. This model positions AI not as a replacement for human judgment but as a transformative tool to enhance teaching efficiency and student learning outcomes in preparation for high-stakes speaking assessment.

این مطالعه به بررسی همسویی میان قضاوت انسانی و هوش مصنوعی (AI) در ارزیابی مهارت گفتاری آیلتس با هدف اطلاع‌رسانی به شیوه‌های آموزشی مؤثر می‌پردازد. از طریق تحلیل مقایسه‌ای عملکرد ۳۰ زبان‌آموز EFL اندونزیایی که توسط دو ارزیاب انسانی باتجربه و سه سامانه هوش مصنوعی (ChatGPT، Otter AI، Claude AI) ارزیابی شدند، تفاوت‌های نظام‌مند و معناداری شناسایی شد که به طور قابل توجهی میان سامانه‌های مختلف هوش مصنوعی متفاوت بود. زمانی که نمرات هوش مصنوعی به طور میانگین محاسبه شد، ارزیابان انسانی به طور کلی نمرات بالاتری نسبت به سامانه‌های خودکار اختصاص دادند (تفاوت میانگین = ۰٫۵۲۲، p < ۰٫۰۰۱)، با همبستگی مثبت متوسط (r = ۰٫۴۹۷، p = ۰٫۰۰۵). با این حال، تجزیه سامانه‌های هوش مصنوعی نشان داد که این الگوی کلی عمدتاً ناشی از دو ابزار از سه ابزار بود: نمرات ChatGPT تفاوت معناداری با یکی از دو ارزیاب انسانی نداشت، در حالی که Otter AI و به ویژه Claude AI به طور قابل توجهی از هر دو ارزیاب انسانی فاصله داشتند. فراتر از کمی‌سازی این تفاوت‌ها، این مقاله به بررسی پیامدهای عمیق آن‌ها برای آموزش و یادگیری زبان می‌پردازد. یافته‌ها نشان می‌دهد که هوش مصنوعی در سنجش دقت فنی (مانند تلفظ، دستور زبان) از ثبات بالاتری برخوردار است و ارزیابان انسانی در ارزیابی اثربخشی ارتباطی قوی‌تر عمل می‌کنند. استدلال می‌شود که این مکمل بودن، فرصتی حیاتی به شمار می‌رود نه یک مشکل. پژوهش با ارائه چارچوب آموزشی ترکیبی عملی به پایان می‌رسد که در آن از هوش مصنوعی برای تمرین کم‌خطر، بازخورد فوری و آزادسازی زمان معلم برای آموزش باارزش در مهارت‌های گفتاری کاربردی و تعاملی بهره گرفته می‌شود. این مدل، هوش مصنوعی را جایگزین قضاوت انسانی نمی‌داند، بلکه آن را ابزاری تحول‌آفرین برای ارتقای کارایی آموزش و نتایج یادگیری دانشجویان در آمادگی برای ارزیابی مهارت گفتاری با ریسک بالا معرفی می‌کند.