Enhancing PISA-aligned argumentation skills of prospective biology teachers through generative artificial intelligence
ارتقای مهارتهای استدلال مبتنی بر چارچوب PISA در معلمان زیستشناسی آینده با استفاده از هوش مصنوعی مولد
چکیده
Despite scientific argumentation being a fundamental competency of the PISA assessment framework, prospective biology teachers often demonstrate insufficient development in evidence-based reasoning and rebuttal construction skills. Considering the limitations of large-scale implementation of individualized approaches in higher education, this study evaluates the effectiveness of Generative Artificial Intelligence (ChatGPT-4) configured as a “Socratic tutor” in developing argumentation skills among future educators. An 8-week quasi-experimental study involving 124 students from a pedagogical university employed traditional peer discussion methods in the control group ( n = 62), while the experimental group ( n = 62) utilized an AI agent that induced cognitive dissonance regarding socio-scientific issues. Analysis of Covariance (ANCOVA) of data obtained through Toulmin's Argument Pattern (TAP) and PISA rubrics confirmed that the experimental group achieved statistically significantly higher overall argumentation quality compared to the control group (F (1,121) = 14.23, p < .001, η 2 = .105). Particularly, participants who received AI-assisted instruction showed marked improvement in forming rebuttals and evaluating counterevidence, which are considered among the most cognitively demanding components within the PISA scientific literacy framework (OECD). These findings suggest that a Generative AI-mediated Socratic instructional package can be an effective and scalable approach for developing epistemic cognition, and they propose a pedagogical model for integrating structured AI-based tutoring into teacher preparation systems aligned with international assessment standards. These findings should be interpreted as evidence for the effectiveness of the structured, AI-mediated Socratic instructional package as a whole, rather than as evidence of AI's inherent superiority over other methods; the relative contribution of the AI medium versus the structured pedagogical protocol it delivers was not directly tested in this design.
با وجود اینکه استدلال علمی یکی از شایستگیهای اساسی چارچوب ارزیابی PISA است، معلمان آینده زیستشناسی اغلب در توسعه مهارتهای استدلال مبتنی بر شواهد و ساختاردهی ابطالها، پیشرفت کافی نشان نمیدهند. با توجه به محدودیتهای اجرای گسترده رویکردهای فردمحور در آموزش عالی، این مطالعه اثربخشی هوش مصنوعی مولد (ChatGPT-4) را که به عنوان «مربی سقراطی» پیکربندی شده است، در توسعه مهارتهای استدلال در میان معلمان آینده مورد ارزیابی قرار میدهد. یک مطالعه شبهآزمایشی هشتهفتهای با مشارکت ۱۲۴ دانشجو از یک دانشگاه تربیت معلم انجام شد؛ در گروه کنترل (n = 62) از روشهای سنتی بحث همتایان استفاده شد و گروه آزمایش (n = 62) از یک عامل هوش مصنوعی بهره برد که ناهماهنگی شناختی را در خصوص مسائل اجتماعی-علمی ایجاد میکرد. تحلیل کوواریانس (ANCOVA) دادههای بهدستآمده از طریق الگوی استدلال تولمین (TAP) و روبریکهای PISA تأیید کرد که گروه آزمایش به طور معناداری از نظر کیفیت کلی استدلال نسبت به گروه کنترل عملکرد بهتری داشت (F (1,121) = 14.23, p < .001, η 2 = .105). به ویژه، شرکتکنندگانی که آموزش مبتنی بر هوش مصنوعی دریافت کردند، در شکلدهی ابطالها و ارزیابی شواهد مخالف که از دشوارترین مؤلفههای شناختی در چارچوب سواد علمی PISA (OECD) محسوب میشوند، بهبود چشمگیری نشان دادند. این یافتهها نشان میدهد که بسته آموزشی سقراطی مبتنی بر هوش مصنوعی مولد میتواند رویکردی مؤثر و مقیاسپذیر برای توسعه شناخت معرفتی باشد و مدل آموزشی برای ادغام آموزش ساختاریافته مبتنی بر هوش مصنوعی در نظامهای تربیت معلم همسو با استانداردهای ارزیابی بینالمللی ارائه میکند. این یافتهها باید به عنوان شواهدی برای اثربخشی بسته آموزشی ساختاریافته و میانجیگریشده توسط هوش مصنوعی سقراطی به طور کلی تفسیر شود، نه به عنوان شواهدی از برتری ذاتی هوش مصنوعی نسبت به سایر روشها؛ سهم نسبی رسانه هوش مصنوعی در مقابل پروتکل آموزشی ساختاریافته ارائهشده توسط آن، مستقیماً در این طرح مورد آزمون قرار نگرفته است.