Despite scientific argumentation being a fundamental competency of the PISA assessment framework, prospective biology teachers often demonstrate insufficient development in evidence-based reasoning and rebuttal construction skills. Considering the limitations of large-scale implementation of individualized approaches in higher education, this study evaluates the effectiveness of Generative Artificial Intelligence (ChatGPT-4) configured as a “Socratic tutor” in developing argumentation skills among future educators. An 8-week quasi-experimental study involving 124 students from a pedagogical university employed traditional peer discussion methods in the control group ( n = 62), while the experimental group ( n = 62) utilized an AI agent that induced cognitive dissonance regarding socio-scientific issues. Analysis of Covariance (ANCOVA) of data obtained through Toulmin's Argument Pattern (TAP) and PISA rubrics confirmed that the experimental group achieved statistically significantly higher overall argumentation quality compared to the control group (F (1,121) = 14.23, p < .001, η 2 = .105). Particularly, participants who received AI-assisted instruction showed marked improvement in forming rebuttals and evaluating counterevidence, which are considered among the most cognitively demanding components within the PISA scientific literacy framework (OECD). These findings suggest that a Generative AI-mediated Socratic instructional package can be an effective and scalable approach for developing epistemic cognition, and they propose a pedagogical model for integrating structured AI-based tutoring into teacher preparation systems aligned with international assessment standards. These findings should be interpreted as evidence for the effectiveness of the structured, AI-mediated Socratic instructional package as a whole, rather than as evidence of AI's inherent superiority over other methods; the relative contribution of the AI medium versus the structured pedagogical protocol it delivers was not directly tested in this design.
با وجود اینکه استدلال علمی یکی از شایستگی‌های اساسی چارچوب ارزیابی PISA است، معلمان آینده زیست‌شناسی اغلب در توسعه مهارت‌های استدلال مبتنی بر شواهد و ساختاردهی ابطال‌ها، پیشرفت کافی نشان نمی‌دهند. با توجه به محدودیت‌های اجرای گسترده رویکردهای فردمحور در آموزش عالی، این مطالعه اثربخشی هوش مصنوعی مولد (ChatGPT-4) را که به عنوان «مربی سقراطی» پیکربندی شده است، در توسعه مهارت‌های استدلال در میان معلمان آینده مورد ارزیابی قرار می‌دهد. یک مطالعه شبه‌آزمایشی هشت‌هفته‌ای با مشارکت ۱۲۴ دانشجو از یک دانشگاه تربیت معلم انجام شد؛ در گروه کنترل (n = 62) از روش‌های سنتی بحث همتایان استفاده شد و گروه آزمایش (n = 62) از یک عامل هوش مصنوعی بهره برد که ناهماهنگی شناختی را در خصوص مسائل اجتماعی-علمی ایجاد می‌کرد. تحلیل کوواریانس (ANCOVA) داده‌های به‌دست‌آمده از طریق الگوی استدلال تولمین (TAP) و روبریک‌های PISA تأیید کرد که گروه آزمایش به طور معناداری از نظر کیفیت کلی استدلال نسبت به گروه کنترل عملکرد بهتری داشت (F (1,121) = 14.23, p < .001, η 2 = .105). به ویژه، شرکت‌کنندگانی که آموزش مبتنی بر هوش مصنوعی دریافت کردند، در شکل‌دهی ابطال‌ها و ارزیابی شواهد مخالف که از دشوارترین مؤلفه‌های شناختی در چارچوب سواد علمی PISA (OECD) محسوب می‌شوند، بهبود چشمگیری نشان دادند. این یافته‌ها نشان می‌دهد که بسته آموزشی سقراطی مبتنی بر هوش مصنوعی مولد می‌تواند رویکردی مؤثر و مقیاس‌پذیر برای توسعه شناخت معرفتی باشد و مدل آموزشی برای ادغام آموزش ساختاریافته مبتنی بر هوش مصنوعی در نظام‌های تربیت معلم همسو با استانداردهای ارزیابی بین‌المللی ارائه می‌کند. این یافته‌ها باید به عنوان شواهدی برای اثربخشی بسته آموزشی ساختاریافته و میانجی‌گری‌شده توسط هوش مصنوعی سقراطی به طور کلی تفسیر شود، نه به عنوان شواهدی از برتری ذاتی هوش مصنوعی نسبت به سایر روش‌ها؛ سهم نسبی رسانه هوش مصنوعی در مقابل پروتکل آموزشی ساختاریافته ارائه‌شده توسط آن، مستقیماً در این طرح مورد آزمون قرار نگرفته است.
Introduction: Coding is a central step in many qualitative data analyses (QDA). Artificial intelligence (AI) has made inroads into the field with performance dependent on the prompting strategy used. This work examines the effectiveness of different prompting strategies on AI performance. Methods: Coding and theme analyses were performed on abstracts from a 16-study meta-analysis examining the association between air pollution and preeclampsia incidence. These were also performed in a second related corpus containing fewer formal sources. Coding was performed with R, NVivo 14, and ChatGPT 4.1. Several prompting strategies in increasing degree of complexity (zero-shot, few-shots, and chain-of-thought – CoT) were evaluated regarding their accuracy against manual coding. Direct thematic coding with AI was also examined. Results: Zero-shot prompting (with or without CoT) provided the best results for structured text. Requesting a full word-by-abstract matrix increases sensitivity. Supplementing CoT with general topic information and role playing made it the best strategy for more colloquial text. Directly inquiring thematic coding within AI showed good performance. Some prompting strategies are more prone to hallucinations. The latter are associated with errors in the frequency counting process while coding. Discussion: This work offers performance assessment of an AI tool for coding and theme extraction through a variety of prompting strategies combined with head-to-head comparison with popular QDA tools using readily available data. During user interaction, AI chatbots provide suggestions regarding potential next steps which may enhance results during coding. AI tools may require replication to ensure consistent findings and mitigate their probabilistic nature. Integrating results from at least two tools (AI and traditional) provides more comprehensive and accessible results for QDA.
مقدمه: کدگذاری یکی از مراحل اساسی در بسیاری از تحلیل‌های داده‌های کیفی (QDA) است. هوش مصنوعی (AI) به این حوزه وارد شده است و عملکرد آن وابسته به راهبرد پرامپت‌دهی مورد استفاده می‌باشد. این پژوهش اثربخشی راهبردهای مختلف پرامپت‌دهی بر عملکرد هوش مصنوعی را بررسی می‌کند. روش‌ها: کدگذاری و تحلیل مضامین بر روی چکیده‌های یک فراتحلیل ۱۶مطالعه‌ای که به بررسی ارتباط بین آلودگی هوا و بروز پره‌اکلامپسی می‌پرداخت، انجام شد. این تحلیل‌ها همچنین بر روی یک پیکره مرتبط دوم که منابع رسمی کمتری داشت، صورت گرفت. کدگذاری با استفاده از R، NVivo 14 و ChatGPT 4.1 انجام شد. چندین راهبرد پرامپت‌دهی با درجات مختلف پیچیدگی (zero-shot، few-shots و chain-of-thought – CoT) از نظر دقت نسبت به کدگذاری دستی ارزیابی شدند. کدگذاری مستقیم مضامین با هوش مصنوعی نیز بررسی شد. نتایج: پرامپت‌دهی zero-shot (با یا بدون CoT) بهترین نتایج را برای متون ساختاریافته ارائه داد. درخواست ماتریس کامل واژه-بر-چکیده حساسیت را افزایش می‌دهد. تکمیل CoT با اطلاعات کلی موضوع و ایفای نقش، آن را به بهترین راهبرد برای متون محاوره‌ای‌تر تبدیل کرد. استعلام مستقیم کدگذاری مضامین در هوش مصنوعی عملکرد خوبی نشان داد. برخی راهبردهای پرامپت‌دهی مستعد هالوسینیشن بیشتری هستند. این مورد با خطا در فرایند شمارش فراوانی هنگام کدگذاری همراه است. بحث: این پژوهش ارزیابی عملکرد یک ابزار هوش مصنوعی برای کدگذاری و استخراج مضامین را از طریق راهبردهای مختلف پرامپت‌دهی و مقایسه مستقیم با ابزارهای رایج QDA با استفاده از داده‌های در دسترس ارائه می‌دهد. در طول تعامل کاربر، چت‌بات‌های هوش مصنوعی پیشنهادهایی درباره گام‌های بعدی احتمالی ارائه می‌کنند که ممکن است نتایج را در حین کدگذاری بهبود بخشد. ابزارهای هوش مصنوعی ممکن است نیازمند تکرار برای اطمینان از یافته‌های پایدار و کاهش ماهیت احتمالی آن‌ها باشند. ادغام نتایج حداقل دو ابزار (هوش مصنوعی و سنتی) نتایج جامع‌تر و قابل دسترس‌تری برای QDA فراهم می‌کند.
