scientific argumentation

Despite scientific argumentation being a fundamental competency of the PISA assessment framework, prospective biology teachers often demonstrate insufficient development in evidence-based reasoning and rebuttal construction skills. Considering the limitations of large-scale implementation of individualized approaches in higher education, this study evaluates the effectiveness of Generative Artificial Intelligence (ChatGPT-4) configured as a “Socratic tutor” in developing argumentation skills among future educators. An 8-week quasi-experimental study involving 124 students from a pedagogical university employed traditional peer discussion methods in the control group ( n = 62), while the experimental group ( n = 62) utilized an AI agent that induced cognitive dissonance regarding socio-scientific issues. Analysis of Covariance (ANCOVA) of data obtained through Toulmin's Argument Pattern (TAP) and PISA rubrics confirmed that the experimental group achieved statistically significantly higher overall argumentation quality compared to the control group (F (1,121) = 14.23, p < .001, η 2 = .105). Particularly, participants who received AI-assisted instruction showed marked improvement in forming rebuttals and evaluating counterevidence, which are considered among the most cognitively demanding components within the PISA scientific literacy framework (OECD). These findings suggest that a Generative AI-mediated Socratic instructional package can be an effective and scalable approach for developing epistemic cognition, and they propose a pedagogical model for integrating structured AI-based tutoring into teacher preparation systems aligned with international assessment standards. These findings should be interpreted as evidence for the effectiveness of the structured, AI-mediated Socratic instructional package as a whole, rather than as evidence of AI's inherent superiority over other methods; the relative contribution of the AI medium versus the structured pedagogical protocol it delivers was not directly tested in this design.

با وجود اینکه استدلال علمی یکی از شایستگی‌های اساسی چارچوب ارزیابی PISA است، معلمان آینده زیست‌شناسی اغلب در توسعه مهارت‌های استدلال مبتنی بر شواهد و ساختاردهی ابطال‌ها، پیشرفت کافی نشان نمی‌دهند. با توجه به محدودیت‌های اجرای گسترده رویکردهای فردمحور در آموزش عالی، این مطالعه اثربخشی هوش مصنوعی مولد (ChatGPT-4) را که به عنوان «مربی سقراطی» پیکربندی شده است، در توسعه مهارت‌های استدلال در میان معلمان آینده مورد ارزیابی قرار می‌دهد. یک مطالعه شبه‌آزمایشی هشت‌هفته‌ای با مشارکت ۱۲۴ دانشجو از یک دانشگاه تربیت معلم انجام شد؛ در گروه کنترل (n = 62) از روش‌های سنتی بحث همتایان استفاده شد و گروه آزمایش (n = 62) از یک عامل هوش مصنوعی بهره برد که ناهماهنگی شناختی را در خصوص مسائل اجتماعی-علمی ایجاد می‌کرد. تحلیل کوواریانس (ANCOVA) داده‌های به‌دست‌آمده از طریق الگوی استدلال تولمین (TAP) و روبریک‌های PISA تأیید کرد که گروه آزمایش به طور معناداری از نظر کیفیت کلی استدلال نسبت به گروه کنترل عملکرد بهتری داشت (F (1,121) = 14.23, p < .001, η 2 = .105). به ویژه، شرکت‌کنندگانی که آموزش مبتنی بر هوش مصنوعی دریافت کردند، در شکل‌دهی ابطال‌ها و ارزیابی شواهد مخالف که از دشوارترین مؤلفه‌های شناختی در چارچوب سواد علمی PISA (OECD) محسوب می‌شوند، بهبود چشمگیری نشان دادند. این یافته‌ها نشان می‌دهد که بسته آموزشی سقراطی مبتنی بر هوش مصنوعی مولد می‌تواند رویکردی مؤثر و مقیاس‌پذیر برای توسعه شناخت معرفتی باشد و مدل آموزشی برای ادغام آموزش ساختاریافته مبتنی بر هوش مصنوعی در نظام‌های تربیت معلم همسو با استانداردهای ارزیابی بین‌المللی ارائه می‌کند. این یافته‌ها باید به عنوان شواهدی برای اثربخشی بسته آموزشی ساختاریافته و میانجی‌گری‌شده توسط هوش مصنوعی سقراطی به طور کلی تفسیر شود، نه به عنوان شواهدی از برتری ذاتی هوش مصنوعی نسبت به سایر روش‌ها؛ سهم نسبی رسانه هوش مصنوعی در مقابل پروتکل آموزشی ساختاریافته ارائه‌شده توسط آن، مستقیماً در این طرح مورد آزمون قرار نگرفته است.

This descriptive qualitative study aims to analyze the integration of Problem-Based Learning (PBL) and mobile technology in enhancing critical thinking skills within chemistry education. Utilizing a Systematic Literature Review (SLR) method guided by the PRISMA protocol, a systematic search was conducted across the Scopus database, filtering 1,817 initial articles down to 14 studies that met the inclusion criteria. The review findings indicate that the use of mobile learning, such as 3D MAR applications and interactive Android e-modules, contributes positively to students' spatial visualization skills. Meanwhile, the implementation of PBL models, such as Socratic-PBL, is shown to cultivate scientific argumentation and in-depth problem-solving skills. However, the literature synthesis reveals a significant instructional gap; most studies apply mobile technology and PBL in isolation, with only 14.3% integrating both approaches. Spatial visualization technologies like Mobile Augmented Reality (MAR) have not been empirically integrated into structured PBL inquiry syntaxes. This study concludes with the vital importance of designing future mobile learning platforms that combine contextual PBL syntaxes with interactive 3D visualizations to comprehensively facilitate students' cognitive reasoning.

این مطالعه کیفی توصیفی با هدف تحلیل ادغام یادگیری مبتنی بر مسئله (PBL) و فناوری سیار در ارتقای مهارت‌های تفکر انتقادی در آموزش شیمی انجام شده است. با بهره‌گیری از روش مرور نظام‌مند متون (SLR) و با راهنمایی پروتکل PRISMA، جستجوی نظام‌مندی در پایگاه داده Scopus صورت گرفت که از میان ۱۸۱۷ مقاله اولیه، ۱۴ مطالعه واجد شرایط وارد تحلیل شدند. یافته‌های مرور نشان می‌دهد که استفاده از یادگیری سیار، مانند برنامه‌های ۳D MAR و ماژول‌های الکترونیکی تعاملی اندروید، تأثیر مثبتی بر مهارت‌های تجسم فضایی دانش‌آموزان دارد. در همین حال، اجرای مدل‌های PBL مانند Socratic-PBL باعث پرورش استدلال علمی و مهارت‌های حل مسئله عمیق می‌شود. با این حال، سنتز ادبیات پژوهش‌ها شکاف قابل توجهی را در آموزش نشان می‌دهد؛ اکثر مطالعات فناوری سیار و PBL را به صورت مجزا به کار برده‌اند و تنها ۱۴.۳٪ هر دو رویکرد را به طور همزمان ادغام کرده‌اند. فناوری‌های تجسم فضایی مانند Mobile Augmented Reality (MAR) به طور تجربی در ساختارهای جستجوی PBL ساختاریافته ادغام نشده‌اند. این مطالعه با تأکید بر اهمیت اساسی طراحی پلتفرم‌های آینده یادگیری سیار که نحوهای PBL زمینه‌مند را با تجسم‌های تعاملی سه‌بعدی ترکیب می‌کنند، به منظور تسهیل جامع استدلال شناختی دانش‌آموزان، به پایان می‌رسد.

Background-This research assesses the effectiveness of implementing the ISOCC with ISOCC microlearning-assisted learning models in enhancing students’ information literacy and scientific argumentation skills. Objectives-The study aims to describe the impact of ISOCC learning models, aided by microlearning, on skills development and to assess students' abilities before and after the intervention. Method-A quasi-experimental design was employed with a non-equivalent control group, utilizing an information literacy test and a scientific argumentation ability test as instruments. Results-Based on an unpaired t-test, resulted in a post-test score of t (50) = −2.05, p = .045, d = −0.57, indicating a significant difference with a moderate effect. Although the MANOVA test showed no significant multivariate differences in either skill, Pillai's Trace (V = 0.094, p = 0.088) approached significance, indicating a moderate treatment effect on one or both skills. Univariate ANOVA test results showed that no significant differences were found in information literacy and argumentation skills among groups. Nevertheless, microlearning in ISOCC showed a potential positive effect on scientific argumentation skills, nearing significance (F (1, 50) = 3.209, p = 0.079, partial η² = 0.06). Conclusions-The study concludes that integrating microlearning in the ISOCC model is it has the potential to improve scientific argumentation skills.

زمینه: این پژوهش اثربخشی اجرای مدل‌های یادگیری ISOCC با کمک ریزیادگیری را در ارتقای سواد اطلاعاتی و مهارت‌های استدلال علمی دانشجویان ارزیابی می‌کند. اهداف: هدف مطالعه توصیف تأثیر مدل‌های یادگیری ISOCC با کمک ریزیادگیری بر توسعه مهارت‌ها و ارزیابی توانایی‌های دانشجویان پیش و پس از مداخله است. روش: این پژوهش با طرح نیمه‌آزمایشی و گروه کنترل غیرمعادل انجام شد و از آزمون سواد اطلاعاتی و آزمون توانایی استدلال علمی به عنوان ابزار استفاده گردید. نتایج: بر اساس آزمون t مستقل، نمره پس‌آزمون t (50) = −2.05، p = 0.045، d = −0.57 به دست آمد که نشان‌دهنده تفاوت معنادار با اندازه اثر متوسط است. اگرچه آزمون MANOVA تفاوت چندمتغیره معناداری در هیچ‌یک از مهارت‌ها نشان نداد، اما مقدار Pillai's Trace (V = 0.094، p = 0.088) نزدیک به معناداری بود که بیانگر اثر متوسط مداخله بر یکی یا هر دو مهارت است. نتایج آزمون ANOVA یک‌متغیره نشان داد که تفاوت معناداری در سواد اطلاعاتی و مهارت‌های استدلال میان گروه‌ها وجود ندارد. با این حال، ریزیادگیری در مدل ISOCC اثر مثبت بالقوه‌ای بر مهارت‌های استدلال علمی داشت که نزدیک به معناداری بود (F (1, 50) = 3.209، p = 0.079، partial η² = 0.06). نتیجه‌گیری: مطالعه حاضر نتیجه می‌گیرد که ادغام ریزیادگیری در مدل ISOCC پتانسیل بهبود مهارت‌های استدلال علمی را دارد.

Introduction Promoting scientific argumentation in the context of socio-scientific issues remains a major challenge in science education. Artificial intelligence offers new opportunities to provide adaptive feedback on students’ written arguments; however, little is known about learners’ perceptions of hybrid learning environments that combine AI-supported feedback with peer feedback under authentic classroom conditions. This study presents the development and pilot evaluation of SMOKEChem, a web-based learning environment designed to foster scientific argumentation through AI-supported and collaborative feedback processes. Methods An exploratory mixed-methods design was employed to investigate learners’ perceptions of SMOKEChem during regular chemistry lessons. A total of 130 secondary school students (mean age = 15 years) participated in the study. Quantitative data were collected using questionnaires assessing technology acceptance, cognitive load, and chatbot usability, while qualitative responses explored students’ perceptions of peer feedback. Results The findings indicate that SMOKEChem was perceived as useful, user-friendly, and cognitively balanced, with low levels of extraneous cognitive load and high levels of germane cognitive load. Furthermore, students perceived AI-supported and peer feedback as fulfilling complementary functions: acceptance and usability data indicate that AI provided immediate, structured guidance for revising arguments, while qualitative data on peer feedback point to dialogic reflection, perspective-taking, and collaborative knowledge construction. Discussion The findings provide initial empirical evidence that hybrid feedback designs combining AI-supported and peer feedback can effectively support scientific argumentation in socio-scientific contexts. The complementary strengths of both feedback sources highlight the potential of integrating AI into collaborative learning environments rather than replacing peer interaction. These results provide practical implications for the design of AI-supported argumentation environments and inform future research on hybrid feedback approaches in science education.

مقدمه: ارتقای استدلال علمی در زمینه مسائل اجتماعی-علمی همچنان یکی از چالش‌های عمده در آموزش علوم به‌شمار می‌رود. هوش مصنوعی فرصت‌های جدیدی را برای ارائه بازخورد تطبیقی بر استدلال‌های نوشتاری دانش‌آموزان فراهم می‌کند؛ با این حال، اطلاعات اندکی درباره ادراک یادگیرندگان از محیط‌های یادگیری ترکیبی که بازخورد مبتنی بر هوش مصنوعی را با بازخورد همتایان در شرایط واقعی کلاس درس تلفیق می‌کنند، وجود دارد. این مطالعه به معرفی توسعه و ارزیابی اولیه SMOKEChem، یک محیط یادگیری مبتنی بر وب که با هدف تقویت استدلال علمی از طریق فرآیندهای بازخورد مبتنی بر هوش مصنوعی و همکاری طراحی شده است، می‌پردازد. روش‌ها: یک طرح اکتشافی آمیخته برای بررسی ادراک یادگیرندگان از SMOKEChem در جریان کلاس‌های معمول شیمی به‌کار گرفته شد. در مجموع ۱۳۰ دانش‌آموز دبیرستانی (میانگین سنی = ۱۵ سال) در این پژوهش شرکت کردند. داده‌های کمی از طریق پرسشنامه‌هایی درباره پذیرش فناوری، بار شناختی و قابلیت استفاده چت‌بات گردآوری شد و پاسخ‌های کیفی به بررسی ادراک دانش‌آموزان از بازخورد همتایان پرداخت. یافته‌ها: نتایج نشان داد که SMOKEChem به‌عنوان ابزاری مفید، کاربرپسند و دارای تعادل شناختی ادراک شد و سطوح بار شناختی بیرونی پایین و بار شناختی سازنده بالایی را نشان داد. افزون بر این، دانش‌آموزان بازخورد مبتنی بر هوش مصنوعی و بازخورد همتایان را دارای کارکردهای مکمل تلقی کردند: داده‌های پذیرش و قابلیت استفاده نشان داد که هوش مصنوعی راهنمایی فوری و ساختاریافته‌ای برای بازنگری استدلال‌ها ارائه می‌دهد، در حالی که داده‌های کیفی درباره بازخورد همتایان به بازتاب گفت‌وگویی، دیدگاه‌پذیری و ساخت دانش مشارکتی اشاره داشت. بحث: یافته‌ها شواهد تجربی اولیه‌ای ارائه می‌دهند که طراحی بازخورد ترکیبی با ادغام بازخورد مبتنی بر هوش مصنوعی و بازخورد همتایان می‌تواند به‌طور مؤثری از استدلال علمی در زمینه‌های اجتماعی-علمی حمایت کند. نقاط قوت مکمل هر دو منبع بازخورد، پتانسیل ادغام هوش مصنوعی در محیط‌های یادگیری مشارکتی به‌جای جایگزینی تعامل همتایان را برجسته می‌کند. این نتایج پیامدهای عملی برای طراحی محیط‌های استدلال مبتنی بر هوش مصنوعی داشته و پژوهش‌های آتی درباره رویکردهای بازخورد ترکیبی در آموزش علوم را هدایت می‌کند.