ChatGPT

Assessment in Arabic language learning as a foreign language (Arabic as a Foreign Language) is currently undergoing a significant paradigm shift. This transformation is influenced by the development of digital technology, the utilization of Artificial Intelligence (AI), and the implementation of the Merdeka Curriculum in Indonesia, which emphasizes flexibility, differentiation, and learning personalization. This article presents a Systematic Literature Review (SLR) aimed at identifying, examining, and synthesizing developments, innovations, methodological approaches, and various challenges in the assessment of the four Arabic language skills, namely listening, speaking, reading, and writing, during the period from 2020 to early 2026. The review employed the PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) protocol to identify and analyze relevant literature. The findings indicate a shift from conventional evaluation systems based on discrete tests toward the implementation of Technology-Enhanced Assessment (TEA) and more authentic forms of assessment. The literature synthesis reveals several key findings. First, diagnostic assessment, encompassing both cognitive and non-cognitive aspects, plays an important role in designing differentiated learning within the framework of the Merdeka Curriculum. Second, the development of assessment instruments for Arabic language maharah is increasingly oriented toward measuring higher-order thinking skills (Higher Order Thinking Skills/HOTS). Third, the utilization of Generative AI, including ChatGPT, as well as various gamification-based learning platforms, has introduced new approaches to providing faster, more adaptive, and interactive feedback. Based on the synthesis, the effectiveness of modern assessment is not determined solely by the sophistication of the technology employed, but also by the alignment between technology and pedagogical objectives, the transparency of assessment procedures, and its ability to comprehensively represent learners' communicative competence while maintaining the principles of academic integrity.

The emergence of generative artificial intelligence (Generative AI), such as ChatGPT, has brought significant changes to higher education, including Arabic language learning for non-native speakers (Arabic as a Foreign Language). Writing skills (Maharah al-Kitabah) are considered a relatively complex productive skill. Learners are required not only to master word formation (Sarf) and Arabic grammar (Nahwu), but also to organize ideas coherently and logically. This article employs a Systematic Literature Review (SLR) approach based on the PRISMA 2020 standards to map the use of ChatGPT in Arabic writing, examine the reliability of AI in Arabic grammar, and identify research gaps that remain underexplored. The review findings indicate that ChatGPT can serve as a useful writing partner (human-AI co-writer), particularly for generating ideas, enriching vocabulary, and correcting basic grammatical errors. However, AI still frequently produces errors or “hallucinations” when dealing with morphologically complex words, variations in Arabic dialects, and unvocalized texts. As a result, AI-generated writing may appear linguistically polished on the surface while containing grammatical inaccuracies. Furthermore, excessive reliance on AI may pose risks to academic integrity, while AI detection tools themselves often produce inaccurate results when identifying Arabic-language texts (false positives). This review also finds that existing research remains overly focused on English, tends to examine only the final writing outcomes without investigating students’ cognitive processes, and has paid limited attention to AI models specifically developed for the Arab region, such as ALLaM and Jais. Therefore, the approach to AI-assisted learning needs to shift from merely using AI toward purposeful and reflective utilization through frameworks such as the Spiral Learning Model and Genre-Based Pedagogy, so that AI functions as a scaffold without diminishing students’ autonomy and critical thinking.

The landscape of foreign language education, particularly Arabic language instruction, is currently undergoing a fundamental transformation driven by the emergence of Generative Artificial Intelligence (GenAI) and Large Language Models (LLMs). This Systematic Literature Review evaluates recent developments in the integration of GenAI into the Arabic language learning ecosystem, encompassing trends in the evolution of language models, pedagogical effectiveness, the utilization of automated assessment systems, as well as the linguistic and cultural challenges involved. Through a thematic synthesis of empirical and theoretical literature published between 2019 and 2026, this review confirms that GenAI significantly enhances learner engagement, instructional personalization, and language skill acquisition, particularly in vocabulary mastery and reading comprehension. These improvements are driven by the adoption of general-purpose models such as ChatGPT, as well as leading Arabic-centric models such as JAIS and ALLaM. Nevertheless, this innovative integration encounters the inherent structural complexity of the Arabic language. Generative models frequently experience technical limitations in handling syntactic rules (nahwu), morphology (shorof), diacritic disambiguation, and regional dialect variations, as evidenced by performance gaps in linguistic benchmarks such as AraLingBench and AlGhafa. Furthermore, this review discusses rapid advances in trait-based Automated Essay Scoring (AES) supported by precise prompt engineering. Based on these findings, the study concludes that although GenAI has significant potential to bring positive disruption, its successful implementation depends heavily on pedagogical readiness, digital literacy, the application of Human-in-the-Loop (HITL) collaboration, and the development of ethical frameworks aligned with the epistemology of Islamic higher education.

Large language models (LLMs) are increasingly used in dental education, but research has focused mainly on answer accuracy. Whether LLMs can identify the cognitive demand of examination items remains unclear. This study evaluated LLM classification fidelity for endodontic multiple-choice questions (MCQs) across three educational taxonomies and compared four publicly accessible models. Two hundred endodontic MCQs from the Turkish Dentistry Specialty Examination (DUS, 2012–2025) were classified by ChatGPT, Gemini, Kimi, and DeepSeek according to Revised Bloom’s Taxonomy, the SOLO Taxonomy, and Miller’s Pyramid. A three-layer expert consensus procedure comprising calibration training, procedural audit, and structured joint deliberation established the expert consensus reference standard. Agreement was assessed using weighted Cohen’s kappa (κw) with bootstrap 95% confidence intervals; classification performance was evaluated using accuracy and macro-averaged F1. Inter-model differences in item-level accuracy were tested using Cochran’s Q with Kendall’s W, followed by Holm–Bonferroni-corrected pairwise McNemar tests. For Revised Bloom’s Taxonomy, Gemini (κw=0.676) and DeepSeek (κw=0.667) achieved substantial agreement, while Kimi (κw=0.428) and ChatGPT (κw=0.365) performed lower. For SOLO, Gemini achieved substantial agreement (κw=0.622), while the remaining models showed moderate agreement. For Miller’s Pyramid, agreement did not exceed fair, with ChatGPT highest (κw=0.372). Inter-model differences were significant for all three taxonomies (all p<0.001). ChatGPT ranked lowest for Revised Bloom and SOLO but highest for Miller. Revised Bloom levels of expert consensus reference standard increased significantly across examination years (Spearman ρ=0.301, p<0.001). LLMs showed meaningful classification fidelity for Revised Bloom and SOLO taxonomies, particularly Gemini and DeepSeek, but performance for Miller’s Pyramid remained weak. Bloom, SOLO, and Miller should not be treated as interchangeable frameworks, and LLM selection should be tailored to the taxonomy and assessment purpose. Answer accuracy and taxonomy classification fidelity represent distinct capabilities that warrant independent evaluation.

The digitization of the Qur’an has reconfigured how Qur’anic interpretation (tafsīr) is produced, mediated, and perceived, particularly as artificial intelligence (AI) enters a tradition grounded in sanad, the chain of scholarly transmission. This study aims to examine the development of AI in digital tafsir, compare algorithmic interpretation with classical tafsir methodology, and assess how algorithmic visibility relates to epistemic authority and the validity of interpretation. Using a descriptive-analytical-critical approach combined with comparative and critical (naqd) methods, this library research draws on scholarly literature on digital religion, AI, and tafsir, including a secondary comparative study of ChatGPT and classical tafsir. The analysis is framed by Islamic epistemology, namely sanad, uṣūl al-tafsīr, and maqāṣid al-sharī‘ah. The findings indicate that AI has evolved from digitization and curated repositories into generative systems that are effective for access, linguistic analysis, and the preservation of turāth. However, the generative model examined shows limitations regarding sanad, asbāb al-nuzūl, maqāṣid, and verifiable references, although this evidence is limited and cannot be generalized to all AI systems. Aspects that have undergone a shift is the visibility and perceived authority of interpretation, not demonstrably its epistemic legitimacy. These findings demonstrate that the shift is an epistemological tendency rather than an empirically proven displacement of scholars, and that integrating scholarly authority with digital innovation should follow four principles of a digital sanad: source traceability, scholarly accountability, methodological transparency, and the separation of visibility from legitimacy.

دیجیتالی‌شدن قرآن، نحوه تولید، واسطه‌گری و ادراک تفسیر قرآن (تفسیر) را به‌ویژه با ورود هوش مصنوعی (AI) به سنتی مبتنی بر سند، یعنی زنجیره انتقال علمی، بازپیکربندی کرده است. هدف این مطالعه بررسی توسعه هوش مصنوعی در تفسیر دیجیتال، مقایسه تفسیر الگوریتمی با روش‌شناسی تفسیر کلاسیک و ارزیابی ارتباط رویت‌پذیری الگوریتمی با اقتدار معرفتی و روایی تفسیر است. با بهره‌گیری از رویکرد توصیفی-تحلیلی-انتقادی همراه با روش‌های مقایسه‌ای و انتقادی (نقد)، این پژوهش کتابخانه‌ای از ادبیات علمی درباره دین دیجیتال، هوش مصنوعی و تفسیر بهره می‌گیرد و شامل مطالعه تطبیقی ثانویه میان ChatGPT و تفسیر کلاسیک است. تحلیل در چارچوب معرفت‌شناسی اسلامی، به‌ویژه سند، اصول تفسیر (اصول التفسیر) و مقاصد شریعت (مقاصد الشریعه) صورت گرفته است. یافته‌ها نشان می‌دهد که هوش مصنوعی از دیجیتالی‌سازی و مخازن گزینش‌شده به سامانه‌های مولد تکامل یافته که برای دسترسی، تحلیل زبانی و حفظ تراث مؤثر هستند. با این حال، مدل مولد بررسی‌شده در زمینه سند، اسباب النزول، مقاصد و منابع قابل راستی‌آزمایی محدودیت‌هایی دارد، هرچند این شواهد محدود بوده و قابلیت تعمیم به همه سامانه‌های هوش مصنوعی را ندارد. جنبه‌هایی که دچار تحول شده‌اند، رویت‌پذیری و اقتدار ادراک‌شده تفسیر است، نه مشروعیت معرفتی آن به‌صورت اثبات‌شده. این یافته‌ها نشان می‌دهد که این تحول، گرایشی معرفتی است نه جابه‌جایی تجربی اثبات‌شده جایگاه علما، و اینکه ادغام اقتدار علمی با نوآوری دیجیتال باید بر اساس چهار اصل سند دیجیتال صورت گیرد: قابلیت ردیابی منبع، پاسخگویی علمی، شفافیت روش‌شناختی و تفکیک رویت‌پذیری از مشروعیت.

Background The emergence of Generative Artificial Intelligence (GenAI), particularly ChatGPT, offers new possibilities for mathematics learning in higher education. Although ChatGPT can provide explanations, examples, guiding questions, and feedback, its use in Abstract Algebra courses has largely been limited to answering questions and verifying mathematical answers or proofs. This study analyses pre-service mathematics teachers’ mathematical communication when interacting with ChatGPT through seven indicators, including: interpreting formal definitions; using mathematical terms, symbols, variables, and notation appropriately; constructing examples, non-examples, and counter-examples; explaining relationships between algebraic objects and their properties; justifying arguments or proofs; evaluating the validity of mathematical responses; and formulating coherent conclusions. Method A qualitative case study involved 18 pre-service mathematics teachers enrolled in an Abstract Algebra course in the department of mathematics education at a public university in Bandung City, West Java, Indonesia. Data comprised written dialogues between the pre-service mathematics teachers and ChatGPT while solving Abstract Algebra problems and were analysed using the seven indicators. Results The findings indicate that the pre-service mathematics teachers’ mathematical communication generally ranged from developing to adequate. They performed relatively well in using terminology and notation, constructing examples or counter-examples, and explaining relationships among algebraic objects and properties. However, justification, critical evaluation of ChatGPT responses, and independent conclusion-making remained weak. While some pre-service mathematics teachers accepted inaccurate AI responses, others identified and connected them. Conclusion The findings suggest that GenAI should serve as a dialogue partner and scaffolding, rather than an authority on mathematical truth. Mathematics course should emphasise verification, justification, critical evaluation, and argument reconstruction to foster independent mathematical communication skills.

زمینه و هدف: ظهور هوش مصنوعی مولد (GenAI)، به‌ویژه ChatGPT، امکانات جدیدی را برای یادگیری ریاضیات در آموزش عالی فراهم کرده است. اگرچه ChatGPT می‌تواند توضیحات، مثال‌ها، پرسش‌های راهنما و بازخورد ارائه دهد، اما استفاده از آن در درس جبر مجرد عمدتاً به پاسخ‌گویی به سؤالات و تأیید پاسخ‌ها یا اثبات‌های ریاضی محدود شده است. این پژوهش به تحلیل ارتباط ریاضی معلمان ریاضی پیش‌خدمت هنگام تعامل با ChatGPT بر اساس هفت شاخص می‌پردازد که عبارت‌اند از: تفسیر تعاریف رسمی؛ استفاده مناسب از اصطلاحات، نمادها، متغیرها و نشانه‌گذاری ریاضی؛ ساخت مثال، غیرمثال و مثال نقض؛ توضیح روابط بین اشیاء جبری و ویژگی‌های آن‌ها؛ توجیه استدلال‌ها یا اثبات‌ها؛ ارزیابی روایی پاسخ‌های ریاضی؛ و صورت‌بندی نتیجه‌گیری منسجم. روش: این مطالعه کیفی موردی با مشارکت ۱۸ معلم ریاضی پیش‌خدمت که در درس جبر مجرد در گروه آموزش ریاضی یکی از دانشگاه‌های دولتی شهر باندونگ، جاوه غربی، اندونزی ثبت‌نام کرده بودند، انجام شد. داده‌ها شامل مکالمات مکتوب بین معلمان ریاضی پیش‌خدمت و ChatGPT هنگام حل مسائل جبر مجرد بود که با استفاده از هفت شاخص تحلیل گردید. یافته‌ها: نتایج نشان داد که ارتباط ریاضی معلمان ریاضی پیش‌خدمت عموماً در بازه در حال توسعه تا قابل قبول قرار داشت. آن‌ها در استفاده از اصطلاحات و نشانه‌گذاری، ساخت مثال یا مثال نقض، و توضیح روابط بین اشیاء جبری و ویژگی‌ها عملکرد نسبتاً خوبی داشتند. با این حال، توجیه، ارزیابی انتقادی پاسخ‌های ChatGPT و نتیجه‌گیری مستقل همچنان ضعیف باقی ماند. در حالی که برخی معلمان ریاضی پیش‌خدمت پاسخ‌های نادرست هوش مصنوعی را پذیرفتند، برخی دیگر آن‌ها را شناسایی و به هم مرتبط کردند. نتیجه‌گیری: یافته‌ها نشان می‌دهد که GenAI باید به عنوان شریک گفت‌وگو و پشتیبان مورد استفاده قرار گیرد، نه مرجع حقیقت ریاضی. دروس ریاضی باید بر تأکید بر صحت‌سنجی، توجیه، ارزیابی انتقادی و بازسازی استدلال‌ها جهت پرورش مهارت‌های ارتباط ریاضی مستقل تمرکز کنند.

Background Digital mental health tools, including general-purpose artificial intelligence (AI) chatbots, may provide accessible and low-threshold psychological support for people living with chronic conditions. However, their value in this population depends not only on recognizing depression or anxiety, but also on understanding how psychological distress is shaped by disease-specific experiences and when self-guided support should transition toward professional care. We evaluated the appropriateness, contextual sensitivity, safety, and consistency of psychological support provided by three widely accessible AI chatbots across contrasting chronic illness contexts. Methods We conducted a standardized simulated-patient benchmarking study comparing ChatGPT, Gemini, and Doubao. Twenty scenarios were developed across type 2 diabetes mellitus (T2DM) and chronic spontaneous urticaria (CSU), representing matched mild and moderate presentations of depression and anxiety together with condition-specific distress related to diabetes self-management and CSU-related flare uncertainty. Each scenario was independently submitted to all three systems in two testing rounds, yielding 120 responses. Blinded raters assessed overall psychological support appropriateness, recognition and emotional support, chronic-illness contextualization, psychological support and referral, psychosomatic balance and safety, and major clinical or safety errors. Repeated testing assessed response consistency. Results Overall psychological support appropriateness differed across systems (P = 0.002), with 90.0% of ChatGPT, 75.0% of Gemini, and 55.0% of Doubao responses meeting the prespecified appropriateness threshold. Recognition and emotional support was consistently strong across systems, whereas greater differences emerged in chronic-illness contextualization (P = 0.001), psychological support and referral (P = 0.002), and psychosomatic balance and safety (P<0.001). All responses to mild presentations were classified as psychologically appropriate, compared with 58.3% of responses to moderate presentations, indicating that performance became less reliable when digital support required stronger escalation toward professional assessment. Contextualization was also less consistent in CSU, particularly when responses needed to incorporate flare unpredictability, pruritus, sleep disruption, and illness uncertainty. Major clinical or safety errors occurred in 0%, 10.0%, and 15.0% of first-round ChatGPT, Gemini, and Doubao responses, respectively. Test–retest consistency was moderate and varied between systems. Conclusions General-purpose AI chatbots show potential as accessible, self-guided digital mental health resources for people living with chronic conditions, particularly for recognizing distress and providing initial supportive guidance. Their current limitations emerge when effective support requires disease-specific contextualization, balanced interpretation of psychological and somatic factors, or escalation as symptoms become more severe. These findings identify important boundaries for the use of conversational AI in chronic-illness mental health care and suggest that implementation should emphasize context-sensitive guidance, severity-responsive referral, and clear integration with rather than substitution for professional care.

زمینه: ابزارهای سلامت روان دیجیتال، از جمله چت‌بات‌های هوش مصنوعی عمومی، ممکن است حمایت روان‌شناختی قابل دسترس و با آستانه پایین برای افراد مبتلا به بیماری‌های مزمن فراهم کنند. با این حال، ارزش آن‌ها در این جمعیت نه تنها به شناسایی افسردگی یا اضطراب بستگی دارد، بلکه به درک چگونگی شکل‌گیری پریشانی روان‌شناختی توسط تجارب خاص بیماری و زمان انتقال حمایت خودراهنما به مراقبت حرفه‌ای نیز وابسته است. ما تناسب، حساسیت زمینه‌ای، ایمنی و انسجام حمایت روان‌شناختی ارائه‌شده توسط سه چت‌بات هوش مصنوعی عمومی و در دسترس را در زمینه‌های متضاد بیماری مزمن ارزیابی کردیم. روش‌ها: یک مطالعه بنچمارک‌گیری بیمار شبیه‌سازی‌شده استانداردشده انجام دادیم و ChatGPT، Gemini و Doubao را مقایسه کردیم. بیست سناریو در زمینه دیابت نوع ۲ (T2DM) و کهیر مزمن خودبه‌خود (CSU) توسعه یافت که ارائه‌های خفیف و متوسط افسردگی و اضطراب را همراه با پریشانی خاص بیماری مرتبط با خودمدیریتی دیابت و عدم قطعیت شعله‌ورشدگی مرتبط با CSU بازنمایی می‌کرد. هر سناریو به طور مستقل در دو دور آزمون به هر سه سیستم ارائه شد و ۱۲۰ پاسخ به دست آمد. ارزیابان نابینا تناسب کلی حمایت روان‌شناختی، شناسایی و حمایت هیجانی، زمینه‌مندی بیماری مزمن، حمایت روان‌شناختی و ارجاع، تعادل روان‌تنی و ایمنی، و خطاهای عمده بالینی یا ایمنی را ارزیابی کردند. آزمون تکرارشونده انسجام پاسخ‌ها را سنجید. نتایج: تناسب کلی حمایت روان‌شناختی بین سیستم‌ها متفاوت بود (P = 0.002)، به‌طوری‌که ۹۰.۰٪ پاسخ‌های ChatGPT، ۷۵.۰٪ Gemini و ۵۵.۰٪ Doubao به آستانه تناسب از پیش تعیین‌شده رسیدند. شناسایی و حمایت هیجانی در همه سیستم‌ها به طور مداوم قوی بود، در حالی که تفاوت‌های بیشتری در زمینه‌مندی بیماری مزمن (P = 0.001)، حمایت روان‌شناختی و ارجاع (P = 0.002)، و تعادل روان‌تنی و ایمنی (P<0.001) مشاهده شد. همه پاسخ‌ها به ارائه‌های خفیف از نظر روان‌شناختی مناسب طبقه‌بندی شدند، در حالی که تنها ۵۸.۳٪ پاسخ‌ها به ارائه‌های متوسط مناسب بودند که نشان می‌دهد عملکرد زمانی که حمایت دیجیتال نیازمند ارجاع قوی‌تر به ارزیابی حرفه‌ای بود، کمتر قابل اعتماد می‌شود. زمینه‌مندی در CSU نیز کمتر منسجم بود، به‌ویژه زمانی که پاسخ‌ها باید عدم قطعیت شعله‌ورشدگی، خارش، اختلال خواب و عدم قطعیت بیماری را در بر می‌گرفتند. خطاهای عمده بالینی یا ایمنی به ترتیب در ۰٪، ۱۰.۰٪ و ۱۵.۰٪ پاسخ‌های دور اول ChatGPT، Gemini و Doubao رخ داد. انسجام آزمون–بازآزمون متوسط بود و بین سیستم‌ها تفاوت داشت. نتیجه‌گیری: چت‌بات‌های هوش مصنوعی عمومی به عنوان منابع سلامت روان دیجیتال خودراهنما و قابل دسترس برای افراد مبتلا به بیماری‌های مزمن، به ویژه در شناسایی پریشانی و ارائه راهنمایی حمایتی اولیه، پتانسیل نشان می‌دهند. محدودیت‌های فعلی آن‌ها زمانی آشکار می‌شود که حمایت مؤثر نیازمند زمینه‌مندی خاص بیماری، تفسیر متعادل عوامل روانی و جسمانی یا ارجاع در صورت تشدید علائم باشد. این یافته‌ها مرزهای مهمی را برای استفاده از هوش مصنوعی مکالمه‌ای در مراقبت سلامت روان بیماری مزمن شناسایی می‌کند و نشان می‌دهد که پیاده‌سازی باید بر راهنمایی حساس به زمینه، ارجاع متناسب با شدت و ادغام شفاف با مراقبت حرفه‌ای (و نه جایگزینی آن) تأکید کند.

Background Large language models are increasingly used for informal mental health support, yet their safety during escalating suicide-risk conversations may depend on how prior information is presented. Native multi-turn conversations and reconstructed cumulative prompts differ not only in the presence of prior model responses but also in prompt reconstruction, information concentration, message positioning, explicit integration cues, and conversation-state processing. Objective This study compared suicide-risk recognition, direct safety inquiry, response urgency, and timely real-world intervention across isolated current-turn prompts, reconstructed cumulative user-only prompts, and native continuous multi-turn conversations. Methods We conducted a controlled repeated-measures evaluation of ChatGPT, Gemini, and Doubao using 12 standardized five-turn trajectories: 4 direct suicide-risk trajectories, 4 implicit or internally inconsistent risk trajectories, and 4 non-suicidal high-distress controls. Each trajectory was evaluated under three context-presentation formats. The 24 model-trajectory combinations were treated as matched repeated-measures units nested within 8 independent risk-trajectory blocks. Primary contrasts were estimated using exact trajectory-level sign-flip tests and trajectory-block bootstrap confidence intervals. Turn-level outcomes were analyzed using multilevel mixed-effects models. Exploratory condition-by-model heterogeneity was assessed using a trajectory-blocked exact permutation sensitivity analysis, with a trajectory-clustered interaction model used only as a secondary asymptotic check. Results Timely appropriate intervention occurred in 10/24 isolated current-turn observations (41.7%), 21/24 reconstructed cumulative observations (87.5%), and 12/24 native continuous observations (50.0%). On average across the three systems, reconstructed cumulative presentation exceeded isolated input by 45.8 percentage points (95% trajectory-block bootstrap CI, 25.0 to 66.7; Holm-adjusted exact P = .031), whereas native continuous performance was 37.5 percentage points lower than reconstructed cumulative performance (95% trajectory-block bootstrap CI, −50.0 to −25.0; Holm-adjusted exact P = .031). Exploratory model-specific analyses indicated substantial heterogeneity: the native-versus-reconstructed contrast was largest for Doubao, smaller and statistically imprecise for Gemini, and absent for ChatGPT. Conclusions On average across the three evaluated systems, reconstructed cumulative user-only prompts outperformed native continuous conversations, although exploratory model-specific patterns were heterogeneous. Because the formats also differed in prompt reconstruction, information salience, message positioning, explicit integration instructions, and native conversation-state processing, the contrast cannot isolate the causal effect of prior model responses.

زمینه: مدل‌های زبانی بزرگ به طور فزاینده‌ای برای حمایت غیررسمی سلامت روان مورد استفاده قرار می‌گیرند، اما ایمنی آن‌ها در مکالمات با ریسک فزایندهٔ خودکشی ممکن است به نحوهٔ ارائهٔ اطلاعات پیشین وابسته باشد. گفت‌وگوهای بومی چندنوبتی و بازسازی‌شدهٔ تجمعی تنها-کاربر نه‌تنها در حضور پاسخ‌های پیشین مدل، بلکه در بازسازی پرامپت، تمرکز اطلاعات، موقعیت پیام، نشانه‌های ادغام صریح و پردازش وضعیت گفت‌وگو نیز تفاوت دارند. هدف: این مطالعه شناسایی ریسک خودکشی، پرسش مستقیم دربارهٔ ایمنی، فوریت پاسخ و مداخلهٔ به‌موقع در دنیای واقعی را در قالب‌های پرامپت نوبت فعلی مجزا، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر و گفت‌وگوهای بومی پیوستهٔ چندنوبتی مقایسه کرد. روش‌ها: ما ارزیابی کنترل‌شدهٔ تکرارپذیری از ChatGPT، Gemini و Doubao با استفاده از ۱۲ مسیر استاندارد پنج‌نوبتی انجام دادیم: ۴ مسیر مستقیم ریسک خودکشی، ۴ مسیر ریسک ضمنی یا ناسازگار درونی، و ۴ کنترل غیرخودکشی با پریشانی بالا. هر مسیر تحت سه قالب ارائهٔ زمینه ارزیابی شد. ۲۴ ترکیب مدل-مسیر به عنوان واحدهای تکرارپذیر همسان درون ۸ بلوک مستقل مسیر ریسک در نظر گرفته شدند. مقایسه‌های اصلی با استفاده از آزمون‌های دقیق وارونگی علامت در سطح مسیر و بازه‌های اطمینان بوت‌استرپ بلوک-مسیر برآورد شد. پیامدهای سطح نوبت با مدل‌های اثرات مختلط چندسطحی تحلیل شد. ناهمگنی اکتشافی وضعیت-مدل با تحلیل حساسیت دقیق جایگشت بلوک-مسیر ارزیابی شد و مدل تعاملی خوشه‌بندی‌شده بر مسیر تنها به عنوان بررسی ثانویهٔ مجانبی استفاده شد. نتایج: مداخلهٔ مناسب و به‌موقع در ۱۰ مورد از ۲۴ مشاهدهٔ نوبت فعلی مجزا (۴۱٫۷٪)، ۲۱ از ۲۴ مشاهدهٔ تجمعی بازسازی‌شده (۸۷٫۵٪) و ۱۲ از ۲۴ مشاهدهٔ بومی پیوسته (۵۰٫۰٪) رخ داد. به طور میانگین در سه سامانه، ارائهٔ تجمعی بازسازی‌شده نسبت به ورودی مجزا ۴۵٫۸ درصد بیشتر بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ۲۵٫۰ تا ۶۶٫۷؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱)، در حالی که عملکرد بومی پیوسته ۳۷٫۵ درصد کمتر از عملکرد تجمعی بازسازی‌شده بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ‎−۵۰٫۰ تا ‎−۲۵٫۰؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱). تحلیل‌های اکتشافی مدل‌محور ناهمگنی قابل توجهی نشان داد: تفاوت بومی-در مقابل-بازسازی‌شده برای Doubao بیشترین مقدار، برای Gemini کمتر و از نظر آماری نامشخص، و برای ChatGPT غایب بود. نتیجه‌گیری: به طور میانگین در سه سامانهٔ ارزیابی‌شده، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر عملکرد بهتری نسبت به گفت‌وگوهای بومی پیوسته داشتند، اگرچه الگوهای مدل‌محور اکتشافی ناهمگون بودند. از آنجا که قالب‌ها همچنین در بازسازی پرامپت، برجستگی اطلاعات، موقعیت پیام، دستورالعمل‌های ادغام صریح و پردازش وضعیت گفت‌وگوی بومی تفاوت داشتند، این مقایسه نمی‌تواند اثر علّی پاسخ‌های پیشین مدل را به طور مجزا تعیین کند.

Despite scientific argumentation being a fundamental competency of the PISA assessment framework, prospective biology teachers often demonstrate insufficient development in evidence-based reasoning and rebuttal construction skills. Considering the limitations of large-scale implementation of individualized approaches in higher education, this study evaluates the effectiveness of Generative Artificial Intelligence (ChatGPT-4) configured as a “Socratic tutor” in developing argumentation skills among future educators. An 8-week quasi-experimental study involving 124 students from a pedagogical university employed traditional peer discussion methods in the control group ( n = 62), while the experimental group ( n = 62) utilized an AI agent that induced cognitive dissonance regarding socio-scientific issues. Analysis of Covariance (ANCOVA) of data obtained through Toulmin's Argument Pattern (TAP) and PISA rubrics confirmed that the experimental group achieved statistically significantly higher overall argumentation quality compared to the control group (F (1,121) = 14.23, p < .001, η 2 = .105). Particularly, participants who received AI-assisted instruction showed marked improvement in forming rebuttals and evaluating counterevidence, which are considered among the most cognitively demanding components within the PISA scientific literacy framework (OECD). These findings suggest that a Generative AI-mediated Socratic instructional package can be an effective and scalable approach for developing epistemic cognition, and they propose a pedagogical model for integrating structured AI-based tutoring into teacher preparation systems aligned with international assessment standards. These findings should be interpreted as evidence for the effectiveness of the structured, AI-mediated Socratic instructional package as a whole, rather than as evidence of AI's inherent superiority over other methods; the relative contribution of the AI medium versus the structured pedagogical protocol it delivers was not directly tested in this design.

با وجود اینکه استدلال علمی یکی از شایستگی‌های اساسی چارچوب ارزیابی PISA است، معلمان آینده زیست‌شناسی اغلب در توسعه مهارت‌های استدلال مبتنی بر شواهد و ساختاردهی ابطال‌ها، پیشرفت کافی نشان نمی‌دهند. با توجه به محدودیت‌های اجرای گسترده رویکردهای فردمحور در آموزش عالی، این مطالعه اثربخشی هوش مصنوعی مولد (ChatGPT-4) را که به عنوان «مربی سقراطی» پیکربندی شده است، در توسعه مهارت‌های استدلال در میان معلمان آینده مورد ارزیابی قرار می‌دهد. یک مطالعه شبه‌آزمایشی هشت‌هفته‌ای با مشارکت ۱۲۴ دانشجو از یک دانشگاه تربیت معلم انجام شد؛ در گروه کنترل (n = 62) از روش‌های سنتی بحث همتایان استفاده شد و گروه آزمایش (n = 62) از یک عامل هوش مصنوعی بهره برد که ناهماهنگی شناختی را در خصوص مسائل اجتماعی-علمی ایجاد می‌کرد. تحلیل کوواریانس (ANCOVA) داده‌های به‌دست‌آمده از طریق الگوی استدلال تولمین (TAP) و روبریک‌های PISA تأیید کرد که گروه آزمایش به طور معناداری از نظر کیفیت کلی استدلال نسبت به گروه کنترل عملکرد بهتری داشت (F (1,121) = 14.23, p < .001, η 2 = .105). به ویژه، شرکت‌کنندگانی که آموزش مبتنی بر هوش مصنوعی دریافت کردند، در شکل‌دهی ابطال‌ها و ارزیابی شواهد مخالف که از دشوارترین مؤلفه‌های شناختی در چارچوب سواد علمی PISA (OECD) محسوب می‌شوند، بهبود چشمگیری نشان دادند. این یافته‌ها نشان می‌دهد که بسته آموزشی سقراطی مبتنی بر هوش مصنوعی مولد می‌تواند رویکردی مؤثر و مقیاس‌پذیر برای توسعه شناخت معرفتی باشد و مدل آموزشی برای ادغام آموزش ساختاریافته مبتنی بر هوش مصنوعی در نظام‌های تربیت معلم همسو با استانداردهای ارزیابی بین‌المللی ارائه می‌کند. این یافته‌ها باید به عنوان شواهدی برای اثربخشی بسته آموزشی ساختاریافته و میانجی‌گری‌شده توسط هوش مصنوعی سقراطی به طور کلی تفسیر شود، نه به عنوان شواهدی از برتری ذاتی هوش مصنوعی نسبت به سایر روش‌ها؛ سهم نسبی رسانه هوش مصنوعی در مقابل پروتکل آموزشی ساختاریافته ارائه‌شده توسط آن، مستقیماً در این طرح مورد آزمون قرار نگرفته است.

The rapid adoption of generative artificial intelligence (AI) tools such as ChatGPT in second language (L2) writing instruction has produced a fast-growing body of research on AI-generated written corrective feedback. Two recent scoping reviews have mapped this literature broadly, focusing on feedback quality, learner uptake and pedagogical integration. However, neither review specifically examined how this literature treats grammatical and lexical development as distinct, measurable constructs, nor how it addresses the moderating role of learner proficiency over time. This scoping review synthesizes 30 empirical and methodological sources, identified through a targeted, PRISMA-ScR-informed search of Google Scholar, Scopus-indexed journal content and ERIC, together with citation networks, to map the state of longitudinal research on generative-AI-mediated feedback and grammatical-lexical development in L2/EFL writing. The review finds that most intervention studies remain limited to a single semester or shorter, that grammatical accuracy and lexical development are rarely measured as separate, co-tracked outcomes and that only a small number of very recent studies (2025-2026) have applied longitudinal growth-modelling techniques, none of which disentangle grammar from vocabulary or systematically test proficiency level as a moderator of developmental trajectories. No such study appears to have been conducted in the Vietnamese EFL context, based on the sources identified in this review. The review proposes a research agenda for longitudinal, multi-proficiency-level, construct-differentiated research on generative-AI-mediated feedback and outlines implications for instructional design and future primary research.

پذیرش سریع ابزارهای هوش مصنوعی مولد مانند ChatGPT در آموزش نگارش زبان دوم (L2) منجر به رشد سریع پژوهش‌ها در زمینه بازخورد اصلاحی نوشتاری تولیدشده توسط هوش مصنوعی شده است. دو مرور محدوده‌ای اخیر این ادبیات را به طور کلی ترسیم کرده‌اند و بر کیفیت بازخورد، جذب یادگیرنده و ادغام آموزشی تمرکز داشته‌اند. با این حال، هیچ‌یک از این مرورها به طور خاص بررسی نکرده‌اند که این ادبیات چگونه توسعه دستوری و واژگانی را به عنوان سازه‌هایی متمایز و قابل سنجش مورد توجه قرار می‌دهد و یا نقش تعدیل‌کننده سطح مهارت یادگیرنده در طول زمان را چگونه بررسی می‌کند. این مرور محدوده‌ای با ترکیب ۳۰ منبع تجربی و روش‌شناختی، که از طریق جستجوی هدفمند مبتنی بر PRISMA-ScR در Google Scholar، محتوای مجلات نمایه‌شده در Scopus و ERIC، همراه با شبکه‌های ارجاعی شناسایی شده‌اند، وضعیت پژوهش‌های طولی درباره بازخورد مبتنی بر هوش مصنوعی مولد و توسعه دستوری-واژگانی در نگارش زبان دوم/انگلیسی به عنوان زبان خارجی (EFL) را ترسیم می‌کند. یافته‌های مرور نشان می‌دهد که اغلب مطالعات مداخله‌ای به یک ترم یا کمتر محدود می‌شوند، دقت دستوری و توسعه واژگانی به ندرت به عنوان پیامدهایی جداگانه و همزمان سنجیده می‌شوند و تنها تعداد اندکی از مطالعات بسیار جدید (۲۰۲۵-۲۰۲۶) از تکنیک‌های مدل‌سازی رشد طولی استفاده کرده‌اند که هیچ‌یک از آن‌ها دستور زبان را از واژگان تفکیک نکرده یا سطح مهارت را به طور نظام‌مند به عنوان تعدیل‌کننده مسیرهای رشد بررسی نکرده‌اند. بر اساس منابع شناسایی‌شده در این مرور، هیچ مطالعه‌ای از این نوع در زمینه آموزش زبان انگلیسی به عنوان زبان خارجی در ویتنام انجام نشده است. این مرور، دستورکار پژوهشی برای مطالعات طولی، چندسطحی از نظر مهارت و متمایز از نظر سازه‌ای درباره بازخورد مبتنی بر هوش مصنوعی مولد ارائه می‌دهد و پیامدهایی برای طراحی آموزشی و پژوهش‌های اولیه آینده ترسیم می‌کند.

This study investigates the alignment between human judgment and artificial intelligence (AI) in IELTS speaking assessment to inform effective pedagogical practices. Through a comparative analysis of 30 Indonesian EFL learners’ performances evaluated by two experienced human raters and three AI systems (ChatGPT, Otter AI, Claude AI), we identified systematic and significant differences that varied considerably across individual AI systems. When AI scores were averaged, human evaluators assigned higher scores than the automated systems overall (mean difference = 0.522, p < .001), with a moderate positive correlation ( r = .497, p = .005). However, disaggregating the AI systems revealed that this overall pattern was driven primarily by two of the three tools: ChatGPT scores did not differ significantly from one of the two human raters, while Otter AI and, in particular, Claude AI diverged substantially from both human raters. Beyond quantifying these differences, this paper explores their profound implications for language teaching and learning. The findings reveal AI’s superior consistency in measuring technical accuracy (e.g., pronunciation, grammar) and human raters’ strength in assessing communicative effectiveness. We argue that this complementarity presents a critical opportunity rather than a problem. The research concludes by proposing a practical hybrid pedagogical framework where AI is leveraged for low-stakes practice, instantaneous feedback, and freeing up teacher time for high-value instruction on pragmatic and interactive speaking skills. This model positions AI not as a replacement for human judgment but as a transformative tool to enhance teaching efficiency and student learning outcomes in preparation for high-stakes speaking assessment.

این مطالعه به بررسی همسویی میان قضاوت انسانی و هوش مصنوعی (AI) در ارزیابی مهارت گفتاری آیلتس با هدف اطلاع‌رسانی به شیوه‌های آموزشی مؤثر می‌پردازد. از طریق تحلیل مقایسه‌ای عملکرد ۳۰ زبان‌آموز EFL اندونزیایی که توسط دو ارزیاب انسانی باتجربه و سه سامانه هوش مصنوعی (ChatGPT، Otter AI، Claude AI) ارزیابی شدند، تفاوت‌های نظام‌مند و معناداری شناسایی شد که به طور قابل توجهی میان سامانه‌های مختلف هوش مصنوعی متفاوت بود. زمانی که نمرات هوش مصنوعی به طور میانگین محاسبه شد، ارزیابان انسانی به طور کلی نمرات بالاتری نسبت به سامانه‌های خودکار اختصاص دادند (تفاوت میانگین = ۰٫۵۲۲، p < ۰٫۰۰۱)، با همبستگی مثبت متوسط (r = ۰٫۴۹۷، p = ۰٫۰۰۵). با این حال، تجزیه سامانه‌های هوش مصنوعی نشان داد که این الگوی کلی عمدتاً ناشی از دو ابزار از سه ابزار بود: نمرات ChatGPT تفاوت معناداری با یکی از دو ارزیاب انسانی نداشت، در حالی که Otter AI و به ویژه Claude AI به طور قابل توجهی از هر دو ارزیاب انسانی فاصله داشتند. فراتر از کمی‌سازی این تفاوت‌ها، این مقاله به بررسی پیامدهای عمیق آن‌ها برای آموزش و یادگیری زبان می‌پردازد. یافته‌ها نشان می‌دهد که هوش مصنوعی در سنجش دقت فنی (مانند تلفظ، دستور زبان) از ثبات بالاتری برخوردار است و ارزیابان انسانی در ارزیابی اثربخشی ارتباطی قوی‌تر عمل می‌کنند. استدلال می‌شود که این مکمل بودن، فرصتی حیاتی به شمار می‌رود نه یک مشکل. پژوهش با ارائه چارچوب آموزشی ترکیبی عملی به پایان می‌رسد که در آن از هوش مصنوعی برای تمرین کم‌خطر، بازخورد فوری و آزادسازی زمان معلم برای آموزش باارزش در مهارت‌های گفتاری کاربردی و تعاملی بهره گرفته می‌شود. این مدل، هوش مصنوعی را جایگزین قضاوت انسانی نمی‌داند، بلکه آن را ابزاری تحول‌آفرین برای ارتقای کارایی آموزش و نتایج یادگیری دانشجویان در آمادگی برای ارزیابی مهارت گفتاری با ریسک بالا معرفی می‌کند.

The rapid emergence of Artificial Intelligence (AI), is reshaping higher education through real-time tutoring, personalised learning, and advanced knowledge synthesis. In Uganda, the adoption of Competence-Based Education (CBE) emphasises learner-centered pedagogy, critical thinking, and practical skill development. While AI presents opportunities to strengthen CBE, its unstructured use may undermine independent inquiry, critical thinking, and authentic competency development. The study investigated how institutional readiness, stakeholder perceptions, and AI use patterns relate to learner achievement within a competence-based curriculum in an AI-powered environment. It further identified strategies for integrating AI to support competency attainment, academic performance, assessment outcomes, and learning outcomes while preserving the principles of CBE in Ugandan higher education institutions. A cross-sectional quantitative design was employed, involving academic staff ( n = 52) and students ( n = 513) from public and private universities in Uganda. Participants were recruited through convenience sampling using online platforms. Data were collected using structured questionnaires measuring institutional readiness, stakeholder perceptions, AI usage patterns, learner achievement, and pedagogical strategies for AI integration. Both descriptive and inferential statistics were analysed using the JASP statistical tool and Python-based data analysis tools. The findings revealed moderate institutional readiness for AI adoption, with technology recording the highest readiness (M = 3.2), followed by pedagogy (M = 2.9), while policy and governance readiness remained low (M = 2.4). Stakeholders perceived AI as supporting competency achievement (M = 4.1, 85%) and self-directed learning (M = 4.0, 80%), although concerns were raised regarding independent problem-solving (M = 3.6, 65%) and assessment authenticity (M = 3.8, 70%). Students reported frequent use of AI tools, particularly ChatGPT (81.1%), Gemini (56.8%), and Copilot (38.8%), primarily for concept clarification (89.2%), research (81.1%), and idea generation (70.3%). Correlation analysis revealed a moderate positive relationship between AI use frequency and academic performance ( r = 0.544), while chi-square analysis confirmed a significant association between AI use and academic performance (χ 2 = 241.898, p < 0.001). The study concludes that effective AI integration in CBE requires AI literacy training, lecturer capacity building, institutional policy frameworks, and competency-oriented assessment approaches to enhance learner achievement while preserving the integrity of competency development.

ظهور سریع هوش مصنوعی (AI)، آموزش عالی را از طریق آموزش در لحظه، یادگیری شخصی‌سازی‌شده و ترکیب پیشرفته دانش دگرگون می‌کند. در اوگاندا، پذیرش آموزش مبتنی بر شایستگی (CBE) بر آموزش یادگیرنده‌محور، تفکر انتقادی و توسعه مهارت‌های عملی تأکید دارد. در حالی که هوش مصنوعی فرصت‌هایی برای تقویت CBE فراهم می‌کند، استفاده بدون ساختار از آن ممکن است پژوهش مستقل، تفکر انتقادی و توسعه واقعی شایستگی را تضعیف کند. این مطالعه بررسی کرد که آمادگی نهادی، ادراک ذینفعان و الگوهای استفاده از هوش مصنوعی چگونه با پیشرفت یادگیرندگان در چارچوب برنامه درسی مبتنی بر شایستگی در محیطی مبتنی بر هوش مصنوعی مرتبط است. همچنین راهبردهایی را برای ادغام هوش مصنوعی به منظور حمایت از دستیابی به شایستگی، عملکرد تحصیلی، نتایج ارزیابی و نتایج یادگیری، در عین حفظ اصول CBE در مؤسسات آموزش عالی اوگاندا شناسایی کرد. یک طرح کمی مقطعی به کار گرفته شد که شامل اعضای هیئت علمی (n = 52) و دانشجویان (n = 513) از دانشگاه‌های دولتی و خصوصی اوگاندا بود. شرکت‌کنندگان از طریق نمونه‌گیری در دسترس با استفاده از بسترهای آنلاین جذب شدند. داده‌ها با استفاده از پرسشنامه‌های ساختاریافته که آمادگی نهادی، ادراک ذینفعان، الگوهای استفاده از هوش مصنوعی، پیشرفت یادگیرندگان و راهبردهای آموزشی برای ادغام هوش مصنوعی را اندازه‌گیری می‌کرد، جمع‌آوری شد. هر دو آمار توصیفی و استنباطی با استفاده از ابزار آماری JASP و ابزارهای تحلیل داده مبتنی بر Python تحلیل شدند. یافته‌ها آمادگی متوسط نهادی برای پذیرش هوش مصنوعی را نشان داد، به طوری که فناوری بالاترین آمادگی (M = 3.2) و پس از آن آموزش (M = 2.9) را داشت، در حالی که آمادگی سیاست و حکمرانی پایین باقی ماند (M = 2.4). ذینفعان هوش مصنوعی را در حمایت از دستیابی به شایستگی (M = 4.1، ۸۵٪) و یادگیری خودراهبر (M = 4.0، ۸۰٪) مؤثر دانستند، اگرچه نگرانی‌هایی در مورد حل مسئله مستقل (M = 3.6، ۶۵٪) و اصالت ارزیابی (M = 3.8، ۷۰٪) مطرح شد. دانشجویان استفاده مکرر از ابزارهای هوش مصنوعی، به ویژه ChatGPT (۸۱.۱٪)، Gemini (۵۶.۸٪) و Copilot (۳۸.۸٪) را عمدتاً برای شفاف‌سازی مفاهیم (۸۹.۲٪)، پژوهش (۸۱.۱٪) و تولید ایده (۷۰.۳٪) گزارش کردند. تحلیل همبستگی رابطه مثبت متوسطی بین فراوانی استفاده از هوش مصنوعی و عملکرد تحصیلی (r = 0.544) نشان داد، در حالی که تحلیل کای-دو ارتباط معناداری بین استفاده از هوش مصنوعی و عملکرد تحصیلی (χ2 = 241.898، p < 0.001) را تأیید کرد. مطالعه نتیجه می‌گیرد که ادغام مؤثر هوش مصنوعی در CBE مستلزم آموزش سواد هوش مصنوعی، توانمندسازی اعضای هیئت علمی، چارچوب‌های سیاست نهادی و رویکردهای ارزیابی مبتنی بر شایستگی است تا پیشرفت یادگیرندگان را در عین حفظ یکپارچگی توسعه شایستگی ارتقا دهد.

Introduction: Coding is a central step in many qualitative data analyses (QDA). Artificial intelligence (AI) has made inroads into the field with performance dependent on the prompting strategy used. This work examines the effectiveness of different prompting strategies on AI performance. Methods: Coding and theme analyses were performed on abstracts from a 16-study meta-analysis examining the association between air pollution and preeclampsia incidence. These were also performed in a second related corpus containing fewer formal sources. Coding was performed with R, NVivo 14, and ChatGPT 4.1. Several prompting strategies in increasing degree of complexity (zero-shot, few-shots, and chain-of-thought – CoT) were evaluated regarding their accuracy against manual coding. Direct thematic coding with AI was also examined. Results: Zero-shot prompting (with or without CoT) provided the best results for structured text. Requesting a full word-by-abstract matrix increases sensitivity. Supplementing CoT with general topic information and role playing made it the best strategy for more colloquial text. Directly inquiring thematic coding within AI showed good performance. Some prompting strategies are more prone to hallucinations. The latter are associated with errors in the frequency counting process while coding. Discussion: This work offers performance assessment of an AI tool for coding and theme extraction through a variety of prompting strategies combined with head-to-head comparison with popular QDA tools using readily available data. During user interaction, AI chatbots provide suggestions regarding potential next steps which may enhance results during coding. AI tools may require replication to ensure consistent findings and mitigate their probabilistic nature. Integrating results from at least two tools (AI and traditional) provides more comprehensive and accessible results for QDA.

مقدمه: کدگذاری یکی از مراحل اساسی در بسیاری از تحلیل‌های داده‌های کیفی (QDA) است. هوش مصنوعی (AI) به این حوزه وارد شده است و عملکرد آن وابسته به راهبرد پرامپت‌دهی مورد استفاده می‌باشد. این پژوهش اثربخشی راهبردهای مختلف پرامپت‌دهی بر عملکرد هوش مصنوعی را بررسی می‌کند. روش‌ها: کدگذاری و تحلیل مضامین بر روی چکیده‌های یک فراتحلیل ۱۶‌مطالعه‌ای که به بررسی ارتباط بین آلودگی هوا و بروز پره‌اکلامپسی می‌پرداخت، انجام شد. این تحلیل‌ها همچنین بر روی یک پیکره مرتبط دوم که منابع رسمی کمتری داشت، صورت گرفت. کدگذاری با استفاده از R، NVivo 14 و ChatGPT 4.1 انجام شد. چندین راهبرد پرامپت‌دهی با درجات مختلف پیچیدگی (zero-shot، few-shots و chain-of-thought – CoT) از نظر دقت نسبت به کدگذاری دستی ارزیابی شدند. کدگذاری مستقیم مضامین با هوش مصنوعی نیز بررسی شد. نتایج: پرامپت‌دهی zero-shot (با یا بدون CoT) بهترین نتایج را برای متون ساختاریافته ارائه داد. درخواست ماتریس کامل واژه-بر-چکیده حساسیت را افزایش می‌دهد. تکمیل CoT با اطلاعات کلی موضوع و ایفای نقش، آن را به بهترین راهبرد برای متون محاوره‌ای‌تر تبدیل کرد. استعلام مستقیم کدگذاری مضامین در هوش مصنوعی عملکرد خوبی نشان داد. برخی راهبردهای پرامپت‌دهی مستعد هالوسینیشن بیشتری هستند. این مورد با خطا در فرایند شمارش فراوانی هنگام کدگذاری همراه است. بحث: این پژوهش ارزیابی عملکرد یک ابزار هوش مصنوعی برای کدگذاری و استخراج مضامین را از طریق راهبردهای مختلف پرامپت‌دهی و مقایسه مستقیم با ابزارهای رایج QDA با استفاده از داده‌های در دسترس ارائه می‌دهد. در طول تعامل کاربر، چت‌بات‌های هوش مصنوعی پیشنهادهایی درباره گام‌های بعدی احتمالی ارائه می‌کنند که ممکن است نتایج را در حین کدگذاری بهبود بخشد. ابزارهای هوش مصنوعی ممکن است نیازمند تکرار برای اطمینان از یافته‌های پایدار و کاهش ماهیت احتمالی آن‌ها باشند. ادغام نتایج حداقل دو ابزار (هوش مصنوعی و سنتی) نتایج جامع‌تر و قابل دسترس‌تری برای QDA فراهم می‌کند.

The purpose of this study is to evaluate the legibility of fourth-grade elementary school students' handwriting and to examine the differences and relationships between two evaluators: a human researcher and artificial intelligence (ChatGPT). To this end, the study was conducted using the descriptive survey model, one of the quantitative research approaches. The study sample consisted of 67 fourth-grade students attending a public elementary school. The students' handwriting was evaluated using the Multidimensional Legibility Scale. Writing samples were collected from each student, including copying samples, dictated samples, and free writing samples. One class period was allocated for each writing task. The 201 handwriting samples obtained from the 67 students were evaluated by a researcher (the second author) and artificial intelligence (ChatGPT). According to the findings, no significant differences were detected between the artificial intelligence and the researcher in any writing type or subdimension, except for the slant subdimension of free writing. However, a high level of positive and significant correlation was identified between the two raters. Findings indicate that artificial intelligence can produce results comparable to those of expert raters when evaluating handwriting legibility. The fact that differences among raters are not statistically significant suggests that AI-based handwriting evaluations could serve as an objective and reliable alternative.

هدف این پژوهش، ارزیابی خوانایی دست‌خط دانش‌آموزان پایه چهارم ابتدایی و بررسی تفاوت‌ها و روابط بین دو ارزیاب: یک پژوهشگر انسانی و هوش مصنوعی (ChatGPT) است. بدین منظور، پژوهش با استفاده از مدل پیمایش توصیفی که یکی از رویکردهای پژوهش کمی است، انجام شد. نمونه پژوهش شامل ۶۷ دانش‌آموز پایه چهارم یک مدرسه ابتدایی دولتی بود. دست‌خط دانش‌آموزان با استفاده از مقیاس چندبعدی خوانایی ارزیابی شد. نمونه‌های نوشتاری از هر دانش‌آموز جمع‌آوری گردید که شامل نمونه‌های رونویسی، نمونه‌های دیکته و نمونه‌های نوشتار آزاد بود. برای هر تکلیف نوشتاری یک جلسه کلاسی اختصاص داده شد. ۲۰۱ نمونه دست‌خط به‌دست‌آمده از ۶۷ دانش‌آموز توسط یک پژوهشگر (نویسنده دوم) و هوش مصنوعی (ChatGPT) ارزیابی شد. بر اساس یافته‌ها، به جز زیرمقیاس شیب در نوشتار آزاد، هیچ تفاوت معناداری بین هوش مصنوعی و پژوهشگر در هیچ‌یک از انواع نوشتار یا زیرمقیاس‌ها مشاهده نشد. با این حال، همبستگی مثبت و معنادار بالایی بین دو ارزیاب شناسایی گردید. یافته‌ها نشان می‌دهد که هوش مصنوعی می‌تواند نتایجی قابل مقایسه با ارزیابان خبره در ارزیابی خوانایی دست‌خط ارائه دهد. عدم معناداری آماری تفاوت بین ارزیابان، حاکی از آن است که ارزیابی‌های دست‌خط مبتنی بر هوش مصنوعی می‌تواند به عنوان جایگزینی عینی و قابل اعتماد مورد استفاده قرار گیرد.