natural language processing

Introduction Deception elicits measurable cognitive and linguistic changes, yet accurately identifying deceptive language in high-stakes environments remains a persistent challenge. Although natural language processing (NLP) and machine learning (ML) techniques have shown promise in detecting misinformation and low-stakes deception, their performance on spontaneous, stress-induced speech remains poorly understood. This study investigates linguistic markers of deception and evaluates the performance of supervised ML models and a knowledge-grounded language model, FranklinAsk™, across both synthetic and real-world datasets. Methods Linguistic analyses were conducted on responses from a National Center for Credibility Assessment (NCCA) military training exercise involving truthful and deceptive participants. A synthetic dataset was generated using MOSTLYAI to provide a balanced corpus for ML training. Linguistic features were extracted using pretrained NLP models, and supervised classifiers, including logistic regression, Random Forest, Naïve Bayes, and Support Vector Machine (SVM), were trained using LIWC-22 features with 10-fold cross-validation. The FranklinAsk™ RAG system was evaluated using the same participant responses to compare knowledge-grounded reasoning with statistical learning. Results Two linguistic features, cardinal numbers (nominal p = 0.041) and particles (nominal p = 0.0486), reached the unadjusted significance threshold, each with a moderate effect size ( d = 0.55); neither remained statistically significant after Benjamini-Hochberg FDR correction (adjusted p = 0.668 for both). No significant sentiment differences were observed. On the synthetic dataset, logistic regression performed best (F1 = 0.930; ROC AUC = 0.978), but all supervised models showed substantial performance declines when applied to the real-world dataset. In contrast, FranklinAsk™ achieved the highest F1-score (0.519), highest accuracy (0.487), and second-highest recall (0.700) on the military exercise data. Discussion These findings highlight the limited generalizability of synthetic-trained deception models to real-world, high-stakes communication and motivate further investigation of knowledge-grounded language models as an alternative approach when labeled real-world training data are limited. Future research should prioritize expanding ecologically valid datasets and exploring hybrid approaches that combine statistical modeling with knowledge-grounded reasoning.

The objective of this proof-of-concept study was to apply natural language processing (NLP) techniques to case notes of probationers to identify textual features associated with absconding from supervision. A text regression method called concise comparative summaries (CCS) was applied to case notes from N = 2,000 misdemeanor and felony offenders on probation in Tarrant County, Texas. Half of the probationers had completed probation, while the other half had absconded. There were 10 words and phrases associated with probation absconding (e.g., “technical violation”, “failed pay”, “cannabinoids”) and 14 associated with probation completion (e.g., “paid fees”, “alcohol use”, and “everything going well”). Results affirm the utility of using NLP methods to identify key words and phrases that are associated with probation absconding and completion and may help generate hypotheses for future research on absconding.

هدف این مطالعه اثبات مفهوم، به‌کارگیری تکنیک‌های پردازش زبان طبیعی (NLP) بر یادداشت‌های پرونده افراد تحت آزادی مشروط به‌منظور شناسایی ویژگی‌های متنی مرتبط با فرار از نظارت بود. یک روش رگرسیون متنی با عنوان خلاصه‌های مقایسه‌ای موجز (CCS) بر یادداشت‌های پرونده N = 2,000 نفر از مجرمان دارای جرایم جنحه و جنایی که در شهرستان Tarrant ایالت تگزاس تحت آزادی مشروط بودند، اعمال شد. نیمی از افراد تحت آزادی مشروط دوره خود را به پایان رسانده بودند و نیمی دیگر فرار کرده بودند. ده واژه و عبارت با فرار از آزادی مشروط (مانند «تخلف فنی»، «عدم پرداخت»، «cannabinoids») و چهارده واژه و عبارت با اتمام آزادی مشروط (مانند «پرداخت هزینه‌ها»، «مصرف الکل» و «همه چیز به خوبی پیش می‌رود») مرتبط بودند. نتایج، سودمندی استفاده از روش‌های NLP برای شناسایی واژه‌ها و عبارات کلیدی مرتبط با فرار و اتمام آزادی مشروط را تأیید می‌کند و ممکن است به تولید فرضیه‌هایی برای پژوهش‌های آینده درباره فرار کمک کند.

This study aims to map the global development of Arabic language education research through a bibliometric analysis of publication trends, journal sources, contributing institutions, countries of corresponding authors, and the most-cited documents. It also analyses keyword co-occurrence to identify major research themes, emerging trends, and potential future directions. Data were collected from the Scopus database using a structured search query, resulting in 166 documents after a rigorous screening process. Prior to analysis, metadata were cleaned using OpenRefine to ensure consistency and accuracy by standardizing author names, institutional affiliations, and keyword variations. Bibliometric analysis was conducted using Biblioshiny (R) and VOSviewer. In the VOSviewer analysis, a thesaurus file was applied to standardize terminology and eliminate duplication, ensuring accurate thematic mapping. The findings indicate a significant increase in publications over the past decade, reflecting growing academic interest in Arabic language education. The results show a strong dominance of technology-oriented journals, particularly in artificial intelligence and natural language processing. Research productivity is concentrated in the Middle East, especially in Saudi Arabia and Egypt, although international collaboration is gradually increasing. Highly cited documents tend to focus on computational approaches and the development of linguistic resources, highlighting their central role in advancing the field. Thematic analysis reveals five major research clusters, including machine learning, pedagogy, computational linguistics, speech processing, and natural language processing. The evolution of research topics shows a shift from traditional teaching approaches to advanced technologies such as deep learning and large language models. These patterns indicate an increasing integration of pedagogical and technological perspectives in the field. Future research directions include the development of large-scale Arabic datasets, the integration of explainable artificial intelligence, adaptive learning systems, and ethical considerations in AI-based education. These findings provide empirical insights for researchers and policymakers to support evidence-based development in Arabic language education.

این مطالعه با هدف نقشه‌برداری از روند جهانی توسعه پژوهش‌های آموزش زبان عربی از طریق تحلیل کتاب‌سنجی روندهای انتشار، منابع مجلات، نهادهای مشارکت‌کننده، کشورهای نویسندگان مسئول و اسناد پرارجاع انجام شده است. همچنین، هم‌رخدادی واژگان کلیدی برای شناسایی محورهای اصلی پژوهش، روندهای نوظهور و جهت‌گیری‌های آینده مورد تحلیل قرار گرفته است. داده‌ها با استفاده از یک پرسش ساختاریافته از پایگاه داده Scopus گردآوری شد که پس از فرایند غربالگری دقیق، ۱۶۶ سند به دست آمد. پیش از تحلیل، فراداده‌ها با استفاده از OpenRefine برای اطمینان از یکنواختی و دقت، از طریق استانداردسازی نام نویسندگان، وابستگی‌های سازمانی و گونه‌های واژگان کلیدی پاک‌سازی شد. تحلیل کتاب‌سنجی با استفاده از Biblioshiny (R) و VOSviewer انجام گرفت. در تحلیل VOSviewer، یک فایل اصطلاحنامه برای استانداردسازی واژگان و حذف تکرار به کار رفت تا نقشه‌برداری موضوعی با دقت انجام شود. یافته‌ها نشان‌دهنده افزایش قابل توجه انتشارات در دهه گذشته و بازتاب‌دهنده رشد علاقه علمی به آموزش زبان عربی است. نتایج حاکی از غلبه چشمگیر مجلات فناوری‌محور، به ویژه در حوزه هوش مصنوعی و پردازش زبان طبیعی است. تولید پژوهش عمدتاً در خاورمیانه، به ویژه عربستان سعودی و مصر متمرکز است، هرچند همکاری‌های بین‌المللی به تدریج در حال افزایش است. اسناد پرارجاع عمدتاً بر رویکردهای محاسباتی و توسعه منابع زبانی متمرکزند و نقش محوری آن‌ها در پیشبرد این حوزه را برجسته می‌کنند. تحلیل موضوعی پنج خوشه اصلی پژوهشی شامل یادگیری ماشین، آموزش، زبان‌شناسی محاسباتی، پردازش گفتار و پردازش زبان طبیعی را نشان می‌دهد. تحول موضوعات پژوهشی، گذار از رویکردهای سنتی آموزش به فناوری‌های پیشرفته‌ای چون یادگیری عمیق و مدل‌های زبانی بزرگ را آشکار می‌سازد. این الگوها نشان‌دهنده ادغام فزاینده دیدگاه‌های آموزشی و فناورانه در این حوزه است. جهت‌گیری‌های آینده پژوهش شامل توسعه داده‌مجموعه‌های بزرگ زبان عربی، ادغام هوش مصنوعی قابل تبیین، سامانه‌های یادگیری تطبیقی و ملاحظات اخلاقی در آموزش مبتنی بر هوش مصنوعی است. این یافته‌ها بینش‌های تجربی برای پژوهشگران و سیاست‌گذاران به منظور حمایت از توسعه مبتنی بر شواهد در آموزش زبان عربی فراهم می‌کند.

This paper presents an exploratory systematic review of artificial intelligence (AI) in physics education and its alignment with Sustainable Development Goal 4 (SDG 4). Following Preferred Reporting Items for Systematic Reviews and Meta-Analyses 2020 guidelines (Page et al., 2021), a Web of Science search conducted on January 15, 2025, yielded 105 records; after independent dual-reviewer screening (Cohen’s κ = 0.82 on n = 105 title/abstract decisions), 12 empirical studies published between 2013 and 2025 were included and analyzed. Given the small corpus and emergent nature of the field, findings are explicitly characterized as exploratory evidence mapping rather than consolidated empirical conclusions. The corpus spans educational contexts from secondary school to teacher training and engages AI types including intelligent tutoring systems, machine learning, natural language processing, and generative models. Results indicate that AI is used in four pedagogical roles: tutor, evaluator, assistant, and analyst, with documented benefits in conceptual understanding, formative feedback, personalization, and self-regulated learning. Alignment with SDG-4-relevant sustainability competencies (critical thinking, problem solving, collaboration, and digital literacy) was identified through a secondary interpretive analysis by the review authors against Education for Sustainable Development competency frameworks (Rieckmann, 2011; UNESCO, 2017; 2024); this alignment is inferential and design-based rather than directly measured by the primary studies. Ongoing challenges include technical reliability, teacher preparation and acceptance, and ethical concerns regarding transparency, bias, equity, and data protection. The review contributes an initial, disciplinary-specific evidence map at the intersection of AI, physics education, and SDG 4, and identifies six evidence gaps for future empirical research. No protocol was preregistered prior to conducting this review; this absence is acknowledged as a transparency limitation.

این مقاله به ارائه یک مرور نظام‌مند اکتشافی درباره هوش مصنوعی (AI) در آموزش فیزیک و همسویی آن با هدف توسعه پایدار ۴ (SDG 4) می‌پردازد. با پیروی از دستورالعمل‌های Preferred Reporting Items for Systematic Reviews and Meta-Analyses 2020 (Page و همکاران، 2021)، جستجوی Web of Science که در تاریخ ۱۵ ژانویه ۲۰۲۵ انجام شد، ۱۰۵ رکورد را به دست داد؛ پس از غربالگری مستقل توسط دو ارزیاب (ضریب کاپا کوهن κ = 0.82 بر روی n = 105 تصمیم عنوان/چکیده)، ۱۲ مطالعه تجربی منتشرشده بین سال‌های ۲۰۱۳ تا ۲۰۲۵ وارد و تحلیل شدند. با توجه به حجم اندک مطالعات و ماهیت نوظهور این حوزه، یافته‌ها به طور صریح به عنوان نگاشت شواهد اکتشافی و نه نتیجه‌گیری‌های تجربی تثبیت‌شده توصیف می‌شوند. بدنه مطالعات زمینه‌های آموزشی از دبیرستان تا آموزش معلمان را دربر می‌گیرد و انواع هوش مصنوعی شامل سامانه‌های آموزش هوشمند، یادگیری ماشین، پردازش زبان طبیعی و مدل‌های مولد را مورد استفاده قرار می‌دهد. نتایج نشان می‌دهد که هوش مصنوعی در چهار نقش آموزشی شامل معلم، ارزیاب، دستیار و تحلیل‌گر به کار می‌رود و مزایایی چون ارتقای درک مفهومی، بازخورد تکوینی، شخصی‌سازی و یادگیری خودتنظیمی را به همراه دارد. همسویی با شایستگی‌های پایداری مرتبط با SDG-4 (تفکر انتقادی، حل مسئله، همکاری و سواد دیجیتال) از طریق تحلیل تفسیری ثانویه توسط نویسندگان مرور و بر اساس چارچوب‌های شایستگی آموزش برای توسعه پایدار (Rieckmann، ۲۰۱۱؛ یونسکو، ۲۰۱۷؛ ۲۰۲۴) شناسایی شد؛ این همسویی استنباطی و مبتنی بر طراحی است و نه مستقیماً توسط مطالعات اولیه اندازه‌گیری شده باشد. چالش‌های جاری شامل پایایی فنی، آمادگی و پذیرش معلمان و نگرانی‌های اخلاقی درباره شفافیت، سوگیری، عدالت و حفاظت از داده‌ها است. این مرور، نگاشت اولیه و اختصاصی شواهد را در تقاطع هوش مصنوعی، آموزش فیزیک و SDG 4 ارائه می‌دهد و شش شکاف شواهدی برای پژوهش‌های تجربی آینده شناسایی می‌کند. هیچ پروتکلی پیش از انجام این مرور ثبت نشده است؛ این فقدان به عنوان یک محدودیت شفافیت مورد اشاره قرار گرفته است.

Abstract This study introduces K-text, a website designed to measure Korean language proficiency from second language writing and speech data through 20 complexity, accuracy, and fluency indices using natural language processing. A key advantage of K-text is its ability to measure accuracy and fluency in addition to complexity. To test the 20 indices’ preliminary validity, this study investigates whether they can predict overall criterion-based Korean proficiency from 1 to 6 (equivalent to A1 to C2) when they are used to analyze 45,855 second language learners’ essays from the Korean Learner Corpus. The findings show that all of the individual K-text indices are significant predictors of overall Korean proficiency. Together, the 20 indices accounted for 44.50% of the variation observed in proficiency scores. These results suggest that K-text is a valuable resource for analyzing Korean language production data in relation to overall proficiency.

این پژوهش K-text را معرفی می‌کند، وب‌سایتی که برای سنجش مهارت زبان کره‌ای از داده‌های نوشتاری و گفتاری زبان دوم از طریق ۲۰ شاخص پیچیدگی، دقت و روانی با استفاده از پردازش زبان طبیعی طراحی شده است. مزیت اصلی K-text توانایی آن در سنجش دقت و روانی علاوه بر پیچیدگی است. برای آزمون روایی مقدماتی این ۲۰ شاخص، این پژوهش بررسی می‌کند که آیا آن‌ها می‌توانند مهارت کلی زبان کره‌ای مبتنی بر معیار را از ۱ تا ۶ (معادل A1 تا C2) پیش‌بینی کنند، زمانی که برای تحلیل ۴۵٬۸۵۵ انشای زبان‌آموزان زبان دوم از پیکره زبان‌آموزان کره‌ای به کار می‌روند. یافته‌ها نشان می‌دهد که همه شاخص‌های منفرد K-text پیش‌بینی‌کننده معنادار مهارت کلی زبان کره‌ای هستند. در مجموع، این ۲۰ شاخص ۴۴/۵۰٪ از واریانس مشاهده‌شده در نمرات مهارت را تبیین کردند. این نتایج نشان می‌دهد که K-text منبعی ارزشمند برای تحلیل داده‌های تولید زبان کره‌ای در ارتباط با مهارت کلی است.

Abstract Rapid advancements in education assessment and natural language processing have fundamentally transformed the methodologies employed in multi-dimensional writing assessment. Neural network approaches have shown remarkable effectiveness, obviating the need for handcrafted feature engineering. However, the potential of pre-trained language models for constructing multi-dimensional automated essay scoring (AES) models still needs to be explored. The present study addresses critical challenges, including the resilience of AES models to subtle input perturbations leading to prediction inaccuracies and the elucidation of the intricate mechanisms within deep learning frameworks. We propose an integrated approach leveraging multi-task learning and the pre-trained model Bidirectional Encoder Representations from Transformers (BERT), augmented with adversarial training via the Fast Gradient Sign Method (FGSM), aiming to enhance scoring accuracy and stability in multi-dimensional AES tasks. Findings reveal that BERT-Integrated-MTL-FGSM significantly outperforms existing baselines. Integrating Explainable Artificial Intelligence (XAI) elucidates the complex evaluation processes within the deep learning black box, offering potentially diagnostic feedback for students and assisting educators in delivering individualized instruction guided by word-level attributions across diverse analytic rating scales. These insights enhance the robustness, generalizability, and interpretability of multi-dimensional AES models, thus paving an interdisciplinary pathway for multi-dimensional writing assessment and instruction.

پیشرفت‌های سریع در ارزیابی آموزشی و پردازش زبان طبیعی، روش‌شناسی‌های به‌کاررفته در ارزیابی چندبُعدی نوشتار را به‌طور بنیادین متحول کرده‌اند. رویکردهای شبکه عصبی اثربخشی چشمگیری نشان داده‌اند و نیاز به مهندسی ویژگی‌های دستی را برطرف ساخته‌اند. با این حال، پتانسیل مدل‌های زبانی از پیش‌آموزش‌دیده برای ساخت مدل‌های خودکار نمره‌دهی مقاله (AES) چندبُعدی همچنان نیازمند بررسی است. مطالعه حاضر به چالش‌های اساسی از جمله تاب‌آوری مدل‌های AES در برابر اختلالات جزئی ورودی که منجر به نادرستی پیش‌بینی می‌شوند و تبیین سازوکارهای پیچیده در چارچوب‌های یادگیری عمیق می‌پردازد. ما رویکردی یکپارچه مبتنی بر یادگیری چندوظیفه‌ای و مدل از پیش‌آموزش‌دیده Bidirectional Encoder Representations from Transformers (BERT) ارائه می‌دهیم که با آموزش خصمانه از طریق Fast Gradient Sign Method (FGSM) تقویت شده است، با هدف ارتقای دقت و پایداری نمره‌دهی در وظایف AES چندبُعدی. یافته‌ها نشان می‌دهند که BERT-Integrated-MTL-FGSM به طور معناداری عملکرد بهتری نسبت به خطوط پایه موجود دارد. ادغام هوش مصنوعی قابل‌توضیح (XAI) فرآیندهای ارزیابی پیچیده در جعبه سیاه یادگیری عمیق را روشن می‌سازد و بازخورد تشخیصی بالقوه‌ای برای دانشجویان فراهم می‌کند و به مدرسان در ارائه آموزش فردمحور مبتنی بر انتساب‌های واژه‌محور در مقیاس‌های تحلیلی متنوع کمک می‌کند. این بینش‌ها موجب افزایش تاب‌آوری، قابلیت تعمیم و تفسیرپذیری مدل‌های AES چندبُعدی می‌شود و بدین ترتیب مسیر میان‌رشته‌ای برای ارزیابی و آموزش چندبُعدی نوشتار هموار می‌گردد.