Language model

Background Despite the substantial growth of research on Education for Sustainable Development (ESD) in higher education, the field remains characterized by geographic concentration, methodological constraints, and conceptual fragmentation between established competence frameworks and emerging demands such as climate literacy and green skills. No prior review has simultaneously mapped the bibliometric architecture and conducted an artificial intelligence (AI)-assisted inductive thematic synthesis of this domain. Methods A dual-method design integrated bibliometric network analysis—co-citation, bibliographic coupling, and keyword co-occurrence—with AI-assisted inductive thematic synthesis. A total of 442 peer-reviewed documents were retrieved from Scopus, Web of Science Core Collection, and ERIC (2015–2026) through systematic multi-database search, deduplication, and PICO-adapted relevance screening evaluated by a specialized multi-rater panel (Fleiss’ κ=0.55 – 0.69 , 98.4% unanimous agreement on the retained corpus). Thematic extraction was performed using two complementary large language model architectures (Qwen3-235B and DeepSeek V3.2), governed by a stringent verification protocol achieving a 92.0% alignment score; 37 hallucination flags were audited and corrected via human expert review. Results The corpus exhibits substantial and accelerated scientific expansion since 2019 ( R2=0.91 for exponential fit; compound annual growth rate of 18.4%), with Spain, the United Kingdom, and Germany accounting for over one-third of output. Five thematic clusters emerged: curriculum integration, transformative pedagogies, institutional and faculty roles, sustainability literacy and behavioral outcomes, and digital innovation. Surveys and case studies dominate research designs (37.7%), while experimental approaches represent only 4.0% of the corpus. Green skills and climate literacy remain conceptually peripheral despite their policy urgency, institutional collaboration is fragmented (20.3% of institutions isolated), and faculty populations are understudied (7.0%) relative to students (32.7%). Fifty-six knowledge gaps were identified across structural, declared, and emergent categories, with methods-by-concepts coverage reaching 64.0%. Conclusions The field would benefit from a methodological transition toward longitudinal and experimental designs, enhanced visibility of Global South scholarship (contextualizing database indexing constraints), systematic pedagogical theorization of simulation-based approaches, and deliberate cross-institutional consortia to transition from conceptual proliferation to evidence-based pedagogical science.

As AI virtual influencers (AIVIs) proliferate, understanding human-AI emotional engagement is vital for advancing affective computing. To examine whether AIVIs evoke comparable affective responses to human influencers (HIs), we analyzed 156,918 Instagram comments that received 12+ million likes, integratinglarge language model (LLM)-derived knowledge graphs, emotion analysis, and machine learning. HI-directed discourse shows more differentiated emotional expression and a pattern consistent with more cohesive semantic networks than AIVI-directed discourse. AIVI-directed comments are less likely to express positive affect (24.8% vs. 41.5%) and also less likely to express negative affect (5.8% vs. 9.3%), indicating reduced affective expression of either valence rather than heightened negativity. This group-level tendency is not uniform: affective engagement varies substantially across AIVIs, and that variation is more closely associated with positive than with negative expression. Our Multi-Signal Embedding Network (MSEN), incorporating behavioral metrics and OpenAI semantic embeddings, classified influencer types from behavioral, affective and semantic features (F1 = 0.89), outperforming baselines including a state-of-the-art zero-shot LLM. These findings identify a boundary condition for the Computers Are Social Actors (CASA) paradigm: human-like appearance can elicit social responses without producing affective and semantic response patterns as rich as those elicited by HIs.

Introduction Deception elicits measurable cognitive and linguistic changes, yet accurately identifying deceptive language in high-stakes environments remains a persistent challenge. Although natural language processing (NLP) and machine learning (ML) techniques have shown promise in detecting misinformation and low-stakes deception, their performance on spontaneous, stress-induced speech remains poorly understood. This study investigates linguistic markers of deception and evaluates the performance of supervised ML models and a knowledge-grounded language model, FranklinAsk™, across both synthetic and real-world datasets. Methods Linguistic analyses were conducted on responses from a National Center for Credibility Assessment (NCCA) military training exercise involving truthful and deceptive participants. A synthetic dataset was generated using MOSTLYAI to provide a balanced corpus for ML training. Linguistic features were extracted using pretrained NLP models, and supervised classifiers, including logistic regression, Random Forest, Naïve Bayes, and Support Vector Machine (SVM), were trained using LIWC-22 features with 10-fold cross-validation. The FranklinAsk™ RAG system was evaluated using the same participant responses to compare knowledge-grounded reasoning with statistical learning. Results Two linguistic features, cardinal numbers (nominal p = 0.041) and particles (nominal p = 0.0486), reached the unadjusted significance threshold, each with a moderate effect size ( d = 0.55); neither remained statistically significant after Benjamini-Hochberg FDR correction (adjusted p = 0.668 for both). No significant sentiment differences were observed. On the synthetic dataset, logistic regression performed best (F1 = 0.930; ROC AUC = 0.978), but all supervised models showed substantial performance declines when applied to the real-world dataset. In contrast, FranklinAsk™ achieved the highest F1-score (0.519), highest accuracy (0.487), and second-highest recall (0.700) on the military exercise data. Discussion These findings highlight the limited generalizability of synthetic-trained deception models to real-world, high-stakes communication and motivate further investigation of knowledge-grounded language models as an alternative approach when labeled real-world training data are limited. Future research should prioritize expanding ecologically valid datasets and exploring hybrid approaches that combine statistical modeling with knowledge-grounded reasoning.

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

Background Large language models are increasingly used for informal mental health support, yet their safety during escalating suicide-risk conversations may depend on how prior information is presented. Native multi-turn conversations and reconstructed cumulative prompts differ not only in the presence of prior model responses but also in prompt reconstruction, information concentration, message positioning, explicit integration cues, and conversation-state processing. Objective This study compared suicide-risk recognition, direct safety inquiry, response urgency, and timely real-world intervention across isolated current-turn prompts, reconstructed cumulative user-only prompts, and native continuous multi-turn conversations. Methods We conducted a controlled repeated-measures evaluation of ChatGPT, Gemini, and Doubao using 12 standardized five-turn trajectories: 4 direct suicide-risk trajectories, 4 implicit or internally inconsistent risk trajectories, and 4 non-suicidal high-distress controls. Each trajectory was evaluated under three context-presentation formats. The 24 model-trajectory combinations were treated as matched repeated-measures units nested within 8 independent risk-trajectory blocks. Primary contrasts were estimated using exact trajectory-level sign-flip tests and trajectory-block bootstrap confidence intervals. Turn-level outcomes were analyzed using multilevel mixed-effects models. Exploratory condition-by-model heterogeneity was assessed using a trajectory-blocked exact permutation sensitivity analysis, with a trajectory-clustered interaction model used only as a secondary asymptotic check. Results Timely appropriate intervention occurred in 10/24 isolated current-turn observations (41.7%), 21/24 reconstructed cumulative observations (87.5%), and 12/24 native continuous observations (50.0%). On average across the three systems, reconstructed cumulative presentation exceeded isolated input by 45.8 percentage points (95% trajectory-block bootstrap CI, 25.0 to 66.7; Holm-adjusted exact P = .031), whereas native continuous performance was 37.5 percentage points lower than reconstructed cumulative performance (95% trajectory-block bootstrap CI, −50.0 to −25.0; Holm-adjusted exact P = .031). Exploratory model-specific analyses indicated substantial heterogeneity: the native-versus-reconstructed contrast was largest for Doubao, smaller and statistically imprecise for Gemini, and absent for ChatGPT. Conclusions On average across the three evaluated systems, reconstructed cumulative user-only prompts outperformed native continuous conversations, although exploratory model-specific patterns were heterogeneous. Because the formats also differed in prompt reconstruction, information salience, message positioning, explicit integration instructions, and native conversation-state processing, the contrast cannot isolate the causal effect of prior model responses.

زمینه: مدل‌های زبانی بزرگ به طور فزاینده‌ای برای حمایت غیررسمی سلامت روان مورد استفاده قرار می‌گیرند، اما ایمنی آن‌ها در مکالمات با ریسک فزایندهٔ خودکشی ممکن است به نحوهٔ ارائهٔ اطلاعات پیشین وابسته باشد. گفت‌وگوهای بومی چندنوبتی و بازسازی‌شدهٔ تجمعی تنها-کاربر نه‌تنها در حضور پاسخ‌های پیشین مدل، بلکه در بازسازی پرامپت، تمرکز اطلاعات، موقعیت پیام، نشانه‌های ادغام صریح و پردازش وضعیت گفت‌وگو نیز تفاوت دارند. هدف: این مطالعه شناسایی ریسک خودکشی، پرسش مستقیم دربارهٔ ایمنی، فوریت پاسخ و مداخلهٔ به‌موقع در دنیای واقعی را در قالب‌های پرامپت نوبت فعلی مجزا، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر و گفت‌وگوهای بومی پیوستهٔ چندنوبتی مقایسه کرد. روش‌ها: ما ارزیابی کنترل‌شدهٔ تکرارپذیری از ChatGPT، Gemini و Doubao با استفاده از ۱۲ مسیر استاندارد پنج‌نوبتی انجام دادیم: ۴ مسیر مستقیم ریسک خودکشی، ۴ مسیر ریسک ضمنی یا ناسازگار درونی، و ۴ کنترل غیرخودکشی با پریشانی بالا. هر مسیر تحت سه قالب ارائهٔ زمینه ارزیابی شد. ۲۴ ترکیب مدل-مسیر به عنوان واحدهای تکرارپذیر همسان درون ۸ بلوک مستقل مسیر ریسک در نظر گرفته شدند. مقایسه‌های اصلی با استفاده از آزمون‌های دقیق وارونگی علامت در سطح مسیر و بازه‌های اطمینان بوت‌استرپ بلوک-مسیر برآورد شد. پیامدهای سطح نوبت با مدل‌های اثرات مختلط چندسطحی تحلیل شد. ناهمگنی اکتشافی وضعیت-مدل با تحلیل حساسیت دقیق جایگشت بلوک-مسیر ارزیابی شد و مدل تعاملی خوشه‌بندی‌شده بر مسیر تنها به عنوان بررسی ثانویهٔ مجانبی استفاده شد. نتایج: مداخلهٔ مناسب و به‌موقع در ۱۰ مورد از ۲۴ مشاهدهٔ نوبت فعلی مجزا (۴۱٫۷٪)، ۲۱ از ۲۴ مشاهدهٔ تجمعی بازسازی‌شده (۸۷٫۵٪) و ۱۲ از ۲۴ مشاهدهٔ بومی پیوسته (۵۰٫۰٪) رخ داد. به طور میانگین در سه سامانه، ارائهٔ تجمعی بازسازی‌شده نسبت به ورودی مجزا ۴۵٫۸ درصد بیشتر بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ۲۵٫۰ تا ۶۶٫۷؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱)، در حالی که عملکرد بومی پیوسته ۳۷٫۵ درصد کمتر از عملکرد تجمعی بازسازی‌شده بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ‎−۵۰٫۰ تا ‎−۲۵٫۰؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱). تحلیل‌های اکتشافی مدل‌محور ناهمگنی قابل توجهی نشان داد: تفاوت بومی-در مقابل-بازسازی‌شده برای Doubao بیشترین مقدار، برای Gemini کمتر و از نظر آماری نامشخص، و برای ChatGPT غایب بود. نتیجه‌گیری: به طور میانگین در سه سامانهٔ ارزیابی‌شده، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر عملکرد بهتری نسبت به گفت‌وگوهای بومی پیوسته داشتند، اگرچه الگوهای مدل‌محور اکتشافی ناهمگون بودند. از آنجا که قالب‌ها همچنین در بازسازی پرامپت، برجستگی اطلاعات، موقعیت پیام، دستورالعمل‌های ادغام صریح و پردازش وضعیت گفت‌وگوی بومی تفاوت داشتند، این مقایسه نمی‌تواند اثر علّی پاسخ‌های پیشین مدل را به طور مجزا تعیین کند.

Abstract This study investigates how L1–L2 typological distance moderates the predictive validity of large language model (LLM)-based metrics in L2 reading, alongside the compensatory role of cognitive resources. Eye-tracking data from Chinese learners with L1 Lao, Burmese, Thai and Vietnamese revealed that surprisal predicted processing difficulty across all groups, whereas contextual entropy effects were group-specific and qualified by cognitive differences. Cognitive abilities explained unique variance only in Vietnamese learners, with verbal short‑term storage (VSTS) showing an independent effect. Additionally, VSTS and reading comprehension accuracy showed significant interactions with typological distance, such that higher learner-level memory and comprehension-performance indices were associated with reduced processing burden under greater L1–L2 divergence. These findings demonstrate that LLM metrics’ validity is constrained by typology and modulated by cognitive resources, supporting adaptive L2 processing models and the Cognitive Resource Coordination Model (Robinson [2001, Second Language Research 17(4), pp. 368–392]).

این مطالعه بررسی می‌کند که چگونه فاصلهٔ نوع‌شناختی میان زبان اول و دوم، روایی پیش‌بینی‌کنندگی سنجه‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) را در خواندن زبان دوم تعدیل می‌کند و همچنین نقش جبرانی منابع شناختی را مورد توجه قرار می‌دهد. داده‌های ردیابی چشم از زبان‌آموزان چینی با زبان اول لائو، برمه‌ای، تایلندی و ویتنامی نشان داد که سورپرایزال پیش‌بین دشواری پردازش در همه گروه‌ها بود، در حالی که اثرات آنتروپی متنی خاص هر گروه بوده و با تفاوت‌های شناختی تبیین می‌شود. توانایی‌های شناختی تنها در زبان‌آموزان ویتنامی واریانس منحصربه‌فردی را تبیین کردند و ذخیره‌سازی کوتاه‌مدت کلامی (VSTS) اثر مستقلی نشان داد. همچنین، VSTS و دقت درک مطلب در تعامل معنادار با فاصلهٔ نوع‌شناختی قرار داشتند، به‌گونه‌ای که شاخص‌های بالاتر حافظه و عملکرد درک مطلب در سطح زبان‌آموز با کاهش بار پردازشی در شرایط واگرایی بیشتر میان زبان اول و دوم همراه بود. این یافته‌ها نشان می‌دهد که روایی سنجه‌های LLM توسط نوع‌شناسی محدود شده و توسط منابع شناختی تعدیل می‌شود و از مدل‌های پردازش تطبیقی زبان دوم و مدل هماهنگی منابع شناختی (Robinson [2001, Second Language Research 17(4), pp. 368–392]) حمایت می‌کند.

Previous research has suggested that culturally mismatched interventions may cause resistance and reduce the effectiveness of music-based interventions. This pilot randomized exploratory study examined the implementation and preliminary outcomes of a music-based intervention incorporating large language model (LLM)-generated, culturally adapted verbal suggestions among Chinese undergraduate students. A total of 113 participants were randomly assigned to three multicomponent conditions: (1) Chinese film music accompanied by LLM-generated verbal suggestions involving Eastern imagery, (2) a standardized music therapy recording with conventional verbal guidance, or (3) piano music without verbal guidance. Following a 40-minute cognitively demanding task, participants completed pre- and post-intervention measures of state anxiety, positive and negative affect, and heart rate. Baseline-adjusted ANCOVAs showed no group differences in positive affect, F (2, 109) = 1.03, p = .360, η p 2 = .019, or state anxiety, F (2, 109) = 0.68, p = .511, η p 2 = .012. A significant group effect was found for negative affect, F (2, 109) = 4.60, p = .012, η p 2 = .078; the Eastern imagery group had lower adjusted post-intervention scores than both comparison groups (Holm-adjusted ps = .026). Heart rate also differed across groups, F (2, 109) = 10.56, p < .001, η p 2 = .162, with lower adjusted values in the standardized therapy group than in the other two groups. The findings identify potentially meaningful response patterns but do not establish efficacy or the independent effect of culturally adapted verbal suggestions because the conditions differed in musical material and duration. Larger, controlled trials are required. (ClinicalTrials.gov, NCT07359950).

پژوهش‌های پیشین نشان داده‌اند که مداخلات ناسازگار با فرهنگ ممکن است موجب مقاومت و کاهش اثربخشی مداخلات مبتنی بر موسیقی شوند. این مطالعه آزمایشی تصادفی اکتشافی به بررسی اجرای یک مداخله مبتنی بر موسیقی که شامل پیشنهادهای کلامی سازگارشده فرهنگی تولیدشده توسط مدل‌های زبانی بزرگ (LLM) بود، در میان دانشجویان کارشناسی چینی پرداخت. در مجموع ۱۱۳ شرکت‌کننده به طور تصادفی به سه وضعیت چندجزئی تقسیم شدند: (۱) موسیقی فیلم چینی همراه با پیشنهادهای کلامی تولیدشده توسط LLM با بهره‌گیری از تصاویر شرقی، (۲) یک ضبط استاندارد موسیقی‌درمانی با راهنمایی کلامی متعارف، یا (۳) موسیقی پیانو بدون راهنمایی کلامی. پس از انجام یک تکلیف ۴۰ دقیقه‌ای با بار شناختی بالا، شرکت‌کنندگان پیش و پس از مداخله، مقیاس‌های اضطراب حالتی، عاطفه مثبت و منفی و ضربان قلب را تکمیل کردند. تحلیل کوواریانس (ANCOVA) با تعدیل بر اساس خط پایه نشان داد که بین گروه‌ها در عاطفه مثبت (F (2, 109) = 1.03, p = .360, η p 2 = .019) یا اضطراب حالتی (F (2, 109) = 0.68, p = .511, η p 2 = .012) تفاوتی وجود ندارد. یک اثر معنادار گروهی برای عاطفه منفی مشاهده شد (F (2, 109) = 4.60, p = .012, η p 2 = .078)؛ گروه تصاویر شرقی نمرات تعدیل‌شده پایین‌تری پس از مداخله نسبت به هر دو گروه مقایسه داشت (ps تعدیل‌شده به روش Holm = .026). ضربان قلب نیز بین گروه‌ها متفاوت بود (F (2, 109) = 10.56, p < .001, η p 2 = .162)، به طوری که مقادیر تعدیل‌شده در گروه درمان استاندارد پایین‌تر از دو گروه دیگر بود. یافته‌ها الگوهای پاسخ بالقوه معناداری را شناسایی می‌کنند اما اثربخشی یا اثر مستقل پیشنهادهای کلامی سازگارشده فرهنگی را اثبات نمی‌کنند، زیرا شرایط از نظر محتوای موسیقی و مدت زمان متفاوت بودند. مطالعات بزرگ‌تر و کنترل‌شده مورد نیاز است. (ClinicalTrials.gov, NCT07359950).

Researchers often want to measure a variety of constructs such as anxiety, discrimination, or loneliness in text data from surveys, interviews, social media, and electronic health records. Using large language models (LLMs)-although optimal for text classification-remain infeasible for some researchers due to concerns around computational expertise, cost, privacy, and compute requirements. Therefore, some researchers prefer to use lightweight models for large data sets or interpretable models to avoid mistakes in high-stakes scenarios. Lexicons offer simple baselines to LLMs by searching for relevant phrases and can be used together with LLMs to guarantee capturing specific keywords. However, building new lexicons is resource intensive. In this study, we found that GPT-4 Turbo was able to automatically create a lexicon for 49 known risk factors for suicidal thoughts and behaviors, which we release as the Suicide Risk Lexicon. Generating a lexicon with LLMs quickly measures most constructs relevant for suicide risk detection, resulting in high content validity. This lexicon was able to accurately predict risk in crisis counseling conversations. After validating the lexicon with clinician ratings, the lexicon modestly outperformed the linguistic inquiry and word count lexicon, which has low content validity for mental illness, and performed similarly to some black-box deep learning models. We discovered that active suicidal ideation and direct self-injury were stronger indicators of imminent risk than passive suicidal ideation and depressed mood in this ecological setting of crisis counseling conversations. To simplify creating new lexicons for other research domains, we introduce a Python package, construct-tracker. (PsycInfo Database Record (c) 2026 APA, all rights reserved).

پژوهشگران اغلب تمایل دارند انواع سازه‌هایی مانند اضطراب، تبعیض یا احساس تنهایی را در داده‌های متنی حاصل از پیمایش‌ها، مصاحبه‌ها، شبکه‌های اجتماعی و پرونده‌های سلامت الکترونیک اندازه‌گیری کنند. اگرچه استفاده از مدل‌های زبانی بزرگ (LLMs) برای طبقه‌بندی متن بهینه است، اما به دلیل نگرانی‌هایی درباره تخصص محاسباتی، هزینه، حریم خصوصی و نیازهای محاسباتی، برای برخی پژوهشگران عملی نمی‌باشد. بنابراین، برخی پژوهشگران ترجیح می‌دهند برای داده‌های بزرگ از مدل‌های سبک یا برای سناریوهای حساس از مدل‌های قابل تفسیر استفاده کنند تا از بروز خطا جلوگیری شود. واژگان‌ها با جستجوی عبارات مرتبط، مبنایی ساده در مقابل LLMها فراهم می‌کنند و می‌توانند همراه با LLMها برای تضمین شناسایی واژگان خاص به کار روند. با این حال، ساخت واژگان‌های جدید نیازمند منابع زیادی است. در این مطالعه، دریافتیم که GPT-4 Turbo قادر است به طور خودکار واژگانی برای ۴۹ عامل خطر شناخته‌شده برای افکار و رفتارهای خودکشی ایجاد کند که آن را به عنوان واژگان خطر خودکشی منتشر می‌کنیم. تولید واژگان با استفاده از LLMها امکان اندازه‌گیری سریع اغلب سازه‌های مرتبط با شناسایی خطر خودکشی را فراهم می‌کند و منجر به روایی محتوایی بالا می‌شود. این واژگان توانست خطر را در مکالمات مشاوره بحران به طور دقیق پیش‌بینی کند. پس از اعتبارسنجی واژگان با ارزیابی‌های بالینی، این واژگان نسبت به واژگان تحلیل واژگانی و شمارش واژه‌ها که روایی محتوایی پایینی برای بیماری روانی دارد، عملکرد بهتری داشت و عملکردی مشابه برخی مدل‌های یادگیری عمیق جعبه‌سیاه نشان داد. دریافتیم که افکار خودکشی فعال و خودآسیبی مستقیم، شاخص‌های قوی‌تری برای خطر قریب‌الوقوع نسبت به افکار خودکشی منفعل و خلق افسرده در این زمینه بوم‌شناختی مکالمات مشاوره بحران هستند. برای ساده‌سازی ایجاد واژگان جدید در حوزه‌های پژوهشی دیگر، یک بسته پایتون به نام construct-tracker معرفی می‌کنیم. (رکورد پایگاه داده PsycInfo (c) 2026 APA، کلیه حقوق محفوظ است).

Abstract Rapid advancements in education assessment and natural language processing have fundamentally transformed the methodologies employed in multi-dimensional writing assessment. Neural network approaches have shown remarkable effectiveness, obviating the need for handcrafted feature engineering. However, the potential of pre-trained language models for constructing multi-dimensional automated essay scoring (AES) models still needs to be explored. The present study addresses critical challenges, including the resilience of AES models to subtle input perturbations leading to prediction inaccuracies and the elucidation of the intricate mechanisms within deep learning frameworks. We propose an integrated approach leveraging multi-task learning and the pre-trained model Bidirectional Encoder Representations from Transformers (BERT), augmented with adversarial training via the Fast Gradient Sign Method (FGSM), aiming to enhance scoring accuracy and stability in multi-dimensional AES tasks. Findings reveal that BERT-Integrated-MTL-FGSM significantly outperforms existing baselines. Integrating Explainable Artificial Intelligence (XAI) elucidates the complex evaluation processes within the deep learning black box, offering potentially diagnostic feedback for students and assisting educators in delivering individualized instruction guided by word-level attributions across diverse analytic rating scales. These insights enhance the robustness, generalizability, and interpretability of multi-dimensional AES models, thus paving an interdisciplinary pathway for multi-dimensional writing assessment and instruction.

پیشرفت‌های سریع در ارزیابی آموزشی و پردازش زبان طبیعی، روش‌شناسی‌های به‌کاررفته در ارزیابی چندبُعدی نوشتار را به‌طور بنیادین متحول کرده‌اند. رویکردهای شبکه عصبی اثربخشی چشمگیری نشان داده‌اند و نیاز به مهندسی ویژگی‌های دستی را برطرف ساخته‌اند. با این حال، پتانسیل مدل‌های زبانی از پیش‌آموزش‌دیده برای ساخت مدل‌های خودکار نمره‌دهی مقاله (AES) چندبُعدی همچنان نیازمند بررسی است. مطالعه حاضر به چالش‌های اساسی از جمله تاب‌آوری مدل‌های AES در برابر اختلالات جزئی ورودی که منجر به نادرستی پیش‌بینی می‌شوند و تبیین سازوکارهای پیچیده در چارچوب‌های یادگیری عمیق می‌پردازد. ما رویکردی یکپارچه مبتنی بر یادگیری چندوظیفه‌ای و مدل از پیش‌آموزش‌دیده Bidirectional Encoder Representations from Transformers (BERT) ارائه می‌دهیم که با آموزش خصمانه از طریق Fast Gradient Sign Method (FGSM) تقویت شده است، با هدف ارتقای دقت و پایداری نمره‌دهی در وظایف AES چندبُعدی. یافته‌ها نشان می‌دهند که BERT-Integrated-MTL-FGSM به طور معناداری عملکرد بهتری نسبت به خطوط پایه موجود دارد. ادغام هوش مصنوعی قابل‌توضیح (XAI) فرآیندهای ارزیابی پیچیده در جعبه سیاه یادگیری عمیق را روشن می‌سازد و بازخورد تشخیصی بالقوه‌ای برای دانشجویان فراهم می‌کند و به مدرسان در ارائه آموزش فردمحور مبتنی بر انتساب‌های واژه‌محور در مقیاس‌های تحلیلی متنوع کمک می‌کند. این بینش‌ها موجب افزایش تاب‌آوری، قابلیت تعمیم و تفسیرپذیری مدل‌های AES چندبُعدی می‌شود و بدین ترتیب مسیر میان‌رشته‌ای برای ارزیابی و آموزش چندبُعدی نوشتار هموار می‌گردد.