Fusion

Traditional statistical models face the challenges of insufficient modeling capabilities and difficulty in interpreting complex, nonlinear, and high-dimensional data. Therefore, this paper combines fuzzy logic and deep learning methods to construct a framework model for identifying key factors for high-quality employment for college students. The model in this paper uses multi-channel encoding technology. We use the attention mechanism to fuse the features obtained from multi-channel encoding and input the self-organizing fuzzy inference structure for regression and classification analysis. The system can transform numerical prediction results into a semantic rule-driven decision-making process, which can significantly improve the model’s modeling capabilities and interpretability for uncertainty. Our experiments were conducted on 5,623 graduates. Experimental results on the data show that our model achieved an average mean square error of 0.831, a coefficient of determination of 0.892, and a classification accuracy of 0.865, which are significantly higher than traditional statistical and machine learning models. The corresponding experiments demonstrate the key role of cross-modal fusion and fuzzy reasoning modules in improving the results. Feature importance analysis shows that factors such as internship duration, GPA, and research participation have a key impact on high-quality employment, which is consistent with expert consensus.

Stress is a major contributor to physical and mental health disorders, underscoring the need for reliable and interpretable detection systems. We present an interpretable multimodal deep learning framework that integrates electrocardiogram (ECG), electrodermal activity (EDA), and respiration signals using modality-specific neural architectures complemented by feature-based classical models. To ensure robustness and generalizability, the framework was evaluated under both subject-independent and subject-dependent protocols. Results show that multimodal fusion consistently outperformed single modalities, achieving 94.8% accuracy, 93.9% F1-score, and 0.97 AUC under subject-independent validation, compared with 86–91% accuracy for individual signals. In subject-dependent experiments, performance reached 97.2% accuracy and 96.8% F1-score. Comparative analysis with recent state-of-the-art methods demonstrated the competitiveness of our approach, while ablation studies confirmed the contribution of each modality and fusion strategy. Statistical significance testing with ( p < 0.05) further validated the reliability of these gains. Importantly, interpretability analyses using Grad-CAM and attention visualization provided physiological insights, revealing that the model emphasizes clinically meaningful regions such as ECG R-peaks and phasic EDA fluctuations. By uniting high performance, robustness, and interpretability, this work advances stress detection research and offers a physiologically grounded framework for continuous mental health monitoring.

Introduction Vehicular driving pattern analysis is important for improving road safety, driving efficiency, and intelligent transportation systems. The aim of this study is to analyze recent research on the major driver-behavior analysis tasks, which are driving pattern recognition, distraction detection, abnormal driving-behavior detection, driver profiling and identification, fuel-efficiency analysis, and driving-risk assessment. Methods The literature selection process was structured and included identification, screening, and eligibility. One hundred seventeen studies were used in this study, and 12 studies were selected for a detailed examination for comparative analysis. Results The studies analyzed have shown that driver-behavior analysis is becoming more popular with the use of machine learning, deep learning, sensor fusion, edge computing, and other new technologies. Existing approaches, however, are still scattered across behavioral tasks and encounter issues such as real-time processing, privacy preservation, scalability, model generalization, and integration of heterogeneous data. Discussion This study highlights the need for integrated and task-oriented approaches to address these challenges and support multiple behavioral assessments. The findings provide research directions on the development of scalable privacy-aware real-time driver-behavior analysis systems for connected and intelligent transportation environments.

Suicidal ideation is the consideration of self-inflicted death and has emerged as a serious and rising concern for worldwide public health systems, contributing to over 800,000 deaths annually worldwide. Individuals express intentions, distress, and thoughts of self-harm and death, thereby offering a crucial and unprecedented avenue for timely psychological intervention and surveillance. The core problem addressed by this research is the pronounced global insufficiency in detecting and mitigating suicidal ideation across linguistically diverse environments, specifically focusing on low-resource languages. Previous computational studies have primarily focused on English and other widely used languages, leaving a critical research gap for contexts such as Amharic. The main aim of this study was to investigate and to develop a robust and optimal deep learning model for identifying suicidal ideation in Amharic social media content. A total of 5,428 postings from social media such as Facebook and Telegram were carefully collected, manually annotated, and processed to provide the first publicly available dataset on Amharic suicidal ideation. After preprocessing, Word2Vec, GloVe, and FastText were among the word embedding techniques used for feature engineering. Five deep learning models and four machine learning models were then compared in this study. Based on the experimental results, ensemble learning models achieved slightly higher performance than the individual deep learning models in suicidal ideation detection. Specifically, hard voting ensemble learning models achieved the highest accuracy (83.3%) and precision (86.55%). CNN-BiLSTM achieved an accuracy of 81.45%, while the BiLSTM model achieved an accuracy of 81.4%, indicating that bidirectional sequence learning effectively captures contextual information in Amharic texts. Beyond its strong empirical performance, this study contributes a robust detection framework and introduces a public Amharic dataset, thereby establishing a foundational methodological resource for mental health research. Future studies should focus on developing scalable datasets and context-aware deep learning models that effectively handle multimodal data, multilingual transformer models, fusion-based features, and addressing bias in low-resource computational linguistics.

افکار خودکشی به معنای اندیشیدن به مرگ خودخواسته است و به عنوان یک نگرانی جدی و رو به افزایش برای نظام‌های سلامت عمومی در سراسر جهان مطرح شده است، به طوری که سالانه بیش از ۸۰۰٬۰۰۰ مرگ را در سطح جهانی رقم می‌زند. افراد، نیت‌ها، پریشانی و افکار آسیب به خود و مرگ را ابراز می‌کنند و بدین ترتیب، مسیر مهم و بی‌سابقه‌ای برای مداخله و پایش روان‌شناختی به موقع فراهم می‌شود. مسئله اصلی که این پژوهش به آن می‌پردازد، کمبود چشمگیر جهانی در شناسایی و کاهش افکار خودکشی در محیط‌های زبانی متنوع، به ویژه در زبان‌های کم‌منبع است. مطالعات محاسباتی پیشین عمدتاً بر زبان انگلیسی و سایر زبان‌های پرکاربرد تمرکز داشته‌اند و این امر موجب ایجاد شکاف پژوهشی مهمی در زمینه‌هایی مانند زبان آمهاریک شده است. هدف اصلی این مطالعه، بررسی و توسعه یک مدل یادگیری عمیق قوی و بهینه برای شناسایی افکار خودکشی در محتوای شبکه‌های اجتماعی به زبان آمهاریک بود. در مجموع، ۵٬۴۲۸ پست از شبکه‌های اجتماعی مانند فیس‌بوک و تلگرام با دقت جمع‌آوری، به صورت دستی برچسب‌گذاری و پردازش شدند تا نخستین مجموعه‌داده عمومی درباره افکار خودکشی به زبان آمهاریک فراهم شود. پس از پیش‌پردازش، تکنیک‌های تعبیه واژه مانند Word2Vec، GloVe و FastText برای مهندسی ویژگی‌ها به کار گرفته شدند. در این پژوهش، پنج مدل یادگیری عمیق و چهار مدل یادگیری ماشین با یکدیگر مقایسه شدند. بر اساس نتایج تجربی، مدل‌های یادگیری تجمعی (ensemble learning) عملکردی اندکی بهتر از مدل‌های یادگیری عمیق منفرد در شناسایی افکار خودکشی داشتند. به طور خاص، مدل‌های یادگیری تجمعی با رأی‌گیری سخت (hard voting) بالاترین دقت (۸۳/۳٪) و دقت مثبت (precision) (۸۶/۵۵٪) را به دست آوردند. مدل CNN-BiLSTM به دقت ۸۱/۴۵٪ و مدل BiLSTM به دقت ۸۱/۴٪ دست یافتند که نشان می‌دهد یادگیری دنباله‌ای دوسویه به طور مؤثری اطلاعات زمینه‌ای را در متون آمهاریک استخراج می‌کند. افزون بر عملکرد تجربی قوی، این پژوهش چارچوب شناسایی قابل اعتمادی ارائه داده و مجموعه‌داده عمومی آمهاریک را معرفی می‌کند و بدین ترتیب منبع روش‌شناختی بنیادی برای پژوهش‌های سلامت روان فراهم می‌آورد. مطالعات آتی باید بر توسعه مجموعه‌داده‌های مقیاس‌پذیر و مدل‌های یادگیری عمیق آگاه از زمینه که به طور مؤثر داده‌های چندوجهی، مدل‌های ترنسفورمر چندزبانه، ویژگی‌های مبتنی بر همجوشی و رفع سوگیری در زبان‌شناسی محاسباتی کم‌منبع را مدیریت می‌کنند، تمرکز کنند.

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

Accurate driver behavior recognition is important for driver monitoring systems and intelligent transportation applications. Although EEG-based approaches can provide useful neural information, their practical use is often limited by sensing complexity, preparation burden, and sensitivity to motion artifacts. This study proposes a physiology-guided multimodal learning framework for EEG-free driver behavior recognition using peripheral biosignals. A publicly available multimodal driving physiology dataset was used, including recordings from 35 participants performing five driving behaviors: smooth driving, acceleration, deceleration, lane change, and turning. Three peripheral physiological signals, namely ECG, EMG, and GSR, were used as model inputs. The proposed framework incorporates physiological knowledge into multimodal representation learning through modality-aware encoders tailored to the distinct characteristics of ECG, EMG, and GSR. A physiology-guided fusion mechanism is further introduced to model complementary cross-modal interactions among the three biosignals. Experimental results showed that the proposed ECG+EMG+GSR model achieved an average accuracy of 0.782 and a macro-F1 score of 0.783 under a five-fold evaluation protocol with separated training, validation, and test sets, with MCC and Cohen’s kappa reaching 0.711 and 0.711, respectively. Compared with EEG-only and full-modality baselines reported in the original dataset study, the proposed framework demonstrated the feasibility of EEG-free driver behavior recognition using only peripheral biosignals. Under the matched ECG+EMG+GSR input setting, the proposed framework outperformed the strongest baseline across all four evaluation metrics. In addition, sensing-configuration analysis showed that ECG+EMG+GSR provided a favorable balance between recognition performance and sensing burden. These results indicate that physiology-guided multimodal learning can effectively exploit heterogeneous peripheral biosignals for accurate and interpretable EEG-free driver behavior recognition.

شناسایی دقیق رفتار راننده برای سامانه‌های پایش راننده و کاربردهای حمل‌ونقل هوشمند اهمیت زیادی دارد. اگرچه رویکردهای مبتنی بر EEG می‌توانند اطلاعات عصبی مفیدی ارائه دهند، اما کاربرد عملی آن‌ها اغلب به دلیل پیچیدگی سنجش، دشواری آماده‌سازی و حساسیت به آرتیفکت‌های حرکتی محدود می‌شود. این مطالعه یک چارچوب یادگیری چندوجهی مبتنی بر فیزیولوژی را برای شناسایی رفتار راننده بدون استفاده از EEG و با بهره‌گیری از سیگنال‌های زیستی محیطی پیشنهاد می‌کند. از یک پایگاه داده فیزیولوژی رانندگی چندوجهی که به‌صورت عمومی در دسترس است، استفاده شد که شامل ثبت داده‌های ۳۵ شرکت‌کننده در حال انجام پنج رفتار رانندگی (رانندگی نرم، شتاب‌گیری، کاهش سرعت، تغییر خط و پیچیدن) بود. سه سیگنال فیزیولوژیکی محیطی شامل ECG، EMG و GSR به‌عنوان ورودی مدل به کار گرفته شدند. چارچوب پیشنهادی، دانش فیزیولوژیکی را از طریق رمزگذارهای آگاه از نوع مدالیته که متناسب با ویژگی‌های متمایز ECG، EMG و GSR طراحی شده‌اند، در یادگیری بازنمایی چندوجهی ادغام می‌کند. همچنین، یک سازوکار همجوشی هدایت‌شده با فیزیولوژی برای مدل‌سازی تعاملات مکمل بین‌مدالیته‌ای میان این سه سیگنال زیستی معرفی شده است. نتایج تجربی نشان داد که مدل ECG+EMG+GSR پیشنهادی به دقت میانگین ۰.۷۸۲ و امتیاز macro-F1 برابر با ۰.۷۸۳ تحت پروتکل ارزیابی پنج‌گانه با مجموعه‌های آموزشی، اعتبارسنجی و آزمون جداگانه دست یافت و مقادیر MCC و کاپای Cohen به ترتیب ۰.۷۱۱ و ۰.۷۱۱ بود. در مقایسه با خطوط پایه مبتنی بر EEG و مدالیته کامل که در مطالعه اصلی پایگاه داده گزارش شده بود، چارچوب پیشنهادی امکان‌پذیری شناسایی رفتار راننده بدون EEG و صرفاً با سیگنال‌های زیستی محیطی را نشان داد. در شرایط ورودی منطبق ECG+EMG+GSR، چارچوب پیشنهادی در هر چهار معیار ارزیابی از قوی‌ترین خط پایه عملکرد بهتری داشت. علاوه بر این، تحلیل پیکربندی سنجش نشان داد که ترکیب ECG+EMG+GSR تعادل مطلوبی میان عملکرد شناسایی و بار سنجش فراهم می‌کند. این نتایج بیانگر آن است که یادگیری چندوجهی هدایت‌شده با فیزیولوژی می‌تواند به‌طور مؤثر از سیگنال‌های زیستی محیطی ناهمگن برای شناسایی دقیق و قابل تفسیر رفتار راننده بدون EEG بهره‌برداری کند.

The role and responsibilities of pilots have been evolving as advanced automation systems are being integrated for flight operations. Operator state monitoring (OSM) helps ensure safety and improve performance by detecting and predicting degraded operator state during operations. Despite growing interest in OSM, no unified framework exists that integrates impairment definitions, sensor criteria, and interface design requirements. This work is presented as a conceptual analysis that establishes a foundational framework for operator state monitoring system (OSMS) development, addressing what an OSMS should monitor, what types of operator state changes should be detected, the characteristics of sensing and communication needed to support these functions and the operational considerations that should inform future development. A literature review establishes potential impairment and incapacitation events for pilots, identifies relevant physiological features to support detection of these events, and assess the possible impact of such events on flight operations to inform a system response. Existing work concentrates on military and automotive contexts and on workload, fatigue, and drowsiness rather than the acute-event end of the impairment continuum; the framework developed here spans the normal to impaired to incapacitated range required for in-flight operations. OSMSs should be developed based on a multi-modal data approach consisting of physiological features, pilot performance and activity, aircraft state and environmental data, as well as contain a means for pilots to self-report input. Heart, breathing, and behavioral features are affected across the widest range of events, making them broad-coverage candidates for sensor selection, though breadth of coverage is distinct from diagnostic specificity and no single feature is treated as a standalone indicator. The remaining recommendations address the engineering of sensing and processing for the flight deck. Design guidance for the alert and notification interface is presented alongside the recommendations. As OSMSs mature, this framework can serve as a critical reference for developing robust, reliable, and widely accepted solutions in aviation.

نقش‌ها و مسئولیت‌های خلبانان با ادغام سامانه‌های پیشرفته خودکارسازی در عملیات پروازی در حال تحول است. پایش وضعیت اپراتور (OSM) به تضمین ایمنی و بهبود عملکرد از طریق شناسایی و پیش‌بینی افت وضعیت اپراتور در حین عملیات کمک می‌کند. با وجود افزایش علاقه به OSM، هنوز چارچوب یکپارچه‌ای که تعاریف اختلال، معیارهای حسگر و الزامات طراحی رابط را ادغام کند، وجود ندارد. این پژوهش به‌عنوان یک تحلیل مفهومی ارائه می‌شود که چارچوبی بنیادی برای توسعه سامانه پایش وضعیت اپراتور (OSMS) ایجاد می‌کند و به این پرسش‌ها می‌پردازد که یک OSMS باید چه مواردی را پایش کند، چه نوع تغییراتی در وضعیت اپراتور باید شناسایی شود، ویژگی‌های حسگری و ارتباطی مورد نیاز برای پشتیبانی از این کارکردها چیست و ملاحظات عملیاتی که باید توسعه آینده را هدایت کند کدام‌اند. مرور ادبیات، رویدادهای بالقوه اختلال و ناتوانی خلبانان را شناسایی می‌کند، ویژگی‌های فیزیولوژیکی مرتبط برای پشتیبانی از شناسایی این رویدادها را معرفی می‌کند و تأثیر احتمالی چنین رویدادهایی بر عملیات پروازی را برای اطلاع‌رسانی به پاسخ سامانه ارزیابی می‌کند. پژوهش‌های موجود عمدتاً بر زمینه‌های نظامی و خودرویی و بر بارکاری، خستگی و خواب‌آلودگی متمرکز شده‌اند تا انتهای حاد طیف اختلال؛ چارچوب ارائه‌شده در اینجا دامنه طبیعی تا اختلال‌یافته تا ناتوان‌شده مورد نیاز برای عملیات پروازی را پوشش می‌دهد. OSMSها باید بر اساس رویکرد داده‌های چندوجهی شامل ویژگی‌های فیزیولوژیکی، عملکرد و فعالیت خلبان، وضعیت هواپیما و داده‌های محیطی توسعه یابند و همچنین باید امکان ورود داده‌های خودگزارشی توسط خلبان را فراهم کنند. ویژگی‌های قلبی، تنفسی و رفتاری در گسترده‌ترین دامنه رویدادها تحت تأثیر قرار می‌گیرند و آن‌ها را به گزینه‌هایی با پوشش وسیع برای انتخاب حسگر تبدیل می‌کند، هرچند گستره پوشش با ویژگی تشخیصی متفاوت است و هیچ ویژگی به‌تنهایی به‌عنوان شاخص مستقل تلقی نمی‌شود. سایر توصیه‌ها به مهندسی حسگری و پردازش برای کابین پرواز می‌پردازد. راهنمای طراحی برای رابط هشدار و اعلان همراه با توصیه‌ها ارائه شده است. با بلوغ OSMSها، این چارچوب می‌تواند به‌عنوان مرجعی حیاتی برای توسعه راهکارهای مقاوم، قابل‌اعتماد و مورد پذیرش گسترده در هوانوردی مورد استفاده قرار گیرد.

Fatigue severely degrades operational reliability in high-risk operational settings such as aviation maintenance. Although multimodal physiological signals support objective fatigue assessment, many existing models emphasize temporal patterns without explicitly modeling dependencies among physiological features across modalities. We propose a Physiology-Guided Parallel Graph–Transformer Network (PGTNet) for multimodal fatigue recognition, which incorporates physiologically motivated fatigue-related features derived from multimodal physiological signals. Parallel DGCN and Transformer branches jointly model physiological feature relationships and long-range temporal dependencies, and their representations are integrated through a bidirectional cross-attention mechanism. Under the predefined subject-independent partition, PGTNet achieves an Accuracy of 0.8778 and a Macro-AUC of 0.9648. Eight-fold subject-wise cross-validation yields an average Accuracy of 0.8592 ± 0.0112 across the eight held-out subjects. These results support the effectiveness of PGTNet within the present dataset.

خستگی به طور جدی پایایی عملیاتی را در محیط‌های عملیاتی پرخطر مانند تعمیر و نگهداری هوانوردی کاهش می‌دهد. اگرچه سیگنال‌های فیزیولوژیکی چندوجهی از ارزیابی عینی خستگی پشتیبانی می‌کنند، بسیاری از مدل‌های موجود بر الگوهای زمانی تأکید دارند بدون آنکه به طور صریح وابستگی‌های میان ویژگی‌های فیزیولوژیکی در میان وجه‌ها را مدل‌سازی کنند. ما یک شبکه گراف-ترنسفورمر موازی با راهنمایی فیزیولوژیکی (PGTNet) را برای شناسایی خستگی چندوجهی پیشنهاد می‌کنیم که ویژگی‌های مرتبط با خستگی با انگیزه فیزیولوژیکی را که از سیگنال‌های فیزیولوژیکی چندوجهی استخراج شده‌اند، دربر می‌گیرد. شاخه‌های موازی DGCN و ترنسفورمر به طور مشترک روابط ویژگی‌های فیزیولوژیکی و وابستگی‌های زمانی بلندمدت را مدل‌سازی می‌کنند و بازنمایی‌های آن‌ها از طریق یک سازوکار توجه متقاطع دوسویه ادغام می‌شوند. تحت تقسیم‌بندی از پیش تعیین‌شده مستقل از آزمودنی، PGTNet به دقت (Accuracy) برابر با 0.8778 و Macro-AUC برابر با 0.9648 دست می‌یابد. اعتبارسنجی متقاطع هشت‌تایی مبتنی بر آزمودنی به طور میانگین دقت 0.8592 ± 0.0112 را در میان هشت آزمودنی کنارگذاشته‌شده نشان می‌دهد. این نتایج اثربخشی PGTNet را در مجموعه داده حاضر تأیید می‌کند.

Understanding the emotional vulnerability of cancer patients and caregivers is critical for improving psychological support and clinical intervention strategies. With the rapid growth of online health communities, large volumes of textual narratives describing treatment experiences and emotional struggles have become available for computational analysis. However, accurately capturing emotional intensity and contextual sentiment in such narratives remains challenging due to the complex linguistic patterns present in health-related discussions. This study proposes an attention-guided hybrid transformer-ensemble learning framework for emotional vulnerability detection in cancer-related social media posts. The proposed architecture integrates domain-adapted contextual representations generated by BioBERT with linguistic intensity features to capture both semantic context and emotional strength. An attention-based feature fusion mechanism dynamically combines these heterogeneous features to produce enriched representations of patient narratives. The fused representations are subsequently utilized by multiple optimized machine learning classifiers, including XGBoost, LightGBM, Random Forest, and CatBoost. Hyperparameter optimization is performed using the Optuna framework to improve predictive performance. Furthermore, ensemble learning strategies such as soft voting, hard voting, and stacking are employed to combine the predictions of the base classifiers. Experiments conducted on a held-out split of a publicly available dataset of 10,391 posts from cancer patients and caregivers demonstrate that ensemble approaches consistently outperform individual classifiers on this data. The stacking ensemble achieves an accuracy of 0.76 and an ROC-AUC of 0.91, outperforming its own individual base classifiers but not a fine-tuned BioBERT baseline (accuracy 0.77, ROC-AUC 0.92) evaluated on the same split; a TF-IDF with linear SVM baseline is also competitive (accuracy 0.763). The framework’s practical advantage over full BioBERT fine-tuning is therefore computational rather than purely predictive: it reuses frozen BioBERT features and adds a lightweight, interpretable attention-fusion and tree-ensemble stage at a fraction of the training cost, while an ablation study confirms that the attention-based fusion of contextual and lexical-intensity signals meaningfully outperforms either signal alone or their simple concatenation. The proposed framework thus provides a scalable, lower-cost computational approach that can support mental health monitoring and early intervention systems in online healthcare communities, at a modest accuracy cost relative to full transformer fine-tuning.

درک آسیب‌پذیری هیجانی بیماران سرطانی و مراقبان آنان برای بهبود حمایت روان‌شناختی و راهبردهای مداخله بالینی اهمیت اساسی دارد. با رشد سریع جوامع سلامت آنلاین، حجم زیادی از روایت‌های متنی که تجارب درمانی و چالش‌های هیجانی را توصیف می‌کنند، برای تحلیل محاسباتی در دسترس قرار گرفته‌اند. با این حال، شناسایی دقیق شدت هیجانی و احساسات زمینه‌ای در این روایت‌ها به دلیل الگوهای زبانی پیچیده در مباحث مرتبط با سلامت، همچنان چالش‌برانگیز است. این پژوهش چارچوبی هیبریدی مبتنی بر یادگیری تجمعی و ترنسفورمر هدایت‌شده با مکانیزم توجه را برای شناسایی آسیب‌پذیری هیجانی در پست‌های شبکه‌های اجتماعی مرتبط با سرطان پیشنهاد می‌کند. معماری پیشنهادی، بازنمایی‌های زمینه‌ای سازگار با حوزه که توسط BioBERT تولید شده‌اند را با ویژگی‌های شدت زبانی ترکیب می‌کند تا هم زمینه معنایی و هم قدرت هیجانی را استخراج نماید. مکانیزم ادغام ویژگی مبتنی بر توجه، این ویژگی‌های ناهمگن را به صورت پویا ترکیب می‌کند تا بازنمایی‌های غنی‌شده‌ای از روایت‌های بیماران ارائه دهد. این بازنمایی‌های ادغام‌شده سپس توسط چندین طبقه‌بند یادگیری ماشین بهینه‌شده شامل XGBoost، LightGBM، Random Forest و CatBoost مورد استفاده قرار می‌گیرند. بهینه‌سازی ابرپارامترها با استفاده از چارچوب Optuna برای بهبود عملکرد پیش‌بینی انجام می‌شود. افزون بر این، راهبردهای یادگیری تجمعی مانند رأی‌دهی نرم، رأی‌دهی سخت و استکینگ برای ترکیب پیش‌بینی‌های طبقه‌بندهای پایه به کار گرفته می‌شوند. آزمایش‌های انجام‌شده بر روی بخش جداگانه‌ای از یک مجموعه داده عمومی شامل ۱۰٬۳۹۱ پست از بیماران سرطانی و مراقبان آنان نشان می‌دهد که رویکردهای تجمعی به طور پیوسته عملکرد بهتری نسبت به طبقه‌بندهای منفرد در این داده‌ها دارند. استکینگ تجمعی به دقت ۰٫۷۶ و ROC-AUC برابر با ۰٫۹۱ دست می‌یابد که نسبت به طبقه‌بندهای پایه خود عملکرد بهتری دارد، اما نسبت به خط‌مبنای BioBERT تنظیم‌شده (دقت ۰٫۷۷، ROC-AUC برابر با ۰٫۹۲) که بر روی همان بخش ارزیابی شده است، برتری ندارد؛ همچنین خط‌مبنای TF-IDF با SVM خطی نیز رقابتی است (دقت ۰٫۷۶۳). بنابراین، مزیت عملی چارچوب پیشنهادی نسبت به تنظیم کامل BioBERT، بیشتر محاسباتی است تا صرفاً پیش‌بینی: این چارچوب از ویژگی‌های ثابت‌شده BioBERT استفاده می‌کند و مرحله‌ای سبک، قابل تفسیر و مبتنی بر ادغام توجه و یادگیری تجمعی درختی را با کسری از هزینه آموزش اضافه می‌کند، در حالی که مطالعه حذف اجزا تأیید می‌کند که ادغام مبتنی بر توجه سیگنال‌های زمینه‌ای و شدت واژگانی به طور معناداری بهتر از هر یک به تنهایی یا ادغام ساده آن‌ها عمل می‌کند. بدین ترتیب، چارچوب پیشنهادی رویکردی مقیاس‌پذیر و کم‌هزینه برای پشتیبانی از پایش سلامت روان و سامانه‌های مداخله زودهنگام در جوامع سلامت آنلاین فراهم می‌کند، هرچند با هزینه اندکی در دقت نسبت به تنظیم کامل ترنسفورمر.

Abstract Currently, machine learning technology has been widely used in electroencephalogram (EEG) automatic emotion recognition tasks. However, the non-stationarity, individual differences, and high annotation costs in EEG signals seriously affect the generalization ability of the model. To solve these problems, we propose a new unsupervised domain adaptation framework named EEG-UDAF for EEG emotion recognition. First, we design a dual-view frequency domain feature fusion module that can extract rich EEG signals frequency domain features from two perspectives, differential entropy and power spectral density, and fuse them based on the self-attention mechanism. Second, we propose a spatio-temporal feature extraction module based on graph convolutional network and bidirectional long short-term memory. It can comprehensively consider the spatial topological structure of the brain and the dynamic characteristics of temporal changes between EEG channels to extract complex spatio-temporal features. Third, we use the unsupervised domain adaptation strategy to solve the non-stationarity and individual differences in EEG signals without manual annotation, and introduce a semantic correction mechanism to prevent incorrect class alignment. Experiments based on intra-subject and inter-subject paradigms show that EEG-UDAF can effectively alleviate non-stationarity and individual differences. Moreover, these transferable EEG representations also provide a potential foundation for LLM-augmented multimodal data fusion in large-scale affective computing.

در حال حاضر، فناوری یادگیری ماشین به طور گسترده‌ای در وظایف شناسایی خودکار احساسات مبتنی بر الکتروانسفالوگرام (EEG) مورد استفاده قرار گرفته‌است. با این حال، غیرایستایی، تفاوت‌های فردی و هزینه‌های بالای برچسب‌گذاری در سیگنال‌های EEG به طور جدی توانایی تعمیم مدل را تحت تأثیر قرار می‌دهد. برای حل این مشکلات، چارچوب جدیدی با نام EEG-UDAF برای شناسایی احساسات مبتنی بر EEG پیشنهاد می‌کنیم. نخست، یک ماژول همجوشی ویژگی‌های حوزه فرکانس با دو نما طراحی کرده‌ایم که می‌تواند ویژگی‌های غنی حوزه فرکانسی سیگنال‌های EEG را از دو منظر، آنتروپی تفاضلی و چگالی طیفی توان، استخراج کرده و آن‌ها را بر اساس سازوکار خودتوجهی ادغام کند. دوم، یک ماژول استخراج ویژگی‌های فضایی-زمانی مبتنی بر شبکه عصبی کانولوشنی گراف و حافظه کوتاه‌مدت دوطرفه پیشنهاد می‌کنیم. این ماژول می‌تواند ساختار توپولوژیکی فضایی مغز و ویژگی‌های پویای تغییرات زمانی بین کانال‌های EEG را به طور جامع در نظر گرفته و ویژگی‌های پیچیده فضایی-زمانی را استخراج کند. سوم، از راهبرد تطبیق حوزه بدون نظارت برای حل غیرایستایی و تفاوت‌های فردی در سیگنال‌های EEG بدون نیاز به برچسب‌گذاری دستی استفاده کرده و سازوکار اصلاح معنایی را برای جلوگیری از هم‌ترازی نادرست کلاس‌ها معرفی می‌کنیم. آزمایش‌های مبتنی بر پارادایم‌های درون‌فردی و بین‌فردی نشان می‌دهد که EEG-UDAF می‌تواند به طور مؤثری غیرایستایی و تفاوت‌های فردی را کاهش دهد. افزون بر این، این بازنمایی‌های قابل انتقال EEG همچنین بنیانی بالقوه برای همجوشی داده‌های چندوجهی تقویت‌شده با LLM در محاسبات عاطفی در مقیاس بزرگ فراهم می‌کند.

Comprehensive self-report personality inventories can impose substantial response burden, motivating the development of more efficient assessment strategies and the exploration of complementary information sources. Guided by Dual-Process Theory, this exploratory study examined a questionnaire-primary residual fusion framework in which a reduced questionnaire response vector served as the main predictive source, while static abstract line drawings were evaluated as a bounded auxiliary source of information. A total of 100 participants completed the 187-item Sixteen Personality Factor Questionnaire (16PF) and provided unprompted abstract line drawings. To account for the small sample size and reduce optimistic bias, we used participant-level repeated cross-validation, fold-local questionnaire item selection, standardized image preprocessing, cross-fitted residual learning, and nested selection of the visual correction scale. The reduced questionnaire provided a useful but imperfect held-out approximation of the full-form 16PF reference scores, with factor-level Pearson correlations ranging from 0.34 to 0.78. In contrast, the static drawing modality did not provide stable incremental predictive value. Nested validation selected a zero visual correction in 21 of 25 outer folds, and the fixed scale originally proposed for visual correction (0.05) produced a slightly higher mean absolute error than the questionnaire-only condition (1.2120 vs. 1.2100). An exploratory analysis using teacher-provided observer ratings likewise showed no advantage for visual fusion over questionnaire-only prediction. These findings indicate that Dual-Process Theory can motivate a testable asymmetric framework for integrating explicit and non-verbal information, but the present data do not support static final line drawings as a reliable source of incremental personality information. Future research should examine richer process-level drawing signals, including stroke timing, pauses, pressure, and trajectory dynamics, in larger independent samples.

فهرست‌های جامع خودگزارشی شخصیت می‌توانند بار پاسخ‌دهی قابل توجهی را بر شرکت‌کنندگان تحمیل کنند، که این امر انگیزه‌ای برای توسعه راهبردهای ارزیابی کارآمدتر و بررسی منابع اطلاعاتی مکمل فراهم می‌کند. این مطالعه اکتشافی با راهنمایی نظریه فرایند دوگانه، چارچوبی ترکیبی از پرسشنامه و باقیمانده اولیه را مورد بررسی قرار داد که در آن، بردار پاسخ پرسشنامه کاهش‌یافته به عنوان منبع اصلی پیش‌بینی به کار گرفته شد و نقاشی‌های خطی انتزاعی ایستا به عنوان منبع کمکی محدود اطلاعات ارزیابی شدند. در مجموع ۱۰۰ شرکت‌کننده، پرسشنامه ۱۶ عاملی شخصیت (16PF) با ۱۸۷ ماده را تکمیل کردند و نقاشی‌های خطی انتزاعی بدون راهنمایی ارائه دادند. به منظور جبران حجم نمونه کوچک و کاهش سوگیری خوش‌بینانه، از اعتبارسنجی متقاطع تکراری در سطح شرکت‌کننده، انتخاب ماده پرسشنامه به صورت محلی در هر fold، پیش‌پردازش استاندارد تصویر، یادگیری باقیمانده متقاطع و انتخاب تو در توی مقیاس اصلاح بصری استفاده شد. پرسشنامه کاهش‌یافته، تقریب مفیدی اما ناقص از نمرات مرجع فرم کامل 16PF در داده‌های نگه‌داشته‌شده ارائه داد، به طوری که همبستگی پیرسون در سطح عامل بین ۰٫۳۴ تا ۰٫۷۸ متغیر بود. در مقابل، مدالیته نقاشی ایستا ارزش افزوده پیش‌بینی‌کننده پایداری ارائه نکرد. اعتبارسنجی تو در تو در ۲۱ مورد از ۲۵ fold بیرونی، اصلاح بصری صفر را انتخاب کرد و مقیاس ثابتی که در ابتدا برای اصلاح بصری پیشنهاد شده بود (۰٫۰۵)، میانگین خطای مطلق کمی بالاتری نسبت به حالت صرفاً پرسشنامه‌ای ایجاد کرد (۱٫۲۱۲۰ در مقابل ۱٫۲۱۰۰). تحلیل اکتشافی با استفاده از ارزیابی‌های مشاهده‌گر ارائه‌شده توسط معلم نیز هیچ مزیتی برای ترکیب بصری نسبت به پیش‌بینی صرفاً پرسشنامه‌ای نشان نداد. این یافته‌ها نشان می‌دهد که نظریه فرایند دوگانه می‌تواند چارچوب نامتقارن قابل آزمونی برای ادغام اطلاعات صریح و غیرکلامی فراهم کند، اما داده‌های حاضر از نقاشی‌های خطی نهایی ایستا به عنوان منبع قابل اعتماد اطلاعات افزوده شخصیت حمایت نمی‌کند. پژوهش‌های آینده باید سیگنال‌های غنی‌تر فرایندی نقاشی، از جمله زمان‌بندی ضربه، مکث‌ها، فشار و پویایی مسیر را در نمونه‌های مستقل بزرگ‌تر بررسی کنند.

Emotion recognition offers a route to quantifying interaction quality in early childhood education, yet existing methods suffer from unimodal input, poor real-time performance and weak generalization. This study proposes a speech-text multimodal model built on a Mamba encoder with a GatedxLSTM fusion mechanism, in which frame pooling and temporal masking resolve the temporal misalignment between modalities and a learnable gate adjusts modality contribution. Experiments on IEMOCAP and FAU-AIBO, together with an in-house KTC-Pilot corpus of authentic kindergarten interactions used for ecological validation, show that the approach outperforms mainstream baselines in F1, WA and UA. Three child-speech-aware adaptations, namely pitch and formant augmentation, silence-aware frame pooling and disfluency-tolerant text encoding, close the domain gap with authentic kindergarten dialogue, and modality-dropout training, cross-modal reconstruction of missing text and gating regularisation maintain robustness under incomplete inputs. A contamination audit against the CLAP pretraining corpora confirms that the gains do not arise from data leakage. A downstream evaluation using an Interaction Quality Index calibrated against expert observer ratings achieves a Pearson correlation of 0.692 with expert scores. An on-device deployment study on two embedded platforms further shows that the quantised framework sustains an end-to-end latency of 377 ms per utterance at a real-time factor of 0.075 and a board power of 9.6 W while retaining an F1 score of 0.706 on authentic kindergarten audio, and a stage-wise data-handling design keeps raw audio, spectral features and transcripts inside the classroom node so that only a scalar interaction quality value is written to persistent storage. Ablation and visualization analyses confirm the contribution of each structural component to recognition performance and interpretability.

شناسایی هیجان، روشی برای کمی‌سازی کیفیت تعامل در آموزش دوران کودکی ارائه می‌دهد، اما روش‌های موجود با ورودی تک‌وجهی، عملکرد ضعیف در زمان واقعی و تعمیم‌پذیری محدود مواجه هستند. این پژوهش، یک مدل چندوجهی گفتار-متن مبتنی بر رمزگذار Mamba با سازوکار ادغام GatedxLSTM پیشنهاد می‌کند که در آن، تجمیع قاب و پوشش زمانی، عدم‌هم‌زمانی زمانی بین وجه‌ها را رفع می‌کند و یک دروازه قابل یادگیری، سهم هر وجه را تنظیم می‌نماید. آزمایش‌ها بر روی مجموعه‌های IEMOCAP و FAU-AIBO، به همراه پیکره داخلی KTC-Pilot از تعاملات اصیل مهدکودک که برای اعتبارسنجی بوم‌شناختی استفاده شده است، نشان می‌دهد که رویکرد پیشنهادی در معیارهای F1، WA و UA از مبناهای رایج پیشی می‌گیرد. سه سازگاری آگاه از گفتار کودک، شامل افزایش زیر و بمی و فورمانت، تجمیع قاب حساس به سکوت و رمزگذاری متن مقاوم به ناروانی، فاصله حوزه‌ای با گفت‌وگوی اصیل مهدکودک را کاهش می‌دهد و آموزش با حذف وجه، بازسازی متقابل متن مفقود و منظم‌سازی دروازه‌ای، پایداری مدل را در ورودی‌های ناقص حفظ می‌کند. ممیزی آلودگی نسبت به پیکره‌های پیش‌آموزش CLAP تأیید می‌کند که بهبودها ناشی از نشت داده نیست. ارزیابی پایین‌دستی با استفاده از شاخص کیفیت تعامل که بر اساس امتیازدهی ناظران خبره کالیبره شده است، همبستگی پیرسون 0.692 با امتیازهای خبره به دست می‌آورد. مطالعه استقرار بر روی دستگاه در دو پلتفرم تعبیه‌شده نشان می‌دهد که چارچوب کمیت‌یافته، تأخیر انتها به انتهای 377 میلی‌ثانیه به ازای هر بیان را با ضریب زمان واقعی 0.075 و توان برد 9.6 وات حفظ می‌کند، در حالی که امتیاز F1 برابر با 0.706 بر روی صوت اصیل مهدکودک باقی می‌ماند و طراحی مرحله‌ای مدیریت داده‌ها موجب می‌شود صوت خام، ویژگی‌های طیفی و رونوشت‌ها در گره کلاسی باقی بماند و تنها یک مقدار عددی کیفیت تعامل در حافظه دائمی ثبت شود. تحلیل حذف مؤلفه و تجسم، سهم هر جزء ساختاری در عملکرد شناسایی و تفسیرپذیری را تأیید می‌کند.

Fatigue-driving detection based on facial cues is challenging because the key fatigue-related regions, especially the eyes and mouth, are small, easily affected by illumination and occlusion, and must be detected in real time. To address insufficient small-target feature extraction and the trade-off between detection accuracy and model complexity, this paper proposes FWC-YOLOv8, an improved fatigue-driving detection framework built on YOLOv8s. First, an additional 160×160 detection head is introduced to preserve high-resolution spatial information and improve localization of small eye and mouth regions. Second, a Coordinate Attention (CA) module is embedded in the backbone to enhance position-aware feature representation. Third, the feature-fusion structure is refined to strengthen the interaction between shallow spatial details and deep semantic information. Finally, Wise-IoU, which uses a dynamic focusing mechanism, is adopted as the bounding-box regression loss to reduce the influence of low-quality samples and improve convergence. Experiments on the GX_FatigueDriving2020 dataset show that FWC-YOLOv8 achieves an mAP@0.50:0.95 of 0.640, corresponding to a 4.2 % improvement over the original YOLOv8s baseline. The model contains 17.0 M parameters and requires 35.5 GFLOPs, indicating a favorable balance between accuracy and computational cost. In addition, detected eye and mouth states are further converted into four fatigue indicators, namely PERCLOS, blink frequency, continuous eye-closure duration, and yawn frequency, and fused through a weighted multi-index assessment strategy to classify driver fatigue into alert, mild-fatigue, and severe-fatigue states. The framework combines task-specific facial-state detection with interpretable fatigue-level assessment.

تشخیص رانندگی در حالت خستگی مبتنی بر نشانه‌های چهره، به دلیل کوچک بودن نواحی کلیدی مرتبط با خستگی، به‌ویژه چشم‌ها و دهان، و تأثیرپذیری آسان آن‌ها از نور و انسداد، و همچنین لزوم تشخیص در زمان واقعی، چالش‌برانگیز است. به منظور رفع مشکل استخراج ناکافی ویژگی‌های اهداف کوچک و توازن میان دقت تشخیص و پیچیدگی مدل، این مقاله چارچوب تشخیص رانندگی خستگی FWC-YOLOv8 را که بر پایه YOLOv8s بهبود یافته است، پیشنهاد می‌کند. نخست، یک سر تشخیص اضافی با ابعاد ۱۶۰×۱۶۰ افزوده شده تا اطلاعات مکانی با وضوح بالا حفظ شده و مکان‌یابی نواحی کوچک چشم و دهان بهبود یابد. دوم، ماژول Coordinate Attention (CA) در بخش بک‌بون تعبیه شده تا نمایش ویژگی‌های آگاه از موقعیت را تقویت کند. سوم، ساختار همجوشی ویژگی‌ها اصلاح شده تا تعامل میان جزئیات مکانی سطحی و اطلاعات معنایی عمیق تقویت شود. در نهایت، Wise-IoU که از مکانیزم تمرکز پویا بهره می‌برد، به عنوان تابع زیان رگرسیون جعبه مرزی به کار رفته تا تأثیر نمونه‌های با کیفیت پایین کاهش یافته و همگرایی بهبود یابد. آزمایش‌ها بر روی مجموعه داده GX_FatigueDriving2020 نشان می‌دهد که FWC-YOLOv8 به مقدار mAP@0.50:0.95 برابر با ۰.۶۴۰ دست یافته که معادل ۴.۲٪ بهبود نسبت به مدل پایه YOLOv8s است. مدل شامل ۱۷.۰ میلیون پارامتر بوده و به ۳۵.۵ GFLOPs نیاز دارد که نشان‌دهنده توازن مطلوب میان دقت و هزینه محاسباتی است. علاوه بر این، وضعیت‌های چشم و دهان شناسایی‌شده به چهار شاخص خستگی شامل PERCLOS، فرکانس پلک‌زدن، مدت زمان بسته‌ماندن پیوسته چشم و فرکانس خمیازه تبدیل شده و از طریق راهبرد ارزیابی چندشاخصه وزنی برای طبقه‌بندی خستگی راننده به سه حالت هوشیار، خستگی خفیف و خستگی شدید ادغام می‌شوند. این چارچوب، تشخیص وضعیت چهره خاص وظیفه را با ارزیابی سطح خستگی قابل تفسیر ترکیب می‌کند.

Language use, vocal behavior, and facial activity provide complementary indicators of affective state, but multimodal models can be affected by noisy temporal observations and insufficient global guidance before cross-modal interaction. We developed a framework combining bidirectional gated recurrent unit encoders, attention pooling, dynamic hypernode injection, and graph attention fusion. Textual, acoustic, and visual sequences were mapped into a shared latent space and compressed into modality-level representations. A sample-dependent hypernode and a learnable static prior were then injected through gated residual connections before graph propagation. The model was evaluated on CMU-MOSI and CMU-MOSEI using five random seeds and validation-MAE checkpoint selection. On CMU-MOSI, the model obtained an MAE of 0.7290 ± 0.0099 , a correlation of 0.7880 ± 0.0076 , and an Acc-7 of 0.4561 ± 0.0160 . On CMU-MOSEI, the corresponding results were 0.5541 ± 0.0053 , 0.7551 ± 0.0058 , and 0.5269 ± 0.0064 . A five-run comparison of pre-GAT, post-GAT, and no injection showed that pre-GAT injection provided the strongest overall regression-oriented balance, although post-GAT was slightly higher on MOSEI Acc-7. Gate, graph-attention, representation, and balanced case diagnostics showed that the injected prior was sample dependent and modality selective. These findings support pre-propagation hypernode injection under complete, word-aligned tri-modal inputs, without establishing universal superiority or robustness to missing and corrupted modalities.

استفاده از زبان، رفتار صوتی و فعالیت چهره شاخص‌های مکملی از وضعیت عاطفی فراهم می‌کنند، اما مدل‌های چندوجهی ممکن است تحت تأثیر مشاهدات زمانی نویزی و راهنمایی کلی ناکافی پیش از تعامل بین‌وجهی قرار گیرند. ما چارچوبی را توسعه دادیم که رمزگذارهای واحد بازگشتی دروازه‌دار دوسویه، تجمیع توجه، تزریق ابرگره پویا و ادغام توجه گراف را ترکیب می‌کند. توالی‌های متنی، صوتی و بصری به فضای نهفته مشترک نگاشته شده و به نمایش‌های سطح وجهی فشرده شدند. سپس یک ابرگره وابسته به نمونه و یک پیش‌فرض ایستا قابل یادگیری از طریق اتصالات باقیمانده دروازه‌دار پیش از انتشار گراف تزریق شدند. مدل بر روی مجموعه‌های داده CMU-MOSI و CMU-MOSEI با استفاده از پنج بذر تصادفی و انتخاب نقطه توقف بر اساس MAE اعتبارسنجی ارزیابی شد. بر روی CMU-MOSI، مدل به MAE برابر با 0.7290 ± 0.0099، همبستگی 0.7880 ± 0.0076 و Acc-7 برابر با 0.4561 ± 0.0160 دست یافت. بر روی CMU-MOSEI، نتایج متناظر به ترتیب 0.5541 ± 0.0053، 0.7551 ± 0.0058 و 0.5269 ± 0.0064 بودند. مقایسه پنج‌باره پیش از GAT، پس از GAT و بدون تزریق نشان داد که تزریق پیش از GAT قوی‌ترین تعادل کلی مبتنی بر رگرسیون را فراهم می‌کند، اگرچه پس از GAT کمی در MOSEI Acc-7 بالاتر بود. تشخیص‌های دروازه، توجه گراف، نمایش و حالت متعادل نشان داد که پیش‌فرض تزریق‌شده وابسته به نمونه و انتخابی نسبت به وجه بود. این یافته‌ها از تزریق ابرگره پیش از انتشار در ورودی‌های سه‌وجهی کامل و هم‌تراز با واژه حمایت می‌کنند، بدون آنکه برتری یا پایداری جهانی در برابر وجوه مفقود یا مخدوش را اثبات نمایند.

Stress is a highly individualized and dynamic psychophysiological response, making reliable continuous monitoring challenging.Existing artificial intelligence approaches to stress detection have demonstrated the usefulness of physiological and neural signals, including electrodermal activity (EDA), heart rate variability (HRV), and electroencephalography (EEG).However, many existing approaches rely on population-level models or limited personalization, while longitudinal validation and adaptive modeling remain comparatively underexplored.This research proposes an adaptive, personalized AI framework for longitudinal stress monitoring by integrating complementary neural and physiological signals from EEG, HRV, and EDA.The proposed framework will initially establish an individual's baseline characteristics and subsequently identify deviations from their personal baseline rather than relying solely on generalized stress patterns across individuals.Machine learning techniques will be investigated for multimodal feature fusion and adaptive model updating as additional individual data becomes available.The study will compare the performance of conventional population-level models with personalized and progressively adaptive models using appropriate evaluation metrics.The research aims to determine whether incorporating individual baseline characteristics and continuous adaptation can improve the reliability and generalizability of stress monitoring.The proposed framework is intended as a foundation for future noninvasive, personalized, and wearable AI-based stressmonitoring systems, while addressing current challenges associated with inter-individual variability, multimodal integration, and longitudinal assessment.

استرس یک پاسخ روان‌فیزیولوژیک بسیار فردی و پویا است که پایش پیوسته و پایا را دشوار می‌سازد. رویکردهای هوش مصنوعی موجود در شناسایی استرس، سودمندی سیگنال‌های فیزیولوژیک و عصبی از جمله فعالیت الکترودرمال (EDA)، تغییرپذیری ضربان قلب (HRV) و الکتروانسفالوگرافی (EEG) را نشان داده‌اند. با این حال، بسیاری از رویکردهای موجود بر مدل‌های مبتنی بر جمعیت یا شخصی‌سازی محدود تکیه دارند، در حالی که اعتبارسنجی طولی و مدل‌سازی تطبیقی نسبتاً کمتر مورد بررسی قرار گرفته‌اند. این پژوهش یک چارچوب هوش مصنوعی تطبیقی و شخصی‌ساز برای پایش طولی استرس با ادغام سیگنال‌های عصبی و فیزیولوژیک مکمل از EEG، HRV و EDA پیشنهاد می‌کند. چارچوب پیشنهادی در ابتدا ویژگی‌های پایه هر فرد را تعیین کرده و سپس انحرافات از خط پایه شخصی را شناسایی می‌کند، به جای آنکه صرفاً بر الگوهای استرس تعمیم‌یافته میان افراد تکیه کند. تکنیک‌های یادگیری ماشین برای همجوشی ویژگی‌های چندوجهی و به‌روزرسانی تطبیقی مدل با در دسترس قرار گرفتن داده‌های فردی بیشتر مورد بررسی قرار خواهند گرفت. این مطالعه عملکرد مدل‌های متداول مبتنی بر جمعیت را با مدل‌های شخصی‌ساز و تدریجاً تطبیقی با استفاده از معیارهای ارزیابی مناسب مقایسه خواهد کرد. هدف پژوهش تعیین این است که آیا گنجاندن ویژگی‌های خط پایه فردی و تطبیق پیوسته می‌تواند پایایی و تعمیم‌پذیری پایش استرس را بهبود بخشد یا خیر. چارچوب پیشنهادی به عنوان بنیانی برای سامانه‌های آینده پایش استرس مبتنی بر هوش مصنوعی، غیرتهاجمی، شخصی‌ساز و پوشیدنی در نظر گرفته شده است، در حالی که به چالش‌های فعلی مرتبط با تفاوت‌های بین‌فردی، ادغام چندوجهی و ارزیابی طولی می‌پردازد.