multimodal fusion

Stress is a major contributor to physical and mental health disorders, underscoring the need for reliable and interpretable detection systems. We present an interpretable multimodal deep learning framework that integrates electrocardiogram (ECG), electrodermal activity (EDA), and respiration signals using modality-specific neural architectures complemented by feature-based classical models. To ensure robustness and generalizability, the framework was evaluated under both subject-independent and subject-dependent protocols. Results show that multimodal fusion consistently outperformed single modalities, achieving 94.8% accuracy, 93.9% F1-score, and 0.97 AUC under subject-independent validation, compared with 86–91% accuracy for individual signals. In subject-dependent experiments, performance reached 97.2% accuracy and 96.8% F1-score. Comparative analysis with recent state-of-the-art methods demonstrated the competitiveness of our approach, while ablation studies confirmed the contribution of each modality and fusion strategy. Statistical significance testing with ( p < 0.05) further validated the reliability of these gains. Importantly, interpretability analyses using Grad-CAM and attention visualization provided physiological insights, revealing that the model emphasizes clinically meaningful regions such as ECG R-peaks and phasic EDA fluctuations. By uniting high performance, robustness, and interpretability, this work advances stress detection research and offers a physiologically grounded framework for continuous mental health monitoring.

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

The role and responsibilities of pilots have been evolving as advanced automation systems are being integrated for flight operations. Operator state monitoring (OSM) helps ensure safety and improve performance by detecting and predicting degraded operator state during operations. Despite growing interest in OSM, no unified framework exists that integrates impairment definitions, sensor criteria, and interface design requirements. This work is presented as a conceptual analysis that establishes a foundational framework for operator state monitoring system (OSMS) development, addressing what an OSMS should monitor, what types of operator state changes should be detected, the characteristics of sensing and communication needed to support these functions and the operational considerations that should inform future development. A literature review establishes potential impairment and incapacitation events for pilots, identifies relevant physiological features to support detection of these events, and assess the possible impact of such events on flight operations to inform a system response. Existing work concentrates on military and automotive contexts and on workload, fatigue, and drowsiness rather than the acute-event end of the impairment continuum; the framework developed here spans the normal to impaired to incapacitated range required for in-flight operations. OSMSs should be developed based on a multi-modal data approach consisting of physiological features, pilot performance and activity, aircraft state and environmental data, as well as contain a means for pilots to self-report input. Heart, breathing, and behavioral features are affected across the widest range of events, making them broad-coverage candidates for sensor selection, though breadth of coverage is distinct from diagnostic specificity and no single feature is treated as a standalone indicator. The remaining recommendations address the engineering of sensing and processing for the flight deck. Design guidance for the alert and notification interface is presented alongside the recommendations. As OSMSs mature, this framework can serve as a critical reference for developing robust, reliable, and widely accepted solutions in aviation.

نقش‌ها و مسئولیت‌های خلبانان با ادغام سامانه‌های پیشرفته خودکارسازی در عملیات پروازی در حال تحول است. پایش وضعیت اپراتور (OSM) به تضمین ایمنی و بهبود عملکرد از طریق شناسایی و پیش‌بینی افت وضعیت اپراتور در حین عملیات کمک می‌کند. با وجود افزایش علاقه به OSM، هنوز چارچوب یکپارچه‌ای که تعاریف اختلال، معیارهای حسگر و الزامات طراحی رابط را ادغام کند، وجود ندارد. این پژوهش به‌عنوان یک تحلیل مفهومی ارائه می‌شود که چارچوبی بنیادی برای توسعه سامانه پایش وضعیت اپراتور (OSMS) ایجاد می‌کند و به این پرسش‌ها می‌پردازد که یک OSMS باید چه مواردی را پایش کند، چه نوع تغییراتی در وضعیت اپراتور باید شناسایی شود، ویژگی‌های حسگری و ارتباطی مورد نیاز برای پشتیبانی از این کارکردها چیست و ملاحظات عملیاتی که باید توسعه آینده را هدایت کند کدام‌اند. مرور ادبیات، رویدادهای بالقوه اختلال و ناتوانی خلبانان را شناسایی می‌کند، ویژگی‌های فیزیولوژیکی مرتبط برای پشتیبانی از شناسایی این رویدادها را معرفی می‌کند و تأثیر احتمالی چنین رویدادهایی بر عملیات پروازی را برای اطلاع‌رسانی به پاسخ سامانه ارزیابی می‌کند. پژوهش‌های موجود عمدتاً بر زمینه‌های نظامی و خودرویی و بر بارکاری، خستگی و خواب‌آلودگی متمرکز شده‌اند تا انتهای حاد طیف اختلال؛ چارچوب ارائه‌شده در اینجا دامنه طبیعی تا اختلال‌یافته تا ناتوان‌شده مورد نیاز برای عملیات پروازی را پوشش می‌دهد. OSMSها باید بر اساس رویکرد داده‌های چندوجهی شامل ویژگی‌های فیزیولوژیکی، عملکرد و فعالیت خلبان، وضعیت هواپیما و داده‌های محیطی توسعه یابند و همچنین باید امکان ورود داده‌های خودگزارشی توسط خلبان را فراهم کنند. ویژگی‌های قلبی، تنفسی و رفتاری در گسترده‌ترین دامنه رویدادها تحت تأثیر قرار می‌گیرند و آن‌ها را به گزینه‌هایی با پوشش وسیع برای انتخاب حسگر تبدیل می‌کند، هرچند گستره پوشش با ویژگی تشخیصی متفاوت است و هیچ ویژگی به‌تنهایی به‌عنوان شاخص مستقل تلقی نمی‌شود. سایر توصیه‌ها به مهندسی حسگری و پردازش برای کابین پرواز می‌پردازد. راهنمای طراحی برای رابط هشدار و اعلان همراه با توصیه‌ها ارائه شده است. با بلوغ OSMSها، این چارچوب می‌تواند به‌عنوان مرجعی حیاتی برای توسعه راهکارهای مقاوم، قابل‌اعتماد و مورد پذیرش گسترده در هوانوردی مورد استفاده قرار گیرد.

Fatigue severely degrades operational reliability in high-risk operational settings such as aviation maintenance. Although multimodal physiological signals support objective fatigue assessment, many existing models emphasize temporal patterns without explicitly modeling dependencies among physiological features across modalities. We propose a Physiology-Guided Parallel Graph–Transformer Network (PGTNet) for multimodal fatigue recognition, which incorporates physiologically motivated fatigue-related features derived from multimodal physiological signals. Parallel DGCN and Transformer branches jointly model physiological feature relationships and long-range temporal dependencies, and their representations are integrated through a bidirectional cross-attention mechanism. Under the predefined subject-independent partition, PGTNet achieves an Accuracy of 0.8778 and a Macro-AUC of 0.9648. Eight-fold subject-wise cross-validation yields an average Accuracy of 0.8592 ± 0.0112 across the eight held-out subjects. These results support the effectiveness of PGTNet within the present dataset.

خستگی به طور جدی پایایی عملیاتی را در محیط‌های عملیاتی پرخطر مانند تعمیر و نگهداری هوانوردی کاهش می‌دهد. اگرچه سیگنال‌های فیزیولوژیکی چندوجهی از ارزیابی عینی خستگی پشتیبانی می‌کنند، بسیاری از مدل‌های موجود بر الگوهای زمانی تأکید دارند بدون آنکه به طور صریح وابستگی‌های میان ویژگی‌های فیزیولوژیکی در میان وجه‌ها را مدل‌سازی کنند. ما یک شبکه گراف-ترنسفورمر موازی با راهنمایی فیزیولوژیکی (PGTNet) را برای شناسایی خستگی چندوجهی پیشنهاد می‌کنیم که ویژگی‌های مرتبط با خستگی با انگیزه فیزیولوژیکی را که از سیگنال‌های فیزیولوژیکی چندوجهی استخراج شده‌اند، دربر می‌گیرد. شاخه‌های موازی DGCN و ترنسفورمر به طور مشترک روابط ویژگی‌های فیزیولوژیکی و وابستگی‌های زمانی بلندمدت را مدل‌سازی می‌کنند و بازنمایی‌های آن‌ها از طریق یک سازوکار توجه متقاطع دوسویه ادغام می‌شوند. تحت تقسیم‌بندی از پیش تعیین‌شده مستقل از آزمودنی، PGTNet به دقت (Accuracy) برابر با 0.8778 و Macro-AUC برابر با 0.9648 دست می‌یابد. اعتبارسنجی متقاطع هشت‌تایی مبتنی بر آزمودنی به طور میانگین دقت 0.8592 ± 0.0112 را در میان هشت آزمودنی کنارگذاشته‌شده نشان می‌دهد. این نتایج اثربخشی PGTNet را در مجموعه داده حاضر تأیید می‌کند.

Emotion recognition offers a route to quantifying interaction quality in early childhood education, yet existing methods suffer from unimodal input, poor real-time performance and weak generalization. This study proposes a speech-text multimodal model built on a Mamba encoder with a GatedxLSTM fusion mechanism, in which frame pooling and temporal masking resolve the temporal misalignment between modalities and a learnable gate adjusts modality contribution. Experiments on IEMOCAP and FAU-AIBO, together with an in-house KTC-Pilot corpus of authentic kindergarten interactions used for ecological validation, show that the approach outperforms mainstream baselines in F1, WA and UA. Three child-speech-aware adaptations, namely pitch and formant augmentation, silence-aware frame pooling and disfluency-tolerant text encoding, close the domain gap with authentic kindergarten dialogue, and modality-dropout training, cross-modal reconstruction of missing text and gating regularisation maintain robustness under incomplete inputs. A contamination audit against the CLAP pretraining corpora confirms that the gains do not arise from data leakage. A downstream evaluation using an Interaction Quality Index calibrated against expert observer ratings achieves a Pearson correlation of 0.692 with expert scores. An on-device deployment study on two embedded platforms further shows that the quantised framework sustains an end-to-end latency of 377 ms per utterance at a real-time factor of 0.075 and a board power of 9.6 W while retaining an F1 score of 0.706 on authentic kindergarten audio, and a stage-wise data-handling design keeps raw audio, spectral features and transcripts inside the classroom node so that only a scalar interaction quality value is written to persistent storage. Ablation and visualization analyses confirm the contribution of each structural component to recognition performance and interpretability.

شناسایی هیجان، روشی برای کمی‌سازی کیفیت تعامل در آموزش دوران کودکی ارائه می‌دهد، اما روش‌های موجود با ورودی تک‌وجهی، عملکرد ضعیف در زمان واقعی و تعمیم‌پذیری محدود مواجه هستند. این پژوهش، یک مدل چندوجهی گفتار-متن مبتنی بر رمزگذار Mamba با سازوکار ادغام GatedxLSTM پیشنهاد می‌کند که در آن، تجمیع قاب و پوشش زمانی، عدم‌هم‌زمانی زمانی بین وجه‌ها را رفع می‌کند و یک دروازه قابل یادگیری، سهم هر وجه را تنظیم می‌نماید. آزمایش‌ها بر روی مجموعه‌های IEMOCAP و FAU-AIBO، به همراه پیکره داخلی KTC-Pilot از تعاملات اصیل مهدکودک که برای اعتبارسنجی بوم‌شناختی استفاده شده است، نشان می‌دهد که رویکرد پیشنهادی در معیارهای F1، WA و UA از مبناهای رایج پیشی می‌گیرد. سه سازگاری آگاه از گفتار کودک، شامل افزایش زیر و بمی و فورمانت، تجمیع قاب حساس به سکوت و رمزگذاری متن مقاوم به ناروانی، فاصله حوزه‌ای با گفت‌وگوی اصیل مهدکودک را کاهش می‌دهد و آموزش با حذف وجه، بازسازی متقابل متن مفقود و منظم‌سازی دروازه‌ای، پایداری مدل را در ورودی‌های ناقص حفظ می‌کند. ممیزی آلودگی نسبت به پیکره‌های پیش‌آموزش CLAP تأیید می‌کند که بهبودها ناشی از نشت داده نیست. ارزیابی پایین‌دستی با استفاده از شاخص کیفیت تعامل که بر اساس امتیازدهی ناظران خبره کالیبره شده است، همبستگی پیرسون 0.692 با امتیازهای خبره به دست می‌آورد. مطالعه استقرار بر روی دستگاه در دو پلتفرم تعبیه‌شده نشان می‌دهد که چارچوب کمیت‌یافته، تأخیر انتها به انتهای 377 میلی‌ثانیه به ازای هر بیان را با ضریب زمان واقعی 0.075 و توان برد 9.6 وات حفظ می‌کند، در حالی که امتیاز F1 برابر با 0.706 بر روی صوت اصیل مهدکودک باقی می‌ماند و طراحی مرحله‌ای مدیریت داده‌ها موجب می‌شود صوت خام، ویژگی‌های طیفی و رونوشت‌ها در گره کلاسی باقی بماند و تنها یک مقدار عددی کیفیت تعامل در حافظه دائمی ثبت شود. تحلیل حذف مؤلفه و تجسم، سهم هر جزء ساختاری در عملکرد شناسایی و تفسیرپذیری را تأیید می‌کند.