graph transformer

Fatigue severely degrades operational reliability in high-risk operational settings such as aviation maintenance. Although multimodal physiological signals support objective fatigue assessment, many existing models emphasize temporal patterns without explicitly modeling dependencies among physiological features across modalities. We propose a Physiology-Guided Parallel Graph–Transformer Network (PGTNet) for multimodal fatigue recognition, which incorporates physiologically motivated fatigue-related features derived from multimodal physiological signals. Parallel DGCN and Transformer branches jointly model physiological feature relationships and long-range temporal dependencies, and their representations are integrated through a bidirectional cross-attention mechanism. Under the predefined subject-independent partition, PGTNet achieves an Accuracy of 0.8778 and a Macro-AUC of 0.9648. Eight-fold subject-wise cross-validation yields an average Accuracy of 0.8592 ± 0.0112 across the eight held-out subjects. These results support the effectiveness of PGTNet within the present dataset.

خستگی به طور جدی پایایی عملیاتی را در محیط‌های عملیاتی پرخطر مانند تعمیر و نگهداری هوانوردی کاهش می‌دهد. اگرچه سیگنال‌های فیزیولوژیکی چندوجهی از ارزیابی عینی خستگی پشتیبانی می‌کنند، بسیاری از مدل‌های موجود بر الگوهای زمانی تأکید دارند بدون آنکه به طور صریح وابستگی‌های میان ویژگی‌های فیزیولوژیکی در میان وجه‌ها را مدل‌سازی کنند. ما یک شبکه گراف-ترنسفورمر موازی با راهنمایی فیزیولوژیکی (PGTNet) را برای شناسایی خستگی چندوجهی پیشنهاد می‌کنیم که ویژگی‌های مرتبط با خستگی با انگیزه فیزیولوژیکی را که از سیگنال‌های فیزیولوژیکی چندوجهی استخراج شده‌اند، دربر می‌گیرد. شاخه‌های موازی DGCN و ترنسفورمر به طور مشترک روابط ویژگی‌های فیزیولوژیکی و وابستگی‌های زمانی بلندمدت را مدل‌سازی می‌کنند و بازنمایی‌های آن‌ها از طریق یک سازوکار توجه متقاطع دوسویه ادغام می‌شوند. تحت تقسیم‌بندی از پیش تعیین‌شده مستقل از آزمودنی، PGTNet به دقت (Accuracy) برابر با 0.8778 و Macro-AUC برابر با 0.9648 دست می‌یابد. اعتبارسنجی متقاطع هشت‌تایی مبتنی بر آزمودنی به طور میانگین دقت 0.8592 ± 0.0112 را در میان هشت آزمودنی کنارگذاشته‌شده نشان می‌دهد. این نتایج اثربخشی PGTNet را در مجموعه داده حاضر تأیید می‌کند.

The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.

کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخ‌های فیزیولوژیکی و رفتاری چندوجهی است و به سیستم‌های هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیش‌بینی قصد عاطفی کمک می‌کند. اگرچه مدل‌های عمیق موجود پیشرفت‌های قابل توجهی نشان داده‌اند، اما اکثر آن‌ها شیوه‌های چندوجهی را به صورت مجزا پردازش می‌کنند و مکانیسم‌های علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمی‌گیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی می‌کند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهت‌دار متغیر با زمان میان کانال‌های فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمی‌گیرد. تمامی شیوه‌های داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویایی‌های چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدل‌سازی شده‌اند که با مکانیزم خودتوجهی یاد گرفته می‌شود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیه‌های نهفته در حال تغییر پیوسته را آموزش می‌دهد تا بتواند تغییرات احساسات را به طور هموار مدل‌سازی کند. توجه متقاطع شرطی‌شده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام می‌کند و استنباطی معنادار و فردمحور ارائه می‌دهد. تحلیل‌های تجربی بر روی مجموعه AFFEC نشان می‌دهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدل‌های پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوه‌های داده مقاوم است. نقشه‌های تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودی‌های شیوه‌های داده نشان می‌دهد که اطلاعات علوم اعصاب درباره شکل‌گیری احساسات ارائه می‌کند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل می‌کند.