Fatigue severely degrades operational reliability in high-risk operational settings such as aviation maintenance. Although multimodal physiological signals support objective fatigue assessment, many existing models emphasize temporal patterns without explicitly modeling dependencies among physiological features across modalities. We propose a Physiology-Guided Parallel Graph–Transformer Network (PGTNet) for multimodal fatigue recognition, which incorporates physiologically motivated fatigue-related features derived from multimodal physiological signals. Parallel DGCN and Transformer branches jointly model physiological feature relationships and long-range temporal dependencies, and their representations are integrated through a bidirectional cross-attention mechanism. Under the predefined subject-independent partition, PGTNet achieves an Accuracy of 0.8778 and a Macro-AUC of 0.9648. Eight-fold subject-wise cross-validation yields an average Accuracy of 0.8592 ± 0.0112 across the eight held-out subjects. These results support the effectiveness of PGTNet within the present dataset.
خستگی به طور جدی پایایی عملیاتی را در محیط‌های عملیاتی پرخطر مانند تعمیر و نگهداری هوانوردی کاهش می‌دهد. اگرچه سیگنال‌های فیزیولوژیکی چندوجهی از ارزیابی عینی خستگی پشتیبانی می‌کنند، بسیاری از مدل‌های موجود بر الگوهای زمانی تأکید دارند بدون آنکه به طور صریح وابستگی‌های میان ویژگی‌های فیزیولوژیکی در میان وجه‌ها را مدل‌سازی کنند. ما یک شبکه گراف-ترنسفورمر موازی با راهنمایی فیزیولوژیکی (PGTNet) را برای شناسایی خستگی چندوجهی پیشنهاد می‌کنیم که ویژگی‌های مرتبط با خستگی با انگیزه فیزیولوژیکی را که از سیگنال‌های فیزیولوژیکی چندوجهی استخراج شده‌اند، دربر می‌گیرد. شاخه‌های موازی DGCN و ترنسفورمر به طور مشترک روابط ویژگی‌های فیزیولوژیکی و وابستگی‌های زمانی بلندمدت را مدل‌سازی می‌کنند و بازنمایی‌های آن‌ها از طریق یک سازوکار توجه متقاطع دوسویه ادغام می‌شوند. تحت تقسیم‌بندی از پیش تعیین‌شده مستقل از آزمودنی، PGTNet به دقت (Accuracy) برابر با 0.8778 و Macro-AUC برابر با 0.9648 دست می‌یابد. اعتبارسنجی متقاطع هشت‌تایی مبتنی بر آزمودنی به طور میانگین دقت 0.8592 ± 0.0112 را در میان هشت آزمودنی کنارگذاشته‌شده نشان می‌دهد. این نتایج اثربخشی PGTNet را در مجموعه داده حاضر تأیید می‌کند.
The actual deployment of driver monitoring system (DMS) is still limited by the limited edge computing resources and the sudden risk transition caused by discrete state classification. To this end, this study proposes LTC-CGMN, a lightweight driver state evaluation framework that integrates cross granularity state mapping and temporal convolution. Firstly, the CGSM module aligns fine-grained head/hand cues with coarse-grained torso features through cross attention, and then the LTC module uses depthwise separable causal dilation convolution to capture temporal dependencies with low computational cost. In addition, the knowledge extraction scheme guided by the AHP of the National Highway Traffic Safety Administration generates a continuous Driver Risk Index (DRI), reducing the step discontinuity in risk estimation. Finally, the experimental results on the 3MDAD multimodal driving dataset showed that LTC-CGMN achieved a Top-1 accuracy of 96.37%, a DRI prediction RMSE of 0.058, and a inference rate of 33.6 FPS on NVIDIA Jetson Orin. Research has shown that LTC-CCMN provides a good balance between recognition accuracy, continuous risk estimation, and edge deployment efficiency for intelligent cockpit DMS applications.
استقرار واقعی سامانه پایش راننده (DMS) همچنان با محدودیت منابع محاسباتی لبه و انتقال ناگهانی ریسک ناشی از طبقه‌بندی گسسته وضعیت‌ها محدود می‌شود. بدین منظور، این مطالعه چارچوب ارزیابی وضعیت راننده سبک‌وزن LTC-CGMN را پیشنهاد می‌کند که نگاشت وضعیت میان‌دانه‌ای و کانولوشن زمانی را یکپارچه می‌سازد. نخست، ماژول CGSM نشانه‌های ریزدانه سر/دست را از طریق توجه متقاطع با ویژگی‌های درشت‌دانه تنه هم‌تراز می‌کند و سپس ماژول LTC با استفاده از کانولوشن علی با اتساع جداسازی‌پذیر عمقی، وابستگی‌های زمانی را با هزینه محاسباتی پایین استخراج می‌کند. افزون بر این، طرح استخراج دانش با راهنمایی AHP اداره ملی ایمنی ترافیک بزرگراه‌ها، شاخص ریسک راننده پیوسته (DRI) را تولید می‌کند و ناپیوستگی پله‌ای در برآورد ریسک را کاهش می‌دهد. در نهایت، نتایج تجربی روی پایگاه داده چندوجهی رانندگی 3MDAD نشان داد که LTC-CGMN به دقت Top-1 معادل ۹۶٫۳۷٪، RMSE پیش‌بینی DRI برابر با ۰٫۰۵۸ و نرخ استنتاج ۳۳٫۶ فریم بر ثانیه روی NVIDIA Jetson Orin دست یافته است. پژوهش‌ها نشان داده‌اند که LTC-CGMN تعادل مناسبی میان دقت شناسایی، برآورد پیوسته ریسک و کارایی استقرار لبه برای کاربردهای DMS کابین هوشمند فراهم می‌کند.
