driver monitoring systems

Accurate driver behavior recognition is important for driver monitoring systems and intelligent transportation applications. Although EEG-based approaches can provide useful neural information, their practical use is often limited by sensing complexity, preparation burden, and sensitivity to motion artifacts. This study proposes a physiology-guided multimodal learning framework for EEG-free driver behavior recognition using peripheral biosignals. A publicly available multimodal driving physiology dataset was used, including recordings from 35 participants performing five driving behaviors: smooth driving, acceleration, deceleration, lane change, and turning. Three peripheral physiological signals, namely ECG, EMG, and GSR, were used as model inputs. The proposed framework incorporates physiological knowledge into multimodal representation learning through modality-aware encoders tailored to the distinct characteristics of ECG, EMG, and GSR. A physiology-guided fusion mechanism is further introduced to model complementary cross-modal interactions among the three biosignals. Experimental results showed that the proposed ECG+EMG+GSR model achieved an average accuracy of 0.782 and a macro-F1 score of 0.783 under a five-fold evaluation protocol with separated training, validation, and test sets, with MCC and Cohen’s kappa reaching 0.711 and 0.711, respectively. Compared with EEG-only and full-modality baselines reported in the original dataset study, the proposed framework demonstrated the feasibility of EEG-free driver behavior recognition using only peripheral biosignals. Under the matched ECG+EMG+GSR input setting, the proposed framework outperformed the strongest baseline across all four evaluation metrics. In addition, sensing-configuration analysis showed that ECG+EMG+GSR provided a favorable balance between recognition performance and sensing burden. These results indicate that physiology-guided multimodal learning can effectively exploit heterogeneous peripheral biosignals for accurate and interpretable EEG-free driver behavior recognition.

شناسایی دقیق رفتار راننده برای سامانه‌های پایش راننده و کاربردهای حمل‌ونقل هوشمند اهمیت زیادی دارد. اگرچه رویکردهای مبتنی بر EEG می‌توانند اطلاعات عصبی مفیدی ارائه دهند، اما کاربرد عملی آن‌ها اغلب به دلیل پیچیدگی سنجش، دشواری آماده‌سازی و حساسیت به آرتیفکت‌های حرکتی محدود می‌شود. این مطالعه یک چارچوب یادگیری چندوجهی مبتنی بر فیزیولوژی را برای شناسایی رفتار راننده بدون استفاده از EEG و با بهره‌گیری از سیگنال‌های زیستی محیطی پیشنهاد می‌کند. از یک پایگاه داده فیزیولوژی رانندگی چندوجهی که به‌صورت عمومی در دسترس است، استفاده شد که شامل ثبت داده‌های ۳۵ شرکت‌کننده در حال انجام پنج رفتار رانندگی (رانندگی نرم، شتاب‌گیری، کاهش سرعت، تغییر خط و پیچیدن) بود. سه سیگنال فیزیولوژیکی محیطی شامل ECG، EMG و GSR به‌عنوان ورودی مدل به کار گرفته شدند. چارچوب پیشنهادی، دانش فیزیولوژیکی را از طریق رمزگذارهای آگاه از نوع مدالیته که متناسب با ویژگی‌های متمایز ECG، EMG و GSR طراحی شده‌اند، در یادگیری بازنمایی چندوجهی ادغام می‌کند. همچنین، یک سازوکار همجوشی هدایت‌شده با فیزیولوژی برای مدل‌سازی تعاملات مکمل بین‌مدالیته‌ای میان این سه سیگنال زیستی معرفی شده است. نتایج تجربی نشان داد که مدل ECG+EMG+GSR پیشنهادی به دقت میانگین ۰.۷۸۲ و امتیاز macro-F1 برابر با ۰.۷۸۳ تحت پروتکل ارزیابی پنج‌گانه با مجموعه‌های آموزشی، اعتبارسنجی و آزمون جداگانه دست یافت و مقادیر MCC و کاپای Cohen به ترتیب ۰.۷۱۱ و ۰.۷۱۱ بود. در مقایسه با خطوط پایه مبتنی بر EEG و مدالیته کامل که در مطالعه اصلی پایگاه داده گزارش شده بود، چارچوب پیشنهادی امکان‌پذیری شناسایی رفتار راننده بدون EEG و صرفاً با سیگنال‌های زیستی محیطی را نشان داد. در شرایط ورودی منطبق ECG+EMG+GSR، چارچوب پیشنهادی در هر چهار معیار ارزیابی از قوی‌ترین خط پایه عملکرد بهتری داشت. علاوه بر این، تحلیل پیکربندی سنجش نشان داد که ترکیب ECG+EMG+GSR تعادل مطلوبی میان عملکرد شناسایی و بار سنجش فراهم می‌کند. این نتایج بیانگر آن است که یادگیری چندوجهی هدایت‌شده با فیزیولوژی می‌تواند به‌طور مؤثر از سیگنال‌های زیستی محیطی ناهمگن برای شناسایی دقیق و قابل تفسیر رفتار راننده بدون EEG بهره‌برداری کند.

The actual deployment of driver monitoring system (DMS) is still limited by the limited edge computing resources and the sudden risk transition caused by discrete state classification. To this end, this study proposes LTC-CGMN, a lightweight driver state evaluation framework that integrates cross granularity state mapping and temporal convolution. Firstly, the CGSM module aligns fine-grained head/hand cues with coarse-grained torso features through cross attention, and then the LTC module uses depthwise separable causal dilation convolution to capture temporal dependencies with low computational cost. In addition, the knowledge extraction scheme guided by the AHP of the National Highway Traffic Safety Administration generates a continuous Driver Risk Index (DRI), reducing the step discontinuity in risk estimation. Finally, the experimental results on the 3MDAD multimodal driving dataset showed that LTC-CGMN achieved a Top-1 accuracy of 96.37%, a DRI prediction RMSE of 0.058, and a inference rate of 33.6 FPS on NVIDIA Jetson Orin. Research has shown that LTC-CCMN provides a good balance between recognition accuracy, continuous risk estimation, and edge deployment efficiency for intelligent cockpit DMS applications.

استقرار واقعی سامانه پایش راننده (DMS) همچنان با محدودیت منابع محاسباتی لبه و انتقال ناگهانی ریسک ناشی از طبقه‌بندی گسسته وضعیت‌ها محدود می‌شود. بدین منظور، این مطالعه چارچوب ارزیابی وضعیت راننده سبک‌وزن LTC-CGMN را پیشنهاد می‌کند که نگاشت وضعیت میان‌دانه‌ای و کانولوشن زمانی را یکپارچه می‌سازد. نخست، ماژول CGSM نشانه‌های ریزدانه سر/دست را از طریق توجه متقاطع با ویژگی‌های درشت‌دانه تنه هم‌تراز می‌کند و سپس ماژول LTC با استفاده از کانولوشن علی با اتساع جداسازی‌پذیر عمقی، وابستگی‌های زمانی را با هزینه محاسباتی پایین استخراج می‌کند. افزون بر این، طرح استخراج دانش با راهنمایی AHP اداره ملی ایمنی ترافیک بزرگراه‌ها، شاخص ریسک راننده پیوسته (DRI) را تولید می‌کند و ناپیوستگی پله‌ای در برآورد ریسک را کاهش می‌دهد. در نهایت، نتایج تجربی روی پایگاه داده چندوجهی رانندگی 3MDAD نشان داد که LTC-CGMN به دقت Top-1 معادل ۹۶٫۳۷٪، RMSE پیش‌بینی DRI برابر با ۰٫۰۵۸ و نرخ استنتاج ۳۳٫۶ فریم بر ثانیه روی NVIDIA Jetson Orin دست یافته است. پژوهش‌ها نشان داده‌اند که LTC-CGMN تعادل مناسبی میان دقت شناسایی، برآورد پیوسته ریسک و کارایی استقرار لبه برای کاربردهای DMS کابین هوشمند فراهم می‌کند.

Driver monitoring systems (DMS) are increasingly used to sustain attention during partially automated driving, but existing measures do not assess how drivers experience the supervisory tone of DMS feedback. Drawing on parenting-style theory, we developed the Driver Monitoring System User Experience (DMS-UX) Scale and tested whether systems varying in demandingness and responsiveness produced distinct user experience profiles. Across two samples, 501 licensed U.S. drivers completed a between-subjects online vignette experiment and were randomly assigned to an authoritarian, authoritative, permissive, or uninvolved DMS. Scale development began with 80 items in Sample 1 ( n = 319). Exploratory factor analysis and item response theory yielded a 16-item, four-factor solution, which was tested in an independent Sample 2 ( n = 182) using confirmatory factor analysis. Inspection of factor loadings and residual correlations led to the removal of one poorly performing item and a refined 15-item model with comparative and residual fit emerged. The observed factors were Perceived Usage Benefits, Perceived System Judgment, Perceived Salience and Clarity, and Perceived Supportiveness. Internal consistency was good (McDonald's ω = 0.770–0.915; Cronbach's α = 0.745–0.914), and indices supported internal construct differentiation. Confirmatory model fit was mixed but improved after refinement (CFI = 0.916, TLI = 0.894, RMSEA = 0.097, SRMR = 0.073), providing qualified support for the four-factor structure. Monitoring style had a large multivariate effect on DMS-UX scores, Pillai's trace = 0.481, F (12, 1488) = 23.65, p < 0.001. Styles differed in perceived judgment, salience and clarity, and supportiveness, but not perceived usage benefits. The DMS-UX offers an initial descriptive instrument for comparing drivers' experiences of DMS supervisory feedback, though behavioral, longitudinal, and cross-cultural validation is needed before using it to infer safety outcomes or identify an optimal monitoring style.

سامانه‌های پایش راننده (DMS) به طور فزاینده‌ای برای حفظ توجه در حین رانندگی نیمه‌خودکار مورد استفاده قرار می‌گیرند، اما سنجه‌های موجود نحوه تجربه رانندگان از لحن نظارتی بازخورد DMS را ارزیابی نمی‌کنند. با بهره‌گیری از نظریه سبک‌های فرزندپروری، مقیاس تجربه کاربری سامانه پایش راننده (DMS-UX) را توسعه دادیم و بررسی کردیم که آیا سامانه‌هایی با سطوح متفاوتی از مطالبه‌گری و پاسخ‌دهی، پروفایل‌های تجربه کاربری متمایزی ایجاد می‌کنند یا خیر. در دو نمونه، ۵۰۱ راننده دارای گواهینامه در ایالات متحده آمریکا در یک آزمایش آنلاین بین‌گروهی مبتنی بر سناریو شرکت کردند و به طور تصادفی به یکی از چهار سبک DMS مستبدانه، مقتدرانه، سهل‌گیر یا بی‌تفاوت تخصیص یافتند. توسعه مقیاس با ۸۰ گویه در نمونه اول (n = 319) آغاز شد. تحلیل عاملی اکتشافی و نظریه پاسخ به گویه به راه‌حل چهارعاملی ۱۶ گویه‌ای منجر شد که در نمونه مستقل دوم (n = 182) با تحلیل عاملی تأییدی آزمون شد. بررسی بارهای عاملی و همبستگی‌های باقیمانده به حذف یک گویه با عملکرد ضعیف و ظهور مدل اصلاح‌شده ۱۵ گویه‌ای با برازش مقایسه‌ای و باقیمانده منجر شد. عوامل مشاهده‌شده شامل منافع ادراک‌شده استفاده، قضاوت ادراک‌شده سامانه، برجستگی و وضوح ادراک‌شده، و حمایتگری ادراک‌شده بودند. انسجام درونی مطلوب بود (ω مک‌دونالد = ۰٫۷۷۰ تا ۰٫۹۱۵؛ آلفای کرونباخ = ۰٫۷۴۵ تا ۰٫۹۱۴) و شاخص‌ها از تمایز ساختاری درونی حمایت کردند. برازش مدل تأییدی متوسط بود اما پس از اصلاح بهبود یافت (CFI = 0.916، TLI = 0.894، RMSEA = 0.097، SRMR = 0.073) و حمایت مشروطی از ساختار چهارعاملی فراهم کرد. سبک پایش اثر چندمتغیره بزرگی بر نمرات DMS-UX داشت (Pillai's trace = 0.481، F (12, 1488) = 23.65، p < 0.001). سبک‌ها در قضاوت ادراک‌شده، برجستگی و وضوح، و حمایتگری تفاوت داشتند اما در منافع ادراک‌شده استفاده تفاوتی نداشتند. DMS-UX ابزاری توصیفی اولیه برای مقایسه تجربه رانندگان از بازخورد نظارتی DMS ارائه می‌دهد، هرچند اعتبارسنجی رفتاری، طولی و بین‌فرهنگی پیش از استفاده برای استنتاج پیامدهای ایمنی یا شناسایی سبک پایش بهینه مورد نیاز است.