A physiology-guided multimodal learning framework for EEG-free driver behavior recognition using peripheral biosignals
چارچوب یادگیری چندوجهی مبتنی بر فیزیولوژی برای شناسایی رفتار راننده بدون استفاده از EEG با بهره‌گیری از سیگنال‌های زیستی محیطی
چکیده
Accurate driver behavior recognition is important for driver monitoring systems and intelligent transportation applications. Although EEG-based approaches can provide useful neural information, their practical use is often limited by sensing complexity, preparation burden, and sensitivity to motion artifacts. This study proposes a physiology-guided multimodal learning framework for EEG-free driver behavior recognition using peripheral biosignals. A publicly available multimodal driving physiology dataset was used, including recordings from 35 participants performing five driving behaviors: smooth driving, acceleration, deceleration, lane change, and turning. Three peripheral physiological signals, namely ECG, EMG, and GSR, were used as model inputs. The proposed framework incorporates physiological knowledge into multimodal representation learning through modality-aware encoders tailored to the distinct characteristics of ECG, EMG, and GSR. A physiology-guided fusion mechanism is further introduced to model complementary cross-modal interactions among the three biosignals. Experimental results showed that the proposed ECG+EMG+GSR model achieved an average accuracy of 0.782 and a macro-F1 score of 0.783 under a five-fold evaluation protocol with separated training, validation, and test sets, with MCC and Cohen’s kappa reaching 0.711 and 0.711, respectively. Compared with EEG-only and full-modality baselines reported in the original dataset study, the proposed framework demonstrated the feasibility of EEG-free driver behavior recognition using only peripheral biosignals. Under the matched ECG+EMG+GSR input setting, the proposed framework outperformed the strongest baseline across all four evaluation metrics. In addition, sensing-configuration analysis showed that ECG+EMG+GSR provided a favorable balance between recognition performance and sensing burden. These results indicate that physiology-guided multimodal learning can effectively exploit heterogeneous peripheral biosignals for accurate and interpretable EEG-free driver behavior recognition.
شناسایی دقیق رفتار راننده برای سامانه‌های پایش راننده و کاربردهای حمل‌ونقل هوشمند اهمیت زیادی دارد. اگرچه رویکردهای مبتنی بر EEG می‌توانند اطلاعات عصبی مفیدی ارائه دهند، اما کاربرد عملی آن‌ها اغلب به دلیل پیچیدگی سنجش، دشواری آماده‌سازی و حساسیت به آرتیفکت‌های حرکتی محدود می‌شود. این مطالعه یک چارچوب یادگیری چندوجهی مبتنی بر فیزیولوژی را برای شناسایی رفتار راننده بدون استفاده از EEG و با بهره‌گیری از سیگنال‌های زیستی محیطی پیشنهاد می‌کند. از یک پایگاه داده فیزیولوژی رانندگی چندوجهی که به‌صورت عمومی در دسترس است، استفاده شد که شامل ثبت داده‌های ۳۵ شرکت‌کننده در حال انجام پنج رفتار رانندگی (رانندگی نرم، شتاب‌گیری، کاهش سرعت، تغییر خط و پیچیدن) بود. سه سیگنال فیزیولوژیکی محیطی شامل ECG، EMG و GSR به‌عنوان ورودی مدل به کار گرفته شدند. چارچوب پیشنهادی، دانش فیزیولوژیکی را از طریق رمزگذارهای آگاه از نوع مدالیته که متناسب با ویژگی‌های متمایز ECG، EMG و GSR طراحی شده‌اند، در یادگیری بازنمایی چندوجهی ادغام می‌کند. همچنین، یک سازوکار همجوشی هدایت‌شده با فیزیولوژی برای مدل‌سازی تعاملات مکمل بین‌مدالیته‌ای میان این سه سیگنال زیستی معرفی شده است. نتایج تجربی نشان داد که مدل ECG+EMG+GSR پیشنهادی به دقت میانگین ۰.۷۸۲ و امتیاز macro-F1 برابر با ۰.۷۸۳ تحت پروتکل ارزیابی پنج‌گانه با مجموعه‌های آموزشی، اعتبارسنجی و آزمون جداگانه دست یافت و مقادیر MCC و کاپای Cohen به ترتیب ۰.۷۱۱ و ۰.۷۱۱ بود. در مقایسه با خطوط پایه مبتنی بر EEG و مدالیته کامل که در مطالعه اصلی پایگاه داده گزارش شده بود، چارچوب پیشنهادی امکان‌پذیری شناسایی رفتار راننده بدون EEG و صرفاً با سیگنال‌های زیستی محیطی را نشان داد. در شرایط ورودی منطبق ECG+EMG+GSR، چارچوب پیشنهادی در هر چهار معیار ارزیابی از قوی‌ترین خط پایه عملکرد بهتری داشت. علاوه بر این، تحلیل پیکربندی سنجش نشان داد که ترکیب ECG+EMG+GSR تعادل مطلوبی میان عملکرد شناسایی و بار سنجش فراهم می‌کند. این نتایج بیانگر آن است که یادگیری چندوجهی هدایت‌شده با فیزیولوژی می‌تواند به‌طور مؤثر از سیگنال‌های زیستی محیطی ناهمگن برای شناسایی دقیق و قابل تفسیر رفتار راننده بدون EEG بهره‌برداری کند.