cross-modal fusion

Traditional statistical models face the challenges of insufficient modeling capabilities and difficulty in interpreting complex, nonlinear, and high-dimensional data. Therefore, this paper combines fuzzy logic and deep learning methods to construct a framework model for identifying key factors for high-quality employment for college students. The model in this paper uses multi-channel encoding technology. We use the attention mechanism to fuse the features obtained from multi-channel encoding and input the self-organizing fuzzy inference structure for regression and classification analysis. The system can transform numerical prediction results into a semantic rule-driven decision-making process, which can significantly improve the model’s modeling capabilities and interpretability for uncertainty. Our experiments were conducted on 5,623 graduates. Experimental results on the data show that our model achieved an average mean square error of 0.831, a coefficient of determination of 0.892, and a classification accuracy of 0.865, which are significantly higher than traditional statistical and machine learning models. The corresponding experiments demonstrate the key role of cross-modal fusion and fuzzy reasoning modules in improving the results. Feature importance analysis shows that factors such as internship duration, GPA, and research participation have a key impact on high-quality employment, which is consistent with expert consensus.

Accurate driver behavior recognition is important for driver monitoring systems and intelligent transportation applications. Although EEG-based approaches can provide useful neural information, their practical use is often limited by sensing complexity, preparation burden, and sensitivity to motion artifacts. This study proposes a physiology-guided multimodal learning framework for EEG-free driver behavior recognition using peripheral biosignals. A publicly available multimodal driving physiology dataset was used, including recordings from 35 participants performing five driving behaviors: smooth driving, acceleration, deceleration, lane change, and turning. Three peripheral physiological signals, namely ECG, EMG, and GSR, were used as model inputs. The proposed framework incorporates physiological knowledge into multimodal representation learning through modality-aware encoders tailored to the distinct characteristics of ECG, EMG, and GSR. A physiology-guided fusion mechanism is further introduced to model complementary cross-modal interactions among the three biosignals. Experimental results showed that the proposed ECG+EMG+GSR model achieved an average accuracy of 0.782 and a macro-F1 score of 0.783 under a five-fold evaluation protocol with separated training, validation, and test sets, with MCC and Cohen’s kappa reaching 0.711 and 0.711, respectively. Compared with EEG-only and full-modality baselines reported in the original dataset study, the proposed framework demonstrated the feasibility of EEG-free driver behavior recognition using only peripheral biosignals. Under the matched ECG+EMG+GSR input setting, the proposed framework outperformed the strongest baseline across all four evaluation metrics. In addition, sensing-configuration analysis showed that ECG+EMG+GSR provided a favorable balance between recognition performance and sensing burden. These results indicate that physiology-guided multimodal learning can effectively exploit heterogeneous peripheral biosignals for accurate and interpretable EEG-free driver behavior recognition.

شناسایی دقیق رفتار راننده برای سامانه‌های پایش راننده و کاربردهای حمل‌ونقل هوشمند اهمیت زیادی دارد. اگرچه رویکردهای مبتنی بر EEG می‌توانند اطلاعات عصبی مفیدی ارائه دهند، اما کاربرد عملی آن‌ها اغلب به دلیل پیچیدگی سنجش، دشواری آماده‌سازی و حساسیت به آرتیفکت‌های حرکتی محدود می‌شود. این مطالعه یک چارچوب یادگیری چندوجهی مبتنی بر فیزیولوژی را برای شناسایی رفتار راننده بدون استفاده از EEG و با بهره‌گیری از سیگنال‌های زیستی محیطی پیشنهاد می‌کند. از یک پایگاه داده فیزیولوژی رانندگی چندوجهی که به‌صورت عمومی در دسترس است، استفاده شد که شامل ثبت داده‌های ۳۵ شرکت‌کننده در حال انجام پنج رفتار رانندگی (رانندگی نرم، شتاب‌گیری، کاهش سرعت، تغییر خط و پیچیدن) بود. سه سیگنال فیزیولوژیکی محیطی شامل ECG، EMG و GSR به‌عنوان ورودی مدل به کار گرفته شدند. چارچوب پیشنهادی، دانش فیزیولوژیکی را از طریق رمزگذارهای آگاه از نوع مدالیته که متناسب با ویژگی‌های متمایز ECG، EMG و GSR طراحی شده‌اند، در یادگیری بازنمایی چندوجهی ادغام می‌کند. همچنین، یک سازوکار همجوشی هدایت‌شده با فیزیولوژی برای مدل‌سازی تعاملات مکمل بین‌مدالیته‌ای میان این سه سیگنال زیستی معرفی شده است. نتایج تجربی نشان داد که مدل ECG+EMG+GSR پیشنهادی به دقت میانگین ۰.۷۸۲ و امتیاز macro-F1 برابر با ۰.۷۸۳ تحت پروتکل ارزیابی پنج‌گانه با مجموعه‌های آموزشی، اعتبارسنجی و آزمون جداگانه دست یافت و مقادیر MCC و کاپای Cohen به ترتیب ۰.۷۱۱ و ۰.۷۱۱ بود. در مقایسه با خطوط پایه مبتنی بر EEG و مدالیته کامل که در مطالعه اصلی پایگاه داده گزارش شده بود، چارچوب پیشنهادی امکان‌پذیری شناسایی رفتار راننده بدون EEG و صرفاً با سیگنال‌های زیستی محیطی را نشان داد. در شرایط ورودی منطبق ECG+EMG+GSR، چارچوب پیشنهادی در هر چهار معیار ارزیابی از قوی‌ترین خط پایه عملکرد بهتری داشت. علاوه بر این، تحلیل پیکربندی سنجش نشان داد که ترکیب ECG+EMG+GSR تعادل مطلوبی میان عملکرد شناسایی و بار سنجش فراهم می‌کند. این نتایج بیانگر آن است که یادگیری چندوجهی هدایت‌شده با فیزیولوژی می‌تواند به‌طور مؤثر از سیگنال‌های زیستی محیطی ناهمگن برای شناسایی دقیق و قابل تفسیر رفتار راننده بدون EEG بهره‌برداری کند.