Robustness (evolution)

Language use, vocal behavior, and facial activity provide complementary indicators of affective state, but multimodal models can be affected by noisy temporal observations and insufficient global guidance before cross-modal interaction. We developed a framework combining bidirectional gated recurrent unit encoders, attention pooling, dynamic hypernode injection, and graph attention fusion. Textual, acoustic, and visual sequences were mapped into a shared latent space and compressed into modality-level representations. A sample-dependent hypernode and a learnable static prior were then injected through gated residual connections before graph propagation. The model was evaluated on CMU-MOSI and CMU-MOSEI using five random seeds and validation-MAE checkpoint selection. On CMU-MOSI, the model obtained an MAE of 0.7290 ± 0.0099 , a correlation of 0.7880 ± 0.0076 , and an Acc-7 of 0.4561 ± 0.0160 . On CMU-MOSEI, the corresponding results were 0.5541 ± 0.0053 , 0.7551 ± 0.0058 , and 0.5269 ± 0.0064 . A five-run comparison of pre-GAT, post-GAT, and no injection showed that pre-GAT injection provided the strongest overall regression-oriented balance, although post-GAT was slightly higher on MOSEI Acc-7. Gate, graph-attention, representation, and balanced case diagnostics showed that the injected prior was sample dependent and modality selective. These findings support pre-propagation hypernode injection under complete, word-aligned tri-modal inputs, without establishing universal superiority or robustness to missing and corrupted modalities.

استفاده از زبان، رفتار صوتی و فعالیت چهره شاخص‌های مکملی از وضعیت عاطفی فراهم می‌کنند، اما مدل‌های چندوجهی ممکن است تحت تأثیر مشاهدات زمانی نویزی و راهنمایی کلی ناکافی پیش از تعامل بین‌وجهی قرار گیرند. ما چارچوبی را توسعه دادیم که رمزگذارهای واحد بازگشتی دروازه‌دار دوسویه، تجمیع توجه، تزریق ابرگره پویا و ادغام توجه گراف را ترکیب می‌کند. توالی‌های متنی، صوتی و بصری به فضای نهفته مشترک نگاشته شده و به نمایش‌های سطح وجهی فشرده شدند. سپس یک ابرگره وابسته به نمونه و یک پیش‌فرض ایستا قابل یادگیری از طریق اتصالات باقیمانده دروازه‌دار پیش از انتشار گراف تزریق شدند. مدل بر روی مجموعه‌های داده CMU-MOSI و CMU-MOSEI با استفاده از پنج بذر تصادفی و انتخاب نقطه توقف بر اساس MAE اعتبارسنجی ارزیابی شد. بر روی CMU-MOSI، مدل به MAE برابر با 0.7290 ± 0.0099، همبستگی 0.7880 ± 0.0076 و Acc-7 برابر با 0.4561 ± 0.0160 دست یافت. بر روی CMU-MOSEI، نتایج متناظر به ترتیب 0.5541 ± 0.0053، 0.7551 ± 0.0058 و 0.5269 ± 0.0064 بودند. مقایسه پنج‌باره پیش از GAT، پس از GAT و بدون تزریق نشان داد که تزریق پیش از GAT قوی‌ترین تعادل کلی مبتنی بر رگرسیون را فراهم می‌کند، اگرچه پس از GAT کمی در MOSEI Acc-7 بالاتر بود. تشخیص‌های دروازه، توجه گراف، نمایش و حالت متعادل نشان داد که پیش‌فرض تزریق‌شده وابسته به نمونه و انتخابی نسبت به وجه بود. این یافته‌ها از تزریق ابرگره پیش از انتشار در ورودی‌های سه‌وجهی کامل و هم‌تراز با واژه حمایت می‌کنند، بدون آنکه برتری یا پایداری جهانی در برابر وجوه مفقود یا مخدوش را اثبات نمایند.

Driving can be enhanced if the vehicle quickly responds to the driver’s emotions. Accurate recognition of the driver’s emotional state is essential for advanced driver assistance systems (ADAS). The existing models restrict to single-modal data and fail to acquire hidden emotions which affects the prediction accuracy. Also, they lack real time data integration with self driving vehicles. Thus, a more robust multimodal model is needed to combine driver’s vital metrics and emotional behaviors for enhanced safety and dynamic vehicle-human interactivity. The proposed model ‘Emo-Aware’ blends real-time data from multiple sensors, including face emotion detection cameras, speech emotion detection microphones, heart rate sensors, and blood pressure sensors. The captured data are preprocessed to remove noise, retrieve relevant features and amplify to the desired state. Further, it processes this integrated data using a CNN model with hard voting method to precisely assess driver’s sentiments. The proposed framework is validated in a simulator using benchmark multimodal datasets, demonstrating its effectiveness for driver emotion assessment and laying groundwork for future real-world ADAS deployment. The robustness of model lies in its capability to adjust driving constraints on basis of the emotion quotient of driver thereby providing a personalized driving environment. Upon model’s implementation, there is a notable rise in accuracy and fall in the loss function. The diagonal values in the confusion matrix represent class-wise emotion detection accuracies of 0.92, 0.93, 0.91, 0.95, 0.92, and 0.86, corresponding to the emotions of disgust, fear, happiness, neutrality, sadness, and surprise, respectively. The results for discrete functional modules are also gauged. The speech-sentiment module recorded the optimal values, 0.94, 0.93, 0.91, and 0.92, respectively, for accuracy, precision, recall, and f-score. The blood pressure module reported the MSE, RMSE, MAE, and R-squared values as 6 mmHg² and 2.6 mmHg, 2.2 mmHg, and 0.96, respectively. Furthermore, the Face module also recorded the optimum values of 0.95, 0.94, 0.93, and 0.93 for accuracy, precision, recall, and f-score, respectively. Therefore, the model can be beneficial for advanced driver emotion detection that not only emphasizes safety but also examines the relationship between drivers and their vehicles through personalized emotionally aware interactions.

رانندگی می‌تواند در صورتی بهبود یابد که وسیله نقلیه به سرعت به هیجانات راننده واکنش نشان دهد. شناسایی دقیق وضعیت هیجانی راننده برای سامانه‌های پیشرفته کمک‌راننده (ADAS) ضروری است. مدل‌های موجود به داده‌های تک‌وجهی محدود می‌شوند و قادر به شناسایی هیجانات پنهان نیستند که این امر بر دقت پیش‌بینی تأثیر می‌گذارد. همچنین، این مدل‌ها فاقد یکپارچه‌سازی داده‌های بلادرنگ با خودروهای خودران هستند. بنابراین، نیاز به یک مدل چندوجهی مقاوم‌تر وجود دارد تا شاخص‌های حیاتی و رفتارهای هیجانی راننده را برای افزایش ایمنی و تعامل پویای انسان و خودرو ترکیب کند. مدل پیشنهادی «Emo-Aware» داده‌های بلادرنگ را از حسگرهای متعدد، از جمله دوربین‌های شناسایی هیجان چهره، میکروفون‌های شناسایی هیجان گفتار، حسگرهای ضربان قلب و حسگرهای فشار خون ترکیب می‌کند. داده‌های جمع‌آوری‌شده پیش‌پردازش می‌شوند تا نویز حذف، ویژگی‌های مرتبط استخراج و به وضعیت مطلوب تقویت شوند. سپس این داده‌های یکپارچه با استفاده از مدل CNN و روش hard voting برای ارزیابی دقیق احساسات راننده پردازش می‌شوند. چارچوب پیشنهادی در شبیه‌ساز با استفاده از داده‌مجموعه‌های چندوجهی مرجع اعتبارسنجی شده و اثربخشی آن برای ارزیابی هیجان راننده و فراهم‌سازی زمینه برای استقرار آتی در ADAS واقعی را نشان می‌دهد. پایداری مدل در توانایی آن برای تنظیم محدودیت‌های رانندگی بر اساس ضریب هیجانی راننده نهفته است و بدین ترتیب محیط رانندگی شخصی‌سازی‌شده‌ای فراهم می‌شود. با پیاده‌سازی مدل، افزایش قابل توجهی در دقت و کاهش تابع خطا مشاهده می‌شود. مقادیر قطری ماتریس سردرگمی دقت شناسایی هیجان به تفکیک کلاس را به ترتیب 0.92، 0.93، 0.91، 0.95، 0.92 و 0.86 برای هیجانات انزجار، ترس، شادی، خنثی، غم و شگفتی نشان می‌دهد. نتایج ماژول‌های عملکردی مجزا نیز ارزیابی شده‌اند. ماژول احساس-گفتار مقادیر بهینه 0.94، 0.93، 0.91 و 0.92 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. ماژول فشار خون مقادیر MSE، RMSE، MAE و R-squared را به ترتیب 6 mmHg² و 2.6 mmHg، 2.2 mmHg و 0.96 گزارش کرده است. همچنین، ماژول چهره نیز مقادیر بهینه 0.95، 0.94، 0.93 و 0.93 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. بنابراین، این مدل می‌تواند برای شناسایی پیشرفته هیجان راننده مفید باشد که نه تنها بر ایمنی تأکید دارد بلکه رابطه بین رانندگان و خودروهایشان را از طریق تعاملات شخصی‌سازی‌شده و آگاه از هیجان بررسی می‌کند.