Wenfei Cao

Language use, vocal behavior, and facial activity provide complementary indicators of affective state, but multimodal models can be affected by noisy temporal observations and insufficient global guidance before cross-modal interaction. We developed a framework combining bidirectional gated recurrent unit encoders, attention pooling, dynamic hypernode injection, and graph attention fusion. Textual, acoustic, and visual sequences were mapped into a shared latent space and compressed into modality-level representations. A sample-dependent hypernode and a learnable static prior were then injected through gated residual connections before graph propagation. The model was evaluated on CMU-MOSI and CMU-MOSEI using five random seeds and validation-MAE checkpoint selection. On CMU-MOSI, the model obtained an MAE of 0.7290 ± 0.0099 , a correlation of 0.7880 ± 0.0076 , and an Acc-7 of 0.4561 ± 0.0160 . On CMU-MOSEI, the corresponding results were 0.5541 ± 0.0053 , 0.7551 ± 0.0058 , and 0.5269 ± 0.0064 . A five-run comparison of pre-GAT, post-GAT, and no injection showed that pre-GAT injection provided the strongest overall regression-oriented balance, although post-GAT was slightly higher on MOSEI Acc-7. Gate, graph-attention, representation, and balanced case diagnostics showed that the injected prior was sample dependent and modality selective. These findings support pre-propagation hypernode injection under complete, word-aligned tri-modal inputs, without establishing universal superiority or robustness to missing and corrupted modalities.

استفاده از زبان، رفتار صوتی و فعالیت چهره شاخص‌های مکملی از وضعیت عاطفی فراهم می‌کنند، اما مدل‌های چندوجهی ممکن است تحت تأثیر مشاهدات زمانی نویزی و راهنمایی کلی ناکافی پیش از تعامل بین‌وجهی قرار گیرند. ما چارچوبی را توسعه دادیم که رمزگذارهای واحد بازگشتی دروازه‌دار دوسویه، تجمیع توجه، تزریق ابرگره پویا و ادغام توجه گراف را ترکیب می‌کند. توالی‌های متنی، صوتی و بصری به فضای نهفته مشترک نگاشته شده و به نمایش‌های سطح وجهی فشرده شدند. سپس یک ابرگره وابسته به نمونه و یک پیش‌فرض ایستا قابل یادگیری از طریق اتصالات باقیمانده دروازه‌دار پیش از انتشار گراف تزریق شدند. مدل بر روی مجموعه‌های داده CMU-MOSI و CMU-MOSEI با استفاده از پنج بذر تصادفی و انتخاب نقطه توقف بر اساس MAE اعتبارسنجی ارزیابی شد. بر روی CMU-MOSI، مدل به MAE برابر با 0.7290 ± 0.0099، همبستگی 0.7880 ± 0.0076 و Acc-7 برابر با 0.4561 ± 0.0160 دست یافت. بر روی CMU-MOSEI، نتایج متناظر به ترتیب 0.5541 ± 0.0053، 0.7551 ± 0.0058 و 0.5269 ± 0.0064 بودند. مقایسه پنج‌باره پیش از GAT، پس از GAT و بدون تزریق نشان داد که تزریق پیش از GAT قوی‌ترین تعادل کلی مبتنی بر رگرسیون را فراهم می‌کند، اگرچه پس از GAT کمی در MOSEI Acc-7 بالاتر بود. تشخیص‌های دروازه، توجه گراف، نمایش و حالت متعادل نشان داد که پیش‌فرض تزریق‌شده وابسته به نمونه و انتخابی نسبت به وجه بود. این یافته‌ها از تزریق ابرگره پیش از انتشار در ورودی‌های سه‌وجهی کامل و هم‌تراز با واژه حمایت می‌کنند، بدون آنکه برتری یا پایداری جهانی در برابر وجوه مفقود یا مخدوش را اثبات نمایند.