Modality (human–computer interaction)

The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.

کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخ‌های فیزیولوژیکی و رفتاری چندوجهی است و به سیستم‌های هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیش‌بینی قصد عاطفی کمک می‌کند. اگرچه مدل‌های عمیق موجود پیشرفت‌های قابل توجهی نشان داده‌اند، اما اکثر آن‌ها شیوه‌های چندوجهی را به صورت مجزا پردازش می‌کنند و مکانیسم‌های علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمی‌گیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی می‌کند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهت‌دار متغیر با زمان میان کانال‌های فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمی‌گیرد. تمامی شیوه‌های داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویایی‌های چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدل‌سازی شده‌اند که با مکانیزم خودتوجهی یاد گرفته می‌شود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیه‌های نهفته در حال تغییر پیوسته را آموزش می‌دهد تا بتواند تغییرات احساسات را به طور هموار مدل‌سازی کند. توجه متقاطع شرطی‌شده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام می‌کند و استنباطی معنادار و فردمحور ارائه می‌دهد. تحلیل‌های تجربی بر روی مجموعه AFFEC نشان می‌دهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدل‌های پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوه‌های داده مقاوم است. نقشه‌های تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودی‌های شیوه‌های داده نشان می‌دهد که اطلاعات علوم اعصاب درباره شکل‌گیری احساسات ارائه می‌کند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل می‌کند.

OBJECTIVE: The combination of action observation and motor imagery (AO+MI) has emerged as a promising neurorehabilitation strategy to promote sensorimotor plasticity without real movement, making it particularly valuable for individuals whose motor capacity is limited or absent. Improving AO+MI protocols requires understanding whether different observation stimuli engage the sensorimotor system to varying degrees, as the quality of cortical activation during each training trial may directly influence cumulative neuroplastic outcomes. The present study aimed to determine how the observation modality influences the activation of the sensorimotor cortex during synchronous AO+MI. APPROACH: Here, we investigated the effects of three observation modalities: immersive virtual reality (iVR), two-dimensional video and real-world observation of a robotic agent, on sensorimotor cortical engagement, using Event-Related Desynchronization (ERD) as a neurophysiological marker. Electroencephalographic (EEG) signals were recorded from fifteen healthy participants across three sessions, one per modality, while they observed a humanoid robot performing arm elevation movements and simultaneously engaged in motor imagery of the same movements. ERD was computed for alpha and beta frequency bands over eight electrodes covering frontocentral, central, and centroparietal regions. MAIN RESULTS: Statistical analyses revealed significant modality-dependent differences in sensorimotor cortical engagement across multiple frequency bands, electrode locations, and movement types. Immersive virtual reality consistently elicited the strongest desynchronization, with robust effects in the beta band over frontocentral and right centroparietal regions, and in the alpha band over the right central motor cortex. SIGNIFICANCE: These results demonstrate that the modality of action observation significantly shapes sensorimotor cortical engagement during AO+MI. Our findings also support the integration of immersive virtual reality as a neurophysiological grounded tool for optimizing AO+MI-based neurorehabilitation protocols and brain-computer interface applications.

هدف: ترکیب مشاهده عمل و تصویرسازی حرکتی (AO+MI) به‌عنوان یک راهبرد نویدبخش در نوروهیبیلیتیشن برای ارتقای پلاستیسیتی حسی‌حرکتی بدون حرکت واقعی مطرح شده است و به‌ویژه برای افرادی که ظرفیت حرکتی آن‌ها محدود یا غایب است، ارزشمند می‌باشد. بهبود پروتکل‌های AO+MI مستلزم درک این موضوع است که آیا محرک‌های مشاهده‌ای مختلف، سیستم حسی‌حرکتی را به درجات متفاوتی درگیر می‌کنند یا خیر، چرا که کیفیت فعال‌سازی قشری در هر نوبت تمرین ممکن است به‌طور مستقیم بر پیامدهای تجمعی نورولاستیک تأثیر بگذارد. مطالعه حاضر با هدف تعیین چگونگی تأثیر شیوه مشاهده بر فعال‌سازی قشر حسی‌حرکتی در حین AO+MI همزمان انجام شد. روش: در این پژوهش، اثرات سه شیوه مشاهده شامل واقعیت مجازی فراگیر (iVR)، ویدئوی دوبعدی و مشاهده دنیای واقعی یک عامل رباتیک بر درگیری قشری حسی‌حرکتی با استفاده از شاخص غیربسامدسازی وابسته به رویداد (ERD) به‌عنوان نشانگر نوروفیزیولوژیک بررسی شد. سیگنال‌های الکتروانسفالوگرافی (EEG) از پانزده شرکت‌کننده سالم در سه جلسه (هر جلسه یک شیوه) ثبت شد، در حالی که آن‌ها حرکات بالا بردن بازوی یک ربات انسان‌نما را مشاهده می‌کردند و به‌طور همزمان به تصویرسازی حرکتی همان حرکات می‌پرداختند. ERD برای باندهای فرکانسی آلفا و بتا بر روی هشت الکترود پوشش‌دهنده نواحی فرونتو‌سنتـرال، سنتـرال و سنتروپریتال محاسبه شد. نتایج اصلی: تحلیل‌های آماری تفاوت‌های معنادار وابسته به شیوه مشاهده را در درگیری قشری حسی‌حرکتی در چندین باند فرکانسی، محل الکترود و نوع حرکت نشان داد. واقعیت مجازی فراگیر به‌طور پیوسته قوی‌ترین غیربسامدسازی را ایجاد کرد، با اثرات بارز در باند بتا بر نواحی فرونتو‌سنتـرال و سنتروپریتال راست، و در باند آلفا بر قشر حرکتی مرکزی راست. اهمیت: این نتایج نشان می‌دهد که شیوه مشاهده عمل به‌طور معناداری الگوی درگیری قشری حسی‌حرکتی را در حین AO+MI شکل می‌دهد. یافته‌های ما همچنین از ادغام واقعیت مجازی فراگیر به‌عنوان ابزاری مبتنی بر شواهد نوروفیزیولوژیک برای بهینه‌سازی پروتکل‌های نوروهیبیلیتیشن مبتنی بر AO+MI و کاربردهای رابط مغز و رایانه حمایت می‌کند.