brain-computer interface

Emotion recognition from EEG signals has become a central task in affective computing, offering non-invasive insight into human emotional states. Due to the nonlinear and nonstationary nature of EEG, entropy-based features have gained prominence as reliable indicators of brain complexity. However, traditional entropy metrics—such as Shannon entropy (ShanEn) and its variants—often lack sensitivity to transient dynamics and multiscale irregularities in the brain’s electrical activity. This study introduces a novel application of Entropy of Entropy (EoE) to EEG phase series (EoE – phase), aiming to enhance the detection of emotional states by capturing second-order variability in signal complexity. Unlike conventional measures, EoE quantifies not just signal unpredictability, but also the fluctuation of that unpredictability over time, offering a more dynamic representation of neural information flow. Using the GAMEEMO dataset, which includes EEG recordings from 28 participants during four emotion-evoking game scenarios (funny, boring, horror, calm), we computed and compared four feature sets: Phase Entropy, EoE – phase, ShanEn, and EoE applied to EEG amplitude time series. These features were classified using six machine learning models, including AdaBoost, SVM, and Random Forest. Our results demonstrate that EoE applied to phase dynamics significantly outperforms other entropy-based features, achieving a classification accuracy of 71.7% and AUC of 0.869 using the RF classifier with mixed PhaseEn and EoE-phase features, while traditional Shannon-based features reached only ~59% accuracy. This study provides the first systematic evaluation of EoE on EEG phase signals for emotion recognition, revealing its strong discriminative power and potential for integration into next-generation brain-computer interfaces.

شناسایی احساسات از سیگنال‌های EEG به یکی از وظایف محوری در رایانش عاطفی تبدیل شده است و بینشی غیرتهاجمی نسبت به وضعیت‌های عاطفی انسان ارائه می‌دهد. به دلیل ماهیت غیرخطی و غیرایستا بودن EEG، ویژگی‌های مبتنی بر آنتروپی به عنوان شاخص‌های قابل اعتماد پیچیدگی مغز مورد توجه قرار گرفته‌اند. با این حال، معیارهای سنتی آنتروپی—مانند آنتروپی شانون (ShanEn) و انواع آن—اغلب نسبت به پویایی‌های گذرا و بی‌نظمی‌های چندمقیاسی در فعالیت الکتریکی مغز حساسیت کافی ندارند. این مطالعه کاربرد نوینی از آنتروپیِ آنتروپی (EoE) را بر سری‌های فاز EEG (EoE – phase) معرفی می‌کند که هدف آن ارتقاء شناسایی وضعیت‌های عاطفی از طریق ثبت تغییرپذیری مرتبه دوم در پیچیدگی سیگنال است. برخلاف سنجه‌های متعارف، EoE نه تنها غیرقابل پیش‌بینی بودن سیگنال، بلکه نوسان این غیرقابل پیش‌بینی بودن را در طول زمان کمی‌سازی می‌کند و بازنمایی پویاتری از جریان اطلاعات عصبی ارائه می‌دهد. با استفاده از پایگاه داده GAMEEMO که شامل ثبت‌های EEG از ۲۸ شرکت‌کننده در چهار سناریوی بازی برانگیزاننده احساس (خنده‌دار، کسل‌کننده، ترسناک، آرام) است، چهار مجموعه ویژگی شامل آنتروپی فاز، EoE – phase، ShanEn و EoE اعمال‌شده بر سری زمانی دامنه EEG محاسبه و مقایسه شد. این ویژگی‌ها با استفاده از شش مدل یادگیری ماشین از جمله AdaBoost، SVM و Random Forest طبقه‌بندی شدند. نتایج ما نشان می‌دهد که EoE اعمال‌شده بر پویایی فاز به طور معناداری عملکرد بهتری نسبت به سایر ویژگی‌های مبتنی بر آنتروپی دارد و با استفاده از طبقه‌بند RF و ترکیب ویژگی‌های PhaseEn و EoE-phase، دقت طبقه‌بندی ۷۱.۷٪ و AUC معادل ۰.۸۶۹ را به دست می‌آورد، در حالی که ویژگی‌های مبتنی بر شانون تنها به دقت حدود ۵۹٪ می‌رسند. این مطالعه نخستین ارزیابی نظام‌مند EoE بر سیگنال‌های فاز EEG برای شناسایی احساسات را ارائه می‌دهد و قدرت تمایزبخشی بالای آن و پتانسیل ادغام در رابط‌های مغز-رایانه نسل آینده را آشکار می‌سازد.

OBJECTIVE: The combination of action observation and motor imagery (AO+MI) has emerged as a promising neurorehabilitation strategy to promote sensorimotor plasticity without real movement, making it particularly valuable for individuals whose motor capacity is limited or absent. Improving AO+MI protocols requires understanding whether different observation stimuli engage the sensorimotor system to varying degrees, as the quality of cortical activation during each training trial may directly influence cumulative neuroplastic outcomes. The present study aimed to determine how the observation modality influences the activation of the sensorimotor cortex during synchronous AO+MI. APPROACH: Here, we investigated the effects of three observation modalities: immersive virtual reality (iVR), two-dimensional video and real-world observation of a robotic agent, on sensorimotor cortical engagement, using Event-Related Desynchronization (ERD) as a neurophysiological marker. Electroencephalographic (EEG) signals were recorded from fifteen healthy participants across three sessions, one per modality, while they observed a humanoid robot performing arm elevation movements and simultaneously engaged in motor imagery of the same movements. ERD was computed for alpha and beta frequency bands over eight electrodes covering frontocentral, central, and centroparietal regions. MAIN RESULTS: Statistical analyses revealed significant modality-dependent differences in sensorimotor cortical engagement across multiple frequency bands, electrode locations, and movement types. Immersive virtual reality consistently elicited the strongest desynchronization, with robust effects in the beta band over frontocentral and right centroparietal regions, and in the alpha band over the right central motor cortex. SIGNIFICANCE: These results demonstrate that the modality of action observation significantly shapes sensorimotor cortical engagement during AO+MI. Our findings also support the integration of immersive virtual reality as a neurophysiological grounded tool for optimizing AO+MI-based neurorehabilitation protocols and brain-computer interface applications.

هدف: ترکیب مشاهده عمل و تصویرسازی حرکتی (AO+MI) به‌عنوان یک راهبرد نویدبخش در نوروهیبیلیتیشن برای ارتقای پلاستیسیتی حسی‌حرکتی بدون حرکت واقعی مطرح شده است و به‌ویژه برای افرادی که ظرفیت حرکتی آن‌ها محدود یا غایب است، ارزشمند می‌باشد. بهبود پروتکل‌های AO+MI مستلزم درک این موضوع است که آیا محرک‌های مشاهده‌ای مختلف، سیستم حسی‌حرکتی را به درجات متفاوتی درگیر می‌کنند یا خیر، چرا که کیفیت فعال‌سازی قشری در هر نوبت تمرین ممکن است به‌طور مستقیم بر پیامدهای تجمعی نورولاستیک تأثیر بگذارد. مطالعه حاضر با هدف تعیین چگونگی تأثیر شیوه مشاهده بر فعال‌سازی قشر حسی‌حرکتی در حین AO+MI همزمان انجام شد. روش: در این پژوهش، اثرات سه شیوه مشاهده شامل واقعیت مجازی فراگیر (iVR)، ویدئوی دوبعدی و مشاهده دنیای واقعی یک عامل رباتیک بر درگیری قشری حسی‌حرکتی با استفاده از شاخص غیربسامدسازی وابسته به رویداد (ERD) به‌عنوان نشانگر نوروفیزیولوژیک بررسی شد. سیگنال‌های الکتروانسفالوگرافی (EEG) از پانزده شرکت‌کننده سالم در سه جلسه (هر جلسه یک شیوه) ثبت شد، در حالی که آن‌ها حرکات بالا بردن بازوی یک ربات انسان‌نما را مشاهده می‌کردند و به‌طور همزمان به تصویرسازی حرکتی همان حرکات می‌پرداختند. ERD برای باندهای فرکانسی آلفا و بتا بر روی هشت الکترود پوشش‌دهنده نواحی فرونتو‌سنتـرال، سنتـرال و سنتروپریتال محاسبه شد. نتایج اصلی: تحلیل‌های آماری تفاوت‌های معنادار وابسته به شیوه مشاهده را در درگیری قشری حسی‌حرکتی در چندین باند فرکانسی، محل الکترود و نوع حرکت نشان داد. واقعیت مجازی فراگیر به‌طور پیوسته قوی‌ترین غیربسامدسازی را ایجاد کرد، با اثرات بارز در باند بتا بر نواحی فرونتو‌سنتـرال و سنتروپریتال راست، و در باند آلفا بر قشر حرکتی مرکزی راست. اهمیت: این نتایج نشان می‌دهد که شیوه مشاهده عمل به‌طور معناداری الگوی درگیری قشری حسی‌حرکتی را در حین AO+MI شکل می‌دهد. یافته‌های ما همچنین از ادغام واقعیت مجازی فراگیر به‌عنوان ابزاری مبتنی بر شواهد نوروفیزیولوژیک برای بهینه‌سازی پروتکل‌های نوروهیبیلیتیشن مبتنی بر AO+MI و کاربردهای رابط مغز و رایانه حمایت می‌کند.