EEG-based emotion recognition

OBJECTIVE: Multi-view electroencephalography (EEG) emotion recognition must decide how the spectral graph sets of different connectivity views correspond and how their graph propagation operators interact. We present CSTO-Net, a cross-view spectral-transport and topology-operator network for EEG-based emotion recognition. Approach: CSTO-Net integrates three window-wise views: dynamic differential entropy (DDE) as node attributes, amplitude-envelope Pearson correlation coefficient (PCC) graphs, and phase-locking value (PLV) graphs. Cross-View Spectral Transport Routing (CSTR) formulates PCC-PLV spectral correspondence as an entropy-regularized optimal-transport problem with explicit marginal constraints, deliberately separating correspondence estimation from band-importance estimation. Directional Cross-Topology Modulation (DCTM) performs ordered composition of the two routed propagation operators on shared node features and encodes order-dependent propagation discrepancy via a provably skew-symmetric graph-operator commutator with signed decomposition. Main results: On the Database for Emotion Analysis using Physiological Signals (DEAP) dataset, CSTO-Net achieves 93.95 ± 2.50% valence and 94.97 ± 2.72% arousal accuracy under the subject-dependent setting, and 93.73% and 94.54% under participant-wise five-fold subject-independent cross-validation across 32 participants. On the SJTU Emotion EEG Dataset (SEED), it achieves 93.12% under the standard subject-dependent split, 91.36% under 15-fold leave-one-subject-out evaluation across 15 participants, and 98.05 ± 2.32% under subject-dependent five-fold cross-validation. Ablation studies confirm that both CSTR and DCTM contribute substantially to recognition accuracy. Significance: These results demonstrate that explicit cross-view spectral correspondence and topology-operator-level interaction provide complementary benefits for EEG emotion recognition, offering an interpretable route for modeling order-sensitive interactions between functional connectivity views.

هدف: شناسایی هیجان مبتنی بر الکتروانسفالوگرافی چندنما (EEG) باید تعیین کند که مجموعه‌های گراف طیفی نماهای مختلف ارتباطی چگونه با یکدیگر متناظر می‌شوند و عملگرهای انتشار گراف آن‌ها چگونه با هم تعامل دارند. ما CSTO-Net را ارائه می‌دهیم؛ شبکه‌ای برای انتقال طیفی بین‌نما و عملگر توپولوژی جهت شناسایی هیجان مبتنی بر EEG. روش: CSTO-Net سه نمای مبتنی بر پنجره را ادغام می‌کند: آنتروپی تفاضلی پویا (DDE) به عنوان ویژگی‌های گره، گراف‌های ضریب همبستگی پیرسون پوش‌آمپلیتیود (PCC) و گراف‌های مقدار قفل‌شدگی فاز (PLV). مسیریابی انتقال طیفی بین‌نما (CSTR) متناظر بودن طیفی PCC-PLV را به صورت یک مسئله انتقال بهینه با قید حاشیه‌ای صریح و منظم‌سازی آنتروپی مدل‌سازی می‌کند و به طور هدفمند برآورد متناظری را از برآورد اهمیت باند جدا می‌سازد. مدولاسیون متقاطع توپولوژی جهت‌دار (DCTM) ترکیب مرتب دو عملگر انتشار مسیریابی‌شده را بر ویژگی‌های گره مشترک انجام می‌دهد و اختلاف انتشار وابسته به ترتیب را از طریق یک جابجایی عملگر گراف با تجزیه علامت‌دار و اثباتاً پادمتقارن رمزگذاری می‌کند. نتایج اصلی: بر روی پایگاه داده تحلیل هیجان با استفاده از سیگنال‌های فیزیولوژیک (DEAP)، CSTO-Net به دقت 93.95 ± 2.50٪ برای والانس و 94.97 ± 2.72٪ برای برانگیختگی در شرایط وابسته به آزمودنی دست می‌یابد و در اعتبارسنجی متقاطع پنج‌تایی مستقل از آزمودنی به ترتیب 93.73٪ و 94.54٪ در میان 32 آزمودنی کسب می‌کند. بر روی پایگاه داده EEG هیجان دانشگاه SJTU (SEED)، به دقت 93.12٪ در تقسیم‌بندی استاندارد وابسته به آزمودنی، 91.36٪ در ارزیابی leave-one-subject-out پانزده‌تایی در میان 15 آزمودنی و 98.05 ± 2.32٪ در اعتبارسنجی متقاطع پنج‌تایی وابسته به آزمودنی دست می‌یابد. مطالعات حذف مؤلفه نشان می‌دهد که هر دو مؤلفه CSTR و DCTM سهم قابل توجهی در دقت شناسایی دارند. اهمیت: این نتایج نشان می‌دهد که متناظر‌سازی طیفی بین‌نما و تعامل در سطح عملگر توپولوژی، مزایای مکملی برای شناسایی هیجان مبتنی بر EEG فراهم می‌آورد و مسیر قابل تفسیر برای مدل‌سازی تعاملات حساس به ترتیب بین نماهای ارتباط عملکردی ارائه می‌دهد.

Abstract Currently, machine learning technology has been widely used in electroencephalogram (EEG) automatic emotion recognition tasks. However, the non-stationarity, individual differences, and high annotation costs in EEG signals seriously affect the generalization ability of the model. To solve these problems, we propose a new unsupervised domain adaptation framework named EEG-UDAF for EEG emotion recognition. First, we design a dual-view frequency domain feature fusion module that can extract rich EEG signals frequency domain features from two perspectives, differential entropy and power spectral density, and fuse them based on the self-attention mechanism. Second, we propose a spatio-temporal feature extraction module based on graph convolutional network and bidirectional long short-term memory. It can comprehensively consider the spatial topological structure of the brain and the dynamic characteristics of temporal changes between EEG channels to extract complex spatio-temporal features. Third, we use the unsupervised domain adaptation strategy to solve the non-stationarity and individual differences in EEG signals without manual annotation, and introduce a semantic correction mechanism to prevent incorrect class alignment. Experiments based on intra-subject and inter-subject paradigms show that EEG-UDAF can effectively alleviate non-stationarity and individual differences. Moreover, these transferable EEG representations also provide a potential foundation for LLM-augmented multimodal data fusion in large-scale affective computing.

در حال حاضر، فناوری یادگیری ماشین به طور گسترده‌ای در وظایف شناسایی خودکار احساسات مبتنی بر الکتروانسفالوگرام (EEG) مورد استفاده قرار گرفته‌است. با این حال، غیرایستایی، تفاوت‌های فردی و هزینه‌های بالای برچسب‌گذاری در سیگنال‌های EEG به طور جدی توانایی تعمیم مدل را تحت تأثیر قرار می‌دهد. برای حل این مشکلات، چارچوب جدیدی با نام EEG-UDAF برای شناسایی احساسات مبتنی بر EEG پیشنهاد می‌کنیم. نخست، یک ماژول همجوشی ویژگی‌های حوزه فرکانس با دو نما طراحی کرده‌ایم که می‌تواند ویژگی‌های غنی حوزه فرکانسی سیگنال‌های EEG را از دو منظر، آنتروپی تفاضلی و چگالی طیفی توان، استخراج کرده و آن‌ها را بر اساس سازوکار خودتوجهی ادغام کند. دوم، یک ماژول استخراج ویژگی‌های فضایی-زمانی مبتنی بر شبکه عصبی کانولوشنی گراف و حافظه کوتاه‌مدت دوطرفه پیشنهاد می‌کنیم. این ماژول می‌تواند ساختار توپولوژیکی فضایی مغز و ویژگی‌های پویای تغییرات زمانی بین کانال‌های EEG را به طور جامع در نظر گرفته و ویژگی‌های پیچیده فضایی-زمانی را استخراج کند. سوم، از راهبرد تطبیق حوزه بدون نظارت برای حل غیرایستایی و تفاوت‌های فردی در سیگنال‌های EEG بدون نیاز به برچسب‌گذاری دستی استفاده کرده و سازوکار اصلاح معنایی را برای جلوگیری از هم‌ترازی نادرست کلاس‌ها معرفی می‌کنیم. آزمایش‌های مبتنی بر پارادایم‌های درون‌فردی و بین‌فردی نشان می‌دهد که EEG-UDAF می‌تواند به طور مؤثری غیرایستایی و تفاوت‌های فردی را کاهش دهد. افزون بر این، این بازنمایی‌های قابل انتقال EEG همچنین بنیانی بالقوه برای همجوشی داده‌های چندوجهی تقویت‌شده با LLM در محاسبات عاطفی در مقیاس بزرگ فراهم می‌کند.

Emotion recognition from EEG signals has become a central task in affective computing, offering non-invasive insight into human emotional states. Due to the nonlinear and nonstationary nature of EEG, entropy-based features have gained prominence as reliable indicators of brain complexity. However, traditional entropy metrics—such as Shannon entropy (ShanEn) and its variants—often lack sensitivity to transient dynamics and multiscale irregularities in the brain’s electrical activity. This study introduces a novel application of Entropy of Entropy (EoE) to EEG phase series (EoE – phase), aiming to enhance the detection of emotional states by capturing second-order variability in signal complexity. Unlike conventional measures, EoE quantifies not just signal unpredictability, but also the fluctuation of that unpredictability over time, offering a more dynamic representation of neural information flow. Using the GAMEEMO dataset, which includes EEG recordings from 28 participants during four emotion-evoking game scenarios (funny, boring, horror, calm), we computed and compared four feature sets: Phase Entropy, EoE – phase, ShanEn, and EoE applied to EEG amplitude time series. These features were classified using six machine learning models, including AdaBoost, SVM, and Random Forest. Our results demonstrate that EoE applied to phase dynamics significantly outperforms other entropy-based features, achieving a classification accuracy of 71.7% and AUC of 0.869 using the RF classifier with mixed PhaseEn and EoE-phase features, while traditional Shannon-based features reached only ~59% accuracy. This study provides the first systematic evaluation of EoE on EEG phase signals for emotion recognition, revealing its strong discriminative power and potential for integration into next-generation brain-computer interfaces.

شناسایی احساسات از سیگنال‌های EEG به یکی از وظایف محوری در رایانش عاطفی تبدیل شده است و بینشی غیرتهاجمی نسبت به وضعیت‌های عاطفی انسان ارائه می‌دهد. به دلیل ماهیت غیرخطی و غیرایستا بودن EEG، ویژگی‌های مبتنی بر آنتروپی به عنوان شاخص‌های قابل اعتماد پیچیدگی مغز مورد توجه قرار گرفته‌اند. با این حال، معیارهای سنتی آنتروپی—مانند آنتروپی شانون (ShanEn) و انواع آن—اغلب نسبت به پویایی‌های گذرا و بی‌نظمی‌های چندمقیاسی در فعالیت الکتریکی مغز حساسیت کافی ندارند. این مطالعه کاربرد نوینی از آنتروپیِ آنتروپی (EoE) را بر سری‌های فاز EEG (EoE – phase) معرفی می‌کند که هدف آن ارتقاء شناسایی وضعیت‌های عاطفی از طریق ثبت تغییرپذیری مرتبه دوم در پیچیدگی سیگنال است. برخلاف سنجه‌های متعارف، EoE نه تنها غیرقابل پیش‌بینی بودن سیگنال، بلکه نوسان این غیرقابل پیش‌بینی بودن را در طول زمان کمی‌سازی می‌کند و بازنمایی پویاتری از جریان اطلاعات عصبی ارائه می‌دهد. با استفاده از پایگاه داده GAMEEMO که شامل ثبت‌های EEG از ۲۸ شرکت‌کننده در چهار سناریوی بازی برانگیزاننده احساس (خنده‌دار، کسل‌کننده، ترسناک، آرام) است، چهار مجموعه ویژگی شامل آنتروپی فاز، EoE – phase، ShanEn و EoE اعمال‌شده بر سری زمانی دامنه EEG محاسبه و مقایسه شد. این ویژگی‌ها با استفاده از شش مدل یادگیری ماشین از جمله AdaBoost، SVM و Random Forest طبقه‌بندی شدند. نتایج ما نشان می‌دهد که EoE اعمال‌شده بر پویایی فاز به طور معناداری عملکرد بهتری نسبت به سایر ویژگی‌های مبتنی بر آنتروپی دارد و با استفاده از طبقه‌بند RF و ترکیب ویژگی‌های PhaseEn و EoE-phase، دقت طبقه‌بندی ۷۱.۷٪ و AUC معادل ۰.۸۶۹ را به دست می‌آورد، در حالی که ویژگی‌های مبتنی بر شانون تنها به دقت حدود ۵۹٪ می‌رسند. این مطالعه نخستین ارزیابی نظام‌مند EoE بر سیگنال‌های فاز EEG برای شناسایی احساسات را ارائه می‌دهد و قدرت تمایزبخشی بالای آن و پتانسیل ادغام در رابط‌های مغز-رایانه نسل آینده را آشکار می‌سازد.