Pengwei Wang

Abstract Currently, machine learning technology has been widely used in electroencephalogram (EEG) automatic emotion recognition tasks. However, the non-stationarity, individual differences, and high annotation costs in EEG signals seriously affect the generalization ability of the model. To solve these problems, we propose a new unsupervised domain adaptation framework named EEG-UDAF for EEG emotion recognition. First, we design a dual-view frequency domain feature fusion module that can extract rich EEG signals frequency domain features from two perspectives, differential entropy and power spectral density, and fuse them based on the self-attention mechanism. Second, we propose a spatio-temporal feature extraction module based on graph convolutional network and bidirectional long short-term memory. It can comprehensively consider the spatial topological structure of the brain and the dynamic characteristics of temporal changes between EEG channels to extract complex spatio-temporal features. Third, we use the unsupervised domain adaptation strategy to solve the non-stationarity and individual differences in EEG signals without manual annotation, and introduce a semantic correction mechanism to prevent incorrect class alignment. Experiments based on intra-subject and inter-subject paradigms show that EEG-UDAF can effectively alleviate non-stationarity and individual differences. Moreover, these transferable EEG representations also provide a potential foundation for LLM-augmented multimodal data fusion in large-scale affective computing.

در حال حاضر، فناوری یادگیری ماشین به طور گسترده‌ای در وظایف شناسایی خودکار احساسات مبتنی بر الکتروانسفالوگرام (EEG) مورد استفاده قرار گرفته‌است. با این حال، غیرایستایی، تفاوت‌های فردی و هزینه‌های بالای برچسب‌گذاری در سیگنال‌های EEG به طور جدی توانایی تعمیم مدل را تحت تأثیر قرار می‌دهد. برای حل این مشکلات، چارچوب جدیدی با نام EEG-UDAF برای شناسایی احساسات مبتنی بر EEG پیشنهاد می‌کنیم. نخست، یک ماژول همجوشی ویژگی‌های حوزه فرکانس با دو نما طراحی کرده‌ایم که می‌تواند ویژگی‌های غنی حوزه فرکانسی سیگنال‌های EEG را از دو منظر، آنتروپی تفاضلی و چگالی طیفی توان، استخراج کرده و آن‌ها را بر اساس سازوکار خودتوجهی ادغام کند. دوم، یک ماژول استخراج ویژگی‌های فضایی-زمانی مبتنی بر شبکه عصبی کانولوشنی گراف و حافظه کوتاه‌مدت دوطرفه پیشنهاد می‌کنیم. این ماژول می‌تواند ساختار توپولوژیکی فضایی مغز و ویژگی‌های پویای تغییرات زمانی بین کانال‌های EEG را به طور جامع در نظر گرفته و ویژگی‌های پیچیده فضایی-زمانی را استخراج کند. سوم، از راهبرد تطبیق حوزه بدون نظارت برای حل غیرایستایی و تفاوت‌های فردی در سیگنال‌های EEG بدون نیاز به برچسب‌گذاری دستی استفاده کرده و سازوکار اصلاح معنایی را برای جلوگیری از هم‌ترازی نادرست کلاس‌ها معرفی می‌کنیم. آزمایش‌های مبتنی بر پارادایم‌های درون‌فردی و بین‌فردی نشان می‌دهد که EEG-UDAF می‌تواند به طور مؤثری غیرایستایی و تفاوت‌های فردی را کاهش دهد. افزون بر این، این بازنمایی‌های قابل انتقال EEG همچنین بنیانی بالقوه برای همجوشی داده‌های چندوجهی تقویت‌شده با LLM در محاسبات عاطفی در مقیاس بزرگ فراهم می‌کند.