Students with low academic achievement tend to display more maladaptive behaviours in interactions with peers and teachers. Empathy plays a key mediating role in these interactions and is also linked to academic performance. In particular, facial emotion recognition is one component of socioemotional processing that may contribute to empathic responding. To explore the relationship between empathy, emotion recognition, and academic achievement, a comparative study was conducted with 40 students aged 14–17, divided into two groups: one with low academic achievement enrolled in a school support programme, and a control group with adequate academic performance. A multimethod approach was applied, including the Basic Empathy Scale, a facial expression recognition test, and electroencephalographic (EEG) recordings. Results showed significantly lower cognitive empathy in the low-achieving group in the primary between-group analysis. The overall between-group difference in facial emotion recognition accuracy was not statistically significant. EEG analyses identified exploratory between-group differences in source-level oscillatory activity estimates during facial-expression processing. These electrophysiological findings provide complementary information about task-related activity patterns but should not be interpreted as specific neural markers of empathy or as confirmation of a behavioural facial emotion recognition deficit. Overall, the multimethod approach offers complementary perspectives on socioemotional functioning in low-achieving adolescents, although the exploratory EEG findings require cautious interpretation and replication in larger, independent samples.
Pengenalan emosi melalui ekspresi wajah merupakan salah satu bidang penelitian dalam computer vision dan artificial intelligence yang berkembang pesat. Kemampuan sistem dalam mengenali ekspresi wajah manusia dapat diterapkan pada berbagai bidang, seperti pendidikan, pelayanan publik, kesehatan, sistem keamanan, hingga interaksi manusia dengan komputer (Human Computer Interaction). Penelitian ini bertujuan merancang sistem pengenalan emosi manusia secara real-time menggunakan algoritma Convolutional Neural Network (CNN). Dataset yang digunakan terdiri atas tujuh kategori emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Proses penelitian meliputi preprocessing dataset, augmentasi data menggunakan ImageDataGenerator, pelatihan model CNN menggunakan TensorFlow Keras, penyimpanan bobot model, serta implementasi deteksi emosi secara real-time menggunakan webcam dan OpenCV. Model CNN dibangun menggunakan beberapa lapisan konvolusi, fungsi aktivasi ReLU, Max Pooling, Dropout, Flatten, Fully Connected Layer, serta Softmax sebagai lapisan klasifikasi. Hasil penelitian menunjukkan bahwa model mampu mengenali ekspresi wajah secara real-time dengan tingkat akurasi yang baik serta mampu mengklasifikasikan tujuh kategori emosi berdasarkan citra wajah yang diperoleh dari kamera. Sistem yang dikembangkan diharapkan dapat menjadi dasar pengembangan aplikasi pengenalan emosi pada berbagai bidang yang membutuhkan interaksi otomatis antara manusia dan komputer. Facial Emotion Recognition (FER) is an application of computer vision and artificial intelligence that enables a system to automatically recognize facial expressions. This study aims to design and implement a real-time system for recognizing seven emotion categories based on a Convolutional Neural Network (CNN) using a webcam. The dataset consists of seven classes: angry, disgust, fear, happy, neutral, sad, and surprise. Images are processed in grayscale format with a size of 48 × 48 pixels and augmented using ImageDataGenerator. The CNN model is built with convolutional layers, ReLU, Max Pooling, Dropout, Flatten, a fully connected layer, and Softmax, using the Adam optimizer, a batch size of 64, and 50 epochs. Evaluation was based on training accuracy, validation accuracy, training loss, and validation loss. The results show that the model achieved a training accuracy of 95.10% and a validation accuracy of 93.40%, with a training loss of 0.19 and a validation loss of 0.27 at the 50th epoch. The implementation of OpenCV and the Haar Cascade enables real-time face detection and emotion classification via a webcam. Black Box Testing confirmed that all the application’s main functions operate as designed. This study contributes to the field by integrating CNNs with webcams; however, testing on independent datasets as well as measurements of FPS and latency are required in future research.
شناسایی هیجان از طریق بیان چهره یکی از حوزههای پژوهشی در بینایی ماشین و هوش مصنوعی است که به سرعت در حال توسعه میباشد. توانایی سیستمها در شناسایی بیان چهره انسان میتواند در حوزههای مختلفی مانند آموزش، خدمات عمومی، سلامت، سیستمهای امنیتی و همچنین تعامل انسان و رایانه (Human Computer Interaction) به کار گرفته شود. هدف این پژوهش، طراحی یک سیستم شناسایی هیجان انسان به صورت بلادرنگ با استفاده از الگوریتم شبکه عصبی پیچشی (CNN) است. دادههای مورد استفاده شامل هفت دسته هیجانی است: angry، disgust، fear، happy، neutral، sad و surprise. فرایند پژوهش شامل پیشپردازش دادهها، افزایش داده با استفاده از ImageDataGenerator، آموزش مدل CNN با استفاده از TensorFlow Keras، ذخیره وزنهای مدل و پیادهسازی شناسایی هیجان به صورت بلادرنگ با استفاده از وبکم و OpenCV میباشد. مدل CNN با استفاده از چندین لایه کانولوشن، تابع فعالسازی ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax به عنوان لایه طبقهبندی ساخته شده است. نتایج پژوهش نشان میدهد که مدل قادر است بیان چهره را به صورت بلادرنگ با دقت مناسبی شناسایی کند و هفت دسته هیجانی را بر اساس تصویر چهره دریافتی از دوربین طبقهبندی نماید. سیستم توسعهیافته میتواند مبنایی برای توسعه برنامههای شناسایی هیجان در حوزههایی باشد که نیازمند تعامل خودکار بین انسان و رایانه هستند. شناسایی هیجان چهره (Facial Emotion Recognition, FER) یکی از کاربردهای بینایی ماشین و هوش مصنوعی است که امکان شناسایی خودکار بیان چهره را برای سیستم فراهم میکند. این پژوهش با هدف طراحی و پیادهسازی یک سیستم بلادرنگ برای شناسایی هفت دسته هیجانی بر اساس شبکه عصبی پیچشی (CNN) با استفاده از وبکم انجام شده است. دادهها شامل هفت کلاس angry، disgust، fear، happy، neutral، sad و surprise هستند. تصاویر به صورت خاکستری و با اندازه ۴۸ × ۴۸ پیکسل پردازش و با ImageDataGenerator افزایش داده شدهاند. مدل CNN با لایههای کانولوشن، ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax، با استفاده از بهینهساز Adam، اندازه دسته ۶۴ و ۵۰ دوره (epoch) ساخته شده است. ارزیابی بر اساس دقت آموزش، دقت اعتبارسنجی، خطای آموزش و خطای اعتبارسنجی انجام شد. نتایج نشان داد مدل به دقت آموزش ۹۵.۱۰٪ و دقت اعتبارسنجی ۹۳.۴۰٪، با خطای آموزش ۰.۱۹ و خطای اعتبارسنجی ۰.۲۷ در دوره پنجاهم دست یافته است. پیادهسازی OpenCV و Haar Cascade امکان شناسایی چهره و طبقهبندی هیجان به صورت بلادرنگ از طریق وبکم را فراهم میکند. آزمون Black Box نشان داد که تمامی عملکردهای اصلی برنامه مطابق طراحی عمل میکنند. این پژوهش با ادغام CNN و وبکم به حوزه مربوطه کمک میکند؛ با این حال، آزمون بر روی دادههای مستقل و همچنین اندازهگیری FPS و تأخیر در پژوهشهای آتی مورد نیاز است.
OBJECTIVE: Multi-view electroencephalography (EEG) emotion recognition must decide how the spectral graph sets of different connectivity views correspond and how their graph propagation operators interact. We present CSTO-Net, a cross-view spectral-transport and topology-operator network for EEG-based emotion recognition. Approach: CSTO-Net integrates three window-wise views: dynamic differential entropy (DDE) as node attributes, amplitude-envelope Pearson correlation coefficient (PCC) graphs, and phase-locking value (PLV) graphs. Cross-View Spectral Transport Routing (CSTR) formulates PCC-PLV spectral correspondence as an entropy-regularized optimal-transport problem with explicit marginal constraints, deliberately separating correspondence estimation from band-importance estimation. Directional Cross-Topology Modulation (DCTM) performs ordered composition of the two routed propagation operators on shared node features and encodes order-dependent propagation discrepancy via a provably skew-symmetric graph-operator commutator with signed decomposition. Main results: On the Database for Emotion Analysis using Physiological Signals (DEAP) dataset, CSTO-Net achieves 93.95 ± 2.50% valence and 94.97 ± 2.72% arousal accuracy under the subject-dependent setting, and 93.73% and 94.54% under participant-wise five-fold subject-independent cross-validation across 32 participants. On the SJTU Emotion EEG Dataset (SEED), it achieves 93.12% under the standard subject-dependent split, 91.36% under 15-fold leave-one-subject-out evaluation across 15 participants, and 98.05 ± 2.32% under subject-dependent five-fold cross-validation. Ablation studies confirm that both CSTR and DCTM contribute substantially to recognition accuracy. Significance: These results demonstrate that explicit cross-view spectral correspondence and topology-operator-level interaction provide complementary benefits for EEG emotion recognition, offering an interpretable route for modeling order-sensitive interactions between functional connectivity views.
هدف: شناسایی هیجان مبتنی بر الکتروانسفالوگرافی چندنما (EEG) باید تعیین کند که مجموعههای گراف طیفی نماهای مختلف ارتباطی چگونه با یکدیگر متناظر میشوند و عملگرهای انتشار گراف آنها چگونه با هم تعامل دارند. ما CSTO-Net را ارائه میدهیم؛ شبکهای برای انتقال طیفی بیننما و عملگر توپولوژی جهت شناسایی هیجان مبتنی بر EEG. روش: CSTO-Net سه نمای مبتنی بر پنجره را ادغام میکند: آنتروپی تفاضلی پویا (DDE) به عنوان ویژگیهای گره، گرافهای ضریب همبستگی پیرسون پوشآمپلیتیود (PCC) و گرافهای مقدار قفلشدگی فاز (PLV). مسیریابی انتقال طیفی بیننما (CSTR) متناظر بودن طیفی PCC-PLV را به صورت یک مسئله انتقال بهینه با قید حاشیهای صریح و منظمسازی آنتروپی مدلسازی میکند و به طور هدفمند برآورد متناظری را از برآورد اهمیت باند جدا میسازد. مدولاسیون متقاطع توپولوژی جهتدار (DCTM) ترکیب مرتب دو عملگر انتشار مسیریابیشده را بر ویژگیهای گره مشترک انجام میدهد و اختلاف انتشار وابسته به ترتیب را از طریق یک جابجایی عملگر گراف با تجزیه علامتدار و اثباتاً پادمتقارن رمزگذاری میکند. نتایج اصلی: بر روی پایگاه داده تحلیل هیجان با استفاده از سیگنالهای فیزیولوژیک (DEAP)، CSTO-Net به دقت 93.95 ± 2.50٪ برای والانس و 94.97 ± 2.72٪ برای برانگیختگی در شرایط وابسته به آزمودنی دست مییابد و در اعتبارسنجی متقاطع پنجتایی مستقل از آزمودنی به ترتیب 93.73٪ و 94.54٪ در میان 32 آزمودنی کسب میکند. بر روی پایگاه داده EEG هیجان دانشگاه SJTU (SEED)، به دقت 93.12٪ در تقسیمبندی استاندارد وابسته به آزمودنی، 91.36٪ در ارزیابی leave-one-subject-out پانزدهتایی در میان 15 آزمودنی و 98.05 ± 2.32٪ در اعتبارسنجی متقاطع پنجتایی وابسته به آزمودنی دست مییابد. مطالعات حذف مؤلفه نشان میدهد که هر دو مؤلفه CSTR و DCTM سهم قابل توجهی در دقت شناسایی دارند. اهمیت: این نتایج نشان میدهد که متناظرسازی طیفی بیننما و تعامل در سطح عملگر توپولوژی، مزایای مکملی برای شناسایی هیجان مبتنی بر EEG فراهم میآورد و مسیر قابل تفسیر برای مدلسازی تعاملات حساس به ترتیب بین نماهای ارتباط عملکردی ارائه میدهد.
Empathy is an important skill for social bonding, and thus can greatly affect children's daily social lives. Due to various obstructions when entering a predominantly hearing environment, deaf and hard-of-hearing (DHH) children might face restricted opportunities for developing emotional competence, which in turn may affect their empathic skills. The current study examined the extent to which the three main empathy layers that can be observed in young children (i.e., emotion contagion, attention to others' emotions, and prosocial actions) were related to emotional competence (emotion recognition, regulation and vocabulary) in DHH and hearing preschoolers attending mainstream education (kindergarten) in Portugal. A total of 181 preschoolers (32 DHH and 149 hearing) participated. Caregivers rated children's empathy, and three indices for emotional competence (emotion recognition, emotion regulation, emotion vocabulary). Additionally, hearing and language related factors were collected in the DHH group and included as control variables. One-tailed independent samples t -tests showed similar levels of empathy, emotion recognition and emotion regulation for both groups, but DHH children scored lower on emotion vocabulary than their hearing peers. Additionally, hierarchical regression analyses showed that better skills in emotional competence (all three indices) were associated with more empathic behaviors (prosocial actions) toward a person in distress in both groups. Outcomes are discussed in the context of social and emotional learning and the importance of equity in mainstream schools, addressing the special needs of DHH children or other children from marginalized groups.
همدلی یک مهارت مهم برای پیوندهای اجتماعی است و بنابراین میتواند تأثیر زیادی بر زندگی اجتماعی روزمره کودکان داشته باشد. به دلیل موانع مختلف هنگام ورود به محیطی عمدتاً شنوا، کودکان ناشنوا و کمشنوا (DHH) ممکن است با فرصتهای محدودی برای توسعه شایستگی هیجانی مواجه شوند که این امر به نوبه خود میتواند بر مهارتهای همدلی آنها تأثیر بگذارد. مطالعه حاضر میزان ارتباط سه لایه اصلی همدلی که در کودکان خردسال قابل مشاهده است (یعنی سرایت هیجانی، توجه به هیجانهای دیگران و رفتارهای طرفدارانه اجتماعی) را با شایستگی هیجانی (تشخیص هیجان، تنظیم هیجان و واژگان هیجانی) در کودکان پیشدبستانی ناشنوا و کمشنوا و شنوا که در آموزش فراگیر (مهدکودک) در پرتغال شرکت داشتند، بررسی کرد. در مجموع ۱۸۱ کودک پیشدبستانی (۳۲ کودک DHH و ۱۴۹ کودک شنوا) شرکت کردند. مراقبان، همدلی کودکان و سه شاخص شایستگی هیجانی (تشخیص هیجان، تنظیم هیجان، واژگان هیجانی) را ارزیابی کردند. علاوه بر این، عوامل مرتبط با شنوایی و زبان در گروه DHH جمعآوری و به عنوان متغیرهای کنترل لحاظ شد. آزمون t مستقل یکسویه نشان داد که سطوح همدلی، تشخیص هیجان و تنظیم هیجان در هر دو گروه مشابه بود، اما کودکان DHH در مقایسه با همسالان شنوا، نمرات پایینتری در واژگان هیجانی کسب کردند. همچنین، تحلیلهای رگرسیون سلسلهمراتبی نشان داد که مهارتهای بهتر در شایستگی هیجانی (هر سه شاخص) با رفتارهای همدلانه بیشتر (اقدامات طرفدارانه اجتماعی) نسبت به فردی در شرایط دشوار در هر دو گروه مرتبط بود. نتایج در زمینه یادگیری اجتماعی و هیجانی و اهمیت عدالت در مدارس فراگیر، با توجه به نیازهای ویژه کودکان DHH یا سایر کودکان از گروههای به حاشیه رانده شده، مورد بحث قرار گرفته است.
This article examines the theoretical foundations and educational opportunities for developing emotional intelligence in preschool children. It draws on an analysis of selected scholarly sources, a comparison of concepts, and a methodological synthesis. The relationships and distinctions among emotional intelligence, emotional competence, and social-emotional learning are discussed. Play-based activities are proposed to support emotion recognition and labeling, understanding emotional causes, empathy, and emotion regulation. The article also addresses teacher–parent collaboration, co-regulation, and criteria for pedagogical observation. The practical recommendations are methodological proposals developed for this article; their effectiveness has not been experimentally tested within this work.
این مقاله به بررسی مبانی نظری و فرصتهای آموزشی برای توسعه هوش هیجانی در کودکان پیشدبستانی میپردازد. مقاله بر تحلیل منابع علمی منتخب، مقایسه مفاهیم و سنتز روششناختی استوار است. روابط و تمایزات میان هوش هیجانی، شایستگی هیجانی و یادگیری اجتماعی-هیجانی مورد بحث قرار گرفتهاند. فعالیتهای مبتنی بر بازی به منظور حمایت از شناسایی و برچسبگذاری هیجانها، درک علل هیجانی، همدلی و تنظیم هیجان پیشنهاد شدهاند. مقاله همچنین به همکاری معلم و والدین، همتنظیمی و معیارهای مشاهده آموزشی میپردازد. توصیههای عملی ارائهشده، پیشنهادهای روششناختی تدوینشده برای این مقاله هستند و اثربخشی آنها در این پژوهش بهطور تجربی آزمون نشده است.
Abstract Currently, machine learning technology has been widely used in electroencephalogram (EEG) automatic emotion recognition tasks. However, the non-stationarity, individual differences, and high annotation costs in EEG signals seriously affect the generalization ability of the model. To solve these problems, we propose a new unsupervised domain adaptation framework named EEG-UDAF for EEG emotion recognition. First, we design a dual-view frequency domain feature fusion module that can extract rich EEG signals frequency domain features from two perspectives, differential entropy and power spectral density, and fuse them based on the self-attention mechanism. Second, we propose a spatio-temporal feature extraction module based on graph convolutional network and bidirectional long short-term memory. It can comprehensively consider the spatial topological structure of the brain and the dynamic characteristics of temporal changes between EEG channels to extract complex spatio-temporal features. Third, we use the unsupervised domain adaptation strategy to solve the non-stationarity and individual differences in EEG signals without manual annotation, and introduce a semantic correction mechanism to prevent incorrect class alignment. Experiments based on intra-subject and inter-subject paradigms show that EEG-UDAF can effectively alleviate non-stationarity and individual differences. Moreover, these transferable EEG representations also provide a potential foundation for LLM-augmented multimodal data fusion in large-scale affective computing.
در حال حاضر، فناوری یادگیری ماشین به طور گستردهای در وظایف شناسایی خودکار احساسات مبتنی بر الکتروانسفالوگرام (EEG) مورد استفاده قرار گرفتهاست. با این حال، غیرایستایی، تفاوتهای فردی و هزینههای بالای برچسبگذاری در سیگنالهای EEG به طور جدی توانایی تعمیم مدل را تحت تأثیر قرار میدهد. برای حل این مشکلات، چارچوب جدیدی با نام EEG-UDAF برای شناسایی احساسات مبتنی بر EEG پیشنهاد میکنیم. نخست، یک ماژول همجوشی ویژگیهای حوزه فرکانس با دو نما طراحی کردهایم که میتواند ویژگیهای غنی حوزه فرکانسی سیگنالهای EEG را از دو منظر، آنتروپی تفاضلی و چگالی طیفی توان، استخراج کرده و آنها را بر اساس سازوکار خودتوجهی ادغام کند. دوم، یک ماژول استخراج ویژگیهای فضایی-زمانی مبتنی بر شبکه عصبی کانولوشنی گراف و حافظه کوتاهمدت دوطرفه پیشنهاد میکنیم. این ماژول میتواند ساختار توپولوژیکی فضایی مغز و ویژگیهای پویای تغییرات زمانی بین کانالهای EEG را به طور جامع در نظر گرفته و ویژگیهای پیچیده فضایی-زمانی را استخراج کند. سوم، از راهبرد تطبیق حوزه بدون نظارت برای حل غیرایستایی و تفاوتهای فردی در سیگنالهای EEG بدون نیاز به برچسبگذاری دستی استفاده کرده و سازوکار اصلاح معنایی را برای جلوگیری از همترازی نادرست کلاسها معرفی میکنیم. آزمایشهای مبتنی بر پارادایمهای درونفردی و بینفردی نشان میدهد که EEG-UDAF میتواند به طور مؤثری غیرایستایی و تفاوتهای فردی را کاهش دهد. افزون بر این، این بازنماییهای قابل انتقال EEG همچنین بنیانی بالقوه برای همجوشی دادههای چندوجهی تقویتشده با LLM در محاسبات عاطفی در مقیاس بزرگ فراهم میکند.
Emotion recognition from EEG signals has become a central task in affective computing, offering non-invasive insight into human emotional states. Due to the nonlinear and nonstationary nature of EEG, entropy-based features have gained prominence as reliable indicators of brain complexity. However, traditional entropy metrics—such as Shannon entropy (ShanEn) and its variants—often lack sensitivity to transient dynamics and multiscale irregularities in the brain’s electrical activity. This study introduces a novel application of Entropy of Entropy (EoE) to EEG phase series (EoE – phase), aiming to enhance the detection of emotional states by capturing second-order variability in signal complexity. Unlike conventional measures, EoE quantifies not just signal unpredictability, but also the fluctuation of that unpredictability over time, offering a more dynamic representation of neural information flow. Using the GAMEEMO dataset, which includes EEG recordings from 28 participants during four emotion-evoking game scenarios (funny, boring, horror, calm), we computed and compared four feature sets: Phase Entropy, EoE – phase, ShanEn, and EoE applied to EEG amplitude time series. These features were classified using six machine learning models, including AdaBoost, SVM, and Random Forest. Our results demonstrate that EoE applied to phase dynamics significantly outperforms other entropy-based features, achieving a classification accuracy of 71.7% and AUC of 0.869 using the RF classifier with mixed PhaseEn and EoE-phase features, while traditional Shannon-based features reached only ~59% accuracy. This study provides the first systematic evaluation of EoE on EEG phase signals for emotion recognition, revealing its strong discriminative power and potential for integration into next-generation brain-computer interfaces.
شناسایی احساسات از سیگنالهای EEG به یکی از وظایف محوری در رایانش عاطفی تبدیل شده است و بینشی غیرتهاجمی نسبت به وضعیتهای عاطفی انسان ارائه میدهد. به دلیل ماهیت غیرخطی و غیرایستا بودن EEG، ویژگیهای مبتنی بر آنتروپی به عنوان شاخصهای قابل اعتماد پیچیدگی مغز مورد توجه قرار گرفتهاند. با این حال، معیارهای سنتی آنتروپی—مانند آنتروپی شانون (ShanEn) و انواع آن—اغلب نسبت به پویاییهای گذرا و بینظمیهای چندمقیاسی در فعالیت الکتریکی مغز حساسیت کافی ندارند. این مطالعه کاربرد نوینی از آنتروپیِ آنتروپی (EoE) را بر سریهای فاز EEG (EoE – phase) معرفی میکند که هدف آن ارتقاء شناسایی وضعیتهای عاطفی از طریق ثبت تغییرپذیری مرتبه دوم در پیچیدگی سیگنال است. برخلاف سنجههای متعارف، EoE نه تنها غیرقابل پیشبینی بودن سیگنال، بلکه نوسان این غیرقابل پیشبینی بودن را در طول زمان کمیسازی میکند و بازنمایی پویاتری از جریان اطلاعات عصبی ارائه میدهد. با استفاده از پایگاه داده GAMEEMO که شامل ثبتهای EEG از ۲۸ شرکتکننده در چهار سناریوی بازی برانگیزاننده احساس (خندهدار، کسلکننده، ترسناک، آرام) است، چهار مجموعه ویژگی شامل آنتروپی فاز، EoE – phase، ShanEn و EoE اعمالشده بر سری زمانی دامنه EEG محاسبه و مقایسه شد. این ویژگیها با استفاده از شش مدل یادگیری ماشین از جمله AdaBoost، SVM و Random Forest طبقهبندی شدند. نتایج ما نشان میدهد که EoE اعمالشده بر پویایی فاز به طور معناداری عملکرد بهتری نسبت به سایر ویژگیهای مبتنی بر آنتروپی دارد و با استفاده از طبقهبند RF و ترکیب ویژگیهای PhaseEn و EoE-phase، دقت طبقهبندی ۷۱.۷٪ و AUC معادل ۰.۸۶۹ را به دست میآورد، در حالی که ویژگیهای مبتنی بر شانون تنها به دقت حدود ۵۹٪ میرسند. این مطالعه نخستین ارزیابی نظاممند EoE بر سیگنالهای فاز EEG برای شناسایی احساسات را ارائه میدهد و قدرت تمایزبخشی بالای آن و پتانسیل ادغام در رابطهای مغز-رایانه نسل آینده را آشکار میسازد.
Research on emotional recognition from images is advancing across computer vision, psychology, and neuroscience. Even though computer vision has come a long way, emotion detection still faces many challenges. For example, facial-centric models trained on small datasets don't always get the right results, and there aren't enough image collections that show emotions in the right context to show how complicated they really are. This work proposes an innovative approach for contextual emotional detection by integrating bodily sensations with environmental data. We created LEMOTIC, a large, diverse dataset that covers a 116,034 images; wide range of emotional situations. We constructed our methodology utilising a deep convolutional neural network (DCNN) architecture. To better understand emotions in context, we connect 26 different emotional categories to three continuous emotional dimensions: valence, arousal, and dominance. After extensive hyperparameter tuning, our model demonstrated accurate emotion recognition from full-body postures and ambient data. Our Sentiment Recognition Model surpasses earlier techniques in both accuracy and generalisation for continuous and discrete emotional variables. Our study reveals that somatic and contextual emotions are particularly important when examining emotions in images. Our method improves context-aware emotion recognition by using deep learning and a carefully chosen dataset. This makes it easier to use in social robotics, affective computing, and human-computer interaction.
پژوهشها در زمینه شناسایی هیجان از تصاویر در حوزههای بینایی ماشین، روانشناسی و علوم اعصاب در حال پیشرفت است. با وجود پیشرفتهای قابل توجه در بینایی ماشین، شناسایی هیجان همچنان با چالشهای متعددی مواجه است. به عنوان مثال، مدلهای مبتنی بر چهره که با دادههای محدود آموزش دیدهاند، همواره نتایج دقیقی ارائه نمیدهند و مجموعه تصاویر کافی که هیجانها را در زمینه مناسب نمایش دهند و پیچیدگی آنها را نشان دهند، وجود ندارد. این پژوهش رویکردی نوآورانه برای شناسایی هیجان زمینهمند با ادغام احساسات بدنی و دادههای محیطی ارائه میدهد. ما مجموعه داده LEMOTIC را ایجاد کردیم که شامل ۱۱۶٬۰۳۴ تصویر و دامنه وسیعی از موقعیتهای هیجانی است. روششناسی ما مبتنی بر معماری شبکه عصبی کانولوشنی عمیق (DCNN) طراحی شده است. به منظور درک بهتر هیجانها در زمینه، ۲۶ دسته هیجانی مختلف را به سه بعد پیوسته هیجان شامل والانس، برانگیختگی و سلطه متصل کردیم. پس از تنظیم گسترده ابرپارامترها، مدل ما توانست شناسایی دقیقی از هیجان بر اساس وضعیتهای بدنی کامل و دادههای محیطی ارائه دهد. مدل شناسایی هیجان ما از نظر دقت و تعمیمپذیری در متغیرهای هیجانی پیوسته و گسسته، عملکرد بهتری نسبت به روشهای پیشین نشان داد. یافتههای پژوهش نشان میدهد که هیجانهای جسمانی و زمینهای در بررسی هیجانها در تصاویر اهمیت ویژهای دارند. روش ما با بهرهگیری از یادگیری عمیق و مجموعه دادهای منتخب، شناسایی هیجان آگاه از زمینه را بهبود میبخشد و کاربرد آن را در رباتیک اجتماعی، محاسبات عاطفی و تعامل انسان و رایانه تسهیل میکند.
Emotion recognition offers a route to quantifying interaction quality in early childhood education, yet existing methods suffer from unimodal input, poor real-time performance and weak generalization. This study proposes a speech-text multimodal model built on a Mamba encoder with a GatedxLSTM fusion mechanism, in which frame pooling and temporal masking resolve the temporal misalignment between modalities and a learnable gate adjusts modality contribution. Experiments on IEMOCAP and FAU-AIBO, together with an in-house KTC-Pilot corpus of authentic kindergarten interactions used for ecological validation, show that the approach outperforms mainstream baselines in F1, WA and UA. Three child-speech-aware adaptations, namely pitch and formant augmentation, silence-aware frame pooling and disfluency-tolerant text encoding, close the domain gap with authentic kindergarten dialogue, and modality-dropout training, cross-modal reconstruction of missing text and gating regularisation maintain robustness under incomplete inputs. A contamination audit against the CLAP pretraining corpora confirms that the gains do not arise from data leakage. A downstream evaluation using an Interaction Quality Index calibrated against expert observer ratings achieves a Pearson correlation of 0.692 with expert scores. An on-device deployment study on two embedded platforms further shows that the quantised framework sustains an end-to-end latency of 377 ms per utterance at a real-time factor of 0.075 and a board power of 9.6 W while retaining an F1 score of 0.706 on authentic kindergarten audio, and a stage-wise data-handling design keeps raw audio, spectral features and transcripts inside the classroom node so that only a scalar interaction quality value is written to persistent storage. Ablation and visualization analyses confirm the contribution of each structural component to recognition performance and interpretability.
شناسایی هیجان، روشی برای کمیسازی کیفیت تعامل در آموزش دوران کودکی ارائه میدهد، اما روشهای موجود با ورودی تکوجهی، عملکرد ضعیف در زمان واقعی و تعمیمپذیری محدود مواجه هستند. این پژوهش، یک مدل چندوجهی گفتار-متن مبتنی بر رمزگذار Mamba با سازوکار ادغام GatedxLSTM پیشنهاد میکند که در آن، تجمیع قاب و پوشش زمانی، عدمهمزمانی زمانی بین وجهها را رفع میکند و یک دروازه قابل یادگیری، سهم هر وجه را تنظیم مینماید. آزمایشها بر روی مجموعههای IEMOCAP و FAU-AIBO، به همراه پیکره داخلی KTC-Pilot از تعاملات اصیل مهدکودک که برای اعتبارسنجی بومشناختی استفاده شده است، نشان میدهد که رویکرد پیشنهادی در معیارهای F1، WA و UA از مبناهای رایج پیشی میگیرد. سه سازگاری آگاه از گفتار کودک، شامل افزایش زیر و بمی و فورمانت، تجمیع قاب حساس به سکوت و رمزگذاری متن مقاوم به ناروانی، فاصله حوزهای با گفتوگوی اصیل مهدکودک را کاهش میدهد و آموزش با حذف وجه، بازسازی متقابل متن مفقود و منظمسازی دروازهای، پایداری مدل را در ورودیهای ناقص حفظ میکند. ممیزی آلودگی نسبت به پیکرههای پیشآموزش CLAP تأیید میکند که بهبودها ناشی از نشت داده نیست. ارزیابی پاییندستی با استفاده از شاخص کیفیت تعامل که بر اساس امتیازدهی ناظران خبره کالیبره شده است، همبستگی پیرسون 0.692 با امتیازهای خبره به دست میآورد. مطالعه استقرار بر روی دستگاه در دو پلتفرم تعبیهشده نشان میدهد که چارچوب کمیتیافته، تأخیر انتها به انتهای 377 میلیثانیه به ازای هر بیان را با ضریب زمان واقعی 0.075 و توان برد 9.6 وات حفظ میکند، در حالی که امتیاز F1 برابر با 0.706 بر روی صوت اصیل مهدکودک باقی میماند و طراحی مرحلهای مدیریت دادهها موجب میشود صوت خام، ویژگیهای طیفی و رونوشتها در گره کلاسی باقی بماند و تنها یک مقدار عددی کیفیت تعامل در حافظه دائمی ثبت شود. تحلیل حذف مؤلفه و تجسم، سهم هر جزء ساختاری در عملکرد شناسایی و تفسیرپذیری را تأیید میکند.
Hemodialysis patients often experience chronic stress, leading to psychological challenges such as difficulty in emotion regulation and reduced resilience. Emotional schema therapy may offer an effective strategy to address these issues. This study investigated the impact of an emotional schema therapy program on resilience and difficulties in emotion regulation in hemodialysis patients. This quasi-experimental, two-center study included 60 hemodialysis patients from two medical centers in Rafsanjan, southeastern Iran. Participants were selected via convenience sampling and then participants were sampled from two centers non-randomly assigned to intervention or control by lot. The intervention group participated in ten sessions of an emotional schema therapy program, each of which took 90 min during a total of five weeks, while the control group received routine care only. Both groups completed a demographic information questionnaire, the Connor-Davidson Resilience Scale, and the Difficulties in Emotion Regulation Scale (Gratz & Roemer) before and three months after the intervention. Data were analyzed using SPSS 22. Before the intervention, the two groups showed no significant differences in the total mean scores or subscale scores for difficulties in emotion regulation or resilience. However, following the intervention, the total score for difficulties in emotion regulation significantly decreased and the total resilience score increased in the intervention group compared with the control group ( P < 0.001). The findings suggest that the emotional schema therapy program may be effective in improving resilience and reducing difficulties in emotion regulation in hemodialysis patients. Future research should determine the long-term stability of these effects and compare emotional schema therapy with other psychological treatments. Trial registration : Trial registration Iranian Registry of Clinical Trial, IRCT20250507065634N10 registered on 16/11/2025 (prospectively registered).
بیماران همودیالیزی اغلب دچار استرس مزمن میشوند که منجر به چالشهای روانشناختی مانند دشواری در تنظیم هیجان و کاهش تابآوری میگردد. طرحوارهدرمانی هیجانی ممکن است راهبردی مؤثر برای مقابله با این مشکلات ارائه دهد. این مطالعه تأثیر یک برنامه طرحوارهدرمانی هیجانی بر تابآوری و دشواریهای تنظیم هیجان در بیماران همودیالیزی را بررسی کرد. این مطالعه شبهآزمایشی دو مرکزی شامل ۶۰ بیمار همودیالیزی از دو مرکز درمانی در رفسنجان، جنوبشرقی ایران بود. شرکتکنندگان به روش نمونهگیری در دسترس انتخاب شدند و سپس از دو مرکز به صورت غیرتصادفی و با قرعه به گروه مداخله یا کنترل تخصیص یافتند. گروه مداخله در ده جلسه برنامه طرحوارهدرمانی هیجانی شرکت کردند که هر جلسه ۹۰ دقیقه و در مجموع طی پنج هفته برگزار شد، در حالی که گروه کنترل فقط مراقبت معمول را دریافت نمود. هر دو گروه قبل و سه ماه پس از مداخله، پرسشنامه اطلاعات جمعیتشناختی، مقیاس تابآوری کانر-دیویدسون و مقیاس دشواریهای تنظیم هیجان (Gratz & Roemer) را تکمیل کردند. دادهها با استفاده از نرمافزار SPSS نسخه ۲۲ تحلیل شد. پیش از مداخله، بین دو گروه از نظر میانگین نمره کل یا نمرات زیرمقیاسهای دشواری در تنظیم هیجان یا تابآوری تفاوت معناداری مشاهده نشد. با این حال، پس از مداخله، نمره کل دشواریهای تنظیم هیجان در گروه مداخله به طور معناداری کاهش یافت و نمره کل تابآوری افزایش یافت (P < 0.001) در مقایسه با گروه کنترل. یافتهها نشان میدهد که برنامه طرحوارهدرمانی هیجانی میتواند در بهبود تابآوری و کاهش دشواریهای تنظیم هیجان در بیماران همودیالیزی مؤثر باشد. پژوهشهای آینده باید پایداری بلندمدت این اثرات را تعیین کرده و طرحوارهدرمانی هیجانی را با سایر درمانهای روانشناختی مقایسه نمایند. ثبت کارآزمایی: ثبت کارآزمایی در سامانه ثبت کارآزمایی بالینی ایران، IRCT20250507065634N10 ثبتشده در ۱۶/۱۱/۲۰۲۵ (ثبت آیندهنگر).
Driving can be enhanced if the vehicle quickly responds to the driver’s emotions. Accurate recognition of the driver’s emotional state is essential for advanced driver assistance systems (ADAS). The existing models restrict to single-modal data and fail to acquire hidden emotions which affects the prediction accuracy. Also, they lack real time data integration with self driving vehicles. Thus, a more robust multimodal model is needed to combine driver’s vital metrics and emotional behaviors for enhanced safety and dynamic vehicle-human interactivity. The proposed model ‘Emo-Aware’ blends real-time data from multiple sensors, including face emotion detection cameras, speech emotion detection microphones, heart rate sensors, and blood pressure sensors. The captured data are preprocessed to remove noise, retrieve relevant features and amplify to the desired state. Further, it processes this integrated data using a CNN model with hard voting method to precisely assess driver’s sentiments. The proposed framework is validated in a simulator using benchmark multimodal datasets, demonstrating its effectiveness for driver emotion assessment and laying groundwork for future real-world ADAS deployment. The robustness of model lies in its capability to adjust driving constraints on basis of the emotion quotient of driver thereby providing a personalized driving environment. Upon model’s implementation, there is a notable rise in accuracy and fall in the loss function. The diagonal values in the confusion matrix represent class-wise emotion detection accuracies of 0.92, 0.93, 0.91, 0.95, 0.92, and 0.86, corresponding to the emotions of disgust, fear, happiness, neutrality, sadness, and surprise, respectively. The results for discrete functional modules are also gauged. The speech-sentiment module recorded the optimal values, 0.94, 0.93, 0.91, and 0.92, respectively, for accuracy, precision, recall, and f-score. The blood pressure module reported the MSE, RMSE, MAE, and R-squared values as 6 mmHg² and 2.6 mmHg, 2.2 mmHg, and 0.96, respectively. Furthermore, the Face module also recorded the optimum values of 0.95, 0.94, 0.93, and 0.93 for accuracy, precision, recall, and f-score, respectively. Therefore, the model can be beneficial for advanced driver emotion detection that not only emphasizes safety but also examines the relationship between drivers and their vehicles through personalized emotionally aware interactions.
رانندگی میتواند در صورتی بهبود یابد که وسیله نقلیه به سرعت به هیجانات راننده واکنش نشان دهد. شناسایی دقیق وضعیت هیجانی راننده برای سامانههای پیشرفته کمکراننده (ADAS) ضروری است. مدلهای موجود به دادههای تکوجهی محدود میشوند و قادر به شناسایی هیجانات پنهان نیستند که این امر بر دقت پیشبینی تأثیر میگذارد. همچنین، این مدلها فاقد یکپارچهسازی دادههای بلادرنگ با خودروهای خودران هستند. بنابراین، نیاز به یک مدل چندوجهی مقاومتر وجود دارد تا شاخصهای حیاتی و رفتارهای هیجانی راننده را برای افزایش ایمنی و تعامل پویای انسان و خودرو ترکیب کند. مدل پیشنهادی «Emo-Aware» دادههای بلادرنگ را از حسگرهای متعدد، از جمله دوربینهای شناسایی هیجان چهره، میکروفونهای شناسایی هیجان گفتار، حسگرهای ضربان قلب و حسگرهای فشار خون ترکیب میکند. دادههای جمعآوریشده پیشپردازش میشوند تا نویز حذف، ویژگیهای مرتبط استخراج و به وضعیت مطلوب تقویت شوند. سپس این دادههای یکپارچه با استفاده از مدل CNN و روش hard voting برای ارزیابی دقیق احساسات راننده پردازش میشوند. چارچوب پیشنهادی در شبیهساز با استفاده از دادهمجموعههای چندوجهی مرجع اعتبارسنجی شده و اثربخشی آن برای ارزیابی هیجان راننده و فراهمسازی زمینه برای استقرار آتی در ADAS واقعی را نشان میدهد. پایداری مدل در توانایی آن برای تنظیم محدودیتهای رانندگی بر اساس ضریب هیجانی راننده نهفته است و بدین ترتیب محیط رانندگی شخصیسازیشدهای فراهم میشود. با پیادهسازی مدل، افزایش قابل توجهی در دقت و کاهش تابع خطا مشاهده میشود. مقادیر قطری ماتریس سردرگمی دقت شناسایی هیجان به تفکیک کلاس را به ترتیب 0.92، 0.93، 0.91، 0.95، 0.92 و 0.86 برای هیجانات انزجار، ترس، شادی، خنثی، غم و شگفتی نشان میدهد. نتایج ماژولهای عملکردی مجزا نیز ارزیابی شدهاند. ماژول احساس-گفتار مقادیر بهینه 0.94، 0.93، 0.91 و 0.92 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. ماژول فشار خون مقادیر MSE، RMSE، MAE و R-squared را به ترتیب 6 mmHg² و 2.6 mmHg، 2.2 mmHg و 0.96 گزارش کرده است. همچنین، ماژول چهره نیز مقادیر بهینه 0.95، 0.94، 0.93 و 0.93 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. بنابراین، این مدل میتواند برای شناسایی پیشرفته هیجان راننده مفید باشد که نه تنها بر ایمنی تأکید دارد بلکه رابطه بین رانندگان و خودروهایشان را از طریق تعاملات شخصیسازیشده و آگاه از هیجان بررسی میکند.
The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.
کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخهای فیزیولوژیکی و رفتاری چندوجهی است و به سیستمهای هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیشبینی قصد عاطفی کمک میکند. اگرچه مدلهای عمیق موجود پیشرفتهای قابل توجهی نشان دادهاند، اما اکثر آنها شیوههای چندوجهی را به صورت مجزا پردازش میکنند و مکانیسمهای علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمیگیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی میکند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهتدار متغیر با زمان میان کانالهای فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمیگیرد. تمامی شیوههای داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویاییهای چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدلسازی شدهاند که با مکانیزم خودتوجهی یاد گرفته میشود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیههای نهفته در حال تغییر پیوسته را آموزش میدهد تا بتواند تغییرات احساسات را به طور هموار مدلسازی کند. توجه متقاطع شرطیشده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام میکند و استنباطی معنادار و فردمحور ارائه میدهد. تحلیلهای تجربی بر روی مجموعه AFFEC نشان میدهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدلهای پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوههای داده مقاوم است. نقشههای تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودیهای شیوههای داده نشان میدهد که اطلاعات علوم اعصاب درباره شکلگیری احساسات ارائه میکند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل میکند.
Abstract Previous research finds that vocal emotions are recognized above chance, with higher accuracy typically observed for one’s own cultural group – an “in-group” advantage. However, this may not apply uniformly, especially for bilinguals who are highly proficient in a second language (L2) but not members of the L2 cultural in-group. This study investigates Dutch-English bilinguals’ recognition of anger, fear, happiness, sadness and neutral emotion in Dutch (first language; L1), English (second language; L2) and two unfamiliar languages, Arabic and Hindi, using pseudo-utterances. Listeners were highly accurate in recognizing emotions in both Dutch and English. Recognition in Arabic matched their known languages, while Hindi was lower. Additionally, accuracy in English emotion recognition was positively correlated with English proficiency. These results suggest that the in-group advantage can extend to a highly proficient L2, indicating that cultural membership is not strictly necessary for highly accurate vocal emotion recognition.
پژوهشهای پیشین نشان دادهاند که هیجانهای صوتی بالاتر از سطح تصادف شناسایی میشوند و معمولاً دقت بیشتری برای گروه فرهنگی خود فرد ــ مزیت «درونگروهی» ــ مشاهده میشود. با این حال، این امر ممکن است به طور یکنواخت صدق نکند، به ویژه برای دوزبانههایی که در زبان دوم (L2) بسیار ماهر هستند اما عضو گروه فرهنگی زبان دوم نیستند. این مطالعه به بررسی شناسایی خشم، ترس، شادی، غم و هیجان خنثی در زبان هلندی (زبان اول؛ L1)، انگلیسی (زبان دوم؛ L2) و دو زبان ناآشنای عربی و هندی توسط دوزبانههای هلندی-انگلیسی با استفاده از شبهگفتارها میپردازد. شنوندگان در شناسایی هیجانها در هر دو زبان هلندی و انگلیسی بسیار دقیق بودند. شناسایی هیجان در زبان عربی با زبانهای آشنا برابری میکرد، در حالی که در زبان هندی پایینتر بود. همچنین، دقت در شناسایی هیجانهای انگلیسی با مهارت زبان انگلیسی همبستگی مثبت داشت. این نتایج نشان میدهد که مزیت درونگروهی میتواند به زبان دوم با مهارت بالا نیز گسترش یابد و عضویت فرهنگی برای شناسایی بسیار دقیق هیجان صوتی کاملاً ضروری نیست.