Emotion classification

Pengenalan emosi melalui ekspresi wajah merupakan salah satu bidang penelitian dalam computer vision dan artificial intelligence yang berkembang pesat. Kemampuan sistem dalam mengenali ekspresi wajah manusia dapat diterapkan pada berbagai bidang, seperti pendidikan, pelayanan publik, kesehatan, sistem keamanan, hingga interaksi manusia dengan komputer (Human Computer Interaction). Penelitian ini bertujuan merancang sistem pengenalan emosi manusia secara real-time menggunakan algoritma Convolutional Neural Network (CNN). Dataset yang digunakan terdiri atas tujuh kategori emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Proses penelitian meliputi preprocessing dataset, augmentasi data menggunakan ImageDataGenerator, pelatihan model CNN menggunakan TensorFlow Keras, penyimpanan bobot model, serta implementasi deteksi emosi secara real-time menggunakan webcam dan OpenCV. Model CNN dibangun menggunakan beberapa lapisan konvolusi, fungsi aktivasi ReLU, Max Pooling, Dropout, Flatten, Fully Connected Layer, serta Softmax sebagai lapisan klasifikasi. Hasil penelitian menunjukkan bahwa model mampu mengenali ekspresi wajah secara real-time dengan tingkat akurasi yang baik serta mampu mengklasifikasikan tujuh kategori emosi berdasarkan citra wajah yang diperoleh dari kamera. Sistem yang dikembangkan diharapkan dapat menjadi dasar pengembangan aplikasi pengenalan emosi pada berbagai bidang yang membutuhkan interaksi otomatis antara manusia dan komputer. Facial Emotion Recognition (FER) is an application of computer vision and artificial intelligence that enables a system to automatically recognize facial expressions. This study aims to design and implement a real-time system for recognizing seven emotion categories based on a Convolutional Neural Network (CNN) using a webcam. The dataset consists of seven classes: angry, disgust, fear, happy, neutral, sad, and surprise. Images are processed in grayscale format with a size of 48 × 48 pixels and augmented using ImageDataGenerator. The CNN model is built with convolutional layers, ReLU, Max Pooling, Dropout, Flatten, a fully connected layer, and Softmax, using the Adam optimizer, a batch size of 64, and 50 epochs. Evaluation was based on training accuracy, validation accuracy, training loss, and validation loss. The results show that the model achieved a training accuracy of 95.10% and a validation accuracy of 93.40%, with a training loss of 0.19 and a validation loss of 0.27 at the 50th epoch. The implementation of OpenCV and the Haar Cascade enables real-time face detection and emotion classification via a webcam. Black Box Testing confirmed that all the application’s main functions operate as designed. This study contributes to the field by integrating CNNs with webcams; however, testing on independent datasets as well as measurements of FPS and latency are required in future research.

شناسایی هیجان از طریق بیان چهره یکی از حوزه‌های پژوهشی در بینایی ماشین و هوش مصنوعی است که به سرعت در حال توسعه می‌باشد. توانایی سیستم‌ها در شناسایی بیان چهره انسان می‌تواند در حوزه‌های مختلفی مانند آموزش، خدمات عمومی، سلامت، سیستم‌های امنیتی و همچنین تعامل انسان و رایانه (Human Computer Interaction) به کار گرفته شود. هدف این پژوهش، طراحی یک سیستم شناسایی هیجان انسان به صورت بلادرنگ با استفاده از الگوریتم شبکه عصبی پیچشی (CNN) است. داده‌های مورد استفاده شامل هفت دسته هیجانی است: angry، disgust، fear، happy، neutral، sad و surprise. فرایند پژوهش شامل پیش‌پردازش داده‌ها، افزایش داده با استفاده از ImageDataGenerator، آموزش مدل CNN با استفاده از TensorFlow Keras، ذخیره وزن‌های مدل و پیاده‌سازی شناسایی هیجان به صورت بلادرنگ با استفاده از وب‌کم و OpenCV می‌باشد. مدل CNN با استفاده از چندین لایه کانولوشن، تابع فعال‌سازی ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax به عنوان لایه طبقه‌بندی ساخته شده است. نتایج پژوهش نشان می‌دهد که مدل قادر است بیان چهره را به صورت بلادرنگ با دقت مناسبی شناسایی کند و هفت دسته هیجانی را بر اساس تصویر چهره دریافتی از دوربین طبقه‌بندی نماید. سیستم توسعه‌یافته می‌تواند مبنایی برای توسعه برنامه‌های شناسایی هیجان در حوزه‌هایی باشد که نیازمند تعامل خودکار بین انسان و رایانه هستند. شناسایی هیجان چهره (Facial Emotion Recognition, FER) یکی از کاربردهای بینایی ماشین و هوش مصنوعی است که امکان شناسایی خودکار بیان چهره را برای سیستم فراهم می‌کند. این پژوهش با هدف طراحی و پیاده‌سازی یک سیستم بلادرنگ برای شناسایی هفت دسته هیجانی بر اساس شبکه عصبی پیچشی (CNN) با استفاده از وب‌کم انجام شده است. داده‌ها شامل هفت کلاس angry، disgust، fear، happy، neutral، sad و surprise هستند. تصاویر به صورت خاکستری و با اندازه ۴۸ × ۴۸ پیکسل پردازش و با ImageDataGenerator افزایش داده شده‌اند. مدل CNN با لایه‌های کانولوشن، ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax، با استفاده از بهینه‌ساز Adam، اندازه دسته ۶۴ و ۵۰ دوره (epoch) ساخته شده است. ارزیابی بر اساس دقت آموزش، دقت اعتبارسنجی، خطای آموزش و خطای اعتبارسنجی انجام شد. نتایج نشان داد مدل به دقت آموزش ۹۵.۱۰٪ و دقت اعتبارسنجی ۹۳.۴۰٪، با خطای آموزش ۰.۱۹ و خطای اعتبارسنجی ۰.۲۷ در دوره پنجاهم دست یافته است. پیاده‌سازی OpenCV و Haar Cascade امکان شناسایی چهره و طبقه‌بندی هیجان به صورت بلادرنگ از طریق وب‌کم را فراهم می‌کند. آزمون Black Box نشان داد که تمامی عملکردهای اصلی برنامه مطابق طراحی عمل می‌کنند. این پژوهش با ادغام CNN و وب‌کم به حوزه مربوطه کمک می‌کند؛ با این حال، آزمون بر روی داده‌های مستقل و همچنین اندازه‌گیری FPS و تأخیر در پژوهش‌های آتی مورد نیاز است.

Accurately managing emotions and quantifying anxiety continue to be important challenges in affective computing and digital mental health, especially where continuous, objective, and personalized evaluation goes beyond self-reported anxiety. Current deep learning systems mainly have coarse emotion classification ability and have no built-in and interpretable regulation mechanisms. In order to overcome these limitations, the Deep Learning Based Anxiety Quantification and Emotional Regulation Recommendation Generation Model (DLAQ-ERRG) is proposed in this study. It comprises three key components: (i) a Neural Stochastic Differential Attention Encoder (NSDAE) for capturing the continuous-time affective dynamics and temporal uncertainty from multimodal wearable signals; (ii) a Hyperbolic Contrastive Affective Manifold Learner (HCAML) for learning a non-Euclidean space to embed latent emotional states while preserving the hierarchical structure of affective severity and boosting inter-subject separability; and (iii) a Hyperbolic Neural Symbolic Policy Generator (ER-NSPG) for generating constraint-consistent and uncertainty-aware emotional regulation recommendations. Experimental results under strict Leave-One-Subject-Out validation on the WESAD dataset show an improvement of 11.85% compared to the best baseline (CCC = 0.734) and the Mean Absolute Error (MAE) of 0.384 and the Root Mean Square Error (RMSE) of 0.083, respectively. The overall anxiety prediction accuracy (AIPA) for affect-state classification is 87.3% for the model. Structured severity organization is confirmed by representation quality metrics: an Anxiety Severity Separation Score (ASS) of 0.726 and a Hyperbolic Clustering Quality Index (HCQI) of 0.681. The recommendation evaluation results in an Action Appropriateness Score (AAS) of 0.776, Recommendation Smoothness Score (RSS) of 0.764 and Emotion Regulation Diversity Score (RDS) of 0.701, all representing stable and tailored generation of interventions. The results illustrate the benefits of uncertainty-aware continuous estimation of anxiety-related arousal, improved structural representation, and interpretable support in regulating arousal within a single, uncertainty-aware framework.

مدیریت دقیق هیجان‌ها و کمی‌سازی اضطراب همچنان از چالش‌های مهم در رایانش عاطفی و سلامت روان دیجیتال به‌شمار می‌رود، به‌ویژه در مواردی که ارزیابی مستمر، عینی و شخصی‌سازی‌شده فراتر از اضطراب خودگزارش‌شده مورد نیاز است. سامانه‌های فعلی یادگیری عمیق عمدتاً دارای توانایی طبقه‌بندی عاطفی کلی هستند و فاقد سازوکارهای تنظیمی درونی و قابل تفسیر می‌باشند. به‌منظور غلبه بر این محدودیت‌ها، مدل مبتنی بر یادگیری عمیق برای کمی‌سازی اضطراب و تولید توصیه‌های تنظیم هیجان (DLAQ-ERRG) در این مطالعه پیشنهاد شده است. این مدل شامل سه مؤلفه کلیدی است: (i) رمزگذار توجهی تصادفی عصبی-افتراقی (NSDAE) برای ثبت پویایی‌های عاطفی پیوسته‌زمان و عدم‌قطعیت زمانی از سیگنال‌های پوشیدنی چندوجهی؛ (ii) یادگیرنده منیفلد عاطفی متضاد اَبَرهذلولوی (HCAML) برای یادگیری فضایی غیر اقلیدسی به‌منظور تعبیه حالات عاطفی نهفته ضمن حفظ ساختار سلسله‌مراتبی شدت عاطفی و افزایش قابلیت تفکیک بین آزمودنی‌ها؛ و (iii) تولیدکننده سیاست نمادین عصبی اَبَرهذلولوی (ER-NSPG) برای تولید توصیه‌های تنظیم هیجان سازگار با محدودیت‌ها و آگاه از عدم‌قطعیت. نتایج تجربی تحت اعتبارسنجی سختگیرانه Leave-One-Subject-Out بر روی مجموعه داده WESAD نشان‌دهنده بهبود ۱۱.۸۵٪ نسبت به بهترین خط پایه (CCC = 0.734) و خطای مطلق میانگین (MAE) برابر با 0.384 و ریشه میانگین مربعات خطا (RMSE) برابر با 0.083 است. دقت کلی پیش‌بینی اضطراب (AIPA) برای طبقه‌بندی حالت عاطفی در این مدل ۸۷.۳٪ گزارش شده است. سازمان‌دهی ساختاری شدت با معیارهای کیفیت بازنمایی تأیید می‌شود: امتیاز جداسازی شدت اضطراب (ASS) برابر با 0.726 و شاخص کیفیت خوشه‌بندی اَبَرهذلولوی (HCQI) برابر با 0.681. ارزیابی توصیه‌ها منجر به امتیاز تناسب اقدام (AAS) برابر با 0.776، امتیاز همواری توصیه (RSS) برابر با 0.764 و امتیاز تنوع تنظیم هیجان (RDS) برابر با 0.701 شده است که همگی نشان‌دهنده تولید مداخلات پایدار و متناسب می‌باشند. نتایج، مزایای برآورد پیوسته اضطراب مبتنی بر عدم‌قطعیت، بهبود بازنمایی ساختاری و پشتیبانی قابل تفسیر در تنظیم برانگیختگی را در یک چارچوب یکپارچه و آگاه از عدم‌قطعیت نشان می‌دهد.

Emotion recognition from EEG signals has become a central task in affective computing, offering non-invasive insight into human emotional states. Due to the nonlinear and nonstationary nature of EEG, entropy-based features have gained prominence as reliable indicators of brain complexity. However, traditional entropy metrics—such as Shannon entropy (ShanEn) and its variants—often lack sensitivity to transient dynamics and multiscale irregularities in the brain’s electrical activity. This study introduces a novel application of Entropy of Entropy (EoE) to EEG phase series (EoE – phase), aiming to enhance the detection of emotional states by capturing second-order variability in signal complexity. Unlike conventional measures, EoE quantifies not just signal unpredictability, but also the fluctuation of that unpredictability over time, offering a more dynamic representation of neural information flow. Using the GAMEEMO dataset, which includes EEG recordings from 28 participants during four emotion-evoking game scenarios (funny, boring, horror, calm), we computed and compared four feature sets: Phase Entropy, EoE – phase, ShanEn, and EoE applied to EEG amplitude time series. These features were classified using six machine learning models, including AdaBoost, SVM, and Random Forest. Our results demonstrate that EoE applied to phase dynamics significantly outperforms other entropy-based features, achieving a classification accuracy of 71.7% and AUC of 0.869 using the RF classifier with mixed PhaseEn and EoE-phase features, while traditional Shannon-based features reached only ~59% accuracy. This study provides the first systematic evaluation of EoE on EEG phase signals for emotion recognition, revealing its strong discriminative power and potential for integration into next-generation brain-computer interfaces.

شناسایی احساسات از سیگنال‌های EEG به یکی از وظایف محوری در رایانش عاطفی تبدیل شده است و بینشی غیرتهاجمی نسبت به وضعیت‌های عاطفی انسان ارائه می‌دهد. به دلیل ماهیت غیرخطی و غیرایستا بودن EEG، ویژگی‌های مبتنی بر آنتروپی به عنوان شاخص‌های قابل اعتماد پیچیدگی مغز مورد توجه قرار گرفته‌اند. با این حال، معیارهای سنتی آنتروپی—مانند آنتروپی شانون (ShanEn) و انواع آن—اغلب نسبت به پویایی‌های گذرا و بی‌نظمی‌های چندمقیاسی در فعالیت الکتریکی مغز حساسیت کافی ندارند. این مطالعه کاربرد نوینی از آنتروپیِ آنتروپی (EoE) را بر سری‌های فاز EEG (EoE – phase) معرفی می‌کند که هدف آن ارتقاء شناسایی وضعیت‌های عاطفی از طریق ثبت تغییرپذیری مرتبه دوم در پیچیدگی سیگنال است. برخلاف سنجه‌های متعارف، EoE نه تنها غیرقابل پیش‌بینی بودن سیگنال، بلکه نوسان این غیرقابل پیش‌بینی بودن را در طول زمان کمی‌سازی می‌کند و بازنمایی پویاتری از جریان اطلاعات عصبی ارائه می‌دهد. با استفاده از پایگاه داده GAMEEMO که شامل ثبت‌های EEG از ۲۸ شرکت‌کننده در چهار سناریوی بازی برانگیزاننده احساس (خنده‌دار، کسل‌کننده، ترسناک، آرام) است، چهار مجموعه ویژگی شامل آنتروپی فاز، EoE – phase، ShanEn و EoE اعمال‌شده بر سری زمانی دامنه EEG محاسبه و مقایسه شد. این ویژگی‌ها با استفاده از شش مدل یادگیری ماشین از جمله AdaBoost، SVM و Random Forest طبقه‌بندی شدند. نتایج ما نشان می‌دهد که EoE اعمال‌شده بر پویایی فاز به طور معناداری عملکرد بهتری نسبت به سایر ویژگی‌های مبتنی بر آنتروپی دارد و با استفاده از طبقه‌بند RF و ترکیب ویژگی‌های PhaseEn و EoE-phase، دقت طبقه‌بندی ۷۱.۷٪ و AUC معادل ۰.۸۶۹ را به دست می‌آورد، در حالی که ویژگی‌های مبتنی بر شانون تنها به دقت حدود ۵۹٪ می‌رسند. این مطالعه نخستین ارزیابی نظام‌مند EoE بر سیگنال‌های فاز EEG برای شناسایی احساسات را ارائه می‌دهد و قدرت تمایزبخشی بالای آن و پتانسیل ادغام در رابط‌های مغز-رایانه نسل آینده را آشکار می‌سازد.