facial expressions

Pengenalan emosi melalui ekspresi wajah merupakan salah satu bidang penelitian dalam computer vision dan artificial intelligence yang berkembang pesat. Kemampuan sistem dalam mengenali ekspresi wajah manusia dapat diterapkan pada berbagai bidang, seperti pendidikan, pelayanan publik, kesehatan, sistem keamanan, hingga interaksi manusia dengan komputer (Human Computer Interaction). Penelitian ini bertujuan merancang sistem pengenalan emosi manusia secara real-time menggunakan algoritma Convolutional Neural Network (CNN). Dataset yang digunakan terdiri atas tujuh kategori emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Proses penelitian meliputi preprocessing dataset, augmentasi data menggunakan ImageDataGenerator, pelatihan model CNN menggunakan TensorFlow Keras, penyimpanan bobot model, serta implementasi deteksi emosi secara real-time menggunakan webcam dan OpenCV. Model CNN dibangun menggunakan beberapa lapisan konvolusi, fungsi aktivasi ReLU, Max Pooling, Dropout, Flatten, Fully Connected Layer, serta Softmax sebagai lapisan klasifikasi. Hasil penelitian menunjukkan bahwa model mampu mengenali ekspresi wajah secara real-time dengan tingkat akurasi yang baik serta mampu mengklasifikasikan tujuh kategori emosi berdasarkan citra wajah yang diperoleh dari kamera. Sistem yang dikembangkan diharapkan dapat menjadi dasar pengembangan aplikasi pengenalan emosi pada berbagai bidang yang membutuhkan interaksi otomatis antara manusia dan komputer. Facial Emotion Recognition (FER) is an application of computer vision and artificial intelligence that enables a system to automatically recognize facial expressions. This study aims to design and implement a real-time system for recognizing seven emotion categories based on a Convolutional Neural Network (CNN) using a webcam. The dataset consists of seven classes: angry, disgust, fear, happy, neutral, sad, and surprise. Images are processed in grayscale format with a size of 48 × 48 pixels and augmented using ImageDataGenerator. The CNN model is built with convolutional layers, ReLU, Max Pooling, Dropout, Flatten, a fully connected layer, and Softmax, using the Adam optimizer, a batch size of 64, and 50 epochs. Evaluation was based on training accuracy, validation accuracy, training loss, and validation loss. The results show that the model achieved a training accuracy of 95.10% and a validation accuracy of 93.40%, with a training loss of 0.19 and a validation loss of 0.27 at the 50th epoch. The implementation of OpenCV and the Haar Cascade enables real-time face detection and emotion classification via a webcam. Black Box Testing confirmed that all the application’s main functions operate as designed. This study contributes to the field by integrating CNNs with webcams; however, testing on independent datasets as well as measurements of FPS and latency are required in future research.

شناسایی هیجان از طریق بیان چهره یکی از حوزه‌های پژوهشی در بینایی ماشین و هوش مصنوعی است که به سرعت در حال توسعه می‌باشد. توانایی سیستم‌ها در شناسایی بیان چهره انسان می‌تواند در حوزه‌های مختلفی مانند آموزش، خدمات عمومی، سلامت، سیستم‌های امنیتی و همچنین تعامل انسان و رایانه (Human Computer Interaction) به کار گرفته شود. هدف این پژوهش، طراحی یک سیستم شناسایی هیجان انسان به صورت بلادرنگ با استفاده از الگوریتم شبکه عصبی پیچشی (CNN) است. داده‌های مورد استفاده شامل هفت دسته هیجانی است: angry، disgust، fear، happy، neutral، sad و surprise. فرایند پژوهش شامل پیش‌پردازش داده‌ها، افزایش داده با استفاده از ImageDataGenerator، آموزش مدل CNN با استفاده از TensorFlow Keras، ذخیره وزن‌های مدل و پیاده‌سازی شناسایی هیجان به صورت بلادرنگ با استفاده از وب‌کم و OpenCV می‌باشد. مدل CNN با استفاده از چندین لایه کانولوشن، تابع فعال‌سازی ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax به عنوان لایه طبقه‌بندی ساخته شده است. نتایج پژوهش نشان می‌دهد که مدل قادر است بیان چهره را به صورت بلادرنگ با دقت مناسبی شناسایی کند و هفت دسته هیجانی را بر اساس تصویر چهره دریافتی از دوربین طبقه‌بندی نماید. سیستم توسعه‌یافته می‌تواند مبنایی برای توسعه برنامه‌های شناسایی هیجان در حوزه‌هایی باشد که نیازمند تعامل خودکار بین انسان و رایانه هستند. شناسایی هیجان چهره (Facial Emotion Recognition, FER) یکی از کاربردهای بینایی ماشین و هوش مصنوعی است که امکان شناسایی خودکار بیان چهره را برای سیستم فراهم می‌کند. این پژوهش با هدف طراحی و پیاده‌سازی یک سیستم بلادرنگ برای شناسایی هفت دسته هیجانی بر اساس شبکه عصبی پیچشی (CNN) با استفاده از وب‌کم انجام شده است. داده‌ها شامل هفت کلاس angry، disgust، fear، happy، neutral، sad و surprise هستند. تصاویر به صورت خاکستری و با اندازه ۴۸ × ۴۸ پیکسل پردازش و با ImageDataGenerator افزایش داده شده‌اند. مدل CNN با لایه‌های کانولوشن، ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax، با استفاده از بهینه‌ساز Adam، اندازه دسته ۶۴ و ۵۰ دوره (epoch) ساخته شده است. ارزیابی بر اساس دقت آموزش، دقت اعتبارسنجی، خطای آموزش و خطای اعتبارسنجی انجام شد. نتایج نشان داد مدل به دقت آموزش ۹۵.۱۰٪ و دقت اعتبارسنجی ۹۳.۴۰٪، با خطای آموزش ۰.۱۹ و خطای اعتبارسنجی ۰.۲۷ در دوره پنجاهم دست یافته است. پیاده‌سازی OpenCV و Haar Cascade امکان شناسایی چهره و طبقه‌بندی هیجان به صورت بلادرنگ از طریق وب‌کم را فراهم می‌کند. آزمون Black Box نشان داد که تمامی عملکردهای اصلی برنامه مطابق طراحی عمل می‌کنند. این پژوهش با ادغام CNN و وب‌کم به حوزه مربوطه کمک می‌کند؛ با این حال، آزمون بر روی داده‌های مستقل و همچنین اندازه‌گیری FPS و تأخیر در پژوهش‌های آتی مورد نیاز است.

The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.

کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخ‌های فیزیولوژیکی و رفتاری چندوجهی است و به سیستم‌های هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیش‌بینی قصد عاطفی کمک می‌کند. اگرچه مدل‌های عمیق موجود پیشرفت‌های قابل توجهی نشان داده‌اند، اما اکثر آن‌ها شیوه‌های چندوجهی را به صورت مجزا پردازش می‌کنند و مکانیسم‌های علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمی‌گیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی می‌کند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهت‌دار متغیر با زمان میان کانال‌های فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمی‌گیرد. تمامی شیوه‌های داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویایی‌های چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدل‌سازی شده‌اند که با مکانیزم خودتوجهی یاد گرفته می‌شود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیه‌های نهفته در حال تغییر پیوسته را آموزش می‌دهد تا بتواند تغییرات احساسات را به طور هموار مدل‌سازی کند. توجه متقاطع شرطی‌شده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام می‌کند و استنباطی معنادار و فردمحور ارائه می‌دهد. تحلیل‌های تجربی بر روی مجموعه AFFEC نشان می‌دهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدل‌های پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوه‌های داده مقاوم است. نقشه‌های تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودی‌های شیوه‌های داده نشان می‌دهد که اطلاعات علوم اعصاب درباره شکل‌گیری احساسات ارائه می‌کند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل می‌کند.

Emotional stimuli (e.g., negative facial expressions) enjoy prioritized memory access when task relevant, consistent with their ability to capture attention. Whether emotional expression also impacts on memory access when task-irrelevant is important for arbitrating between feature-based and object-based attentional capture. Here, the authors address this question in 3 experiments using an attentional blink task with face photographs as first and second target (T1, T2). They demonstrate reduced neutral T2 identity recognition after angry or happy T1 expression, compared to neutral T1, and this supports attentional capture by a task-irrelevant feature. Crucially, after neutral T1, T2 identity recognition was enhanced and not suppressed when T2 was angry—suggesting that attentional capture by this task-irrelevant feature may be object-based and not feature-based. As an unexpected finding, both angry and happy facial expressions suppress memory access for competing objects, but only angry facial expression enjoyed privileged memory access. This could imply that these 2 processes are relatively independent from one another.

محرک‌های هیجانی (مانند حالت‌های منفی چهره) هنگام مرتبط بودن با وظیفه، دسترسی اولویت‌دار به حافظه دارند که با توانایی آن‌ها در جلب توجه سازگار است. اینکه آیا حالت هیجانی چهره زمانی که بی‌ارتباط با وظیفه است نیز بر دسترسی به حافظه تأثیر می‌گذارد، برای داوری میان جلب توجه مبتنی بر ویژگی و جلب توجه مبتنی بر شیء اهمیت دارد. در این پژوهش، نویسندگان این پرسش را در سه آزمایش با استفاده از تکلیف چشمک توجهی و عکس‌های چهره به عنوان هدف اول و دوم (T1، T2) بررسی کردند. آن‌ها کاهش شناسایی هویت T2 خنثی پس از ارائه حالت چهره عصبانی یا شاد در T1 را نسبت به T1 خنثی نشان دادند که این امر از جلب توجه توسط یک ویژگی بی‌ارتباط با وظیفه حمایت می‌کند. نکته مهم این است که پس از T1 خنثی، شناسایی هویت T2 زمانی که T2 عصبانی بود افزایش یافت و سرکوب نشد—که این امر نشان می‌دهد جلب توجه توسط این ویژگی بی‌ارتباط با وظیفه ممکن است مبتنی بر شیء و نه مبتنی بر ویژگی باشد. به عنوان یافته‌ای غیرمنتظره، هر دو حالت چهره عصبانی و شاد دسترسی به حافظه برای اشیای رقیب را سرکوب کردند، اما تنها حالت چهره عصبانی از دسترسی ممتاز به حافظه برخوردار بود. این موضوع می‌تواند دلالت بر آن داشته باشد که این دو فرایند نسبتاً مستقل از یکدیگر هستند.