Boutaina Hdioud

Research on emotional recognition from images is advancing across computer vision, psychology, and neuroscience. Even though computer vision has come a long way, emotion detection still faces many challenges. For example, facial-centric models trained on small datasets don't always get the right results, and there aren't enough image collections that show emotions in the right context to show how complicated they really are. This work proposes an innovative approach for contextual emotional detection by integrating bodily sensations with environmental data. We created LEMOTIC, a large, diverse dataset that covers a 116,034 images; wide range of emotional situations. We constructed our methodology utilising a deep convolutional neural network (DCNN) architecture. To better understand emotions in context, we connect 26 different emotional categories to three continuous emotional dimensions: valence, arousal, and dominance. After extensive hyperparameter tuning, our model demonstrated accurate emotion recognition from full-body postures and ambient data. Our Sentiment Recognition Model surpasses earlier techniques in both accuracy and generalisation for continuous and discrete emotional variables. Our study reveals that somatic and contextual emotions are particularly important when examining emotions in images. Our method improves context-aware emotion recognition by using deep learning and a carefully chosen dataset. This makes it easier to use in social robotics, affective computing, and human-computer interaction.

پژوهش‌ها در زمینه شناسایی هیجان از تصاویر در حوزه‌های بینایی ماشین، روان‌شناسی و علوم اعصاب در حال پیشرفت است. با وجود پیشرفت‌های قابل توجه در بینایی ماشین، شناسایی هیجان همچنان با چالش‌های متعددی مواجه است. به عنوان مثال، مدل‌های مبتنی بر چهره که با داده‌های محدود آموزش دیده‌اند، همواره نتایج دقیقی ارائه نمی‌دهند و مجموعه تصاویر کافی که هیجان‌ها را در زمینه مناسب نمایش دهند و پیچیدگی آن‌ها را نشان دهند، وجود ندارد. این پژوهش رویکردی نوآورانه برای شناسایی هیجان زمینه‌مند با ادغام احساسات بدنی و داده‌های محیطی ارائه می‌دهد. ما مجموعه داده LEMOTIC را ایجاد کردیم که شامل ۱۱۶٬۰۳۴ تصویر و دامنه وسیعی از موقعیت‌های هیجانی است. روش‌شناسی ما مبتنی بر معماری شبکه عصبی کانولوشنی عمیق (DCNN) طراحی شده است. به منظور درک بهتر هیجان‌ها در زمینه، ۲۶ دسته هیجانی مختلف را به سه بعد پیوسته هیجان شامل والانس، برانگیختگی و سلطه متصل کردیم. پس از تنظیم گسترده ابرپارامترها، مدل ما توانست شناسایی دقیقی از هیجان بر اساس وضعیت‌های بدنی کامل و داده‌های محیطی ارائه دهد. مدل شناسایی هیجان ما از نظر دقت و تعمیم‌پذیری در متغیرهای هیجانی پیوسته و گسسته، عملکرد بهتری نسبت به روش‌های پیشین نشان داد. یافته‌های پژوهش نشان می‌دهد که هیجان‌های جسمانی و زمینه‌ای در بررسی هیجان‌ها در تصاویر اهمیت ویژه‌ای دارند. روش ما با بهره‌گیری از یادگیری عمیق و مجموعه داده‌ای منتخب، شناسایی هیجان آگاه از زمینه را بهبود می‌بخشد و کاربرد آن را در رباتیک اجتماعی، محاسبات عاطفی و تعامل انسان و رایانه تسهیل می‌کند.