convolutional neural networks

Pengenalan emosi melalui ekspresi wajah merupakan salah satu bidang penelitian dalam computer vision dan artificial intelligence yang berkembang pesat. Kemampuan sistem dalam mengenali ekspresi wajah manusia dapat diterapkan pada berbagai bidang, seperti pendidikan, pelayanan publik, kesehatan, sistem keamanan, hingga interaksi manusia dengan komputer (Human Computer Interaction). Penelitian ini bertujuan merancang sistem pengenalan emosi manusia secara real-time menggunakan algoritma Convolutional Neural Network (CNN). Dataset yang digunakan terdiri atas tujuh kategori emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Proses penelitian meliputi preprocessing dataset, augmentasi data menggunakan ImageDataGenerator, pelatihan model CNN menggunakan TensorFlow Keras, penyimpanan bobot model, serta implementasi deteksi emosi secara real-time menggunakan webcam dan OpenCV. Model CNN dibangun menggunakan beberapa lapisan konvolusi, fungsi aktivasi ReLU, Max Pooling, Dropout, Flatten, Fully Connected Layer, serta Softmax sebagai lapisan klasifikasi. Hasil penelitian menunjukkan bahwa model mampu mengenali ekspresi wajah secara real-time dengan tingkat akurasi yang baik serta mampu mengklasifikasikan tujuh kategori emosi berdasarkan citra wajah yang diperoleh dari kamera. Sistem yang dikembangkan diharapkan dapat menjadi dasar pengembangan aplikasi pengenalan emosi pada berbagai bidang yang membutuhkan interaksi otomatis antara manusia dan komputer. Facial Emotion Recognition (FER) is an application of computer vision and artificial intelligence that enables a system to automatically recognize facial expressions. This study aims to design and implement a real-time system for recognizing seven emotion categories based on a Convolutional Neural Network (CNN) using a webcam. The dataset consists of seven classes: angry, disgust, fear, happy, neutral, sad, and surprise. Images are processed in grayscale format with a size of 48 × 48 pixels and augmented using ImageDataGenerator. The CNN model is built with convolutional layers, ReLU, Max Pooling, Dropout, Flatten, a fully connected layer, and Softmax, using the Adam optimizer, a batch size of 64, and 50 epochs. Evaluation was based on training accuracy, validation accuracy, training loss, and validation loss. The results show that the model achieved a training accuracy of 95.10% and a validation accuracy of 93.40%, with a training loss of 0.19 and a validation loss of 0.27 at the 50th epoch. The implementation of OpenCV and the Haar Cascade enables real-time face detection and emotion classification via a webcam. Black Box Testing confirmed that all the application’s main functions operate as designed. This study contributes to the field by integrating CNNs with webcams; however, testing on independent datasets as well as measurements of FPS and latency are required in future research.

شناسایی هیجان از طریق بیان چهره یکی از حوزه‌های پژوهشی در بینایی ماشین و هوش مصنوعی است که به سرعت در حال توسعه می‌باشد. توانایی سیستم‌ها در شناسایی بیان چهره انسان می‌تواند در حوزه‌های مختلفی مانند آموزش، خدمات عمومی، سلامت، سیستم‌های امنیتی و همچنین تعامل انسان و رایانه (Human Computer Interaction) به کار گرفته شود. هدف این پژوهش، طراحی یک سیستم شناسایی هیجان انسان به صورت بلادرنگ با استفاده از الگوریتم شبکه عصبی پیچشی (CNN) است. داده‌های مورد استفاده شامل هفت دسته هیجانی است: angry، disgust، fear، happy، neutral، sad و surprise. فرایند پژوهش شامل پیش‌پردازش داده‌ها، افزایش داده با استفاده از ImageDataGenerator، آموزش مدل CNN با استفاده از TensorFlow Keras، ذخیره وزن‌های مدل و پیاده‌سازی شناسایی هیجان به صورت بلادرنگ با استفاده از وب‌کم و OpenCV می‌باشد. مدل CNN با استفاده از چندین لایه کانولوشن، تابع فعال‌سازی ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax به عنوان لایه طبقه‌بندی ساخته شده است. نتایج پژوهش نشان می‌دهد که مدل قادر است بیان چهره را به صورت بلادرنگ با دقت مناسبی شناسایی کند و هفت دسته هیجانی را بر اساس تصویر چهره دریافتی از دوربین طبقه‌بندی نماید. سیستم توسعه‌یافته می‌تواند مبنایی برای توسعه برنامه‌های شناسایی هیجان در حوزه‌هایی باشد که نیازمند تعامل خودکار بین انسان و رایانه هستند. شناسایی هیجان چهره (Facial Emotion Recognition, FER) یکی از کاربردهای بینایی ماشین و هوش مصنوعی است که امکان شناسایی خودکار بیان چهره را برای سیستم فراهم می‌کند. این پژوهش با هدف طراحی و پیاده‌سازی یک سیستم بلادرنگ برای شناسایی هفت دسته هیجانی بر اساس شبکه عصبی پیچشی (CNN) با استفاده از وب‌کم انجام شده است. داده‌ها شامل هفت کلاس angry، disgust، fear، happy، neutral، sad و surprise هستند. تصاویر به صورت خاکستری و با اندازه ۴۸ × ۴۸ پیکسل پردازش و با ImageDataGenerator افزایش داده شده‌اند. مدل CNN با لایه‌های کانولوشن، ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax، با استفاده از بهینه‌ساز Adam، اندازه دسته ۶۴ و ۵۰ دوره (epoch) ساخته شده است. ارزیابی بر اساس دقت آموزش، دقت اعتبارسنجی، خطای آموزش و خطای اعتبارسنجی انجام شد. نتایج نشان داد مدل به دقت آموزش ۹۵.۱۰٪ و دقت اعتبارسنجی ۹۳.۴۰٪، با خطای آموزش ۰.۱۹ و خطای اعتبارسنجی ۰.۲۷ در دوره پنجاهم دست یافته است. پیاده‌سازی OpenCV و Haar Cascade امکان شناسایی چهره و طبقه‌بندی هیجان به صورت بلادرنگ از طریق وب‌کم را فراهم می‌کند. آزمون Black Box نشان داد که تمامی عملکردهای اصلی برنامه مطابق طراحی عمل می‌کنند. این پژوهش با ادغام CNN و وب‌کم به حوزه مربوطه کمک می‌کند؛ با این حال، آزمون بر روی داده‌های مستقل و همچنین اندازه‌گیری FPS و تأخیر در پژوهش‌های آتی مورد نیاز است.

Research on emotional recognition from images is advancing across computer vision, psychology, and neuroscience. Even though computer vision has come a long way, emotion detection still faces many challenges. For example, facial-centric models trained on small datasets don't always get the right results, and there aren't enough image collections that show emotions in the right context to show how complicated they really are. This work proposes an innovative approach for contextual emotional detection by integrating bodily sensations with environmental data. We created LEMOTIC, a large, diverse dataset that covers a 116,034 images; wide range of emotional situations. We constructed our methodology utilising a deep convolutional neural network (DCNN) architecture. To better understand emotions in context, we connect 26 different emotional categories to three continuous emotional dimensions: valence, arousal, and dominance. After extensive hyperparameter tuning, our model demonstrated accurate emotion recognition from full-body postures and ambient data. Our Sentiment Recognition Model surpasses earlier techniques in both accuracy and generalisation for continuous and discrete emotional variables. Our study reveals that somatic and contextual emotions are particularly important when examining emotions in images. Our method improves context-aware emotion recognition by using deep learning and a carefully chosen dataset. This makes it easier to use in social robotics, affective computing, and human-computer interaction.

پژوهش‌ها در زمینه شناسایی هیجان از تصاویر در حوزه‌های بینایی ماشین، روان‌شناسی و علوم اعصاب در حال پیشرفت است. با وجود پیشرفت‌های قابل توجه در بینایی ماشین، شناسایی هیجان همچنان با چالش‌های متعددی مواجه است. به عنوان مثال، مدل‌های مبتنی بر چهره که با داده‌های محدود آموزش دیده‌اند، همواره نتایج دقیقی ارائه نمی‌دهند و مجموعه تصاویر کافی که هیجان‌ها را در زمینه مناسب نمایش دهند و پیچیدگی آن‌ها را نشان دهند، وجود ندارد. این پژوهش رویکردی نوآورانه برای شناسایی هیجان زمینه‌مند با ادغام احساسات بدنی و داده‌های محیطی ارائه می‌دهد. ما مجموعه داده LEMOTIC را ایجاد کردیم که شامل ۱۱۶٬۰۳۴ تصویر و دامنه وسیعی از موقعیت‌های هیجانی است. روش‌شناسی ما مبتنی بر معماری شبکه عصبی کانولوشنی عمیق (DCNN) طراحی شده است. به منظور درک بهتر هیجان‌ها در زمینه، ۲۶ دسته هیجانی مختلف را به سه بعد پیوسته هیجان شامل والانس، برانگیختگی و سلطه متصل کردیم. پس از تنظیم گسترده ابرپارامترها، مدل ما توانست شناسایی دقیقی از هیجان بر اساس وضعیت‌های بدنی کامل و داده‌های محیطی ارائه دهد. مدل شناسایی هیجان ما از نظر دقت و تعمیم‌پذیری در متغیرهای هیجانی پیوسته و گسسته، عملکرد بهتری نسبت به روش‌های پیشین نشان داد. یافته‌های پژوهش نشان می‌دهد که هیجان‌های جسمانی و زمینه‌ای در بررسی هیجان‌ها در تصاویر اهمیت ویژه‌ای دارند. روش ما با بهره‌گیری از یادگیری عمیق و مجموعه داده‌ای منتخب، شناسایی هیجان آگاه از زمینه را بهبود می‌بخشد و کاربرد آن را در رباتیک اجتماعی، محاسبات عاطفی و تعامل انسان و رایانه تسهیل می‌کند.

Context. Automated analysis of sports movements is an important area of modern intelligent computer systems and sports science. In gymnastics, assessing the quality of a performance depends largely on subjective judgment, which limits the accuracy and reproducibility of results. The use of image analysis and artificial intelligence methods opens up the possibility of creating automated systems for recognizing gymnastic elements, but the high dimensionality of visual data complicates the practical implementation of such solutions. This necessitates the search for approaches that increase accuracy and reduce computational complexity.Objective. The purpose of the work is to determine the impact of using the method of main components in combination with deep neural networks on the accuracy, speed and generalization ability of models for classifying gymnastic elements by images.Method. The paper uses an approach that combines the preliminary reduction of the dimensionality of images by the method of main components and subsequent classification using neural networks of different architectures. The study was performed on a set of images of gymnastic elements with preliminary normalization and unification of data. A comparative experimental analysis of models with full and reduced dimensionality of the input space was carried out.Results. The results obtained show that the reduction of dimensionality allows to significantly reduce the computational complexity of models without a significant loss of classification quality. It has been established that the combination of the principal component method with a fully connected neural network provides accuracy comparable to resource-intensive convolutional architectures with significantly lower requirements for computing resources. An optimal balance between preserving the information content of data and noise filtering has been revealed.Conclusions. The scientific novelty of the work lies in the complex experimental substantiation of the effectiveness of the hybrid approach to the classification of gymnastic elements in the compressed feature space. The practical significance of the results lies in the possibility of creating compact and high-speed systems for automated analysis of sports movements, suitable for use in mobile and embedded applications. further work in this direction

زمینه: تحلیل خودکار حرکات ورزشی یکی از حوزه‌های مهم سامانه‌های هوشمند رایانه‌ای و علم ورزش مدرن است. در ژیمناستیک، ارزیابی کیفیت اجرا تا حد زیادی به قضاوت ذهنی وابسته است که این امر دقت و قابلیت تکرار نتایج را محدود می‌کند. استفاده از روش‌های تحلیل تصویر و هوش مصنوعی امکان ایجاد سامانه‌های خودکار برای شناسایی عناصر ژیمناستیکی را فراهم می‌سازد، اما ابعاد بالای داده‌های بصری، پیاده‌سازی عملی چنین راه‌حل‌هایی را پیچیده می‌کند. این امر ضرورت جستجوی رویکردهایی را ایجاب می‌کند که دقت را افزایش داده و پیچیدگی محاسباتی را کاهش دهند. هدف: هدف این پژوهش تعیین تأثیر استفاده از روش مؤلفه‌های اصلی در ترکیب با شبکه‌های عصبی عمیق بر دقت، سرعت و قابلیت تعمیم مدل‌ها برای طبقه‌بندی عناصر ژیمناستیک بر اساس تصاویر است. روش: در این مقاله رویکردی به کار رفته است که کاهش ابعاد اولیه تصاویر با روش مؤلفه‌های اصلی را با طبقه‌بندی پسین با استفاده از شبکه‌های عصبی با معماری‌های مختلف ترکیب می‌کند. مطالعه بر روی مجموعه‌ای از تصاویر عناصر ژیمناستیک با نرمال‌سازی و یکسان‌سازی اولیه داده‌ها انجام شده است. تحلیل تجربی مقایسه‌ای مدل‌ها با فضای ورودی کامل و کاهش‌یافته ابعاد صورت گرفته است. یافته‌ها: نتایج به‌دست‌آمده نشان می‌دهد که کاهش ابعاد به طور معناداری پیچیدگی محاسباتی مدل‌ها را بدون افت قابل توجه کیفیت طبقه‌بندی کاهش می‌دهد. مشخص شد که ترکیب روش مؤلفه‌های اصلی با شبکه عصبی کاملاً متصل، دقتی قابل مقایسه با معماری‌های پیچیده مبتنی بر شبکه عصبی کانولوشنی با نیاز به منابع محاسباتی بسیار کمتر فراهم می‌کند. تعادل بهینه‌ای میان حفظ محتوای اطلاعاتی داده‌ها و پالایش نویز شناسایی شد. نتیجه‌گیری: نوآوری علمی این پژوهش در اثبات تجربی جامع اثربخشی رویکرد ترکیبی برای طبقه‌بندی عناصر ژیمناستیک در فضای ویژگی فشرده نهفته است. اهمیت عملی نتایج در امکان ایجاد سامانه‌های فشرده و پرسرعت برای تحلیل خودکار حرکات ورزشی است که برای استفاده در کاربردهای موبایل و نهفته مناسب می‌باشند. ادامه پژوهش در این زمینه پیشنهاد می‌شود.

Fine-grained interior design style recognition is challenging due to the subtle, context-dependent nature of stylistic cues, which are often entangled with dominant semantic objects. While convolutional neural networks effectively capture local textures, they lack global reasoning, whereas Vision Transformers model spatial relationships but do not explicitly encode perceptual style attributes. To address these limitations, we propose SAT $$^{3}$$ (Style-Aware Attention Transformer) that integrates four synergistic components: (i) a Style Attention Embedding that combines a CNN (Convolutional Neural Network) stem with a Transformer encoder enhanced by a Style Attention Module (SAM) to emphasize texture and color-related cues; (ii) an auxiliary self-supervised learning (SSL) branch leveraging masked autoencoding and contrastive learning to enrich style-invariant representations; (iii) a joint optimization strategy that balances supervised and self-supervised objectives for improved robustness; and (iv) an efficient inference pathway that retains a style-sensitive encoder while removing auxiliary components. Extensive experiments on interior design datasets demonstrate that SAT $$^{3}$$ achieves the best performance among the baselines evaluated in this study. Additional analyses indicate that the learned representations are more aligned with stylistic attributes and less dependent on semantic content, leading to improved generalization, particularly under limited annotation settings. These results highlight the effectiveness of the proposed approach for fine-grained style recognition and suggest its broader applicability to other style-driven visual understanding tasks.

شناسایی دقیق سبک طراحی داخلی به دلیل ماهیت ظریف و وابسته به زمینه نشانه‌های سبکی که اغلب با اشیای معنایی غالب درهم‌تنیده‌اند، چالش‌برانگیز است. در حالی که شبکه‌های عصبی کانولوشنی (CNN) به‌طور مؤثری بافت‌های محلی را استخراج می‌کنند، فاقد استدلال جهانی هستند؛ در مقابل، ترنسفورمرهای بینایی (Vision Transformers) روابط فضایی را مدل‌سازی می‌کنند اما ویژگی‌های ادراکی سبک را به‌طور صریح رمزگذاری نمی‌کنند. برای رفع این محدودیت‌ها، ما SAT $$^{3}$$ (ترنسفورمر توجه‌آگاه به سبک) را پیشنهاد می‌کنیم که چهار مؤلفه هم‌افزا را ادغام می‌کند: (i) تعبیه توجه به سبک که یک بخش ابتدایی CNN را با یک رمزگذار ترنسفورمر تقویت‌شده توسط ماژول توجه به سبک (SAM) برای تأکید بر نشانه‌های مرتبط با بافت و رنگ ترکیب می‌کند؛ (ii) یک شاخه یادگیری خودنظارتی کمکی (SSL) که با بهره‌گیری از رمزگشایی خودکار ماسک‌شده و یادگیری متضاد، نمایش‌های مستقل از سبک را غنی می‌سازد؛ (iii) یک راهبرد بهینه‌سازی مشترک که اهداف نظارت‌شده و خودنظارتی را برای افزایش پایداری متعادل می‌کند؛ و (iv) یک مسیر استنتاج کارآمد که رمزگذار حساس به سبک را حفظ کرده و مؤلفه‌های کمکی را حذف می‌کند. آزمایش‌های گسترده بر روی پایگاه‌های داده طراحی داخلی نشان می‌دهد که SAT $$^{3}$$ بهترین عملکرد را در میان روش‌های پایه ارزیابی‌شده در این مطالعه دارد. تحلیل‌های تکمیلی نشان می‌دهد که نمایش‌های یادگرفته‌شده با ویژگی‌های سبکی هم‌راستاتر و کمتر وابسته به محتوای معنایی هستند که منجر به بهبود تعمیم‌پذیری، به‌ویژه در شرایط برچسب‌گذاری محدود می‌شود. این نتایج اثربخشی رویکرد پیشنهادی را برای شناسایی دقیق سبک نشان داده و کاربرد گسترده‌تر آن را در سایر وظایف درک بصری مبتنی بر سبک پیشنهاد می‌کند.