lightweight neural networks

Sentiment analysis from video streams requires effective modeling of both temporal dynamics and multimodal cues. This paper presents a lightweight multimodal CNN-LSTM framework, designed for low-latency operation on live video streams, that classifies individuals' affective states as negative, neutral, or positive by jointly exploiting audio and visual information. The proposed system consists of four lightweight deep neural network models that fuse sequences of audio and visual features into a unified temporal stream, enabling the accumulation of sentiment evidence over time for robust prediction. To further enhance discriminative power, dynamic mouth state classification is incorporated, allowing the model to better capture subtle visual cues related to speech and sentiment. Experiments conducted on the Ryerson Audio-Visual Database of Emotional Speech (RAVDESS) demonstrate that the proposed approach achieves a test accuracy of 84.89% on the three-class sentiment recognition task, competitive with substantially larger audio-visual architectures, while using an order of magnitude fewer parameters and maintaining low-latency operation. In addition, we provide a comprehensive comparison with multiple multimodal large language models (LLMs), evaluated under diverse input configurations and prompting strategies. The results offer practical insights into the strengths and limitations of contemporary LLMs for audio-visual sentiment analysis and highlight the continued effectiveness of compact, task-specific neural architectures for streaming audio-visual input.

Facial expression recognition is an important task in real-time human-computer interaction, but its practical application is still limited by partial facial occlusion, high computational cost, and the lack of fine-grained emotion representation. To address these issues, this paper proposes OQ-FERNet, an occlusion-aware quantitative facial expression recognition network. The proposed network adopts MobileNetV4-Conv-S as a lightweight facial expression feature extraction backbone to obtain compact and discriminative representations with low computational cost. On this basis, an Occlusion-aware Regional Reweighting module is designed to divide the feature map into upper-face, middle-face, and lower-face regions, and adaptively adjust their contributions according to regional reliability. This design suppresses occluded or less informative facial areas while enhancing visible expression-related cues. Furthermore, a Quantitative Emotion Prediction Head is introduced to jointly perform discrete expression classification and emotion intensity estimation, enabling the model to provide both categorical and fine-grained affective outputs. Experiments are conducted on RAF-DB and AffectNet-7. The results show that OQ-FERNet achieves competitive classification performance, improved robustness under different occlusion conditions, and effective quantitative emotion prediction. Specifically, OQ-FERNet obtains 93.12% accuracy on RAF-DB and 68.32% accuracy on AffectNet-7, while achieving an MAE of 0.246, an MSE of 0.101, and an RMSE of 0.318 for quantitative emotion prediction on AffectNet-7. In addition, the model contains only 4.18M parameters and 0.26G FLOPs, with an inference speed of 356 FPS. These results indicate that OQ-FERNet provides an effective and efficient solution for lightweight, occlusion-robust, and fine-grained facial expression recognition in real-time human-computer interaction scenarios. The source code is publicly available at: https://github.com/jiahao001-j/OQ-FERNet .

شناسایی حالات چهره یکی از وظایف مهم در تعامل بلادرنگ انسان و رایانه است، اما کاربرد عملی آن همچنان با محدودیت‌هایی مانند انسداد جزئی چهره، هزینه محاسباتی بالا و فقدان بازنمایی دقیق احساسات مواجه است. برای رفع این مشکلات، این مقاله OQ-FERNet را به عنوان یک شبکه شناسایی کمی حالات چهره با آگاهی از انسداد پیشنهاد می‌کند. این شبکه از MobileNetV4-Conv-S به عنوان یک ستون فقرات سبک برای استخراج ویژگی‌های حالات چهره استفاده می‌کند تا بازنمایی‌های فشرده و متمایز با هزینه محاسباتی پایین به دست آورد. بر این اساس، یک ماژول وزن‌دهی مجدد ناحیه‌ای با آگاهی از انسداد طراحی شده است که نقشه ویژگی را به نواحی بالای چهره، میانه چهره و پایین چهره تقسیم می‌کند و به طور تطبیقی سهم هر ناحیه را بر اساس پایایی ناحیه‌ای تنظیم می‌کند. این طراحی نواحی چهره مسدود یا کم‌اطلاعات را سرکوب کرده و نشانه‌های مرتبط با حالات قابل مشاهده را تقویت می‌کند. علاوه بر این، یک سر پیش‌بینی کمی احساسات معرفی شده است تا به طور همزمان طبقه‌بندی حالات گسسته و برآورد شدت احساسات را انجام دهد و مدل را قادر می‌سازد خروجی‌های عاطفی هم دسته‌ای و هم دقیق ارائه دهد. آزمایش‌ها بر روی پایگاه‌های داده RAF-DB و AffectNet-7 انجام شده است. نتایج نشان می‌دهد که OQ-FERNet عملکرد طبقه‌بندی رقابتی، افزایش تاب‌آوری در شرایط مختلف انسداد و پیش‌بینی مؤثر کمی احساسات را ارائه می‌دهد. به طور خاص، OQ-FERNet به دقت 93.12% در RAF-DB و دقت 68.32% در AffectNet-7 دست یافته است، در حالی که برای پیش‌بینی کمی احساسات در AffectNet-7 به MAE برابر با 0.246، MSE برابر با 0.101 و RMSE برابر با 0.318 دست یافته است. علاوه بر این، مدل تنها شامل 4.18M پارامتر و 0.26G FLOPs است و سرعت استنتاج آن 356 FPS می‌باشد. این نتایج نشان می‌دهد که OQ-FERNet راه‌حلی مؤثر و کارآمد برای شناسایی حالات چهره سبک، مقاوم در برابر انسداد و دقیق در سناریوهای تعامل بلادرنگ انسان و رایانه فراهم می‌کند. کد منبع به صورت عمومی در دسترس است: https://github.com/jiahao001-j/OQ-FERNet .