Sentiment analysis from video streams requires effective modeling of both temporal dynamics and multimodal cues. This paper presents a lightweight multimodal CNN-LSTM framework, designed for low-latency operation on live video streams, that classifies individuals' affective states as negative, neutral, or positive by jointly exploiting audio and visual information. The proposed system consists of four lightweight deep neural network models that fuse sequences of audio and visual features into a unified temporal stream, enabling the accumulation of sentiment evidence over time for robust prediction. To further enhance discriminative power, dynamic mouth state classification is incorporated, allowing the model to better capture subtle visual cues related to speech and sentiment. Experiments conducted on the Ryerson Audio-Visual Database of Emotional Speech (RAVDESS) demonstrate that the proposed approach achieves a test accuracy of 84.89% on the three-class sentiment recognition task, competitive with substantially larger audio-visual architectures, while using an order of magnitude fewer parameters and maintaining low-latency operation. In addition, we provide a comprehensive comparison with multiple multimodal large language models (LLMs), evaluated under diverse input configurations and prompting strategies. The results offer practical insights into the strengths and limitations of contemporary LLMs for audio-visual sentiment analysis and highlight the continued effectiveness of compact, task-specific neural architectures for streaming audio-visual input.
Context. Automated analysis of sports movements is an important area of modern intelligent computer systems and sports science. In gymnastics, assessing the quality of a performance depends largely on subjective judgment, which limits the accuracy and reproducibility of results. The use of image analysis and artificial intelligence methods opens up the possibility of creating automated systems for recognizing gymnastic elements, but the high dimensionality of visual data complicates the practical implementation of such solutions. This necessitates the search for approaches that increase accuracy and reduce computational complexity.Objective. The purpose of the work is to determine the impact of using the method of main components in combination with deep neural networks on the accuracy, speed and generalization ability of models for classifying gymnastic elements by images.Method. The paper uses an approach that combines the preliminary reduction of the dimensionality of images by the method of main components and subsequent classification using neural networks of different architectures. The study was performed on a set of images of gymnastic elements with preliminary normalization and unification of data. A comparative experimental analysis of models with full and reduced dimensionality of the input space was carried out.Results. The results obtained show that the reduction of dimensionality allows to significantly reduce the computational complexity of models without a significant loss of classification quality. It has been established that the combination of the principal component method with a fully connected neural network provides accuracy comparable to resource-intensive convolutional architectures with significantly lower requirements for computing resources. An optimal balance between preserving the information content of data and noise filtering has been revealed.Conclusions. The scientific novelty of the work lies in the complex experimental substantiation of the effectiveness of the hybrid approach to the classification of gymnastic elements in the compressed feature space. The practical significance of the results lies in the possibility of creating compact and high-speed systems for automated analysis of sports movements, suitable for use in mobile and embedded applications. further work in this direction
زمینه: تحلیل خودکار حرکات ورزشی یکی از حوزه‌های مهم سامانه‌های هوشمند رایانه‌ای و علم ورزش مدرن است. در ژیمناستیک، ارزیابی کیفیت اجرا تا حد زیادی به قضاوت ذهنی وابسته است که این امر دقت و قابلیت تکرار نتایج را محدود می‌کند. استفاده از روش‌های تحلیل تصویر و هوش مصنوعی امکان ایجاد سامانه‌های خودکار برای شناسایی عناصر ژیمناستیکی را فراهم می‌سازد، اما ابعاد بالای داده‌های بصری، پیاده‌سازی عملی چنین راه‌حل‌هایی را پیچیده می‌کند. این امر ضرورت جستجوی رویکردهایی را ایجاب می‌کند که دقت را افزایش داده و پیچیدگی محاسباتی را کاهش دهند. هدف: هدف این پژوهش تعیین تأثیر استفاده از روش مؤلفه‌های اصلی در ترکیب با شبکه‌های عصبی عمیق بر دقت، سرعت و قابلیت تعمیم مدل‌ها برای طبقه‌بندی عناصر ژیمناستیک بر اساس تصاویر است. روش: در این مقاله رویکردی به کار رفته است که کاهش ابعاد اولیه تصاویر با روش مؤلفه‌های اصلی را با طبقه‌بندی پسین با استفاده از شبکه‌های عصبی با معماری‌های مختلف ترکیب می‌کند. مطالعه بر روی مجموعه‌ای از تصاویر عناصر ژیمناستیک با نرمال‌سازی و یکسان‌سازی اولیه داده‌ها انجام شده است. تحلیل تجربی مقایسه‌ای مدل‌ها با فضای ورودی کامل و کاهش‌یافته ابعاد صورت گرفته است. یافته‌ها: نتایج به‌دست‌آمده نشان می‌دهد که کاهش ابعاد به طور معناداری پیچیدگی محاسباتی مدل‌ها را بدون افت قابل توجه کیفیت طبقه‌بندی کاهش می‌دهد. مشخص شد که ترکیب روش مؤلفه‌های اصلی با شبکه عصبی کاملاً متصل، دقتی قابل مقایسه با معماری‌های پیچیده مبتنی بر شبکه عصبی کانولوشنی با نیاز به منابع محاسباتی بسیار کمتر فراهم می‌کند. تعادل بهینه‌ای میان حفظ محتوای اطلاعاتی داده‌ها و پالایش نویز شناسایی شد. نتیجه‌گیری: نوآوری علمی این پژوهش در اثبات تجربی جامع اثربخشی رویکرد ترکیبی برای طبقه‌بندی عناصر ژیمناستیک در فضای ویژگی فشرده نهفته است. اهمیت عملی نتایج در امکان ایجاد سامانه‌های فشرده و پرسرعت برای تحلیل خودکار حرکات ورزشی است که برای استفاده در کاربردهای موبایل و نهفته مناسب می‌باشند. ادامه پژوهش در این زمینه پیشنهاد می‌شود.
