Sentiment analysis

Sentiment analysis from video streams requires effective modeling of both temporal dynamics and multimodal cues. This paper presents a lightweight multimodal CNN-LSTM framework, designed for low-latency operation on live video streams, that classifies individuals' affective states as negative, neutral, or positive by jointly exploiting audio and visual information. The proposed system consists of four lightweight deep neural network models that fuse sequences of audio and visual features into a unified temporal stream, enabling the accumulation of sentiment evidence over time for robust prediction. To further enhance discriminative power, dynamic mouth state classification is incorporated, allowing the model to better capture subtle visual cues related to speech and sentiment. Experiments conducted on the Ryerson Audio-Visual Database of Emotional Speech (RAVDESS) demonstrate that the proposed approach achieves a test accuracy of 84.89% on the three-class sentiment recognition task, competitive with substantially larger audio-visual architectures, while using an order of magnitude fewer parameters and maintaining low-latency operation. In addition, we provide a comprehensive comparison with multiple multimodal large language models (LLMs), evaluated under diverse input configurations and prompting strategies. The results offer practical insights into the strengths and limitations of contemporary LLMs for audio-visual sentiment analysis and highlight the continued effectiveness of compact, task-specific neural architectures for streaming audio-visual input.

Background Depression is a prevalent mental health condition that significantly affects individuals’ well-being and daily functioning, making early depressive symptom detection crucial. Objectives This study explores the potential of advancing speech analytics with dimensional sentiment analysis, using valence and arousal scoring to enhance depressive symptom detection in family caregivers. Methods We recruited 116 family caregivers and assessed their depression levels using the Beck Depression Inventory-II. Participants provided verbal responses to 12 open-ended questions related to family resilience. The extracted words from the responses were analyzed for sentiment using the Chinese Valence-Arousal Words dictionary to determine their valence and arousal ratings. For each participant, we computed various summary statistics (e.g., mean, variance, quantiles) and frequency-domain statistics (e.g., spectral entropy, dominant frequency components) of valence and arousal distributions. These features were then used as predictors in nine different machine learning models evaluated under repeated 5-fold nested cross-validation with cost-sensitive cutoff selection, enabling robust classification of depression levels while prioritizing the identification of true positive cases. Results Our analysis showed that participants with higher depressive symptoms used words with more extreme valence and arousal scores than those with lower depressive symptoms. The models demonstrated strong predictive utility of these emotional dimensions: the quadratic discriminant analysis (QDA) model achieved an out-of-sample sensitivity of 0.725, a specificity of 0.563, and an AUC of 0.7. These findings support that valence and arousal analysis provides meaningful discriminative power for identifying depressive symptoms. Importantly, the high sensitivity achieved by these models ensures that individuals with elevated symptoms are more reliably detected, thereby reducing the risk of missed cases. Overall, the results suggest strong potential for automated depressive symptom detection based on emotional signal analysis, with cost-sensitive optimization reducing false negatives while maintaining clinically relevant specificity. Conclusions This study offers proof-of-concept evidence that emotional sentiment analysis of speech using valence and arousal scoring can capture linguistic markers associated with depressive symptoms among family caregivers. With further refinement and validation, this approach lays an important foundation for the development of more robust machine learning models and ultimately contributes to non-intrusive mental health screening tools.

زمینه و هدف: افسردگی یکی از اختلالات شایع سلامت روان است که به طور قابل توجهی بر بهزیستی و عملکرد روزانه افراد تأثیر می‌گذارد و شناسایی زودهنگام نشانه‌های افسردگی را ضروری می‌سازد. هدف: این پژوهش به بررسی قابلیت ارتقای تحلیل گفتار با استفاده از تحلیل احساسی بُعدی و امتیازدهی والنس و برانگیختگی جهت بهبود شناسایی نشانه‌های افسردگی در مراقبان خانوادگی می‌پردازد. روش‌ها: تعداد ۱۱۶ مراقب خانوادگی جذب شدند و سطح افسردگی آن‌ها با استفاده از پرسشنامه افسردگی بک-نسخه دوم (Beck Depression Inventory-II) ارزیابی شد. شرکت‌کنندگان به ۱۲ پرسش باز مرتبط با تاب‌آوری خانواده به صورت شفاهی پاسخ دادند. واژه‌های استخراج‌شده از پاسخ‌ها با استفاده از فرهنگ واژگان چینی والنس-برانگیختگی از نظر احساسات مورد تحلیل قرار گرفت تا امتیازهای والنس و برانگیختگی آن‌ها تعیین شود. برای هر شرکت‌کننده، آمارهای خلاصه مختلف (مانند میانگین، واریانس، صدک‌ها) و آمارهای حوزه فرکانس (مانند آنتروپی طیفی، مؤلفه‌های فرکانسی غالب) توزیع والنس و برانگیختگی محاسبه شد. این ویژگی‌ها به عنوان متغیرهای پیش‌بین در نه مدل مختلف یادگیری ماشین که با اعتبارسنجی متقاطع تودرتوی ۵-تایی تکرارشونده و انتخاب نقطه برش حساس به هزینه ارزیابی شدند، مورد استفاده قرار گرفتند تا طبقه‌بندی قوی سطوح افسردگی با اولویت شناسایی موارد مثبت واقعی فراهم شود. نتایج: تحلیل ما نشان داد شرکت‌کنندگانی که نشانه‌های افسردگی بیشتری داشتند، واژه‌هایی با امتیازهای والنس و برانگیختگی افراطی‌تر نسبت به افراد با نشانه‌های افسردگی کمتر به کار بردند. مدل‌ها سودمندی پیش‌بینی قوی این ابعاد هیجانی را نشان دادند: مدل تحلیل ممیز مربعی (QDA) حساسیت خارج از نمونه ۰.۷۲۵، ویژگی ۰.۵۶۳ و سطح زیر منحنی (AUC) برابر با ۰.۷ را به دست آورد. این یافته‌ها نشان می‌دهد که تحلیل والنس و برانگیختگی قدرت تمایز معناداری برای شناسایی نشانه‌های افسردگی فراهم می‌کند. مهم‌تر آنکه حساسیت بالای این مدل‌ها تضمین می‌کند که افراد با نشانه‌های بالا با اطمینان بیشتری شناسایی می‌شوند و در نتیجه خطر موارد از دست رفته کاهش می‌یابد. به طور کلی، نتایج نشان‌دهنده پتانسیل قوی برای شناسایی خودکار نشانه‌های افسردگی بر اساس تحلیل سیگنال‌های هیجانی است که با بهینه‌سازی حساس به هزینه، موارد منفی کاذب را کاهش داده و در عین حال ویژگی بالینی مرتبط را حفظ می‌کند. نتیجه‌گیری: این مطالعه شواهد اثبات مفهومی ارائه می‌دهد که تحلیل احساسات هیجانی گفتار با استفاده از امتیازدهی والنس و برانگیختگی می‌تواند نشانگرهای زبانی مرتبط با نشانه‌های افسردگی در میان مراقبان خانوادگی را شناسایی کند. با اصلاح و اعتبارسنجی بیشتر، این رویکرد می‌تواند پایه‌ای مهم برای توسعه مدل‌های یادگیری ماشین قوی‌تر و در نهایت ابزارهای غربالگری سلامت روان غیرتهاجمی فراهم آورد.

Language use, vocal behavior, and facial activity provide complementary indicators of affective state, but multimodal models can be affected by noisy temporal observations and insufficient global guidance before cross-modal interaction. We developed a framework combining bidirectional gated recurrent unit encoders, attention pooling, dynamic hypernode injection, and graph attention fusion. Textual, acoustic, and visual sequences were mapped into a shared latent space and compressed into modality-level representations. A sample-dependent hypernode and a learnable static prior were then injected through gated residual connections before graph propagation. The model was evaluated on CMU-MOSI and CMU-MOSEI using five random seeds and validation-MAE checkpoint selection. On CMU-MOSI, the model obtained an MAE of 0.7290 ± 0.0099 , a correlation of 0.7880 ± 0.0076 , and an Acc-7 of 0.4561 ± 0.0160 . On CMU-MOSEI, the corresponding results were 0.5541 ± 0.0053 , 0.7551 ± 0.0058 , and 0.5269 ± 0.0064 . A five-run comparison of pre-GAT, post-GAT, and no injection showed that pre-GAT injection provided the strongest overall regression-oriented balance, although post-GAT was slightly higher on MOSEI Acc-7. Gate, graph-attention, representation, and balanced case diagnostics showed that the injected prior was sample dependent and modality selective. These findings support pre-propagation hypernode injection under complete, word-aligned tri-modal inputs, without establishing universal superiority or robustness to missing and corrupted modalities.

استفاده از زبان، رفتار صوتی و فعالیت چهره شاخص‌های مکملی از وضعیت عاطفی فراهم می‌کنند، اما مدل‌های چندوجهی ممکن است تحت تأثیر مشاهدات زمانی نویزی و راهنمایی کلی ناکافی پیش از تعامل بین‌وجهی قرار گیرند. ما چارچوبی را توسعه دادیم که رمزگذارهای واحد بازگشتی دروازه‌دار دوسویه، تجمیع توجه، تزریق ابرگره پویا و ادغام توجه گراف را ترکیب می‌کند. توالی‌های متنی، صوتی و بصری به فضای نهفته مشترک نگاشته شده و به نمایش‌های سطح وجهی فشرده شدند. سپس یک ابرگره وابسته به نمونه و یک پیش‌فرض ایستا قابل یادگیری از طریق اتصالات باقیمانده دروازه‌دار پیش از انتشار گراف تزریق شدند. مدل بر روی مجموعه‌های داده CMU-MOSI و CMU-MOSEI با استفاده از پنج بذر تصادفی و انتخاب نقطه توقف بر اساس MAE اعتبارسنجی ارزیابی شد. بر روی CMU-MOSI، مدل به MAE برابر با 0.7290 ± 0.0099، همبستگی 0.7880 ± 0.0076 و Acc-7 برابر با 0.4561 ± 0.0160 دست یافت. بر روی CMU-MOSEI، نتایج متناظر به ترتیب 0.5541 ± 0.0053، 0.7551 ± 0.0058 و 0.5269 ± 0.0064 بودند. مقایسه پنج‌باره پیش از GAT، پس از GAT و بدون تزریق نشان داد که تزریق پیش از GAT قوی‌ترین تعادل کلی مبتنی بر رگرسیون را فراهم می‌کند، اگرچه پس از GAT کمی در MOSEI Acc-7 بالاتر بود. تشخیص‌های دروازه، توجه گراف، نمایش و حالت متعادل نشان داد که پیش‌فرض تزریق‌شده وابسته به نمونه و انتخابی نسبت به وجه بود. این یافته‌ها از تزریق ابرگره پیش از انتشار در ورودی‌های سه‌وجهی کامل و هم‌تراز با واژه حمایت می‌کنند، بدون آنکه برتری یا پایداری جهانی در برابر وجوه مفقود یا مخدوش را اثبات نمایند.