data leakage

Stress is an important physiological and psychological reaction which, when prolonged, has a negative impact on the health and well-being of humans. Traditional stress assessment methods tend to be subjective and are not scalable in real-time. In this research, a lightweight machine learning framework to predict stress from easily measurable environmental and activity-related features, temperature, humidity, and steps, is introduced. The proposed method is different from the approach that depends on complex physiological signals and uses minimal non-invasive inputs that can be applied in the wearable and IoT field. The stress level is considered as the target variable, and all the features used as input variables are independent from each other to prevent data leakage. There are several machine learning and deep learning models and their performances are measured, such as LightGBM, Support vector machine (SVM), AdaBoost, Gated Recurrent Unit (GRU). Bayesian hyperparameter optimization is used to improve the performance of the model and guarantee strong generalization. Experimental results show that LightGBM outperforms the other models, giving an accuracy of 97% and a balanced precision, recall and F1 score of 95%. The results demonstrate promising predictive performance on the evaluated dataset. However, since the model was validated on a relatively small publicly available dataset, further evaluation using larger and more diverse real-world datasets is required before practical deployment.

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

Emotion recognition offers a route to quantifying interaction quality in early childhood education, yet existing methods suffer from unimodal input, poor real-time performance and weak generalization. This study proposes a speech-text multimodal model built on a Mamba encoder with a GatedxLSTM fusion mechanism, in which frame pooling and temporal masking resolve the temporal misalignment between modalities and a learnable gate adjusts modality contribution. Experiments on IEMOCAP and FAU-AIBO, together with an in-house KTC-Pilot corpus of authentic kindergarten interactions used for ecological validation, show that the approach outperforms mainstream baselines in F1, WA and UA. Three child-speech-aware adaptations, namely pitch and formant augmentation, silence-aware frame pooling and disfluency-tolerant text encoding, close the domain gap with authentic kindergarten dialogue, and modality-dropout training, cross-modal reconstruction of missing text and gating regularisation maintain robustness under incomplete inputs. A contamination audit against the CLAP pretraining corpora confirms that the gains do not arise from data leakage. A downstream evaluation using an Interaction Quality Index calibrated against expert observer ratings achieves a Pearson correlation of 0.692 with expert scores. An on-device deployment study on two embedded platforms further shows that the quantised framework sustains an end-to-end latency of 377 ms per utterance at a real-time factor of 0.075 and a board power of 9.6 W while retaining an F1 score of 0.706 on authentic kindergarten audio, and a stage-wise data-handling design keeps raw audio, spectral features and transcripts inside the classroom node so that only a scalar interaction quality value is written to persistent storage. Ablation and visualization analyses confirm the contribution of each structural component to recognition performance and interpretability.

شناسایی هیجان، روشی برای کمی‌سازی کیفیت تعامل در آموزش دوران کودکی ارائه می‌دهد، اما روش‌های موجود با ورودی تک‌وجهی، عملکرد ضعیف در زمان واقعی و تعمیم‌پذیری محدود مواجه هستند. این پژوهش، یک مدل چندوجهی گفتار-متن مبتنی بر رمزگذار Mamba با سازوکار ادغام GatedxLSTM پیشنهاد می‌کند که در آن، تجمیع قاب و پوشش زمانی، عدم‌هم‌زمانی زمانی بین وجه‌ها را رفع می‌کند و یک دروازه قابل یادگیری، سهم هر وجه را تنظیم می‌نماید. آزمایش‌ها بر روی مجموعه‌های IEMOCAP و FAU-AIBO، به همراه پیکره داخلی KTC-Pilot از تعاملات اصیل مهدکودک که برای اعتبارسنجی بوم‌شناختی استفاده شده است، نشان می‌دهد که رویکرد پیشنهادی در معیارهای F1، WA و UA از مبناهای رایج پیشی می‌گیرد. سه سازگاری آگاه از گفتار کودک، شامل افزایش زیر و بمی و فورمانت، تجمیع قاب حساس به سکوت و رمزگذاری متن مقاوم به ناروانی، فاصله حوزه‌ای با گفت‌وگوی اصیل مهدکودک را کاهش می‌دهد و آموزش با حذف وجه، بازسازی متقابل متن مفقود و منظم‌سازی دروازه‌ای، پایداری مدل را در ورودی‌های ناقص حفظ می‌کند. ممیزی آلودگی نسبت به پیکره‌های پیش‌آموزش CLAP تأیید می‌کند که بهبودها ناشی از نشت داده نیست. ارزیابی پایین‌دستی با استفاده از شاخص کیفیت تعامل که بر اساس امتیازدهی ناظران خبره کالیبره شده است، همبستگی پیرسون 0.692 با امتیازهای خبره به دست می‌آورد. مطالعه استقرار بر روی دستگاه در دو پلتفرم تعبیه‌شده نشان می‌دهد که چارچوب کمیت‌یافته، تأخیر انتها به انتهای 377 میلی‌ثانیه به ازای هر بیان را با ضریب زمان واقعی 0.075 و توان برد 9.6 وات حفظ می‌کند، در حالی که امتیاز F1 برابر با 0.706 بر روی صوت اصیل مهدکودک باقی می‌ماند و طراحی مرحله‌ای مدیریت داده‌ها موجب می‌شود صوت خام، ویژگی‌های طیفی و رونوشت‌ها در گره کلاسی باقی بماند و تنها یک مقدار عددی کیفیت تعامل در حافظه دائمی ثبت شود. تحلیل حذف مؤلفه و تجسم، سهم هر جزء ساختاری در عملکرد شناسایی و تفسیرپذیری را تأیید می‌کند.