Jinjin Han

Emotion recognition offers a route to quantifying interaction quality in early childhood education, yet existing methods suffer from unimodal input, poor real-time performance and weak generalization. This study proposes a speech-text multimodal model built on a Mamba encoder with a GatedxLSTM fusion mechanism, in which frame pooling and temporal masking resolve the temporal misalignment between modalities and a learnable gate adjusts modality contribution. Experiments on IEMOCAP and FAU-AIBO, together with an in-house KTC-Pilot corpus of authentic kindergarten interactions used for ecological validation, show that the approach outperforms mainstream baselines in F1, WA and UA. Three child-speech-aware adaptations, namely pitch and formant augmentation, silence-aware frame pooling and disfluency-tolerant text encoding, close the domain gap with authentic kindergarten dialogue, and modality-dropout training, cross-modal reconstruction of missing text and gating regularisation maintain robustness under incomplete inputs. A contamination audit against the CLAP pretraining corpora confirms that the gains do not arise from data leakage. A downstream evaluation using an Interaction Quality Index calibrated against expert observer ratings achieves a Pearson correlation of 0.692 with expert scores. An on-device deployment study on two embedded platforms further shows that the quantised framework sustains an end-to-end latency of 377 ms per utterance at a real-time factor of 0.075 and a board power of 9.6 W while retaining an F1 score of 0.706 on authentic kindergarten audio, and a stage-wise data-handling design keeps raw audio, spectral features and transcripts inside the classroom node so that only a scalar interaction quality value is written to persistent storage. Ablation and visualization analyses confirm the contribution of each structural component to recognition performance and interpretability.

شناسایی هیجان، روشی برای کمی‌سازی کیفیت تعامل در آموزش دوران کودکی ارائه می‌دهد، اما روش‌های موجود با ورودی تک‌وجهی، عملکرد ضعیف در زمان واقعی و تعمیم‌پذیری محدود مواجه هستند. این پژوهش، یک مدل چندوجهی گفتار-متن مبتنی بر رمزگذار Mamba با سازوکار ادغام GatedxLSTM پیشنهاد می‌کند که در آن، تجمیع قاب و پوشش زمانی، عدم‌هم‌زمانی زمانی بین وجه‌ها را رفع می‌کند و یک دروازه قابل یادگیری، سهم هر وجه را تنظیم می‌نماید. آزمایش‌ها بر روی مجموعه‌های IEMOCAP و FAU-AIBO، به همراه پیکره داخلی KTC-Pilot از تعاملات اصیل مهدکودک که برای اعتبارسنجی بوم‌شناختی استفاده شده است، نشان می‌دهد که رویکرد پیشنهادی در معیارهای F1، WA و UA از مبناهای رایج پیشی می‌گیرد. سه سازگاری آگاه از گفتار کودک، شامل افزایش زیر و بمی و فورمانت، تجمیع قاب حساس به سکوت و رمزگذاری متن مقاوم به ناروانی، فاصله حوزه‌ای با گفت‌وگوی اصیل مهدکودک را کاهش می‌دهد و آموزش با حذف وجه، بازسازی متقابل متن مفقود و منظم‌سازی دروازه‌ای، پایداری مدل را در ورودی‌های ناقص حفظ می‌کند. ممیزی آلودگی نسبت به پیکره‌های پیش‌آموزش CLAP تأیید می‌کند که بهبودها ناشی از نشت داده نیست. ارزیابی پایین‌دستی با استفاده از شاخص کیفیت تعامل که بر اساس امتیازدهی ناظران خبره کالیبره شده است، همبستگی پیرسون 0.692 با امتیازهای خبره به دست می‌آورد. مطالعه استقرار بر روی دستگاه در دو پلتفرم تعبیه‌شده نشان می‌دهد که چارچوب کمیت‌یافته، تأخیر انتها به انتهای 377 میلی‌ثانیه به ازای هر بیان را با ضریب زمان واقعی 0.075 و توان برد 9.6 وات حفظ می‌کند، در حالی که امتیاز F1 برابر با 0.706 بر روی صوت اصیل مهدکودک باقی می‌ماند و طراحی مرحله‌ای مدیریت داده‌ها موجب می‌شود صوت خام، ویژگی‌های طیفی و رونوشت‌ها در گره کلاسی باقی بماند و تنها یک مقدار عددی کیفیت تعامل در حافظه دائمی ثبت شود. تحلیل حذف مؤلفه و تجسم، سهم هر جزء ساختاری در عملکرد شناسایی و تفسیرپذیری را تأیید می‌کند.