facial expression analysis

Relationship quality is typically assessed using self-report questionnaires, which are time-consuming and may not fully capture interpersonal processes during interaction. Automated facial expression analysis provides an opportunity to study nonverbal behavior during naturalistic interactions in a more objective and continuous manner. We characterize dyadic facial synchrony from video-based facial action unit time series and examine its association with marital relationship quality. Specifically, dyadic coordination is quantified using zero-lag cross-correlations between partners’ facial behaviors across multiple action units. Computed over successive temporal windows, these synchrony measures form a multidimensional synchrony profile, termed the S-matrix. We evaluate the proposed method using an iMotions dataset comprising video recordings of in-person conversations, frame-level facial expression estimates, and Quality of Marriage Index (QMI) survey responses from 27 married couples. Results from an unsupervised clustering analysis demonstrate that the proposed synchrony representation provides better separation between couples with high and low marital relationship quality than conventional statistical feature baselines.

کیفیت رابطه معمولاً با استفاده از پرسشنامه‌های خودگزارشی ارزیابی می‌شود که زمان‌بر بوده و ممکن است فرایندهای بین‌فردی را در طول تعامل به طور کامل منعکس نکند. تحلیل خودکار حالات چهره این امکان را فراهم می‌کند تا رفتارهای غیرکلامی در تعاملات طبیعی به شیوه‌ای عینی و پیوسته مورد مطالعه قرار گیرد. در این پژوهش، هم‌زمانی چهره‌ای دوتایی بر اساس سری‌های زمانی واحدهای کنشی چهره مبتنی بر ویدئو توصیف شده و ارتباط آن با کیفیت رابطه زناشویی بررسی می‌شود. به طور مشخص، هماهنگی دوتایی با استفاده از همبستگی‌های متقاطع بدون تأخیر میان رفتارهای چهره‌ای زوجین در چندین واحد کنشی کمی‌سازی می‌شود. این شاخص‌های هم‌زمانی که در پنجره‌های زمانی متوالی محاسبه می‌شوند، یک نمایه هم‌زمانی چندبُعدی به نام ماتریس S را تشکیل می‌دهند. روش پیشنهادی با استفاده از مجموعه داده iMotions شامل ضبط ویدئویی مکالمات حضوری، برآوردهای حالت چهره در سطح فریم و پاسخ‌های پرسشنامه Quality of Marriage Index (QMI) از ۲۷ زوج متأهل ارزیابی شده است. نتایج تحلیل خوشه‌بندی بدون ناظر نشان می‌دهد که نمایش هم‌زمانی پیشنهادی، جداسازی بهتری میان زوج‌های دارای کیفیت رابطه زناشویی بالا و پایین نسبت به ویژگی‌های آماری متداول فراهم می‌کند.

Fatigue-driving detection based on facial cues is challenging because the key fatigue-related regions, especially the eyes and mouth, are small, easily affected by illumination and occlusion, and must be detected in real time. To address insufficient small-target feature extraction and the trade-off between detection accuracy and model complexity, this paper proposes FWC-YOLOv8, an improved fatigue-driving detection framework built on YOLOv8s. First, an additional 160×160 detection head is introduced to preserve high-resolution spatial information and improve localization of small eye and mouth regions. Second, a Coordinate Attention (CA) module is embedded in the backbone to enhance position-aware feature representation. Third, the feature-fusion structure is refined to strengthen the interaction between shallow spatial details and deep semantic information. Finally, Wise-IoU, which uses a dynamic focusing mechanism, is adopted as the bounding-box regression loss to reduce the influence of low-quality samples and improve convergence. Experiments on the GX_FatigueDriving2020 dataset show that FWC-YOLOv8 achieves an mAP@0.50:0.95 of 0.640, corresponding to a 4.2 % improvement over the original YOLOv8s baseline. The model contains 17.0 M parameters and requires 35.5 GFLOPs, indicating a favorable balance between accuracy and computational cost. In addition, detected eye and mouth states are further converted into four fatigue indicators, namely PERCLOS, blink frequency, continuous eye-closure duration, and yawn frequency, and fused through a weighted multi-index assessment strategy to classify driver fatigue into alert, mild-fatigue, and severe-fatigue states. The framework combines task-specific facial-state detection with interpretable fatigue-level assessment.

تشخیص رانندگی در حالت خستگی مبتنی بر نشانه‌های چهره، به دلیل کوچک بودن نواحی کلیدی مرتبط با خستگی، به‌ویژه چشم‌ها و دهان، و تأثیرپذیری آسان آن‌ها از نور و انسداد، و همچنین لزوم تشخیص در زمان واقعی، چالش‌برانگیز است. به منظور رفع مشکل استخراج ناکافی ویژگی‌های اهداف کوچک و توازن میان دقت تشخیص و پیچیدگی مدل، این مقاله چارچوب تشخیص رانندگی خستگی FWC-YOLOv8 را که بر پایه YOLOv8s بهبود یافته است، پیشنهاد می‌کند. نخست، یک سر تشخیص اضافی با ابعاد ۱۶۰×۱۶۰ افزوده شده تا اطلاعات مکانی با وضوح بالا حفظ شده و مکان‌یابی نواحی کوچک چشم و دهان بهبود یابد. دوم، ماژول Coordinate Attention (CA) در بخش بک‌بون تعبیه شده تا نمایش ویژگی‌های آگاه از موقعیت را تقویت کند. سوم، ساختار همجوشی ویژگی‌ها اصلاح شده تا تعامل میان جزئیات مکانی سطحی و اطلاعات معنایی عمیق تقویت شود. در نهایت، Wise-IoU که از مکانیزم تمرکز پویا بهره می‌برد، به عنوان تابع زیان رگرسیون جعبه مرزی به کار رفته تا تأثیر نمونه‌های با کیفیت پایین کاهش یافته و همگرایی بهبود یابد. آزمایش‌ها بر روی مجموعه داده GX_FatigueDriving2020 نشان می‌دهد که FWC-YOLOv8 به مقدار mAP@0.50:0.95 برابر با ۰.۶۴۰ دست یافته که معادل ۴.۲٪ بهبود نسبت به مدل پایه YOLOv8s است. مدل شامل ۱۷.۰ میلیون پارامتر بوده و به ۳۵.۵ GFLOPs نیاز دارد که نشان‌دهنده توازن مطلوب میان دقت و هزینه محاسباتی است. علاوه بر این، وضعیت‌های چشم و دهان شناسایی‌شده به چهار شاخص خستگی شامل PERCLOS، فرکانس پلک‌زدن، مدت زمان بسته‌ماندن پیوسته چشم و فرکانس خمیازه تبدیل شده و از طریق راهبرد ارزیابی چندشاخصه وزنی برای طبقه‌بندی خستگی راننده به سه حالت هوشیار، خستگی خفیف و خستگی شدید ادغام می‌شوند. این چارچوب، تشخیص وضعیت چهره خاص وظیفه را با ارزیابی سطح خستگی قابل تفسیر ترکیب می‌کند.