Alyssa Miville

Relationship quality is typically assessed using self-report questionnaires, which are time-consuming and may not fully capture interpersonal processes during interaction. Automated facial expression analysis provides an opportunity to study nonverbal behavior during naturalistic interactions in a more objective and continuous manner. We characterize dyadic facial synchrony from video-based facial action unit time series and examine its association with marital relationship quality. Specifically, dyadic coordination is quantified using zero-lag cross-correlations between partners’ facial behaviors across multiple action units. Computed over successive temporal windows, these synchrony measures form a multidimensional synchrony profile, termed the S-matrix. We evaluate the proposed method using an iMotions dataset comprising video recordings of in-person conversations, frame-level facial expression estimates, and Quality of Marriage Index (QMI) survey responses from 27 married couples. Results from an unsupervised clustering analysis demonstrate that the proposed synchrony representation provides better separation between couples with high and low marital relationship quality than conventional statistical feature baselines.

کیفیت رابطه معمولاً با استفاده از پرسشنامه‌های خودگزارشی ارزیابی می‌شود که زمان‌بر بوده و ممکن است فرایندهای بین‌فردی را در طول تعامل به طور کامل منعکس نکند. تحلیل خودکار حالات چهره این امکان را فراهم می‌کند تا رفتارهای غیرکلامی در تعاملات طبیعی به شیوه‌ای عینی و پیوسته مورد مطالعه قرار گیرد. در این پژوهش، هم‌زمانی چهره‌ای دوتایی بر اساس سری‌های زمانی واحدهای کنشی چهره مبتنی بر ویدئو توصیف شده و ارتباط آن با کیفیت رابطه زناشویی بررسی می‌شود. به طور مشخص، هماهنگی دوتایی با استفاده از همبستگی‌های متقاطع بدون تأخیر میان رفتارهای چهره‌ای زوجین در چندین واحد کنشی کمی‌سازی می‌شود. این شاخص‌های هم‌زمانی که در پنجره‌های زمانی متوالی محاسبه می‌شوند، یک نمایه هم‌زمانی چندبُعدی به نام ماتریس S را تشکیل می‌دهند. روش پیشنهادی با استفاده از مجموعه داده iMotions شامل ضبط ویدئویی مکالمات حضوری، برآوردهای حالت چهره در سطح فریم و پاسخ‌های پرسشنامه Quality of Marriage Index (QMI) از ۲۷ زوج متأهل ارزیابی شده است. نتایج تحلیل خوشه‌بندی بدون ناظر نشان می‌دهد که نمایش هم‌زمانی پیشنهادی، جداسازی بهتری میان زوج‌های دارای کیفیت رابطه زناشویی بالا و پایین نسبت به ویژگی‌های آماری متداول فراهم می‌کند.