human-computer interaction

Pengenalan emosi melalui ekspresi wajah merupakan salah satu bidang penelitian dalam computer vision dan artificial intelligence yang berkembang pesat. Kemampuan sistem dalam mengenali ekspresi wajah manusia dapat diterapkan pada berbagai bidang, seperti pendidikan, pelayanan publik, kesehatan, sistem keamanan, hingga interaksi manusia dengan komputer (Human Computer Interaction). Penelitian ini bertujuan merancang sistem pengenalan emosi manusia secara real-time menggunakan algoritma Convolutional Neural Network (CNN). Dataset yang digunakan terdiri atas tujuh kategori emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Proses penelitian meliputi preprocessing dataset, augmentasi data menggunakan ImageDataGenerator, pelatihan model CNN menggunakan TensorFlow Keras, penyimpanan bobot model, serta implementasi deteksi emosi secara real-time menggunakan webcam dan OpenCV. Model CNN dibangun menggunakan beberapa lapisan konvolusi, fungsi aktivasi ReLU, Max Pooling, Dropout, Flatten, Fully Connected Layer, serta Softmax sebagai lapisan klasifikasi. Hasil penelitian menunjukkan bahwa model mampu mengenali ekspresi wajah secara real-time dengan tingkat akurasi yang baik serta mampu mengklasifikasikan tujuh kategori emosi berdasarkan citra wajah yang diperoleh dari kamera. Sistem yang dikembangkan diharapkan dapat menjadi dasar pengembangan aplikasi pengenalan emosi pada berbagai bidang yang membutuhkan interaksi otomatis antara manusia dan komputer. Facial Emotion Recognition (FER) is an application of computer vision and artificial intelligence that enables a system to automatically recognize facial expressions. This study aims to design and implement a real-time system for recognizing seven emotion categories based on a Convolutional Neural Network (CNN) using a webcam. The dataset consists of seven classes: angry, disgust, fear, happy, neutral, sad, and surprise. Images are processed in grayscale format with a size of 48 × 48 pixels and augmented using ImageDataGenerator. The CNN model is built with convolutional layers, ReLU, Max Pooling, Dropout, Flatten, a fully connected layer, and Softmax, using the Adam optimizer, a batch size of 64, and 50 epochs. Evaluation was based on training accuracy, validation accuracy, training loss, and validation loss. The results show that the model achieved a training accuracy of 95.10% and a validation accuracy of 93.40%, with a training loss of 0.19 and a validation loss of 0.27 at the 50th epoch. The implementation of OpenCV and the Haar Cascade enables real-time face detection and emotion classification via a webcam. Black Box Testing confirmed that all the application’s main functions operate as designed. This study contributes to the field by integrating CNNs with webcams; however, testing on independent datasets as well as measurements of FPS and latency are required in future research.

شناسایی هیجان از طریق بیان چهره یکی از حوزه‌های پژوهشی در بینایی ماشین و هوش مصنوعی است که به سرعت در حال توسعه می‌باشد. توانایی سیستم‌ها در شناسایی بیان چهره انسان می‌تواند در حوزه‌های مختلفی مانند آموزش، خدمات عمومی، سلامت، سیستم‌های امنیتی و همچنین تعامل انسان و رایانه (Human Computer Interaction) به کار گرفته شود. هدف این پژوهش، طراحی یک سیستم شناسایی هیجان انسان به صورت بلادرنگ با استفاده از الگوریتم شبکه عصبی پیچشی (CNN) است. داده‌های مورد استفاده شامل هفت دسته هیجانی است: angry، disgust، fear، happy، neutral، sad و surprise. فرایند پژوهش شامل پیش‌پردازش داده‌ها، افزایش داده با استفاده از ImageDataGenerator، آموزش مدل CNN با استفاده از TensorFlow Keras، ذخیره وزن‌های مدل و پیاده‌سازی شناسایی هیجان به صورت بلادرنگ با استفاده از وب‌کم و OpenCV می‌باشد. مدل CNN با استفاده از چندین لایه کانولوشن، تابع فعال‌سازی ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax به عنوان لایه طبقه‌بندی ساخته شده است. نتایج پژوهش نشان می‌دهد که مدل قادر است بیان چهره را به صورت بلادرنگ با دقت مناسبی شناسایی کند و هفت دسته هیجانی را بر اساس تصویر چهره دریافتی از دوربین طبقه‌بندی نماید. سیستم توسعه‌یافته می‌تواند مبنایی برای توسعه برنامه‌های شناسایی هیجان در حوزه‌هایی باشد که نیازمند تعامل خودکار بین انسان و رایانه هستند. شناسایی هیجان چهره (Facial Emotion Recognition, FER) یکی از کاربردهای بینایی ماشین و هوش مصنوعی است که امکان شناسایی خودکار بیان چهره را برای سیستم فراهم می‌کند. این پژوهش با هدف طراحی و پیاده‌سازی یک سیستم بلادرنگ برای شناسایی هفت دسته هیجانی بر اساس شبکه عصبی پیچشی (CNN) با استفاده از وب‌کم انجام شده است. داده‌ها شامل هفت کلاس angry، disgust، fear، happy، neutral، sad و surprise هستند. تصاویر به صورت خاکستری و با اندازه ۴۸ × ۴۸ پیکسل پردازش و با ImageDataGenerator افزایش داده شده‌اند. مدل CNN با لایه‌های کانولوشن، ReLU، Max Pooling، Dropout، Flatten، لایه Fully Connected و Softmax، با استفاده از بهینه‌ساز Adam، اندازه دسته ۶۴ و ۵۰ دوره (epoch) ساخته شده است. ارزیابی بر اساس دقت آموزش، دقت اعتبارسنجی، خطای آموزش و خطای اعتبارسنجی انجام شد. نتایج نشان داد مدل به دقت آموزش ۹۵.۱۰٪ و دقت اعتبارسنجی ۹۳.۴۰٪، با خطای آموزش ۰.۱۹ و خطای اعتبارسنجی ۰.۲۷ در دوره پنجاهم دست یافته است. پیاده‌سازی OpenCV و Haar Cascade امکان شناسایی چهره و طبقه‌بندی هیجان به صورت بلادرنگ از طریق وب‌کم را فراهم می‌کند. آزمون Black Box نشان داد که تمامی عملکردهای اصلی برنامه مطابق طراحی عمل می‌کنند. این پژوهش با ادغام CNN و وب‌کم به حوزه مربوطه کمک می‌کند؛ با این حال، آزمون بر روی داده‌های مستقل و همچنین اندازه‌گیری FPS و تأخیر در پژوهش‌های آتی مورد نیاز است.

As human–AI cooperation becomes increasingly prevalent, reliable instruments for assessing the subjective quality of cooperative human–AI interaction are needed. We introduce two theoretically grounded scales: the Perceived Cooperativity Scale (PCS), grounded in joint activity theory, and the Teaming Perception Scale (TPS), grounded in evolutionary cooperation theory. The PCS captures an agent’s perceived cooperative capability and practice within a single interaction sequence; the TPS captures the emergent sense of teaming arising from mutual contribution and support. Both scales were adapted for human–human cooperation to enable cross-agent comparisons. Across three studies (complete N=409) encompassing a cooperative card game (N1=94), LLM interaction (N2=182), and a decision-support system (N3=133), analyses of dimensionality, reliability, and validity indicated that both scales successfully differentiated between cooperation partners of varying cooperative quality and showed construct validity in line with expectations. The scales provide a basis for empirical investigation and system evaluation across a wide range of human–AI cooperation contexts.

با گسترش روزافزون همکاری انسان‌-هوش مصنوعی، ابزارهای قابل اعتماد برای سنجش کیفیت ذهنی تعاملات تعاونی انسان‌-هوش مصنوعی مورد نیاز است. ما دو مقیاس نظریه‌محور معرفی می‌کنیم: مقیاس ادراک همکاری (PCS) مبتنی بر نظریه فعالیت مشترک و مقیاس ادراک تیمی (TPS) مبتنی بر نظریه تکاملی همکاری. PCS توانمندی و عملکرد تعاونی ادراک‌شده یک عامل را در یک توالی تعامل منفرد اندازه‌گیری می‌کند؛ TPS حس پدیداری تیمی ناشی از مشارکت و حمایت متقابل را می‌سنجد. هر دو مقیاس برای همکاری انسان‌-انسان نیز تطبیق داده شده‌اند تا امکان مقایسه بین عامل‌ها فراهم شود. در سه مطالعه (کل N=409) شامل یک بازی کارتی تعاونی (N1=94)، تعامل با LLM (N2=182) و یک سامانه پشتیبان تصمیم‌گیری (N3=133)، تحلیل‌های ابعادی، پایایی و روایی نشان داد که هر دو مقیاس به طور موفقیت‌آمیزی میان شرکای همکاری با کیفیت تعاونی متفاوت تمایز قائل می‌شوند و روایی سازه‌ای مطابق با انتظارات را نشان می‌دهند. این مقیاس‌ها مبنایی برای پژوهش‌های تجربی و ارزیابی سامانه‌ها در طیف وسیعی از زمینه‌های همکاری انسان‌-هوش مصنوعی فراهم می‌کنند.

Leadership coaching develops managers but is expensive and difficult to scale. AI may be able to help scale access, but “answering machine” like AI coaching agents invite cognitive offloading and weaken learning. We instantiated a human coaching protocol, supported across prior cycles, as a text-based AI coach built to prompt reflective questioning. In the fourth cycle of a design-based research program at a global consulting firm, eight managers received the same protocol from a human coach and the AI coach, applied each session in an observed onboarding activity, and reflected on both in interviews. All eight welcomed the probing questions and preferred the human coach. Notably, they resisted the same protocol of questioning from the AI coach and wanted answers from it instead. This study’s theoretical contribution is the Reflection Penalty, the cost an AI coach pays for asking a user to do the reflective work that makes human coaching effective. Its practical contribution is a jobs-to-be-done map for AI coaching, assembled from proposals participants raised on their own. It divides coaching into distinct jobs and assigns each to the human or the AI best suited to it. Both contributions are offered to those designing AI tools that aim to support reflection

مربیگری رهبری به توسعهٔ مدیران کمک می‌کند اما پرهزینه و دشوار برای مقیاس‌پذیری است. هوش مصنوعی ممکن است بتواند دسترسی را مقیاس‌پذیر کند، اما عامل‌های مربیگری مبتنی بر هوش مصنوعی که شبیه «دستگاه پاسخگو» عمل می‌کنند، منجر به واگذاری شناختی و تضعیف یادگیری می‌شوند. ما یک پروتکل مربیگری انسانی را که در چرخه‌های قبلی پشتیبانی شده بود، به‌صورت یک مربی مبتنی بر متن با هدف پرسشگری تأملی به‌عنوان مربی هوش مصنوعی پیاده‌سازی کردیم. در چهارمین چرخهٔ یک برنامهٔ پژوهش مبتنی بر طراحی در یک شرکت مشاورهٔ جهانی، هشت مدیر همان پروتکل را از یک مربی انسانی و مربی هوش مصنوعی دریافت کردند، هر جلسه را در یک فعالیت مشاهده‌شدهٔ آشنایی به کار بردند و در مصاحبه‌ها دربارهٔ هر دو تأمل کردند. هر هشت نفر پرسش‌های عمیق را پذیرفتند و مربی انسانی را ترجیح دادند. به طور قابل توجهی، آن‌ها در برابر همان پروتکل پرسشگری از سوی مربی هوش مصنوعی مقاومت کردند و به جای آن خواهان دریافت پاسخ از آن بودند. سهم نظری این مطالعه «جریمهٔ تأمل» است؛ هزینه‌ای که یک مربی هوش مصنوعی برای واداشتن کاربر به انجام کار تأملی که مربیگری انسانی را مؤثر می‌کند، می‌پردازد. سهم عملی آن نقشه‌ای از وظایف قابل انجام برای مربیگری هوش مصنوعی است که از پیشنهادهای مطرح‌شده توسط شرکت‌کنندگان گردآوری شده است. این نقشه مربیگری را به وظایف متمایز تقسیم می‌کند و هر یک را به انسان یا هوش مصنوعی که برای آن مناسب‌تر است، اختصاص می‌دهد. هر دو سهم به طراحان ابزارهای هوش مصنوعی که هدف آن‌ها حمایت از تأمل است، ارائه می‌شود.

Large language models (LLMs) are rapidly reshaping digital mental health, yet how these systems are designed, used, and evaluated remains poorly characterized. We conducted an HCI-centered scoping review of 84 studies examining mental health tasks, stakeholders, interaction paradigms, foundation models, evaluation methods, and outcome measurement. Counseling and support and self-help and well-being accounted for 73.8% of studies, while clinician support and crisis and risk support remained uncommon. Mixed-methods user studies predominated (42.9%), with only three randomized controlled trials and eight studies classified as longitudinal or field evaluations. Technical and response performance was assessed in 81.0% of studies, compared with 29.8% assessing mental health symptoms and clinical outcomes and 7.1% including longitudinal follow-up. Outcome profiles differed across intended tasks. Building on these findings and established evaluation guidance, we propose a task-oriented framework aligning evaluation domains, measurement approaches, and assessment timing with intended use.

مدل‌های زبانی بزرگ (LLMs) به سرعت در حال بازشکل‌دهی سلامت روان دیجیتال هستند، با این حال نحوه طراحی، استفاده و ارزیابی این سامانه‌ها همچنان به‌درستی تبیین نشده است. ما یک مرور محدوده با محوریت تعامل انسان و رایانه (HCI) بر روی ۸۴ مطالعه انجام دادیم که به بررسی وظایف سلامت روان، ذینفعان، الگوهای تعاملی، مدل‌های پایه، روش‌های ارزیابی و سنجش پیامدها می‌پرداختند. مشاوره و حمایت و خودیاری و بهزیستی ۷۳.۸٪ مطالعات را تشکیل می‌دادند، در حالی که حمایت از درمانگران و حمایت در بحران و ریسک کمتر رایج بودند. مطالعات کاربری با روش‌های ترکیبی غالب بودند (۴۲.۹٪)، و تنها سه کارآزمایی تصادفی کنترل‌شده و هشت مطالعه به‌عنوان ارزیابی‌های طولی یا میدانی طبقه‌بندی شدند. عملکرد فنی و پاسخ‌دهی در ۸۱.۰٪ مطالعات ارزیابی شد، در مقایسه با ۲۹.۸٪ که به ارزیابی علائم سلامت روان و پیامدهای بالینی پرداختند و ۷.۱٪ که پیگیری طولی را شامل می‌شدند. پروفایل‌های پیامدها بسته به وظایف مورد نظر متفاوت بود. بر اساس این یافته‌ها و راهنمایی‌های ارزیابی موجود، ما یک چارچوب وظیفه‌محور پیشنهاد می‌کنیم که حوزه‌های ارزیابی، رویکردهای سنجش و زمان‌بندی ارزیابی را با کاربرد مورد نظر همسو می‌سازد.

Automated vehicles (AV) can exhibit diverse driving behaviors that deviate from driver expectations. More research is needed to understand drivers’ preferred driving styles when navigating safety-critical situations as well as their responses to unexpected AV driving behaviors. Forty-eight participants experienced simulated automated driving scenarios where an AV navigated a construction zone while exhibiting four different predefined driving styles that varied in terms of cautiousness and efficiency. After each trial, participants provided feedback to adjust the AV’s driving style toward their preferences, which was successfully implemented in 80% cases. Drivers’ trust, workload, voluntary takeover decisions, eye movements, and skin conductance were measured. Overall, participants preferred driving styles balancing cautiousness and efficiency. When AV behavior matched driver preferences, they reported higher trust and more stable visual scanning patterns, while unexpected behaviors were associated with broader ocular scanning. Findings can inform the development of adaptive systems that intelligently modify AV behaviors.

خودروهای خودران (AV) می‌توانند رفتارهای رانندگی متنوعی از خود نشان دهند که ممکن است با انتظارات رانندگان متفاوت باشد. پژوهش‌های بیشتری برای درک سبک‌های رانندگی ترجیحی رانندگان در موقعیت‌های بحرانی ایمنی و همچنین واکنش‌های آنان به رفتارهای غیرمنتظره خودروهای خودران مورد نیاز است. چهل‌وهشت شرکت‌کننده سناریوهای شبیه‌سازی‌شده رانندگی خودکار را تجربه کردند که در آن خودرو خودران از یک منطقه ساخت‌وساز عبور می‌کرد و چهار سبک رانندگی از پیش تعیین‌شده با سطوح مختلف احتیاط و کارایی را به نمایش می‌گذاشت. پس از هر آزمون، شرکت‌کنندگان بازخوردهایی برای تنظیم سبک رانندگی خودرو مطابق با ترجیحات خود ارائه دادند که در ۸۰٪ موارد با موفقیت اجرا شد. اعتماد رانندگان، بارکاری، تصمیمات داوطلبانه برای در دست گرفتن کنترل، حرکات چشمی و هدایت الکتریکی پوست اندازه‌گیری شد. به طور کلی، شرکت‌کنندگان سبک‌های رانندگی متعادل میان احتیاط و کارایی را ترجیح دادند. زمانی که رفتار خودرو با ترجیحات راننده مطابقت داشت، اعتماد بیشتری گزارش شد و الگوهای اسکن بصری پایدارتری مشاهده گردید، در حالی که رفتارهای غیرمنتظره با اسکن چشمی گسترده‌تر همراه بود. یافته‌ها می‌تواند به توسعه سامانه‌های تطبیقی که رفتار خودروهای خودران را به‌صورت هوشمندانه تعدیل می‌کنند، کمک نماید.

Research on emotional recognition from images is advancing across computer vision, psychology, and neuroscience. Even though computer vision has come a long way, emotion detection still faces many challenges. For example, facial-centric models trained on small datasets don't always get the right results, and there aren't enough image collections that show emotions in the right context to show how complicated they really are. This work proposes an innovative approach for contextual emotional detection by integrating bodily sensations with environmental data. We created LEMOTIC, a large, diverse dataset that covers a 116,034 images; wide range of emotional situations. We constructed our methodology utilising a deep convolutional neural network (DCNN) architecture. To better understand emotions in context, we connect 26 different emotional categories to three continuous emotional dimensions: valence, arousal, and dominance. After extensive hyperparameter tuning, our model demonstrated accurate emotion recognition from full-body postures and ambient data. Our Sentiment Recognition Model surpasses earlier techniques in both accuracy and generalisation for continuous and discrete emotional variables. Our study reveals that somatic and contextual emotions are particularly important when examining emotions in images. Our method improves context-aware emotion recognition by using deep learning and a carefully chosen dataset. This makes it easier to use in social robotics, affective computing, and human-computer interaction.

پژوهش‌ها در زمینه شناسایی هیجان از تصاویر در حوزه‌های بینایی ماشین، روان‌شناسی و علوم اعصاب در حال پیشرفت است. با وجود پیشرفت‌های قابل توجه در بینایی ماشین، شناسایی هیجان همچنان با چالش‌های متعددی مواجه است. به عنوان مثال، مدل‌های مبتنی بر چهره که با داده‌های محدود آموزش دیده‌اند، همواره نتایج دقیقی ارائه نمی‌دهند و مجموعه تصاویر کافی که هیجان‌ها را در زمینه مناسب نمایش دهند و پیچیدگی آن‌ها را نشان دهند، وجود ندارد. این پژوهش رویکردی نوآورانه برای شناسایی هیجان زمینه‌مند با ادغام احساسات بدنی و داده‌های محیطی ارائه می‌دهد. ما مجموعه داده LEMOTIC را ایجاد کردیم که شامل ۱۱۶٬۰۳۴ تصویر و دامنه وسیعی از موقعیت‌های هیجانی است. روش‌شناسی ما مبتنی بر معماری شبکه عصبی کانولوشنی عمیق (DCNN) طراحی شده است. به منظور درک بهتر هیجان‌ها در زمینه، ۲۶ دسته هیجانی مختلف را به سه بعد پیوسته هیجان شامل والانس، برانگیختگی و سلطه متصل کردیم. پس از تنظیم گسترده ابرپارامترها، مدل ما توانست شناسایی دقیقی از هیجان بر اساس وضعیت‌های بدنی کامل و داده‌های محیطی ارائه دهد. مدل شناسایی هیجان ما از نظر دقت و تعمیم‌پذیری در متغیرهای هیجانی پیوسته و گسسته، عملکرد بهتری نسبت به روش‌های پیشین نشان داد. یافته‌های پژوهش نشان می‌دهد که هیجان‌های جسمانی و زمینه‌ای در بررسی هیجان‌ها در تصاویر اهمیت ویژه‌ای دارند. روش ما با بهره‌گیری از یادگیری عمیق و مجموعه داده‌ای منتخب، شناسایی هیجان آگاه از زمینه را بهبود می‌بخشد و کاربرد آن را در رباتیک اجتماعی، محاسبات عاطفی و تعامل انسان و رایانه تسهیل می‌کند.

Facial expression recognition is an important task in real-time human-computer interaction, but its practical application is still limited by partial facial occlusion, high computational cost, and the lack of fine-grained emotion representation. To address these issues, this paper proposes OQ-FERNet, an occlusion-aware quantitative facial expression recognition network. The proposed network adopts MobileNetV4-Conv-S as a lightweight facial expression feature extraction backbone to obtain compact and discriminative representations with low computational cost. On this basis, an Occlusion-aware Regional Reweighting module is designed to divide the feature map into upper-face, middle-face, and lower-face regions, and adaptively adjust their contributions according to regional reliability. This design suppresses occluded or less informative facial areas while enhancing visible expression-related cues. Furthermore, a Quantitative Emotion Prediction Head is introduced to jointly perform discrete expression classification and emotion intensity estimation, enabling the model to provide both categorical and fine-grained affective outputs. Experiments are conducted on RAF-DB and AffectNet-7. The results show that OQ-FERNet achieves competitive classification performance, improved robustness under different occlusion conditions, and effective quantitative emotion prediction. Specifically, OQ-FERNet obtains 93.12% accuracy on RAF-DB and 68.32% accuracy on AffectNet-7, while achieving an MAE of 0.246, an MSE of 0.101, and an RMSE of 0.318 for quantitative emotion prediction on AffectNet-7. In addition, the model contains only 4.18M parameters and 0.26G FLOPs, with an inference speed of 356 FPS. These results indicate that OQ-FERNet provides an effective and efficient solution for lightweight, occlusion-robust, and fine-grained facial expression recognition in real-time human-computer interaction scenarios. The source code is publicly available at: https://github.com/jiahao001-j/OQ-FERNet .

شناسایی حالات چهره یکی از وظایف مهم در تعامل بلادرنگ انسان و رایانه است، اما کاربرد عملی آن همچنان با محدودیت‌هایی مانند انسداد جزئی چهره، هزینه محاسباتی بالا و فقدان بازنمایی دقیق احساسات مواجه است. برای رفع این مشکلات، این مقاله OQ-FERNet را به عنوان یک شبکه شناسایی کمی حالات چهره با آگاهی از انسداد پیشنهاد می‌کند. این شبکه از MobileNetV4-Conv-S به عنوان یک ستون فقرات سبک برای استخراج ویژگی‌های حالات چهره استفاده می‌کند تا بازنمایی‌های فشرده و متمایز با هزینه محاسباتی پایین به دست آورد. بر این اساس، یک ماژول وزن‌دهی مجدد ناحیه‌ای با آگاهی از انسداد طراحی شده است که نقشه ویژگی را به نواحی بالای چهره، میانه چهره و پایین چهره تقسیم می‌کند و به طور تطبیقی سهم هر ناحیه را بر اساس پایایی ناحیه‌ای تنظیم می‌کند. این طراحی نواحی چهره مسدود یا کم‌اطلاعات را سرکوب کرده و نشانه‌های مرتبط با حالات قابل مشاهده را تقویت می‌کند. علاوه بر این، یک سر پیش‌بینی کمی احساسات معرفی شده است تا به طور همزمان طبقه‌بندی حالات گسسته و برآورد شدت احساسات را انجام دهد و مدل را قادر می‌سازد خروجی‌های عاطفی هم دسته‌ای و هم دقیق ارائه دهد. آزمایش‌ها بر روی پایگاه‌های داده RAF-DB و AffectNet-7 انجام شده است. نتایج نشان می‌دهد که OQ-FERNet عملکرد طبقه‌بندی رقابتی، افزایش تاب‌آوری در شرایط مختلف انسداد و پیش‌بینی مؤثر کمی احساسات را ارائه می‌دهد. به طور خاص، OQ-FERNet به دقت 93.12% در RAF-DB و دقت 68.32% در AffectNet-7 دست یافته است، در حالی که برای پیش‌بینی کمی احساسات در AffectNet-7 به MAE برابر با 0.246، MSE برابر با 0.101 و RMSE برابر با 0.318 دست یافته است. علاوه بر این، مدل تنها شامل 4.18M پارامتر و 0.26G FLOPs است و سرعت استنتاج آن 356 FPS می‌باشد. این نتایج نشان می‌دهد که OQ-FERNet راه‌حلی مؤثر و کارآمد برای شناسایی حالات چهره سبک، مقاوم در برابر انسداد و دقیق در سناریوهای تعامل بلادرنگ انسان و رایانه فراهم می‌کند. کد منبع به صورت عمومی در دسترس است: https://github.com/jiahao001-j/OQ-FERNet .

Mobile GUI Agents powered by multimodal large language models (MLLMs) show promise in human-computer intelligence. However, current research primarily focuses on reactive task execution while lacking a comprehensive “understanding-prediction-execution” process for user intentions, which are the core requirements of active agents. In this paper, we propose the Act2Intention framework that builds an active mobile agent by integrating understanding, predicting user intentions, and executing decisions. Firstly, we constructed the Act2Intention Bench through collection and validated generation, comprising 72,511 intentions and over 700,000 actions across 52 apps, thereby establishing the first benchmark for evaluating proactive agents via continuous “intention-actions” trajectories. We further develop the Act2Intention Agent, achieving proactive services through Proactive-oriented Intention Understanding, Personalized Proactive Intention Prediction, and Experience-guided Intention Execution. Experimental results show that supervised fine-tuning on Act2Intention Bench yields absolute improvements of +32.0 Acc-S, +10.25 Acc-S, and +6.9 SSR points over non-fine-tuned counterparts under the same agent framework for intention understanding, prediction, and execution, respectively. This success underscores the necessity and value of the Act2Intention Bench, which establishes a standardized platform for developing and evaluating proactive agents and consequently paves the way for research on intention-driven human-computer interaction. To facilitate further research, we open-source our code and Act2Intention Bench at: npuNancy/Act2Intention.

عامل‌های رابط کاربری موبایل مبتنی بر مدل‌های زبانی بزرگ چندوجهی (MLLMs) نویدبخش پیشرفت در هوش انسان-رایانه هستند. با این حال، پژوهش‌های کنونی عمدتاً بر اجرای واکنشی وظایف تمرکز دارند و فاقد فرایند جامع «درک-پیش‌بینی-اجرا» برای نیت‌های کاربر هستند که از الزامات اصلی عامل‌های فعال به‌شمار می‌رود. در این مقاله، چارچوب Act2Intention را پیشنهاد می‌کنیم که با ادغام درک، پیش‌بینی نیت کاربر و اجرای تصمیمات، یک عامل فعال موبایل ایجاد می‌کند. نخست، Act2Intention Bench را از طریق گردآوری و تولید اعتبارسنجی‌شده ایجاد کردیم که شامل ۷۲٬۵۱۱ نیت و بیش از ۷۰۰٬۰۰۰ کنش در ۵۲ برنامه است و بدین ترتیب نخستین معیار برای ارزیابی عامل‌های پیش‌فعال از طریق مسیرهای پیوسته «نیت-کنش» را پایه‌گذاری کردیم. همچنین عامل Act2Intention را توسعه دادیم که خدمات پیش‌فعال را از طریق «درک نیت مبتنی بر پیش‌فعالیت»، «پیش‌بینی نیت شخصی‌سازی‌شده» و «اجرای نیت هدایت‌شده با تجربه» ارائه می‌دهد. نتایج تجربی نشان می‌دهد که تنظیم نظارت‌شده بر روی Act2Intention Bench بهبود مطلق +۳۲٫۰ Acc-S، +۱۰٫۲۵ Acc-S و +۶٫۹ SSR را نسبت به نسخه‌های بدون تنظیم در همان چارچوب عامل، به‌ترتیب در درک، پیش‌بینی و اجرای نیت به همراه دارد. این موفقیت بر ضرورت و ارزش Act2Intention Bench تأکید می‌کند که بستری استاندارد برای توسعه و ارزیابی عامل‌های پیش‌فعال فراهم می‌آورد و مسیر پژوهش در تعامل انسان-رایانه مبتنی بر نیت را هموار می‌سازد. به‌منظور تسهیل پژوهش‌های بیشتر، کد و Act2Intention Bench به‌صورت متن‌باز در npuNancy/Act2Intention ارائه شده است.

The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.

کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخ‌های فیزیولوژیکی و رفتاری چندوجهی است و به سیستم‌های هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیش‌بینی قصد عاطفی کمک می‌کند. اگرچه مدل‌های عمیق موجود پیشرفت‌های قابل توجهی نشان داده‌اند، اما اکثر آن‌ها شیوه‌های چندوجهی را به صورت مجزا پردازش می‌کنند و مکانیسم‌های علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمی‌گیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی می‌کند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهت‌دار متغیر با زمان میان کانال‌های فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمی‌گیرد. تمامی شیوه‌های داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویایی‌های چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدل‌سازی شده‌اند که با مکانیزم خودتوجهی یاد گرفته می‌شود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیه‌های نهفته در حال تغییر پیوسته را آموزش می‌دهد تا بتواند تغییرات احساسات را به طور هموار مدل‌سازی کند. توجه متقاطع شرطی‌شده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام می‌کند و استنباطی معنادار و فردمحور ارائه می‌دهد. تحلیل‌های تجربی بر روی مجموعه AFFEC نشان می‌دهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدل‌های پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوه‌های داده مقاوم است. نقشه‌های تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودی‌های شیوه‌های داده نشان می‌دهد که اطلاعات علوم اعصاب درباره شکل‌گیری احساسات ارائه می‌کند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل می‌کند.

Play-based parent-child interaction offers preschoolers rich opportunities for everyday foreign language learning, yet many parents struggle to turn open-ended play into effective English-as-a-Foreign-Language (EFL) learning experiences at home. To explore how AI might support this process, we conducted formative studies through interviews and a Wizard-of-Oz study. We identified four key challenges: content selection, language expression, balancing instruction and play, and problem solving. To address these challenges, we present PAPEL, a parent–AI collaborative system that grounds suggestions in the ongoing play scene and organizes support into four core modules: content generation, language adaptation, balance assessment, and extended response. In a counterbalanced within-subjects study with 16 parent–child dyads, PAPEL was associated with more integrated parent utterances that combined playful and instructional content, as well as more parent–child conversational turns, than the lightweight chatbot baseline used in our study.

تعامل والد-کودک مبتنی بر بازی، فرصت‌های غنی‌ای برای یادگیری زبان خارجی در زندگی روزمره کودکان پیش‌دبستانی فراهم می‌کند، اما بسیاری از والدین در تبدیل بازی‌های باز به تجربیات مؤثر یادگیری زبان انگلیسی به‌عنوان زبان خارجی (EFL) در خانه با دشواری مواجه هستند. به‌منظور بررسی نقش هوش مصنوعی در حمایت از این فرایند، مطالعات شکل‌دهنده‌ای از طریق مصاحبه‌ها و مطالعهٔ ویزارد آو آز انجام دادیم. چهار چالش کلیدی شناسایی شد: انتخاب محتوا، بیان زبانی، ایجاد تعادل میان آموزش و بازی، و حل مسئله. برای پاسخ به این چالش‌ها، سامانهٔ PAPEL را معرفی می‌کنیم که یک سامانهٔ مشارکتی والد-هوش مصنوعی است و پیشنهادها را بر اساس صحنهٔ جاری بازی ارائه می‌دهد و حمایت را در قالب چهار ماژول اصلی سازمان‌دهی می‌کند: تولید محتوا، سازگاری زبانی، ارزیابی تعادل، و پاسخ‌دهی گسترده. در یک مطالعهٔ درون‌گروهی متقابل با ۱۶ زوج والد-کودک، استفاده از PAPEL با اظهارات والدین یکپارچه‌تر که محتوای بازیگوشانه و آموزشی را ترکیب می‌کردند و همچنین تعداد بیشتری از نوبت‌های مکالمهٔ والد-کودک نسبت به چت‌بات سبک‌وزن مبنا در پژوهش ما همراه بود.

Minority viewpoints are often suppressed in power-imbalanced group decision-making due to social pressure to comply with the majority. To address this problem, we developed an LLM-powered dissenting minority support system that aimed to foster attention to minority views through either AI-generated counterarguments or AI-mediated messages. We conducted a mixed-method experiment with 96 participants in 24 groups, comparing minority members’ experiences across baseline, AI-counterargument, and AI-mediated message conditions. Our findings revealed a nuanced trade-off: AI-generated counterarguments fostered a more flexible atmosphere and enhanced satisfaction, while AI-mediated messaging increased minority participation but unexpectedly reduced their psychological safety. This research contributes empirical evidence on how different AI implementations affect group dynamics, identifies a critical support paradox between participation and psychological safety, provides design implications for future systems, and highlights ethical challenges in implementing AI-mediated communication in hierarchical settings. These insights advance understanding of designing more equitable AI support for power-imbalanced group decision-making.

دیدگاه‌های اقلیت در تصمیم‌گیری گروهی با عدم توازن قدرت اغلب به دلیل فشار اجتماعی برای تبعیت از اکثریت سرکوب می‌شوند. برای رفع این مشکل، ما سامانه‌ای مبتنی بر مدل زبانی بزرگ (LLM) جهت حمایت از اقلیت مخالف توسعه دادیم که هدف آن جلب توجه به دیدگاه‌های اقلیت از طریق پاداستدلال‌های تولیدشده توسط هوش مصنوعی یا پیام‌های میانجی‌گری‌شده توسط هوش مصنوعی بود. ما یک آزمایش ترکیبی با ۹۶ شرکت‌کننده در ۲۴ گروه انجام دادیم و تجربیات اعضای اقلیت را در شرایط پایه، پاداستدلال هوش مصنوعی و پیام میانجی‌گری‌شده توسط هوش مصنوعی مقایسه کردیم. یافته‌های ما نشان داد که یک موازنه ظریف وجود دارد: پاداستدلال‌های تولیدشده توسط هوش مصنوعی فضای انعطاف‌پذیرتری ایجاد کرده و رضایت را افزایش دادند، در حالی که پیام‌های میانجی‌گری‌شده توسط هوش مصنوعی مشارکت اقلیت را افزایش داد اما به طور غیرمنتظره‌ای ایمنی روانی آن‌ها را کاهش داد. این پژوهش شواهد تجربی درباره تأثیر پیاده‌سازی‌های مختلف هوش مصنوعی بر پویایی‌های گروه ارائه می‌دهد، به یک پارادوکس حمایتی مهم میان مشارکت و ایمنی روانی اشاره می‌کند، پیامدهای طراحی برای سامانه‌های آینده را مطرح می‌سازد و چالش‌های اخلاقی در اجرای ارتباط میانجی‌گری‌شده توسط هوش مصنوعی در محیط‌های سلسله‌مراتبی را برجسته می‌کند. این یافته‌ها به درک بهتر طراحی حمایت‌های عادلانه‌تر مبتنی بر هوش مصنوعی برای تصمیم‌گیری گروهی با عدم توازن قدرت کمک می‌کند.

When an individual is harmed by someone in power, such as a workplace manager, it can help to identify allies—people who would offer advice or supportive action. However, ally discovery is fraught because the very people who might be most relevant—e.g., someone who reports to the same manager—might not be sympathetic and could exacerbate the harm. We examine this problem in the context of PhD students navigating advising challenges and present a social media platform called “Moa” that brings together a number of features for facilitating ally discovery. Moa’s most novel element is an audience selection process that uses what we call consent boundaries , which allow users to flexibly define each post or comment’s audience based on factors such as common social identity or lived experience, all while preserving mutual anonymity. A 3-week field study with 47 real-world users showed that Moa’s features in combination facilitated sensitive conversations about advising, with 7 out of 31 posters (22.6%) using consent boundaries. We discuss both our overall “recipe” for systems for ally discovery and the benefits of a consent-centered approach to design.

زمانی که فردی توسط شخصی صاحب قدرت، مانند مدیر محل کار، آسیب می‌بیند، شناسایی متحدان—افرادی که می‌توانند مشاوره یا اقدام حمایتی ارائه دهند—می‌تواند مفید باشد. با این حال، کشف متحدان با دشواری‌هایی همراه است، زیرا افرادی که ممکن است بیشترین ارتباط را داشته باشند—برای مثال، کسی که به همان مدیر گزارش می‌دهد—ممکن است همدل نباشند و حتی آسیب را تشدید کنند. ما این مسئله را در زمینه دانشجویان دکتری که با چالش‌های راهنمایی مواجه‌اند بررسی می‌کنیم و یک بستر شبکه اجتماعی به نام «Moa» را معرفی می‌کنیم که مجموعه‌ای از ویژگی‌ها را برای تسهیل کشف متحدان فراهم می‌آورد. نوآورانه‌ترین عنصر Moa فرایند انتخاب مخاطب است که از آنچه ما «مرزهای رضایت» می‌نامیم استفاده می‌کند؛ این امکان را به کاربران می‌دهد تا برای هر پست یا نظر، مخاطب را به طور انعطاف‌پذیر بر اساس عواملی مانند هویت اجتماعی مشترک یا تجربه زیسته تعریف کنند، در حالی که ناشناسی متقابل حفظ می‌شود. یک مطالعه میدانی سه‌هفته‌ای با ۴۷ کاربر واقعی نشان داد که ترکیب ویژگی‌های Moa گفتگوهای حساس درباره راهنمایی را تسهیل کرده است، به طوری که ۷ نفر از ۳۱ ارسال‌کننده (۲۲.۶٪) از مرزهای رضایت استفاده کردند. ما هم «دستورالعمل» کلی خود برای سیستم‌های کشف متحدان و هم مزایای رویکرد مبتنی بر رضایت در طراحی را مورد بحث قرار می‌دهیم.

This study examines how parents of LGBTQ+ individuals in South Korea navigate the emotional rupture fueled by fear, isolation, and disorientation after learning their children’s queer identity, encounter queer-related (mis)information as a way of coping with this emotional toll, and come to listen to queer realities relationally. Through this process, we highlight how parents reconstruct their identities as supportive parents, which reshapes their informating practices, making them more critical in assessing queer-related (mis)information, developing strategies to protect themselves from harmful narratives, and actively challenging misinformation to support others navigating similar experiences. This work contributes to CSCW by (1) foregrounding parents of LGBTQ+ individuals, an underrepresented yet critical stakeholder group in Queer HCI; (2) demonstrating how identity reconfiguration following a trauma-healing process could transform informating practices; and (3) arguing that addressing misinformation requires attention beyond individual fact-based discerning to account for its relational, cultural, and emotional dimensions. Further, we invite CSCW scholars to reconsider the balance between abstracting and humanizing information, explore future design possibilities for parents of LGBTQ+ children, and reflect on the role of researchers as participants in collective research communities fueled by care.

این مطالعه بررسی می‌کند که والدین افراد LGBTQ+ در کره جنوبی چگونه با گسست عاطفی ناشی از ترس، انزوا و سردرگمی پس از آگاهی از هویت کوییر فرزندان خود مواجه می‌شوند، چگونه با (اطلاعات/اطلاعات نادرست) مرتبط با کوییر به عنوان راهکاری برای مقابله با این فشار عاطفی روبه‌رو می‌شوند و چگونه به صورت رابطه‌ای به واقعیت‌های کوییر گوش می‌سپارند. در این فرایند، نشان داده می‌شود که والدین چگونه هویت خود را به عنوان والدین حمایت‌گر بازسازی می‌کنند و این امر شیوه‌های اطلاع‌رسانی آن‌ها را بازشکل می‌دهد؛ به گونه‌ای که آن‌ها در ارزیابی (اطلاعات/اطلاعات نادرست) مرتبط با کوییر انتقادی‌تر عمل می‌کنند، راهبردهایی برای محافظت از خود در برابر روایت‌های آسیب‌زا توسعه می‌دهند و به طور فعال با اطلاعات نادرست مقابله می‌کنند تا از دیگرانی که تجربه‌های مشابهی دارند حمایت نمایند. این پژوهش به حوزه CSCW از طریق (۱) برجسته‌سازی والدین افراد LGBTQ+ به عنوان گروه ذی‌نفعی که کمتر مورد توجه قرار گرفته اما بسیار مهم در Queer HCI است؛ (۲) نشان دادن اینکه بازپیکربندی هویت پس از فرایند تروما و التیام چگونه می‌تواند شیوه‌های اطلاع‌رسانی را دگرگون سازد؛ و (۳) استدلال بر اینکه مقابله با اطلاعات نادرست نیازمند توجهی فراتر از تشخیص فردی مبتنی بر واقعیت بوده و باید ابعاد رابطه‌ای، فرهنگی و عاطفی آن نیز مدنظر قرار گیرد، کمک می‌کند. افزون بر این، از پژوهشگران CSCW دعوت می‌شود تا توازن میان انتزاعی‌سازی و انسانی‌سازی اطلاعات را بازاندیشی کنند، امکانات طراحی آینده برای والدین دارای فرزندان LGBTQ+ را بررسی نمایند و درباره نقش پژوهشگران به عنوان مشارکت‌کنندگان در جوامع پژوهشی جمعی مبتنی بر مراقبت تأمل کنند.

Mental health is a growing global concern, prompting interest in AI-driven solutions to expand access to psychosocial support. Peer support , grounded in lived experience, offers a valuable complement to professional care. However, variability in training, effectiveness, and definitions raises concerns about quality, consistency, and safety. Large Language Models (LLMs) present new opportunities to enhance peer support interactions, particularly in real-time, text-based interactions. We present and evaluate an AI-supported system with an LLM-simulated distressed client ( SimClient ), context-sensitive LLM-generated suggestions ( Suggestions ), and real-time emotion visualisations. 2 mixed-methods studies with 12 peer supporters and 6 mental health professionals (i.e., experts) examined the system’s effectiveness and implications for practice. Both groups recognised its potential to enhance training and improve interaction quality. However, we found a key tension emerged: while peer supporters engaged meaningfully, experts consistently flagged critical issues in peer supporter responses, such as missed distress cues and premature advice-giving. This misalignment highlights potential limitations in current peer support training, especially in emotionally charged contexts where safety and fidelity to best practices are essential. Our findings underscore the need for standardised, psychologically grounded training, especially as peer support scales globally. They also demonstrate how LLM-supported systems can scaffold this development–if designed with care and guided by expert oversight. This work contributes to emerging conversations on responsible AI integration in mental health and the evolving role of LLMs in augmenting peer-delivered care.

سلامت روان به عنوان یک نگرانی جهانی رو به رشد، موجب افزایش علاقه به راه‌حل‌های مبتنی بر هوش مصنوعی برای گسترش دسترسی به حمایت‌های روانی‌اجتماعی شده‌است. همیاری، که مبتنی بر تجربه زیسته است، مکمل ارزشمندی برای مراقبت حرفه‌ای به‌شمار می‌رود. با این حال، تنوع در آموزش، اثربخشی و تعاریف، نگرانی‌هایی را در خصوص کیفیت، یکنواختی و ایمنی ایجاد می‌کند. مدل‌های زبانی بزرگ (LLM) فرصت‌های جدیدی را برای ارتقای تعاملات همیاری، به‌ویژه در تعاملات متنی و بلادرنگ، فراهم می‌کنند. ما یک سامانه پشتیبانی‌شده با هوش مصنوعی را معرفی و ارزیابی می‌کنیم که شامل یک مراجع مضطرب شبیه‌سازی‌شده با LLM (SimClient)، پیشنهادهای تولیدشده توسط LLM متناسب با زمینه (Suggestions) و بصری‌سازی بلادرنگ هیجانات است. دو مطالعه آمیخته با مشارکت ۱۲ همیار و ۶ متخصص سلامت روان (یعنی کارشناسان) اثربخشی سامانه و پیامدهای آن برای عمل را بررسی کردند. هر دو گروه به پتانسیل سامانه برای ارتقای آموزش و بهبود کیفیت تعامل اذعان داشتند. با این حال، یک تنش کلیدی آشکار شد: در حالی که همیاران به‌طور معناداری مشارکت داشتند، کارشناسان به‌طور پیوسته مسائل انتقادی را در پاسخ‌های همیاران شناسایی کردند، مانند نادیده‌گرفتن نشانه‌های اضطراب و ارائه زودهنگام توصیه. این ناهماهنگی، محدودیت‌های احتمالی آموزش فعلی همیاران را، به‌ویژه در زمینه‌های هیجانی که ایمنی و پایبندی به بهترین شیوه‌ها ضروری است، برجسته می‌کند. یافته‌های ما بر ضرورت آموزش استاندارد و مبتنی بر اصول روان‌شناختی، به‌ویژه با گسترش جهانی همیاری، تأکید دارد. همچنین نشان می‌دهد که سامانه‌های پشتیبانی‌شده با LLM می‌توانند این توسعه را تسهیل کنند—مشروط بر آنکه با دقت طراحی و با نظارت کارشناسان هدایت شوند. این پژوهش به بحث‌های نوظهور درباره ادغام مسئولانه هوش مصنوعی در سلامت روان و نقش در حال تحول LLMها در تقویت مراقبت‌های ارائه‌شده توسط همیاران، کمک می‌کند.

Group decision-making often suffers from uneven information sharing, hindering decision quality. While large language models (LLMs) have been widely studied as aids for individuals, their potential to support groups of users, potentially as facilitators, is relatively underexplored. We present a pre-registered randomized experiment with 1,475 participants assigned to 281 live groups completing a hidden profile task—selecting an optimal city for a hypothetical sporting event—under one of four facilitation conditions: no facilitation, a one-time message prompting information sharing, a human facilitator, or an LLM (GPT-4o) facilitator. We find that LLM facilitation increased information shared within a discussion by raising the minimum level of engagement with the task among group members, and that these gains came at limited cost in terms of participants’ attitudes towards the task, their group, or their facilitator. Whether by human or AI, there was no significant effect of facilitation on the final decision outcome, suggesting that even substantial but partial increases in information sharing were insufficient to overcome the hidden profile effect studied. To support the design and evaluation of LLM-mediated group decision-making systems, we release our data and our experimental platform, the Group-AI Interaction Laboratory (GRAIL), as an open-source tool.

تصمیم‌گیری گروهی اغلب به دلیل به اشتراک‌گذاری نامتوازن اطلاعات، از کیفیت تصمیم آسیب می‌بیند. در حالی که مدل‌های زبانی بزرگ (LLMs) به طور گسترده به عنوان ابزار کمکی برای افراد مورد مطالعه قرار گرفته‌اند، ظرفیت آن‌ها برای حمایت از گروه‌های کاربران، به ویژه به عنوان تسهیل‌گر، نسبتاً کمتر مورد بررسی قرار گرفته است. در این پژوهش، یک آزمایش تصادفی پیش‌ثبت‌شده با ۱۴۷۵ شرکت‌کننده که به ۲۸۱ گروه زنده تقسیم شده‌اند و یک وظیفه پروفایل پنهان—انتخاب شهر بهینه برای یک رویداد ورزشی فرضی—را تحت یکی از چهار وضعیت تسهیل‌گری انجام داده‌اند، ارائه می‌شود: بدون تسهیل‌گری، پیام یک‌باره برای تشویق به اشتراک‌گذاری اطلاعات، تسهیل‌گر انسانی، یا تسهیل‌گر مدل زبانی بزرگ (GPT-4o). یافته‌ها نشان می‌دهد که تسهیل‌گری توسط مدل زبانی بزرگ با افزایش حداقل سطح مشارکت اعضای گروه در وظیفه، میزان اطلاعات به اشتراک‌گذاشته‌شده در بحث را افزایش داده است و این دستاوردها با هزینه اندکی در نگرش شرکت‌کنندگان نسبت به وظیفه، گروه یا تسهیل‌گر همراه بوده است. چه توسط انسان و چه توسط هوش مصنوعی، تسهیل‌گری تأثیر معناداری بر نتیجه نهایی تصمیم نداشته است که نشان می‌دهد حتی افزایش قابل توجه اما جزئی در به اشتراک‌گذاری اطلاعات برای غلبه بر اثر پروفایل پنهان کافی نبوده است. به منظور حمایت از طراحی و ارزیابی سامانه‌های تصمیم‌گیری گروهی مبتنی بر مدل‌های زبانی بزرگ، داده‌ها و بستر آزمایشی خود، آزمایشگاه تعامل گروه-هوش مصنوعی (GRAIL)، را به عنوان ابزاری متن‌باز منتشر می‌کنیم.

OBJECTIVE: The combination of action observation and motor imagery (AO+MI) has emerged as a promising neurorehabilitation strategy to promote sensorimotor plasticity without real movement, making it particularly valuable for individuals whose motor capacity is limited or absent. Improving AO+MI protocols requires understanding whether different observation stimuli engage the sensorimotor system to varying degrees, as the quality of cortical activation during each training trial may directly influence cumulative neuroplastic outcomes. The present study aimed to determine how the observation modality influences the activation of the sensorimotor cortex during synchronous AO+MI. APPROACH: Here, we investigated the effects of three observation modalities: immersive virtual reality (iVR), two-dimensional video and real-world observation of a robotic agent, on sensorimotor cortical engagement, using Event-Related Desynchronization (ERD) as a neurophysiological marker. Electroencephalographic (EEG) signals were recorded from fifteen healthy participants across three sessions, one per modality, while they observed a humanoid robot performing arm elevation movements and simultaneously engaged in motor imagery of the same movements. ERD was computed for alpha and beta frequency bands over eight electrodes covering frontocentral, central, and centroparietal regions. MAIN RESULTS: Statistical analyses revealed significant modality-dependent differences in sensorimotor cortical engagement across multiple frequency bands, electrode locations, and movement types. Immersive virtual reality consistently elicited the strongest desynchronization, with robust effects in the beta band over frontocentral and right centroparietal regions, and in the alpha band over the right central motor cortex. SIGNIFICANCE: These results demonstrate that the modality of action observation significantly shapes sensorimotor cortical engagement during AO+MI. Our findings also support the integration of immersive virtual reality as a neurophysiological grounded tool for optimizing AO+MI-based neurorehabilitation protocols and brain-computer interface applications.

هدف: ترکیب مشاهده عمل و تصویرسازی حرکتی (AO+MI) به‌عنوان یک راهبرد نویدبخش در نوروهیبیلیتیشن برای ارتقای پلاستیسیتی حسی‌حرکتی بدون حرکت واقعی مطرح شده است و به‌ویژه برای افرادی که ظرفیت حرکتی آن‌ها محدود یا غایب است، ارزشمند می‌باشد. بهبود پروتکل‌های AO+MI مستلزم درک این موضوع است که آیا محرک‌های مشاهده‌ای مختلف، سیستم حسی‌حرکتی را به درجات متفاوتی درگیر می‌کنند یا خیر، چرا که کیفیت فعال‌سازی قشری در هر نوبت تمرین ممکن است به‌طور مستقیم بر پیامدهای تجمعی نورولاستیک تأثیر بگذارد. مطالعه حاضر با هدف تعیین چگونگی تأثیر شیوه مشاهده بر فعال‌سازی قشر حسی‌حرکتی در حین AO+MI همزمان انجام شد. روش: در این پژوهش، اثرات سه شیوه مشاهده شامل واقعیت مجازی فراگیر (iVR)، ویدئوی دوبعدی و مشاهده دنیای واقعی یک عامل رباتیک بر درگیری قشری حسی‌حرکتی با استفاده از شاخص غیربسامدسازی وابسته به رویداد (ERD) به‌عنوان نشانگر نوروفیزیولوژیک بررسی شد. سیگنال‌های الکتروانسفالوگرافی (EEG) از پانزده شرکت‌کننده سالم در سه جلسه (هر جلسه یک شیوه) ثبت شد، در حالی که آن‌ها حرکات بالا بردن بازوی یک ربات انسان‌نما را مشاهده می‌کردند و به‌طور همزمان به تصویرسازی حرکتی همان حرکات می‌پرداختند. ERD برای باندهای فرکانسی آلفا و بتا بر روی هشت الکترود پوشش‌دهنده نواحی فرونتو‌سنتـرال، سنتـرال و سنتروپریتال محاسبه شد. نتایج اصلی: تحلیل‌های آماری تفاوت‌های معنادار وابسته به شیوه مشاهده را در درگیری قشری حسی‌حرکتی در چندین باند فرکانسی، محل الکترود و نوع حرکت نشان داد. واقعیت مجازی فراگیر به‌طور پیوسته قوی‌ترین غیربسامدسازی را ایجاد کرد، با اثرات بارز در باند بتا بر نواحی فرونتو‌سنتـرال و سنتروپریتال راست، و در باند آلفا بر قشر حرکتی مرکزی راست. اهمیت: این نتایج نشان می‌دهد که شیوه مشاهده عمل به‌طور معناداری الگوی درگیری قشری حسی‌حرکتی را در حین AO+MI شکل می‌دهد. یافته‌های ما همچنین از ادغام واقعیت مجازی فراگیر به‌عنوان ابزاری مبتنی بر شواهد نوروفیزیولوژیک برای بهینه‌سازی پروتکل‌های نوروهیبیلیتیشن مبتنی بر AO+MI و کاربردهای رابط مغز و رایانه حمایت می‌کند.