Decision support system

As human–AI cooperation becomes increasingly prevalent, reliable instruments for assessing the subjective quality of cooperative human–AI interaction are needed. We introduce two theoretically grounded scales: the Perceived Cooperativity Scale (PCS), grounded in joint activity theory, and the Teaming Perception Scale (TPS), grounded in evolutionary cooperation theory. The PCS captures an agent’s perceived cooperative capability and practice within a single interaction sequence; the TPS captures the emergent sense of teaming arising from mutual contribution and support. Both scales were adapted for human–human cooperation to enable cross-agent comparisons. Across three studies (complete N=409) encompassing a cooperative card game (N1=94), LLM interaction (N2=182), and a decision-support system (N3=133), analyses of dimensionality, reliability, and validity indicated that both scales successfully differentiated between cooperation partners of varying cooperative quality and showed construct validity in line with expectations. The scales provide a basis for empirical investigation and system evaluation across a wide range of human–AI cooperation contexts.

با گسترش روزافزون همکاری انسان‌-هوش مصنوعی، ابزارهای قابل اعتماد برای سنجش کیفیت ذهنی تعاملات تعاونی انسان‌-هوش مصنوعی مورد نیاز است. ما دو مقیاس نظریه‌محور معرفی می‌کنیم: مقیاس ادراک همکاری (PCS) مبتنی بر نظریه فعالیت مشترک و مقیاس ادراک تیمی (TPS) مبتنی بر نظریه تکاملی همکاری. PCS توانمندی و عملکرد تعاونی ادراک‌شده یک عامل را در یک توالی تعامل منفرد اندازه‌گیری می‌کند؛ TPS حس پدیداری تیمی ناشی از مشارکت و حمایت متقابل را می‌سنجد. هر دو مقیاس برای همکاری انسان‌-انسان نیز تطبیق داده شده‌اند تا امکان مقایسه بین عامل‌ها فراهم شود. در سه مطالعه (کل N=409) شامل یک بازی کارتی تعاونی (N1=94)، تعامل با LLM (N2=182) و یک سامانه پشتیبان تصمیم‌گیری (N3=133)، تحلیل‌های ابعادی، پایایی و روایی نشان داد که هر دو مقیاس به طور موفقیت‌آمیزی میان شرکای همکاری با کیفیت تعاونی متفاوت تمایز قائل می‌شوند و روایی سازه‌ای مطابق با انتظارات را نشان می‌دهند. این مقیاس‌ها مبنایی برای پژوهش‌های تجربی و ارزیابی سامانه‌ها در طیف وسیعی از زمینه‌های همکاری انسان‌-هوش مصنوعی فراهم می‌کنند.

Group decision-making often suffers from uneven information sharing, hindering decision quality. While large language models (LLMs) have been widely studied as aids for individuals, their potential to support groups of users, potentially as facilitators, is relatively underexplored. We present a pre-registered randomized experiment with 1,475 participants assigned to 281 live groups completing a hidden profile task—selecting an optimal city for a hypothetical sporting event—under one of four facilitation conditions: no facilitation, a one-time message prompting information sharing, a human facilitator, or an LLM (GPT-4o) facilitator. We find that LLM facilitation increased information shared within a discussion by raising the minimum level of engagement with the task among group members, and that these gains came at limited cost in terms of participants’ attitudes towards the task, their group, or their facilitator. Whether by human or AI, there was no significant effect of facilitation on the final decision outcome, suggesting that even substantial but partial increases in information sharing were insufficient to overcome the hidden profile effect studied. To support the design and evaluation of LLM-mediated group decision-making systems, we release our data and our experimental platform, the Group-AI Interaction Laboratory (GRAIL), as an open-source tool.

تصمیم‌گیری گروهی اغلب به دلیل به اشتراک‌گذاری نامتوازن اطلاعات، از کیفیت تصمیم آسیب می‌بیند. در حالی که مدل‌های زبانی بزرگ (LLMs) به طور گسترده به عنوان ابزار کمکی برای افراد مورد مطالعه قرار گرفته‌اند، ظرفیت آن‌ها برای حمایت از گروه‌های کاربران، به ویژه به عنوان تسهیل‌گر، نسبتاً کمتر مورد بررسی قرار گرفته است. در این پژوهش، یک آزمایش تصادفی پیش‌ثبت‌شده با ۱۴۷۵ شرکت‌کننده که به ۲۸۱ گروه زنده تقسیم شده‌اند و یک وظیفه پروفایل پنهان—انتخاب شهر بهینه برای یک رویداد ورزشی فرضی—را تحت یکی از چهار وضعیت تسهیل‌گری انجام داده‌اند، ارائه می‌شود: بدون تسهیل‌گری، پیام یک‌باره برای تشویق به اشتراک‌گذاری اطلاعات، تسهیل‌گر انسانی، یا تسهیل‌گر مدل زبانی بزرگ (GPT-4o). یافته‌ها نشان می‌دهد که تسهیل‌گری توسط مدل زبانی بزرگ با افزایش حداقل سطح مشارکت اعضای گروه در وظیفه، میزان اطلاعات به اشتراک‌گذاشته‌شده در بحث را افزایش داده است و این دستاوردها با هزینه اندکی در نگرش شرکت‌کنندگان نسبت به وظیفه، گروه یا تسهیل‌گر همراه بوده است. چه توسط انسان و چه توسط هوش مصنوعی، تسهیل‌گری تأثیر معناداری بر نتیجه نهایی تصمیم نداشته است که نشان می‌دهد حتی افزایش قابل توجه اما جزئی در به اشتراک‌گذاری اطلاعات برای غلبه بر اثر پروفایل پنهان کافی نبوده است. به منظور حمایت از طراحی و ارزیابی سامانه‌های تصمیم‌گیری گروهی مبتنی بر مدل‌های زبانی بزرگ، داده‌ها و بستر آزمایشی خود، آزمایشگاه تعامل گروه-هوش مصنوعی (GRAIL)، را به عنوان ابزاری متن‌باز منتشر می‌کنیم.