Bringing Everyone to the Table: An Experimental Study of LLM-Facilitated Group Decision Making
گردهم‌آوردن همه افراد بر سر میز: مطالعه‌ای آزمایشی درباره تصمیم‌گیری گروهی با تسهیل‌گری مدل‌های زبانی بزرگ
چکیده
Group decision-making often suffers from uneven information sharing, hindering decision quality. While large language models (LLMs) have been widely studied as aids for individuals, their potential to support groups of users, potentially as facilitators, is relatively underexplored. We present a pre-registered randomized experiment with 1,475 participants assigned to 281 live groups completing a hidden profile task—selecting an optimal city for a hypothetical sporting event—under one of four facilitation conditions: no facilitation, a one-time message prompting information sharing, a human facilitator, or an LLM (GPT-4o) facilitator. We find that LLM facilitation increased information shared within a discussion by raising the minimum level of engagement with the task among group members, and that these gains came at limited cost in terms of participants’ attitudes towards the task, their group, or their facilitator. Whether by human or AI, there was no significant effect of facilitation on the final decision outcome, suggesting that even substantial but partial increases in information sharing were insufficient to overcome the hidden profile effect studied. To support the design and evaluation of LLM-mediated group decision-making systems, we release our data and our experimental platform, the Group-AI Interaction Laboratory (GRAIL), as an open-source tool.
تصمیم‌گیری گروهی اغلب به دلیل به اشتراک‌گذاری نامتوازن اطلاعات، از کیفیت تصمیم آسیب می‌بیند. در حالی که مدل‌های زبانی بزرگ (LLMs) به طور گسترده به عنوان ابزار کمکی برای افراد مورد مطالعه قرار گرفته‌اند، ظرفیت آن‌ها برای حمایت از گروه‌های کاربران، به ویژه به عنوان تسهیل‌گر، نسبتاً کمتر مورد بررسی قرار گرفته است. در این پژوهش، یک آزمایش تصادفی پیش‌ثبت‌شده با ۱۴۷۵ شرکت‌کننده که به ۲۸۱ گروه زنده تقسیم شده‌اند و یک وظیفه پروفایل پنهان—انتخاب شهر بهینه برای یک رویداد ورزشی فرضی—را تحت یکی از چهار وضعیت تسهیل‌گری انجام داده‌اند، ارائه می‌شود: بدون تسهیل‌گری، پیام یک‌باره برای تشویق به اشتراک‌گذاری اطلاعات، تسهیل‌گر انسانی، یا تسهیل‌گر مدل زبانی بزرگ (GPT-4o). یافته‌ها نشان می‌دهد که تسهیل‌گری توسط مدل زبانی بزرگ با افزایش حداقل سطح مشارکت اعضای گروه در وظیفه، میزان اطلاعات به اشتراک‌گذاشته‌شده در بحث را افزایش داده است و این دستاوردها با هزینه اندکی در نگرش شرکت‌کنندگان نسبت به وظیفه، گروه یا تسهیل‌گر همراه بوده است. چه توسط انسان و چه توسط هوش مصنوعی، تسهیل‌گری تأثیر معناداری بر نتیجه نهایی تصمیم نداشته است که نشان می‌دهد حتی افزایش قابل توجه اما جزئی در به اشتراک‌گذاری اطلاعات برای غلبه بر اثر پروفایل پنهان کافی نبوده است. به منظور حمایت از طراحی و ارزیابی سامانه‌های تصمیم‌گیری گروهی مبتنی بر مدل‌های زبانی بزرگ، داده‌ها و بستر آزمایشی خود، آزمایشگاه تعامل گروه-هوش مصنوعی (GRAIL)، را به عنوان ابزاری متن‌باز منتشر می‌کنیم.