Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales
سنجش همکاری موفق در کار تیمی انسان-هوش مصنوعی: توسعه و روایی مقیاس‌های ادراک همکاری و ادراک تیمی
چکیده
As human–AI cooperation becomes increasingly prevalent, reliable instruments for assessing the subjective quality of cooperative human–AI interaction are needed. We introduce two theoretically grounded scales: the Perceived Cooperativity Scale (PCS), grounded in joint activity theory, and the Teaming Perception Scale (TPS), grounded in evolutionary cooperation theory. The PCS captures an agent’s perceived cooperative capability and practice within a single interaction sequence; the TPS captures the emergent sense of teaming arising from mutual contribution and support. Both scales were adapted for human–human cooperation to enable cross-agent comparisons. Across three studies (complete N=409) encompassing a cooperative card game (N1=94), LLM interaction (N2=182), and a decision-support system (N3=133), analyses of dimensionality, reliability, and validity indicated that both scales successfully differentiated between cooperation partners of varying cooperative quality and showed construct validity in line with expectations. The scales provide a basis for empirical investigation and system evaluation across a wide range of human–AI cooperation contexts.
با گسترش روزافزون همکاری انسان-هوش مصنوعی، ابزارهای قابل اعتماد برای سنجش کیفیت ذهنی تعاملات تعاونی انسان-هوش مصنوعی مورد نیاز است. ما دو مقیاس نظریه‌محور معرفی می‌کنیم: مقیاس ادراک همکاری (PCS) مبتنی بر نظریه فعالیت مشترک و مقیاس ادراک تیمی (TPS) مبتنی بر نظریه تکاملی همکاری. PCS توانمندی و عملکرد تعاونی ادراک‌شده یک عامل را در یک توالی تعامل منفرد اندازه‌گیری می‌کند؛ TPS حس پدیداری تیمی ناشی از مشارکت و حمایت متقابل را می‌سنجد. هر دو مقیاس برای همکاری انسان-انسان نیز تطبیق داده شده‌اند تا امکان مقایسه بین عامل‌ها فراهم شود. در سه مطالعه (کل N=409) شامل یک بازی کارتی تعاونی (N1=94)، تعامل با LLM (N2=182) و یک سامانه پشتیبان تصمیم‌گیری (N3=133)، تحلیل‌های ابعادی، پایایی و روایی نشان داد که هر دو مقیاس به طور موفقیت‌آمیزی میان شرکای همکاری با کیفیت تعاونی متفاوت تمایز قائل می‌شوند و روایی سازه‌ای مطابق با انتظارات را نشان می‌دهند. این مقیاس‌ها مبنایی برای پژوهش‌های تجربی و ارزیابی سامانه‌ها در طیف وسیعی از زمینه‌های همکاری انسان-هوش مصنوعی فراهم می‌کنند.