human-AI interaction

This article examines the differences between human judgment and algorithmic decision-making in critical logistics systems, focusing on the implications for the concepts of trust and control. The aim of the study is to determine whether AI-based systems can perform functions equivalent to human judgment and what implications this has for operational safety and accountability in complex logistics systems. The study is based on an interdisciplinary analysis, including a review of the literature on artificial intelligence, system safety, and human factors research, as well as a philosophical analysis. This is supplemented by a case study of selected incidents related to the operation of automated systems in high-risk environments, which allows the identification of practical limitations in integrating humans and algorithmic systems. The results indicate that decisions generated by algorithmic systems are statistical and optimization-based, which distinguishes them from human judgment, which takes into account context, uncertainty, and emotions. Consequently, trust in AI systems takes the form of an indirect, user-dependent relationship rather than an autonomous property of the technology. At the same time, increasing levels of automation lead to a diffusion of responsibility and a reduction in direct control over decision-making processes. The findings indicate that full automation of decisions in critical safety systems. Consequently, trust in AI systems takes the form of an indirect, user-dependent relationship rather than an autonomous property of the technology.

این مقاله به بررسی تفاوت‌های میان قضاوت انسانی و تصمیم‌گیری الگوریتمی در سامانه‌های لجستیکی حساس به ایمنی می‌پردازد و پیامدهای آن را برای مفاهیم اعتماد و کنترل مورد تحلیل قرار می‌دهد. هدف این مطالعه تعیین این است که آیا سامانه‌های مبتنی بر هوش مصنوعی می‌توانند عملکردهایی معادل با قضاوت انسانی داشته باشند و این امر چه پیامدهایی برای ایمنی عملیاتی و پاسخگویی در سامانه‌های لجستیکی پیچیده دارد. این پژوهش مبتنی بر تحلیلی میان‌رشته‌ای است که شامل مرور ادبیات مرتبط با هوش مصنوعی، ایمنی سامانه و پژوهش‌های عوامل انسانی، همچنین تحلیل فلسفی می‌شود. این تحلیل با مطالعه موردی درباره برخی رخدادهای مرتبط با عملکرد سامانه‌های خودکار در محیط‌های پرخطر تکمیل شده است که امکان شناسایی محدودیت‌های عملی در یکپارچه‌سازی انسان و سامانه‌های الگوریتمی را فراهم می‌کند. نتایج نشان می‌دهد که تصمیمات تولیدشده توسط سامانه‌های الگوریتمی مبتنی بر آمار و بهینه‌سازی هستند که آن‌ها را از قضاوت انسانی که زمینه، عدم قطعیت و هیجانات را در نظر می‌گیرد، متمایز می‌کند. در نتیجه، اعتماد به سامانه‌های هوش مصنوعی به صورت یک رابطه غیرمستقیم و وابسته به کاربر شکل می‌گیرد و نه به عنوان یک ویژگی مستقل از فناوری. همزمان، افزایش سطوح خودکارسازی منجر به پخش مسئولیت و کاهش کنترل مستقیم بر فرایندهای تصمیم‌گیری می‌شود. یافته‌ها نشان می‌دهد که خودکارسازی کامل تصمیمات در سامانه‌های حساس به ایمنی... در نتیجه، اعتماد به سامانه‌های هوش مصنوعی به صورت یک رابطه غیرمستقیم و وابسته به کاربر شکل می‌گیرد و نه به عنوان یک ویژگی مستقل از فناوری.

This article examines the differences between human judgment and algorithmic decision-making in critical logistics systems, focusing on the implications for the concepts of trust and control. The aim of the study is to determine whether AI-based systems can perform functions equivalent to human judgment and what implications this has for operational safety and accountability in complex logistics systems. The study is based on an interdisciplinary analysis, including a review of the literature on artificial intelligence, system safety, and human factors research, as well as a philosophical analysis. This is supplemented by a case study of selected incidents related to the operation of automated systems in high-risk environments, which allows the identification of practical limitations in integrating humans and algorithmic systems. The results indicate that decisions generated by algorithmic systems are statistical and optimization-based, which distinguishes them from human judgment, which takes into account context, uncertainty, and emotions. Consequently, trust in AI systems takes the form of an indirect, user-dependent relationship rather than an autonomous property of the technology. At the same time, increasing levels of automation lead to a diffusion of responsibility and a reduction in direct control over decision-making processes. The findings indicate that full automation of decisions in critical safety systems. Consequently, trust in AI systems takes the form of an indirect, user-dependent relationship rather than an autonomous property of the technology.

این مقاله به بررسی تفاوت‌های میان قضاوت انسانی و تصمیم‌گیری الگوریتمی در سامانه‌های لجستیکی حساس به ایمنی می‌پردازد و پیامدهای آن را برای مفاهیم اعتماد و کنترل مورد تحلیل قرار می‌دهد. هدف این مطالعه تعیین این است که آیا سامانه‌های مبتنی بر هوش مصنوعی می‌توانند عملکردهایی معادل با قضاوت انسانی داشته باشند و این امر چه پیامدهایی برای ایمنی عملیاتی و پاسخگویی در سامانه‌های لجستیکی پیچیده دارد. این پژوهش مبتنی بر تحلیلی میان‌رشته‌ای است که شامل مرور ادبیات مرتبط با هوش مصنوعی، ایمنی سامانه و پژوهش‌های عوامل انسانی، همچنین تحلیل فلسفی می‌شود. این تحلیل با مطالعه موردی درباره برخی رخدادهای مرتبط با عملکرد سامانه‌های خودکار در محیط‌های پرخطر تکمیل شده است که امکان شناسایی محدودیت‌های عملی در یکپارچه‌سازی انسان و سامانه‌های الگوریتمی را فراهم می‌کند. نتایج نشان می‌دهد که تصمیمات تولیدشده توسط سامانه‌های الگوریتمی مبتنی بر آمار و بهینه‌سازی هستند که آن‌ها را از قضاوت انسانی که زمینه، عدم قطعیت و هیجانات را در نظر می‌گیرد، متمایز می‌کند. در نتیجه، اعتماد به سامانه‌های هوش مصنوعی به صورت یک رابطه غیرمستقیم و وابسته به کاربر شکل می‌گیرد و نه به عنوان یک ویژگی مستقل از فناوری. همزمان، افزایش سطوح خودکارسازی منجر به پخش مسئولیت و کاهش کنترل مستقیم بر فرایندهای تصمیم‌گیری می‌شود. یافته‌ها نشان می‌دهد که خودکارسازی کامل تصمیمات در سامانه‌های حساس به ایمنی... در نتیجه، اعتماد به سامانه‌های هوش مصنوعی به صورت یک رابطه غیرمستقیم و وابسته به کاربر شکل می‌گیرد و نه به عنوان یک ویژگی مستقل از فناوری.

Generative AI, and more precisely large language models, have nowadays rapidly become useful in education, professional work, and everyday tasks. While these systems offer notable benefits to make work efficient and improved accessibility, the recent evidence suggests that their usage has cognitive costs. This paper presents a structured review of 16 reviewed studies investigating the impact of Gen AI usage on cognitive offloading, metacognitive engagement, automation bias, and human skill. By studying experimental, survey-based, qualitative, and theoretical research, this review synthesizes several findings across several fields to identify recurring mechanisms through which GenAI usage reshapes cognition. Our analysis reveals a consistent pattern, where GenAI often improves short-term task performance, but it frequently minimizes effortful cognitive processing, diminishes self-regulation, and changes skill developments. Rather than constant de-skilling, this paper points out reconfiguration of skills, favoring efficiency-oriented competencies such as prompting and verification over generative reasoning and critical reflection. Our study further highlights these outcomes are not unavoidable but are strongly mediated by interaction design, educational practices, and socio-technical environments. By showing these effects as the “cost of convenience,” this paper contributes an integrative perspective on the cognitive effects of Gen AI and highlighting the ways to make AI design, education, and governance cognitively sustainable.

As AI virtual influencers (AIVIs) proliferate, understanding human-AI emotional engagement is vital for advancing affective computing. To examine whether AIVIs evoke comparable affective responses to human influencers (HIs), we analyzed 156,918 Instagram comments that received 12+ million likes, integratinglarge language model (LLM)-derived knowledge graphs, emotion analysis, and machine learning. HI-directed discourse shows more differentiated emotional expression and a pattern consistent with more cohesive semantic networks than AIVI-directed discourse. AIVI-directed comments are less likely to express positive affect (24.8% vs. 41.5%) and also less likely to express negative affect (5.8% vs. 9.3%), indicating reduced affective expression of either valence rather than heightened negativity. This group-level tendency is not uniform: affective engagement varies substantially across AIVIs, and that variation is more closely associated with positive than with negative expression. Our Multi-Signal Embedding Network (MSEN), incorporating behavioral metrics and OpenAI semantic embeddings, classified influencer types from behavioral, affective and semantic features (F1 = 0.89), outperforming baselines including a state-of-the-art zero-shot LLM. These findings identify a boundary condition for the Computers Are Social Actors (CASA) paradigm: human-like appearance can elicit social responses without producing affective and semantic response patterns as rich as those elicited by HIs.

As conversational artificial intelligence models become ubiquitous fixtures in professional and personal workflows, the nature of human-tool interaction has the potential to gradually shift from mechanical utility to parasocial dependency. While existing literature frequently addresses adverse events related to data privacy, algorithmic bias, and intellectual deskilling, the pathopsychological sequelae of sustained AI integration remain largely unexamined. Here, we describe and preliminarily characterize the AI Assistant Syndrome, a human psychiatric construct encompassing acute chatbot-induced anxiety and mental exhaustion. This preliminary description will guide future systematic investigations to recognize, prevent, and treat this syndrome.

با فراگیر شدن مدل‌های هوش مصنوعی مکالمه‌ای در جریان‌های کاری حرفه‌ای و شخصی، ماهیت تعامل انسان و ابزار می‌تواند به تدریج از کارکرد مکانیکی به وابستگی شبه‌اجتماعی تغییر یابد. اگرچه پژوهش‌های موجود عمدتاً به رویدادهای نامطلوب مرتبط با حریم خصوصی داده‌ها، سوگیری الگوریتمی و کاهش مهارت‌های فکری می‌پردازند، اما پیامدهای آسیب‌شناختی روانی ناشی از ادغام پایدار هوش مصنوعی تا حد زیادی بررسی نشده‌اند. در اینجا، سندرم دستیار هوش مصنوعی را توصیف و به طور مقدماتی مشخص می‌کنیم؛ این سازه روان‌پزشکی انسانی شامل اضطراب حاد ناشی از چت‌بات و فرسودگی ذهنی است. این توصیف مقدماتی، راهنمای پژوهش‌های نظام‌مند آینده برای شناسایی، پیشگیری و درمان این سندرم خواهد بود.

As human–AI cooperation becomes increasingly prevalent, reliable instruments for assessing the subjective quality of cooperative human–AI interaction are needed. We introduce two theoretically grounded scales: the Perceived Cooperativity Scale (PCS), grounded in joint activity theory, and the Teaming Perception Scale (TPS), grounded in evolutionary cooperation theory. The PCS captures an agent’s perceived cooperative capability and practice within a single interaction sequence; the TPS captures the emergent sense of teaming arising from mutual contribution and support. Both scales were adapted for human–human cooperation to enable cross-agent comparisons. Across three studies (complete N=409) encompassing a cooperative card game (N1=94), LLM interaction (N2=182), and a decision-support system (N3=133), analyses of dimensionality, reliability, and validity indicated that both scales successfully differentiated between cooperation partners of varying cooperative quality and showed construct validity in line with expectations. The scales provide a basis for empirical investigation and system evaluation across a wide range of human–AI cooperation contexts.

با گسترش روزافزون همکاری انسان‌-هوش مصنوعی، ابزارهای قابل اعتماد برای سنجش کیفیت ذهنی تعاملات تعاونی انسان‌-هوش مصنوعی مورد نیاز است. ما دو مقیاس نظریه‌محور معرفی می‌کنیم: مقیاس ادراک همکاری (PCS) مبتنی بر نظریه فعالیت مشترک و مقیاس ادراک تیمی (TPS) مبتنی بر نظریه تکاملی همکاری. PCS توانمندی و عملکرد تعاونی ادراک‌شده یک عامل را در یک توالی تعامل منفرد اندازه‌گیری می‌کند؛ TPS حس پدیداری تیمی ناشی از مشارکت و حمایت متقابل را می‌سنجد. هر دو مقیاس برای همکاری انسان‌-انسان نیز تطبیق داده شده‌اند تا امکان مقایسه بین عامل‌ها فراهم شود. در سه مطالعه (کل N=409) شامل یک بازی کارتی تعاونی (N1=94)، تعامل با LLM (N2=182) و یک سامانه پشتیبان تصمیم‌گیری (N3=133)، تحلیل‌های ابعادی، پایایی و روایی نشان داد که هر دو مقیاس به طور موفقیت‌آمیزی میان شرکای همکاری با کیفیت تعاونی متفاوت تمایز قائل می‌شوند و روایی سازه‌ای مطابق با انتظارات را نشان می‌دهند. این مقیاس‌ها مبنایی برای پژوهش‌های تجربی و ارزیابی سامانه‌ها در طیف وسیعی از زمینه‌های همکاری انسان‌-هوش مصنوعی فراهم می‌کنند.

This study examined whether metacognitive strategy training strengthens the contribution of an AI-based Socratic reflection system to pre-service teachers’ reflective practice. Study 1 used a 2 (metacognitive training: present vs. absent) × 2 (tool condition: AI-based Socratic scaffolding vs. traditional digital tools) randomized between-subjects design ( N = 60; n = 15 per cell). Written reflection quality at post-test was analyzed by ANCOVA with pre-test performance as the covariate. The metacognitive-training main effect was significant, F (1, 55) = 33.89, p < 0.001, η 2 p = 0.381, as was the tool-condition main effect, F (1, 55) = 9.63, p = 0.003, η 2 p = 0.149. More importantly, the metacognition × tool interaction was significant, F (1, 55) = 10.91, p = 0.002, η 2 p = 0.165. Under metacognitive training, AI-based Socratic scaffolding produced a significant model-estimated advantage over traditional digital tools (Δ M = 0.56, p < 0.001), whereas the tool difference was not significant without metacognitive training (Δ M = −0.03, p = 0.821). Study 2 examined dialogue logs from the two AI conditions. Participants who received metacognitive training generated a substantially larger proportion of higher-order prompts than participants who received placebo training (44.1% vs. 12.2%), t(28) = 7.14, p < 0.001, d = 2.61. These process data are consistent with the proposed account that metacognitive preparation changes how learners engage with AI, although they do not constitute a formal mediation test. The findings suggest that, within this configured Socratic AI environment, metacognitive preparation is an important condition for realizing higher-quality reflective practice.

این پژوهش بررسی کرد که آیا آموزش راهبردهای فراشناختی، نقش سیستم بازتاب سقراطی مبتنی بر هوش مصنوعی را در تمرین بازتابی معلمان پیش‌خدمت تقویت می‌کند یا خیر. مطالعه اول از یک طرح تصادفی بین‌گروهی ۲ (آموزش فراشناختی: حضور در مقابل عدم حضور) × ۲ (شرایط ابزار: پشتیبانی سقراطی مبتنی بر هوش مصنوعی در مقابل ابزارهای دیجیتال سنتی) استفاده کرد (N = 60؛ n = 15 در هر سلول). کیفیت بازتاب نوشتاری در پس‌آزمون با استفاده از ANCOVA و عملکرد پیش‌آزمون به عنوان متغیر هم‌پراش تحلیل شد. اثر اصلی آموزش فراشناختی معنادار بود، F (1, 55) = 33.89, p < 0.001, η 2 p = 0.381، همچنین اثر اصلی شرایط ابزار نیز معنادار بود، F (1, 55) = 9.63, p = 0.003, η 2 p = 0.149. مهم‌تر آنکه، تعامل فراشناخت × ابزار معنادار بود، F (1, 55) = 10.91, p = 0.002, η 2 p = 0.165. تحت آموزش فراشناختی، پشتیبانی سقراطی مبتنی بر هوش مصنوعی برتری مدل-برآوردشده معناداری نسبت به ابزارهای دیجیتال سنتی نشان داد (Δ M = 0.56, p < 0.001)، در حالی که تفاوت ابزار بدون آموزش فراشناختی معنادار نبود (Δ M = −0.03, p = 0.821). مطالعه دوم، گزارش‌های گفت‌وگو از دو شرایط هوش مصنوعی را بررسی کرد. شرکت‌کنندگانی که آموزش فراشناختی دریافت کردند، نسبت قابل توجهی بیشتری از محرک‌های مرتبه بالاتر نسبت به شرکت‌کنندگانی که آموزش دارونما دریافت کردند، تولید نمودند (۴۴.۱٪ در مقابل ۱۲.۲٪)، t(28) = 7.14, p < 0.001, d = 2.61. این داده‌های فرایندی با تبیین پیشنهادی که آمادگی فراشناختی نحوه تعامل یادگیرندگان با هوش مصنوعی را تغییر می‌دهد، سازگار است، اگرچه آزمون رسمی میانجی‌گری محسوب نمی‌شود. یافته‌ها نشان می‌دهد که در این محیط سقراطی مبتنی بر هوش مصنوعی، آمادگی فراشناختی شرط مهمی برای تحقق تمرین بازتابی با کیفیت بالاتر است.

Large Language Models (LLMs) have demonstrated significant capabilities in generating human-like and contextually relevant responses across a wide range of applications.However, their reliability is affected not only by factual hallucinations but also by failures to correctly understand and follow user instructions.This emerging issue, referred to as intent hallucination, occurs when an LLM omits, misinterprets, or fails to satisfy one or more requirements contained in a user's request, even when the generated response may be factually correct.Such failures can reduce the reliability and usefulness of LLM-based systems, particularly in complex tasks involving multiple constraints.This paper proposes a systematic review of existing research on intent hallucination and instructionfollowing capabilities in Large Language Models.The study will examine major types and causes of instructionfollowing failures, existing benchmarks and evaluation techniques, methods for detecting such failures, and approaches proposed to mitigate them.The review will also compare current evaluation frameworks and investigate limitations in existing research, particularly concerning complex, multi-constraint, and dynamic user instructions.Based on the reviewed literature, the study aims to organize existing approaches into a structured taxonomy covering instruction-following failures, detection and evaluation methods, and mitigation strategies.Finally, the paper will highlight open research challenges and future directions for developing more reliable and intent-aligned LLM systems.The study aims to provide a consolidated understanding of intent hallucination and support future research toward more dependable human-AI interaction.

مدل‌های زبانی بزرگ (LLMs) توانایی‌های قابل توجهی در تولید پاسخ‌های مشابه انسان و مرتبط با زمینه در طیف وسیعی از کاربردها نشان داده‌اند. با این حال، پایایی آن‌ها نه تنها تحت تأثیر توهمات واقعی بلکه همچنین به دلیل ناتوانی در درک و پیروی صحیح از دستورالعمل‌های کاربر قرار می‌گیرد. این مسئله نوظهور که به آن توهم نیت گفته می‌شود، زمانی رخ می‌دهد که یک مدل زبانی بزرگ یک یا چند الزام موجود در درخواست کاربر را حذف، تفسیر نادرست یا برآورده نمی‌کند، حتی اگر پاسخ تولیدشده از نظر واقعی صحیح باشد. چنین شکست‌هایی می‌تواند پایایی و سودمندی سامانه‌های مبتنی بر مدل‌های زبانی بزرگ را به ویژه در وظایف پیچیده با محدودیت‌های متعدد کاهش دهد. این مقاله مرور نظام‌مندی از پژوهش‌های موجود درباره توهم نیت و قابلیت‌های پیروی از دستورالعمل در مدل‌های زبانی بزرگ ارائه می‌دهد. این مطالعه انواع اصلی و علل شکست‌های پیروی از دستورالعمل، معیارها و تکنیک‌های ارزیابی موجود، روش‌های شناسایی این شکست‌ها و رویکردهای پیشنهادی برای کاهش آن‌ها را بررسی خواهد کرد. همچنین این مرور چارچوب‌های ارزیابی فعلی را مقایسه و محدودیت‌های پژوهش‌های موجود، به ویژه در ارتباط با دستورالعمل‌های پیچیده، چندمحدوده‌ای و پویا را بررسی می‌کند. بر اساس ادبیات مرورشده، مطالعه حاضر تلاش دارد رویکردهای موجود را در قالب یک طبقه‌بندی ساختاریافته شامل شکست‌های پیروی از دستورالعمل، روش‌های شناسایی و ارزیابی و راهبردهای کاهش سازماندهی کند. در نهایت، مقاله چالش‌های پژوهشی باز و مسیرهای آینده برای توسعه سامانه‌های مدل زبانی بزرگ پایاتر و هم‌راستا با نیت کاربر را برجسته خواهد کرد. هدف این مطالعه ارائه درکی یکپارچه از توهم نیت و حمایت از پژوهش‌های آتی به سوی تعامل انسان-هوش مصنوعی قابل اعتمادتر است.