"Is This Really a Human Peer Supporter?": Misalignments Between Peer Supporters and Experts in LLM-Supported Interactions
«آیا این واقعاً یک همیار انسانی است؟»: ناهماهنگیها میان همیاران و متخصصان در تعاملات پشتیبانیشده با مدلهای زبانی بزرگ (LLM)
چکیده
Mental health is a growing global concern, prompting interest in AI-driven solutions to expand access to psychosocial support. Peer support , grounded in lived experience, offers a valuable complement to professional care. However, variability in training, effectiveness, and definitions raises concerns about quality, consistency, and safety. Large Language Models (LLMs) present new opportunities to enhance peer support interactions, particularly in real-time, text-based interactions. We present and evaluate an AI-supported system with an LLM-simulated distressed client ( SimClient ), context-sensitive LLM-generated suggestions ( Suggestions ), and real-time emotion visualisations. 2 mixed-methods studies with 12 peer supporters and 6 mental health professionals (i.e., experts) examined the system’s effectiveness and implications for practice. Both groups recognised its potential to enhance training and improve interaction quality. However, we found a key tension emerged: while peer supporters engaged meaningfully, experts consistently flagged critical issues in peer supporter responses, such as missed distress cues and premature advice-giving. This misalignment highlights potential limitations in current peer support training, especially in emotionally charged contexts where safety and fidelity to best practices are essential. Our findings underscore the need for standardised, psychologically grounded training, especially as peer support scales globally. They also demonstrate how LLM-supported systems can scaffold this development–if designed with care and guided by expert oversight. This work contributes to emerging conversations on responsible AI integration in mental health and the evolving role of LLMs in augmenting peer-delivered care.
سلامت روان به عنوان یک نگرانی جهانی رو به رشد، موجب افزایش علاقه به راهحلهای مبتنی بر هوش مصنوعی برای گسترش دسترسی به حمایتهای روانیاجتماعی شدهاست. همیاری، که مبتنی بر تجربه زیسته است، مکمل ارزشمندی برای مراقبت حرفهای بهشمار میرود. با این حال، تنوع در آموزش، اثربخشی و تعاریف، نگرانیهایی را در خصوص کیفیت، یکنواختی و ایمنی ایجاد میکند. مدلهای زبانی بزرگ (LLM) فرصتهای جدیدی را برای ارتقای تعاملات همیاری، بهویژه در تعاملات متنی و بلادرنگ، فراهم میکنند. ما یک سامانه پشتیبانیشده با هوش مصنوعی را معرفی و ارزیابی میکنیم که شامل یک مراجع مضطرب شبیهسازیشده با LLM (SimClient)، پیشنهادهای تولیدشده توسط LLM متناسب با زمینه (Suggestions) و بصریسازی بلادرنگ هیجانات است. دو مطالعه آمیخته با مشارکت ۱۲ همیار و ۶ متخصص سلامت روان (یعنی کارشناسان) اثربخشی سامانه و پیامدهای آن برای عمل را بررسی کردند. هر دو گروه به پتانسیل سامانه برای ارتقای آموزش و بهبود کیفیت تعامل اذعان داشتند. با این حال، یک تنش کلیدی آشکار شد: در حالی که همیاران بهطور معناداری مشارکت داشتند، کارشناسان بهطور پیوسته مسائل انتقادی را در پاسخهای همیاران شناسایی کردند، مانند نادیدهگرفتن نشانههای اضطراب و ارائه زودهنگام توصیه. این ناهماهنگی، محدودیتهای احتمالی آموزش فعلی همیاران را، بهویژه در زمینههای هیجانی که ایمنی و پایبندی به بهترین شیوهها ضروری است، برجسته میکند. یافتههای ما بر ضرورت آموزش استاندارد و مبتنی بر اصول روانشناختی، بهویژه با گسترش جهانی همیاری، تأکید دارد. همچنین نشان میدهد که سامانههای پشتیبانیشده با LLM میتوانند این توسعه را تسهیل کنند—مشروط بر آنکه با دقت طراحی و با نظارت کارشناسان هدایت شوند. این پژوهش به بحثهای نوظهور درباره ادغام مسئولانه هوش مصنوعی در سلامت روان و نقش در حال تحول LLMها در تقویت مراقبتهای ارائهشده توسط همیاران، کمک میکند.