Kai Yu

Large language models (LLMs) are rapidly reshaping digital mental health, yet how these systems are designed, used, and evaluated remains poorly characterized. We conducted an HCI-centered scoping review of 84 studies examining mental health tasks, stakeholders, interaction paradigms, foundation models, evaluation methods, and outcome measurement. Counseling and support and self-help and well-being accounted for 73.8% of studies, while clinician support and crisis and risk support remained uncommon. Mixed-methods user studies predominated (42.9%), with only three randomized controlled trials and eight studies classified as longitudinal or field evaluations. Technical and response performance was assessed in 81.0% of studies, compared with 29.8% assessing mental health symptoms and clinical outcomes and 7.1% including longitudinal follow-up. Outcome profiles differed across intended tasks. Building on these findings and established evaluation guidance, we propose a task-oriented framework aligning evaluation domains, measurement approaches, and assessment timing with intended use.

مدل‌های زبانی بزرگ (LLMs) به سرعت در حال بازشکل‌دهی سلامت روان دیجیتال هستند، با این حال نحوه طراحی، استفاده و ارزیابی این سامانه‌ها همچنان به‌درستی تبیین نشده است. ما یک مرور محدوده با محوریت تعامل انسان و رایانه (HCI) بر روی ۸۴ مطالعه انجام دادیم که به بررسی وظایف سلامت روان، ذینفعان، الگوهای تعاملی، مدل‌های پایه، روش‌های ارزیابی و سنجش پیامدها می‌پرداختند. مشاوره و حمایت و خودیاری و بهزیستی ۷۳.۸٪ مطالعات را تشکیل می‌دادند، در حالی که حمایت از درمانگران و حمایت در بحران و ریسک کمتر رایج بودند. مطالعات کاربری با روش‌های ترکیبی غالب بودند (۴۲.۹٪)، و تنها سه کارآزمایی تصادفی کنترل‌شده و هشت مطالعه به‌عنوان ارزیابی‌های طولی یا میدانی طبقه‌بندی شدند. عملکرد فنی و پاسخ‌دهی در ۸۱.۰٪ مطالعات ارزیابی شد، در مقایسه با ۲۹.۸٪ که به ارزیابی علائم سلامت روان و پیامدهای بالینی پرداختند و ۷.۱٪ که پیگیری طولی را شامل می‌شدند. پروفایل‌های پیامدها بسته به وظایف مورد نظر متفاوت بود. بر اساس این یافته‌ها و راهنمایی‌های ارزیابی موجود، ما یک چارچوب وظیفه‌محور پیشنهاد می‌کنیم که حوزه‌های ارزیابی، رویکردهای سنجش و زمان‌بندی ارزیابی را با کاربرد مورد نظر همسو می‌سازد.