Jun Cai

Background Digital mental health tools, including general-purpose artificial intelligence (AI) chatbots, may provide accessible and low-threshold psychological support for people living with chronic conditions. However, their value in this population depends not only on recognizing depression or anxiety, but also on understanding how psychological distress is shaped by disease-specific experiences and when self-guided support should transition toward professional care. We evaluated the appropriateness, contextual sensitivity, safety, and consistency of psychological support provided by three widely accessible AI chatbots across contrasting chronic illness contexts. Methods We conducted a standardized simulated-patient benchmarking study comparing ChatGPT, Gemini, and Doubao. Twenty scenarios were developed across type 2 diabetes mellitus (T2DM) and chronic spontaneous urticaria (CSU), representing matched mild and moderate presentations of depression and anxiety together with condition-specific distress related to diabetes self-management and CSU-related flare uncertainty. Each scenario was independently submitted to all three systems in two testing rounds, yielding 120 responses. Blinded raters assessed overall psychological support appropriateness, recognition and emotional support, chronic-illness contextualization, psychological support and referral, psychosomatic balance and safety, and major clinical or safety errors. Repeated testing assessed response consistency. Results Overall psychological support appropriateness differed across systems (P = 0.002), with 90.0% of ChatGPT, 75.0% of Gemini, and 55.0% of Doubao responses meeting the prespecified appropriateness threshold. Recognition and emotional support was consistently strong across systems, whereas greater differences emerged in chronic-illness contextualization (P = 0.001), psychological support and referral (P = 0.002), and psychosomatic balance and safety (P<0.001). All responses to mild presentations were classified as psychologically appropriate, compared with 58.3% of responses to moderate presentations, indicating that performance became less reliable when digital support required stronger escalation toward professional assessment. Contextualization was also less consistent in CSU, particularly when responses needed to incorporate flare unpredictability, pruritus, sleep disruption, and illness uncertainty. Major clinical or safety errors occurred in 0%, 10.0%, and 15.0% of first-round ChatGPT, Gemini, and Doubao responses, respectively. Test–retest consistency was moderate and varied between systems. Conclusions General-purpose AI chatbots show potential as accessible, self-guided digital mental health resources for people living with chronic conditions, particularly for recognizing distress and providing initial supportive guidance. Their current limitations emerge when effective support requires disease-specific contextualization, balanced interpretation of psychological and somatic factors, or escalation as symptoms become more severe. These findings identify important boundaries for the use of conversational AI in chronic-illness mental health care and suggest that implementation should emphasize context-sensitive guidance, severity-responsive referral, and clear integration with rather than substitution for professional care.

زمینه: ابزارهای سلامت روان دیجیتال، از جمله چت‌بات‌های هوش مصنوعی عمومی، ممکن است حمایت روان‌شناختی قابل دسترس و با آستانه پایین برای افراد مبتلا به بیماری‌های مزمن فراهم کنند. با این حال، ارزش آن‌ها در این جمعیت نه تنها به شناسایی افسردگی یا اضطراب بستگی دارد، بلکه به درک چگونگی شکل‌گیری پریشانی روان‌شناختی توسط تجارب خاص بیماری و زمان انتقال حمایت خودراهنما به مراقبت حرفه‌ای نیز وابسته است. ما تناسب، حساسیت زمینه‌ای، ایمنی و انسجام حمایت روان‌شناختی ارائه‌شده توسط سه چت‌بات هوش مصنوعی عمومی و در دسترس را در زمینه‌های متضاد بیماری مزمن ارزیابی کردیم. روش‌ها: یک مطالعه بنچمارک‌گیری بیمار شبیه‌سازی‌شده استانداردشده انجام دادیم و ChatGPT، Gemini و Doubao را مقایسه کردیم. بیست سناریو در زمینه دیابت نوع ۲ (T2DM) و کهیر مزمن خودبه‌خود (CSU) توسعه یافت که ارائه‌های خفیف و متوسط افسردگی و اضطراب را همراه با پریشانی خاص بیماری مرتبط با خودمدیریتی دیابت و عدم قطعیت شعله‌ورشدگی مرتبط با CSU بازنمایی می‌کرد. هر سناریو به طور مستقل در دو دور آزمون به هر سه سیستم ارائه شد و ۱۲۰ پاسخ به دست آمد. ارزیابان نابینا تناسب کلی حمایت روان‌شناختی، شناسایی و حمایت هیجانی، زمینه‌مندی بیماری مزمن، حمایت روان‌شناختی و ارجاع، تعادل روان‌تنی و ایمنی، و خطاهای عمده بالینی یا ایمنی را ارزیابی کردند. آزمون تکرارشونده انسجام پاسخ‌ها را سنجید. نتایج: تناسب کلی حمایت روان‌شناختی بین سیستم‌ها متفاوت بود (P = 0.002)، به‌طوری‌که ۹۰.۰٪ پاسخ‌های ChatGPT، ۷۵.۰٪ Gemini و ۵۵.۰٪ Doubao به آستانه تناسب از پیش تعیین‌شده رسیدند. شناسایی و حمایت هیجانی در همه سیستم‌ها به طور مداوم قوی بود، در حالی که تفاوت‌های بیشتری در زمینه‌مندی بیماری مزمن (P = 0.001)، حمایت روان‌شناختی و ارجاع (P = 0.002)، و تعادل روان‌تنی و ایمنی (P<0.001) مشاهده شد. همه پاسخ‌ها به ارائه‌های خفیف از نظر روان‌شناختی مناسب طبقه‌بندی شدند، در حالی که تنها ۵۸.۳٪ پاسخ‌ها به ارائه‌های متوسط مناسب بودند که نشان می‌دهد عملکرد زمانی که حمایت دیجیتال نیازمند ارجاع قوی‌تر به ارزیابی حرفه‌ای بود، کمتر قابل اعتماد می‌شود. زمینه‌مندی در CSU نیز کمتر منسجم بود، به‌ویژه زمانی که پاسخ‌ها باید عدم قطعیت شعله‌ورشدگی، خارش، اختلال خواب و عدم قطعیت بیماری را در بر می‌گرفتند. خطاهای عمده بالینی یا ایمنی به ترتیب در ۰٪، ۱۰.۰٪ و ۱۵.۰٪ پاسخ‌های دور اول ChatGPT، Gemini و Doubao رخ داد. انسجام آزمون–بازآزمون متوسط بود و بین سیستم‌ها تفاوت داشت. نتیجه‌گیری: چت‌بات‌های هوش مصنوعی عمومی به عنوان منابع سلامت روان دیجیتال خودراهنما و قابل دسترس برای افراد مبتلا به بیماری‌های مزمن، به ویژه در شناسایی پریشانی و ارائه راهنمایی حمایتی اولیه، پتانسیل نشان می‌دهند. محدودیت‌های فعلی آن‌ها زمانی آشکار می‌شود که حمایت مؤثر نیازمند زمینه‌مندی خاص بیماری، تفسیر متعادل عوامل روانی و جسمانی یا ارجاع در صورت تشدید علائم باشد. این یافته‌ها مرزهای مهمی را برای استفاده از هوش مصنوعی مکالمه‌ای در مراقبت سلامت روان بیماری مزمن شناسایی می‌کند و نشان می‌دهد که پیاده‌سازی باید بر راهنمایی حساس به زمینه، ارجاع متناسب با شدت و ادغام شفاف با مراقبت حرفه‌ای (و نه جایگزینی آن) تأکید کند.

Background Large language models are increasingly used for informal mental health support, yet their safety during escalating suicide-risk conversations may depend on how prior information is presented. Native multi-turn conversations and reconstructed cumulative prompts differ not only in the presence of prior model responses but also in prompt reconstruction, information concentration, message positioning, explicit integration cues, and conversation-state processing. Objective This study compared suicide-risk recognition, direct safety inquiry, response urgency, and timely real-world intervention across isolated current-turn prompts, reconstructed cumulative user-only prompts, and native continuous multi-turn conversations. Methods We conducted a controlled repeated-measures evaluation of ChatGPT, Gemini, and Doubao using 12 standardized five-turn trajectories: 4 direct suicide-risk trajectories, 4 implicit or internally inconsistent risk trajectories, and 4 non-suicidal high-distress controls. Each trajectory was evaluated under three context-presentation formats. The 24 model-trajectory combinations were treated as matched repeated-measures units nested within 8 independent risk-trajectory blocks. Primary contrasts were estimated using exact trajectory-level sign-flip tests and trajectory-block bootstrap confidence intervals. Turn-level outcomes were analyzed using multilevel mixed-effects models. Exploratory condition-by-model heterogeneity was assessed using a trajectory-blocked exact permutation sensitivity analysis, with a trajectory-clustered interaction model used only as a secondary asymptotic check. Results Timely appropriate intervention occurred in 10/24 isolated current-turn observations (41.7%), 21/24 reconstructed cumulative observations (87.5%), and 12/24 native continuous observations (50.0%). On average across the three systems, reconstructed cumulative presentation exceeded isolated input by 45.8 percentage points (95% trajectory-block bootstrap CI, 25.0 to 66.7; Holm-adjusted exact P = .031), whereas native continuous performance was 37.5 percentage points lower than reconstructed cumulative performance (95% trajectory-block bootstrap CI, −50.0 to −25.0; Holm-adjusted exact P = .031). Exploratory model-specific analyses indicated substantial heterogeneity: the native-versus-reconstructed contrast was largest for Doubao, smaller and statistically imprecise for Gemini, and absent for ChatGPT. Conclusions On average across the three evaluated systems, reconstructed cumulative user-only prompts outperformed native continuous conversations, although exploratory model-specific patterns were heterogeneous. Because the formats also differed in prompt reconstruction, information salience, message positioning, explicit integration instructions, and native conversation-state processing, the contrast cannot isolate the causal effect of prior model responses.

زمینه: مدل‌های زبانی بزرگ به طور فزاینده‌ای برای حمایت غیررسمی سلامت روان مورد استفاده قرار می‌گیرند، اما ایمنی آن‌ها در مکالمات با ریسک فزایندهٔ خودکشی ممکن است به نحوهٔ ارائهٔ اطلاعات پیشین وابسته باشد. گفت‌وگوهای بومی چندنوبتی و بازسازی‌شدهٔ تجمعی تنها-کاربر نه‌تنها در حضور پاسخ‌های پیشین مدل، بلکه در بازسازی پرامپت، تمرکز اطلاعات، موقعیت پیام، نشانه‌های ادغام صریح و پردازش وضعیت گفت‌وگو نیز تفاوت دارند. هدف: این مطالعه شناسایی ریسک خودکشی، پرسش مستقیم دربارهٔ ایمنی، فوریت پاسخ و مداخلهٔ به‌موقع در دنیای واقعی را در قالب‌های پرامپت نوبت فعلی مجزا، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر و گفت‌وگوهای بومی پیوستهٔ چندنوبتی مقایسه کرد. روش‌ها: ما ارزیابی کنترل‌شدهٔ تکرارپذیری از ChatGPT، Gemini و Doubao با استفاده از ۱۲ مسیر استاندارد پنج‌نوبتی انجام دادیم: ۴ مسیر مستقیم ریسک خودکشی، ۴ مسیر ریسک ضمنی یا ناسازگار درونی، و ۴ کنترل غیرخودکشی با پریشانی بالا. هر مسیر تحت سه قالب ارائهٔ زمینه ارزیابی شد. ۲۴ ترکیب مدل-مسیر به عنوان واحدهای تکرارپذیر همسان درون ۸ بلوک مستقل مسیر ریسک در نظر گرفته شدند. مقایسه‌های اصلی با استفاده از آزمون‌های دقیق وارونگی علامت در سطح مسیر و بازه‌های اطمینان بوت‌استرپ بلوک-مسیر برآورد شد. پیامدهای سطح نوبت با مدل‌های اثرات مختلط چندسطحی تحلیل شد. ناهمگنی اکتشافی وضعیت-مدل با تحلیل حساسیت دقیق جایگشت بلوک-مسیر ارزیابی شد و مدل تعاملی خوشه‌بندی‌شده بر مسیر تنها به عنوان بررسی ثانویهٔ مجانبی استفاده شد. نتایج: مداخلهٔ مناسب و به‌موقع در ۱۰ مورد از ۲۴ مشاهدهٔ نوبت فعلی مجزا (۴۱٫۷٪)، ۲۱ از ۲۴ مشاهدهٔ تجمعی بازسازی‌شده (۸۷٫۵٪) و ۱۲ از ۲۴ مشاهدهٔ بومی پیوسته (۵۰٫۰٪) رخ داد. به طور میانگین در سه سامانه، ارائهٔ تجمعی بازسازی‌شده نسبت به ورودی مجزا ۴۵٫۸ درصد بیشتر بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ۲۵٫۰ تا ۶۶٫۷؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱)، در حالی که عملکرد بومی پیوسته ۳۷٫۵ درصد کمتر از عملکرد تجمعی بازسازی‌شده بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ‎−۵۰٫۰ تا ‎−۲۵٫۰؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱). تحلیل‌های اکتشافی مدل‌محور ناهمگنی قابل توجهی نشان داد: تفاوت بومی-در مقابل-بازسازی‌شده برای Doubao بیشترین مقدار، برای Gemini کمتر و از نظر آماری نامشخص، و برای ChatGPT غایب بود. نتیجه‌گیری: به طور میانگین در سه سامانهٔ ارزیابی‌شده، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر عملکرد بهتری نسبت به گفت‌وگوهای بومی پیوسته داشتند، اگرچه الگوهای مدل‌محور اکتشافی ناهمگون بودند. از آنجا که قالب‌ها همچنین در بازسازی پرامپت، برجستگی اطلاعات، موقعیت پیام، دستورالعمل‌های ادغام صریح و پردازش وضعیت گفت‌وگوی بومی تفاوت داشتند، این مقایسه نمی‌تواند اثر علّی پاسخ‌های پیشین مدل را به طور مجزا تعیین کند.