Jueqiao Liu

Background Large language models are increasingly used for informal mental health support, yet their safety during escalating suicide-risk conversations may depend on how prior information is presented. Native multi-turn conversations and reconstructed cumulative prompts differ not only in the presence of prior model responses but also in prompt reconstruction, information concentration, message positioning, explicit integration cues, and conversation-state processing. Objective This study compared suicide-risk recognition, direct safety inquiry, response urgency, and timely real-world intervention across isolated current-turn prompts, reconstructed cumulative user-only prompts, and native continuous multi-turn conversations. Methods We conducted a controlled repeated-measures evaluation of ChatGPT, Gemini, and Doubao using 12 standardized five-turn trajectories: 4 direct suicide-risk trajectories, 4 implicit or internally inconsistent risk trajectories, and 4 non-suicidal high-distress controls. Each trajectory was evaluated under three context-presentation formats. The 24 model-trajectory combinations were treated as matched repeated-measures units nested within 8 independent risk-trajectory blocks. Primary contrasts were estimated using exact trajectory-level sign-flip tests and trajectory-block bootstrap confidence intervals. Turn-level outcomes were analyzed using multilevel mixed-effects models. Exploratory condition-by-model heterogeneity was assessed using a trajectory-blocked exact permutation sensitivity analysis, with a trajectory-clustered interaction model used only as a secondary asymptotic check. Results Timely appropriate intervention occurred in 10/24 isolated current-turn observations (41.7%), 21/24 reconstructed cumulative observations (87.5%), and 12/24 native continuous observations (50.0%). On average across the three systems, reconstructed cumulative presentation exceeded isolated input by 45.8 percentage points (95% trajectory-block bootstrap CI, 25.0 to 66.7; Holm-adjusted exact P = .031), whereas native continuous performance was 37.5 percentage points lower than reconstructed cumulative performance (95% trajectory-block bootstrap CI, −50.0 to −25.0; Holm-adjusted exact P = .031). Exploratory model-specific analyses indicated substantial heterogeneity: the native-versus-reconstructed contrast was largest for Doubao, smaller and statistically imprecise for Gemini, and absent for ChatGPT. Conclusions On average across the three evaluated systems, reconstructed cumulative user-only prompts outperformed native continuous conversations, although exploratory model-specific patterns were heterogeneous. Because the formats also differed in prompt reconstruction, information salience, message positioning, explicit integration instructions, and native conversation-state processing, the contrast cannot isolate the causal effect of prior model responses.

زمینه: مدل‌های زبانی بزرگ به طور فزاینده‌ای برای حمایت غیررسمی سلامت روان مورد استفاده قرار می‌گیرند، اما ایمنی آن‌ها در مکالمات با ریسک فزایندهٔ خودکشی ممکن است به نحوهٔ ارائهٔ اطلاعات پیشین وابسته باشد. گفت‌وگوهای بومی چندنوبتی و بازسازی‌شدهٔ تجمعی تنها-کاربر نه‌تنها در حضور پاسخ‌های پیشین مدل، بلکه در بازسازی پرامپت، تمرکز اطلاعات، موقعیت پیام، نشانه‌های ادغام صریح و پردازش وضعیت گفت‌وگو نیز تفاوت دارند. هدف: این مطالعه شناسایی ریسک خودکشی، پرسش مستقیم دربارهٔ ایمنی، فوریت پاسخ و مداخلهٔ به‌موقع در دنیای واقعی را در قالب‌های پرامپت نوبت فعلی مجزا، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر و گفت‌وگوهای بومی پیوستهٔ چندنوبتی مقایسه کرد. روش‌ها: ما ارزیابی کنترل‌شدهٔ تکرارپذیری از ChatGPT، Gemini و Doubao با استفاده از ۱۲ مسیر استاندارد پنج‌نوبتی انجام دادیم: ۴ مسیر مستقیم ریسک خودکشی، ۴ مسیر ریسک ضمنی یا ناسازگار درونی، و ۴ کنترل غیرخودکشی با پریشانی بالا. هر مسیر تحت سه قالب ارائهٔ زمینه ارزیابی شد. ۲۴ ترکیب مدل-مسیر به عنوان واحدهای تکرارپذیر همسان درون ۸ بلوک مستقل مسیر ریسک در نظر گرفته شدند. مقایسه‌های اصلی با استفاده از آزمون‌های دقیق وارونگی علامت در سطح مسیر و بازه‌های اطمینان بوت‌استرپ بلوک-مسیر برآورد شد. پیامدهای سطح نوبت با مدل‌های اثرات مختلط چندسطحی تحلیل شد. ناهمگنی اکتشافی وضعیت-مدل با تحلیل حساسیت دقیق جایگشت بلوک-مسیر ارزیابی شد و مدل تعاملی خوشه‌بندی‌شده بر مسیر تنها به عنوان بررسی ثانویهٔ مجانبی استفاده شد. نتایج: مداخلهٔ مناسب و به‌موقع در ۱۰ مورد از ۲۴ مشاهدهٔ نوبت فعلی مجزا (۴۱٫۷٪)، ۲۱ از ۲۴ مشاهدهٔ تجمعی بازسازی‌شده (۸۷٫۵٪) و ۱۲ از ۲۴ مشاهدهٔ بومی پیوسته (۵۰٫۰٪) رخ داد. به طور میانگین در سه سامانه، ارائهٔ تجمعی بازسازی‌شده نسبت به ورودی مجزا ۴۵٫۸ درصد بیشتر بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ۲۵٫۰ تا ۶۶٫۷؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱)، در حالی که عملکرد بومی پیوسته ۳۷٫۵ درصد کمتر از عملکرد تجمعی بازسازی‌شده بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ‎−۵۰٫۰ تا ‎−۲۵٫۰؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱). تحلیل‌های اکتشافی مدل‌محور ناهمگنی قابل توجهی نشان داد: تفاوت بومی-در مقابل-بازسازی‌شده برای Doubao بیشترین مقدار، برای Gemini کمتر و از نظر آماری نامشخص، و برای ChatGPT غایب بود. نتیجه‌گیری: به طور میانگین در سه سامانهٔ ارزیابی‌شده، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر عملکرد بهتری نسبت به گفت‌وگوهای بومی پیوسته داشتند، اگرچه الگوهای مدل‌محور اکتشافی ناهمگون بودند. از آنجا که قالب‌ها همچنین در بازسازی پرامپت، برجستگی اطلاعات، موقعیت پیام، دستورالعمل‌های ادغام صریح و پردازش وضعیت گفت‌وگوی بومی تفاوت داشتند، این مقایسه نمی‌تواند اثر علّی پاسخ‌های پیشین مدل را به طور مجزا تعیین کند.