long-term dependency modeling

Long-term digital psychological intervention faces issues such as delayed state feedback, observation absence, and scattered individual responses. Static input is difficult to retain cross-period dependencies, and a unified strategy will also widen user differences and cause fluctuations in continuous actions. To address these problems, a personalized intervention system that combines Transformer temporal modeling and proximal policy optimization is constructed. Structured psychological state representation organizes continuous behaviors and subjective feedback into an updateable sequence. The Transformer encoder extracts long-term dependencies and local mutations, the individual embedding absorbs user response deviations, and the Kullback–Leibler (KL) constraint inhibits adjacent strategy jumps. The experiment uses StudentLife data and accompanying simulations, semi-synthetic data. The cumulative reward of the complete model reaches 634.7 ± 21.8, with a 95% confidence interval of 619.11–650.29. The rule strategy, Proximal Policy Optimization (PPO) immediate state model, and the configuration without individual embedding are 412.6 ± 38.4, 528.3 ± 42.7, and 561.9 ± 35.2, respectively. The differences among the three groups, after Holm correction, all reach significant levels ( p < 0.001). The complete model enters the stable range after 1620 rounds, and the variance of the reward after convergence drops to 19.4. The rate of change in emotional intensity, the improvement value of state stability, and the cumulative variance of individual rewards is 0.091, 0.052, and 28.4, respectively. The ablation results show that temporal encoding mainly affects long-term benefits and convergence stability, and individual embedding focuses on reducing the dispersion among users. The existing evidence supports strategy optimization in non-clinical environments, but does not constitute a psychological mechanism explanation, causal effect proof, or clinical effectiveness conclusion.

مداخله روان‌شناختی دیجیتال بلندمدت با مسائلی نظیر بازخورد تأخیری وضعیت، فقدان مشاهده و پاسخ‌های پراکنده فردی مواجه است. ورودی ایستا در حفظ وابستگی‌های میان‌دوره‌ای دشوار عمل می‌کند و راهبرد یکپارچه نیز تفاوت‌های کاربران را افزایش داده و موجب نوسان در اقدامات پیوسته می‌شود. برای رفع این مشکلات، یک سامانه مداخله شخصی‌سازی‌شده که مدل‌سازی زمانی Transformer و بهینه‌سازی سیاست مجاور (Proximal Policy Optimization) را ترکیب می‌کند، طراحی شده است. بازنمایی ساختاریافته وضعیت روان‌شناختی، رفتارهای پیوسته و بازخوردهای ذهنی را به دنباله‌ای قابل به‌روزرسانی سازمان‌دهی می‌کند. رمزگذار Transformer وابستگی‌های بلندمدت و جهش‌های محلی را استخراج می‌کند، تعبیه فردی (individual embedding) انحرافات پاسخ کاربران را جذب می‌کند و قید کولبک–لیبلر (Kullback–Leibler constraint) از جهش‌های راهبردی مجاور جلوگیری می‌کند. آزمایش با داده‌های StudentLife و شبیه‌سازی‌های همراه، داده‌های نیمه‌مصنوعی، انجام شده است. پاداش تجمعی مدل کامل به ۶۳۴٫۷ ± ۲۱٫۸ با فاصله اطمینان ۹۵٪ برابر با ۶۱۹٫۱۱ تا ۶۵۰٫۲۹ می‌رسد. راهبرد قاعده‌مند، مدل وضعیت فوری Proximal Policy Optimization (PPO) و پیکربندی بدون تعبیه فردی به ترتیب ۴۱۲٫۶ ± ۳۸٫۴، ۵۲۸٫۳ ± ۴۲٫۷ و ۵۶۱٫۹ ± ۳۵٫۲ هستند. تفاوت میان سه گروه، پس از اصلاح Holm، همگی به سطح معناداری (p < 0.001) می‌رسد. مدل کامل پس از ۱۶۲۰ دور به بازه پایدار وارد می‌شود و واریانس پاداش پس از همگرایی به ۱۹٫۴ کاهش می‌یابد. نرخ تغییر شدت هیجانی، مقدار بهبود پایداری وضعیت و واریانس تجمعی پاداش فردی به ترتیب ۰٫۰۹۱، ۰٫۰۵۲ و ۲۸٫۴ است. نتایج حذف اجزا (ablation) نشان می‌دهد که رمزگذاری زمانی عمدتاً بر منافع بلندمدت و پایداری همگرایی اثرگذار است و تعبیه فردی بر کاهش پراکندگی میان کاربران تمرکز دارد. شواهد موجود از بهینه‌سازی راهبرد در محیط‌های غیر بالینی حمایت می‌کند، اما تبیین سازوکار روان‌شناختی، اثبات اثر علّی یا نتیجه‌گیری اثربخشی بالینی را فراهم نمی‌کند.