deep reinforcement learning

Long-term digital psychological intervention faces issues such as delayed state feedback, observation absence, and scattered individual responses. Static input is difficult to retain cross-period dependencies, and a unified strategy will also widen user differences and cause fluctuations in continuous actions. To address these problems, a personalized intervention system that combines Transformer temporal modeling and proximal policy optimization is constructed. Structured psychological state representation organizes continuous behaviors and subjective feedback into an updateable sequence. The Transformer encoder extracts long-term dependencies and local mutations, the individual embedding absorbs user response deviations, and the Kullback–Leibler (KL) constraint inhibits adjacent strategy jumps. The experiment uses StudentLife data and accompanying simulations, semi-synthetic data. The cumulative reward of the complete model reaches 634.7 ± 21.8, with a 95% confidence interval of 619.11–650.29. The rule strategy, Proximal Policy Optimization (PPO) immediate state model, and the configuration without individual embedding are 412.6 ± 38.4, 528.3 ± 42.7, and 561.9 ± 35.2, respectively. The differences among the three groups, after Holm correction, all reach significant levels ( p < 0.001). The complete model enters the stable range after 1620 rounds, and the variance of the reward after convergence drops to 19.4. The rate of change in emotional intensity, the improvement value of state stability, and the cumulative variance of individual rewards is 0.091, 0.052, and 28.4, respectively. The ablation results show that temporal encoding mainly affects long-term benefits and convergence stability, and individual embedding focuses on reducing the dispersion among users. The existing evidence supports strategy optimization in non-clinical environments, but does not constitute a psychological mechanism explanation, causal effect proof, or clinical effectiveness conclusion.

مداخله روان‌شناختی دیجیتال بلندمدت با مسائلی نظیر بازخورد تأخیری وضعیت، فقدان مشاهده و پاسخ‌های پراکنده فردی مواجه است. ورودی ایستا در حفظ وابستگی‌های میان‌دوره‌ای دشوار عمل می‌کند و راهبرد یکپارچه نیز تفاوت‌های کاربران را افزایش داده و موجب نوسان در اقدامات پیوسته می‌شود. برای رفع این مشکلات، یک سامانه مداخله شخصی‌سازی‌شده که مدل‌سازی زمانی Transformer و بهینه‌سازی سیاست مجاور (Proximal Policy Optimization) را ترکیب می‌کند، طراحی شده است. بازنمایی ساختاریافته وضعیت روان‌شناختی، رفتارهای پیوسته و بازخوردهای ذهنی را به دنباله‌ای قابل به‌روزرسانی سازمان‌دهی می‌کند. رمزگذار Transformer وابستگی‌های بلندمدت و جهش‌های محلی را استخراج می‌کند، تعبیه فردی (individual embedding) انحرافات پاسخ کاربران را جذب می‌کند و قید کولبک–لیبلر (Kullback–Leibler constraint) از جهش‌های راهبردی مجاور جلوگیری می‌کند. آزمایش با داده‌های StudentLife و شبیه‌سازی‌های همراه، داده‌های نیمه‌مصنوعی، انجام شده است. پاداش تجمعی مدل کامل به ۶۳۴٫۷ ± ۲۱٫۸ با فاصله اطمینان ۹۵٪ برابر با ۶۱۹٫۱۱ تا ۶۵۰٫۲۹ می‌رسد. راهبرد قاعده‌مند، مدل وضعیت فوری Proximal Policy Optimization (PPO) و پیکربندی بدون تعبیه فردی به ترتیب ۴۱۲٫۶ ± ۳۸٫۴، ۵۲۸٫۳ ± ۴۲٫۷ و ۵۶۱٫۹ ± ۳۵٫۲ هستند. تفاوت میان سه گروه، پس از اصلاح Holm، همگی به سطح معناداری (p < 0.001) می‌رسد. مدل کامل پس از ۱۶۲۰ دور به بازه پایدار وارد می‌شود و واریانس پاداش پس از همگرایی به ۱۹٫۴ کاهش می‌یابد. نرخ تغییر شدت هیجانی، مقدار بهبود پایداری وضعیت و واریانس تجمعی پاداش فردی به ترتیب ۰٫۰۹۱، ۰٫۰۵۲ و ۲۸٫۴ است. نتایج حذف اجزا (ablation) نشان می‌دهد که رمزگذاری زمانی عمدتاً بر منافع بلندمدت و پایداری همگرایی اثرگذار است و تعبیه فردی بر کاهش پراکندگی میان کاربران تمرکز دارد. شواهد موجود از بهینه‌سازی راهبرد در محیط‌های غیر بالینی حمایت می‌کند، اما تبیین سازوکار روان‌شناختی، اثبات اثر علّی یا نتیجه‌گیری اثربخشی بالینی را فراهم نمی‌کند.

Short video platforms require recommendation models that can adapt to rapidly changing user interests while optimizing engagement beyond immediate click feedback. Existing collaborative filtering and supervised deep learning methods are effective for static preference matching and short-term click-through-rate prediction, but they are less suited to sequential recommendation scenarios where each recommended item influences subsequent user behavior. To address this limitation, this paper proposes a deep reinforcement learning (DRL) framework for short video recommendation. The recommendation process is formulated as a Markov Decision Process (MDP), in which the user state is constructed from historical interactions and multimodal item features, the action corresponds to selecting candidate videos, and the reward integrates immediate feedback with delayed engagement signals. A Deep Q-Network (DQN)-based agent is trained in an offline simulation environment based on the KuaiRec short-video dataset and is compared with representative baselines, including popularity-based recommendation, matrix factorization, and supervised DNN models. The experimental results show that the DRL agent better balances click relevance, session duration, and recommendation diversity, particularly in long-term engagement-oriented metrics. Ablation results further confirm that combining immediate and delayed reward signals is important for learning a robust recommendation policy. This study provides a practical framework for developing intelligent short video recommendation systems that shift the optimization objective from short-term response maximization toward long-term user value.

پلتفرم‌های ویدئوی کوتاه به مدل‌های توصیه‌گری نیاز دارند که بتوانند خود را با علایق به‌سرعت متغیر کاربران تطبیق دهند و در عین حال، بهینه‌سازی تعامل را فراتر از بازخوردهای فوری کلیک انجام دهند. روش‌های موجود فیلترینگ مشارکتی و یادگیری عمیق نظارت‌شده برای تطبیق ترجیحات ایستا و پیش‌بینی نرخ کلیک کوتاه‌مدت مؤثر هستند، اما برای سناریوهای توصیه‌گری دنباله‌دار که در آن هر آیتم توصیه‌شده بر رفتار بعدی کاربر تأثیر می‌گذارد، کمتر مناسب‌اند. برای رفع این محدودیت، این مقاله چارچوبی مبتنی بر یادگیری تقویتی عمیق (DRL) برای توصیه‌گری ویدئوی کوتاه پیشنهاد می‌کند. فرایند توصیه‌گری به صورت یک فرایند تصمیم‌گیری مارکوف (MDP) مدل‌سازی شده است که در آن وضعیت کاربر از تعاملات پیشین و ویژگی‌های چندوجهی آیتم‌ها ساخته می‌شود، عمل معادل انتخاب ویدئوهای کاندید است و پاداش، بازخورد فوری را با سیگنال‌های تعامل تأخیری ادغام می‌کند. یک عامل مبتنی بر شبکه عصبی Q عمیق (DQN) در محیط شبیه‌سازی آفلاین مبتنی بر مجموعه‌داده KuaiRec آموزش داده شده و با مبناهای نماینده از جمله توصیه‌گر مبتنی بر محبوبیت، تجزیه ماتریسی و مدل‌های DNN نظارت‌شده مقایسه می‌شود. نتایج تجربی نشان می‌دهد که عامل DRL تعادل بهتری میان ارتباط کلیک، مدت زمان نشست و تنوع توصیه برقرار می‌کند، به‌ویژه در شاخص‌های مبتنی بر تعامل بلندمدت. نتایج حذف مؤلفه‌ها نیز تأیید می‌کند که ترکیب سیگنال‌های پاداش فوری و تأخیری برای یادگیری سیاست توصیه‌گری مقاوم اهمیت دارد. این مطالعه چارچوبی عملی برای توسعه سامانه‌های هوشمند توصیه‌گر ویدئوی کوتاه ارائه می‌دهد که هدف بهینه‌سازی را از حداکثرسازی پاسخ کوتاه‌مدت به سوی ارزش بلندمدت کاربر تغییر می‌دهد.