Long-term engagement-oriented short video recommendation via deep reinforcement learning
توصیه‌گر ویدئوی کوتاه مبتنی بر تعامل بلندمدت با استفاده از یادگیری تقویتی عمیق
چکیده
Short video platforms require recommendation models that can adapt to rapidly changing user interests while optimizing engagement beyond immediate click feedback. Existing collaborative filtering and supervised deep learning methods are effective for static preference matching and short-term click-through-rate prediction, but they are less suited to sequential recommendation scenarios where each recommended item influences subsequent user behavior. To address this limitation, this paper proposes a deep reinforcement learning (DRL) framework for short video recommendation. The recommendation process is formulated as a Markov Decision Process (MDP), in which the user state is constructed from historical interactions and multimodal item features, the action corresponds to selecting candidate videos, and the reward integrates immediate feedback with delayed engagement signals. A Deep Q-Network (DQN)-based agent is trained in an offline simulation environment based on the KuaiRec short-video dataset and is compared with representative baselines, including popularity-based recommendation, matrix factorization, and supervised DNN models. The experimental results show that the DRL agent better balances click relevance, session duration, and recommendation diversity, particularly in long-term engagement-oriented metrics. Ablation results further confirm that combining immediate and delayed reward signals is important for learning a robust recommendation policy. This study provides a practical framework for developing intelligent short video recommendation systems that shift the optimization objective from short-term response maximization toward long-term user value.
پلتفرم‌های ویدئوی کوتاه به مدل‌های توصیه‌گری نیاز دارند که بتوانند خود را با علایق به‌سرعت متغیر کاربران تطبیق دهند و در عین حال، بهینه‌سازی تعامل را فراتر از بازخوردهای فوری کلیک انجام دهند. روش‌های موجود فیلترینگ مشارکتی و یادگیری عمیق نظارت‌شده برای تطبیق ترجیحات ایستا و پیش‌بینی نرخ کلیک کوتاه‌مدت مؤثر هستند، اما برای سناریوهای توصیه‌گری دنباله‌دار که در آن هر آیتم توصیه‌شده بر رفتار بعدی کاربر تأثیر می‌گذارد، کمتر مناسب‌اند. برای رفع این محدودیت، این مقاله چارچوبی مبتنی بر یادگیری تقویتی عمیق (DRL) برای توصیه‌گری ویدئوی کوتاه پیشنهاد می‌کند. فرایند توصیه‌گری به صورت یک فرایند تصمیم‌گیری مارکوف (MDP) مدل‌سازی شده است که در آن وضعیت کاربر از تعاملات پیشین و ویژگی‌های چندوجهی آیتم‌ها ساخته می‌شود، عمل معادل انتخاب ویدئوهای کاندید است و پاداش، بازخورد فوری را با سیگنال‌های تعامل تأخیری ادغام می‌کند. یک عامل مبتنی بر شبکه عصبی Q عمیق (DQN) در محیط شبیه‌سازی آفلاین مبتنی بر مجموعه‌داده KuaiRec آموزش داده شده و با مبناهای نماینده از جمله توصیه‌گر مبتنی بر محبوبیت، تجزیه ماتریسی و مدل‌های DNN نظارت‌شده مقایسه می‌شود. نتایج تجربی نشان می‌دهد که عامل DRL تعادل بهتری میان ارتباط کلیک، مدت زمان نشست و تنوع توصیه برقرار می‌کند، به‌ویژه در شاخص‌های مبتنی بر تعامل بلندمدت. نتایج حذف مؤلفه‌ها نیز تأیید می‌کند که ترکیب سیگنال‌های پاداش فوری و تأخیری برای یادگیری سیاست توصیه‌گری مقاوم اهمیت دارد. این مطالعه چارچوبی عملی برای توسعه سامانه‌های هوشمند توصیه‌گر ویدئوی کوتاه ارائه می‌دهد که هدف بهینه‌سازی را از حداکثرسازی پاسخ کوتاه‌مدت به سوی ارزش بلندمدت کاربر تغییر می‌دهد.