Proceedings of the ACM on Interactive Mobile Wearable and Ubiquitous Technologies

Mobile GUI Agents powered by multimodal large language models (MLLMs) show promise in human-computer intelligence. However, current research primarily focuses on reactive task execution while lacking a comprehensive “understanding-prediction-execution” process for user intentions, which are the core requirements of active agents. In this paper, we propose the Act2Intention framework that builds an active mobile agent by integrating understanding, predicting user intentions, and executing decisions. Firstly, we constructed the Act2Intention Bench through collection and validated generation, comprising 72,511 intentions and over 700,000 actions across 52 apps, thereby establishing the first benchmark for evaluating proactive agents via continuous “intention-actions” trajectories. We further develop the Act2Intention Agent, achieving proactive services through Proactive-oriented Intention Understanding, Personalized Proactive Intention Prediction, and Experience-guided Intention Execution. Experimental results show that supervised fine-tuning on Act2Intention Bench yields absolute improvements of +32.0 Acc-S, +10.25 Acc-S, and +6.9 SSR points over non-fine-tuned counterparts under the same agent framework for intention understanding, prediction, and execution, respectively. This success underscores the necessity and value of the Act2Intention Bench, which establishes a standardized platform for developing and evaluating proactive agents and consequently paves the way for research on intention-driven human-computer interaction. To facilitate further research, we open-source our code and Act2Intention Bench at: npuNancy/Act2Intention.

عامل‌های رابط کاربری موبایل مبتنی بر مدل‌های زبانی بزرگ چندوجهی (MLLMs) نویدبخش پیشرفت در هوش انسان-رایانه هستند. با این حال، پژوهش‌های کنونی عمدتاً بر اجرای واکنشی وظایف تمرکز دارند و فاقد فرایند جامع «درک-پیش‌بینی-اجرا» برای نیت‌های کاربر هستند که از الزامات اصلی عامل‌های فعال به‌شمار می‌رود. در این مقاله، چارچوب Act2Intention را پیشنهاد می‌کنیم که با ادغام درک، پیش‌بینی نیت کاربر و اجرای تصمیمات، یک عامل فعال موبایل ایجاد می‌کند. نخست، Act2Intention Bench را از طریق گردآوری و تولید اعتبارسنجی‌شده ایجاد کردیم که شامل ۷۲٬۵۱۱ نیت و بیش از ۷۰۰٬۰۰۰ کنش در ۵۲ برنامه است و بدین ترتیب نخستین معیار برای ارزیابی عامل‌های پیش‌فعال از طریق مسیرهای پیوسته «نیت-کنش» را پایه‌گذاری کردیم. همچنین عامل Act2Intention را توسعه دادیم که خدمات پیش‌فعال را از طریق «درک نیت مبتنی بر پیش‌فعالیت»، «پیش‌بینی نیت شخصی‌سازی‌شده» و «اجرای نیت هدایت‌شده با تجربه» ارائه می‌دهد. نتایج تجربی نشان می‌دهد که تنظیم نظارت‌شده بر روی Act2Intention Bench بهبود مطلق +۳۲٫۰ Acc-S، +۱۰٫۲۵ Acc-S و +۶٫۹ SSR را نسبت به نسخه‌های بدون تنظیم در همان چارچوب عامل، به‌ترتیب در درک، پیش‌بینی و اجرای نیت به همراه دارد. این موفقیت بر ضرورت و ارزش Act2Intention Bench تأکید می‌کند که بستری استاندارد برای توسعه و ارزیابی عامل‌های پیش‌فعال فراهم می‌آورد و مسیر پژوهش در تعامل انسان-رایانه مبتنی بر نیت را هموار می‌سازد. به‌منظور تسهیل پژوهش‌های بیشتر، کد و Act2Intention Bench به‌صورت متن‌باز در npuNancy/Act2Intention ارائه شده است.

Therapeutic writing offers significant benefits for well-being; however, for family caregivers, conventional fixed or user-initiated schedules often fail to align with their dynamic, high-stress reality. We conducted a three-week field study with 47 caregivers using a chatbot that delivered daily reflective writing cues and captured temporal, spatial, and social contexts. Our analysis identified a writing spectrum anchored by two distinct reflective modes. Under psychologically proximal conditions, participants produced detailed, emotion-rich, and care-recipient-focused narratives that supported emotional release. Under distal conditions, they generated calmer, self-focused, and analytic accounts that enabled objective reflection and cognitive reappraisal. Participants described trade-offs: proximity preserved vivid detail but limited objectivity, while distance enabled analysis but risked memory loss. This work contributes empirical evidence of how psychological distances shape reflective writing and proposes design implications for distance-aware Just-in-Time Adaptive Interventions for family caregivers' mental health support.

نوشتار درمانی مزایای قابل توجهی برای بهزیستی دارد؛ با این حال، برای مراقبان خانوادگی، برنامه‌های ثابت یا زمان‌بندی‌های آغازشده توسط کاربر اغلب با واقعیت پویای پرتنش آن‌ها هم‌راستا نمی‌شود. ما یک مطالعه میدانی سه‌هفته‌ای با ۴۷ مراقب خانوادگی انجام دادیم که در آن از یک چت‌بات استفاده شد که روزانه نشانه‌های نوشتار بازتابی را ارائه می‌داد و زمینه‌های زمانی، مکانی و اجتماعی را ثبت می‌کرد. تحلیل ما طیفی از نوشتار را شناسایی کرد که توسط دو شیوه بازتابی متمایز پایه‌گذاری شده بود. در شرایط روان‌شناختی نزدیک، شرکت‌کنندگان روایت‌هایی با جزئیات فراوان، غنی از احساسات و متمرکز بر دریافت‌کننده مراقبت تولید کردند که به رهایی هیجانی کمک می‌کرد. در شرایط دور، آن‌ها روایت‌هایی آرام‌تر، خودمحور و تحلیلی ارائه دادند که بازتاب عینی و ارزیابی شناختی را ممکن می‌ساخت. شرکت‌کنندگان به مبادلاتی اشاره کردند: نزدیکی، جزئیات زنده را حفظ می‌کرد اما عینیت را محدود می‌ساخت، در حالی که فاصله، تحلیل را ممکن می‌کرد اما خطر فراموشی را به همراه داشت. این پژوهش شواهد تجربی درباره چگونگی تأثیر فاصله‌های روان‌شناختی بر نوشتار بازتابی ارائه می‌دهد و پیامدهای طراحی برای مداخلات تطبیقی آگاه از فاصله و به‌موقع در حمایت از سلامت روان مراقبان خانوادگی را پیشنهاد می‌کند.