چکیده
Understanding the emotional vulnerability of cancer patients and caregivers is critical for improving psychological support and clinical intervention strategies. With the rapid growth of online health communities, large volumes of textual narratives describing treatment experiences and emotional struggles have become available for computational analysis. However, accurately capturing emotional intensity and contextual sentiment in such narratives remains challenging due to the complex linguistic patterns present in health-related discussions. This study proposes an attention-guided hybrid transformer-ensemble learning framework for emotional vulnerability detection in cancer-related social media posts. The proposed architecture integrates domain-adapted contextual representations generated by BioBERT with linguistic intensity features to capture both semantic context and emotional strength. An attention-based feature fusion mechanism dynamically combines these heterogeneous features to produce enriched representations of patient narratives. The fused representations are subsequently utilized by multiple optimized machine learning classifiers, including XGBoost, LightGBM, Random Forest, and CatBoost. Hyperparameter optimization is performed using the Optuna framework to improve predictive performance. Furthermore, ensemble learning strategies such as soft voting, hard voting, and stacking are employed to combine the predictions of the base classifiers. Experiments conducted on a held-out split of a publicly available dataset of 10,391 posts from cancer patients and caregivers demonstrate that ensemble approaches consistently outperform individual classifiers on this data. The stacking ensemble achieves an accuracy of 0.76 and an ROC-AUC of 0.91, outperforming its own individual base classifiers but not a fine-tuned BioBERT baseline (accuracy 0.77, ROC-AUC 0.92) evaluated on the same split; a TF-IDF with linear SVM baseline is also competitive (accuracy 0.763). The framework’s practical advantage over full BioBERT fine-tuning is therefore computational rather than purely predictive: it reuses frozen BioBERT features and adds a lightweight, interpretable attention-fusion and tree-ensemble stage at a fraction of the training cost, while an ablation study confirms that the attention-based fusion of contextual and lexical-intensity signals meaningfully outperforms either signal alone or their simple concatenation. The proposed framework thus provides a scalable, lower-cost computational approach that can support mental health monitoring and early intervention systems in online healthcare communities, at a modest accuracy cost relative to full transformer fine-tuning.
درک آسیب‌پذیری هیجانی بیماران سرطانی و مراقبان آنان برای بهبود حمایت روان‌شناختی و راهبردهای مداخله بالینی اهمیت اساسی دارد. با رشد سریع جوامع سلامت آنلاین، حجم زیادی از روایت‌های متنی که تجارب درمانی و چالش‌های هیجانی را توصیف می‌کنند، برای تحلیل محاسباتی در دسترس قرار گرفته‌اند. با این حال، شناسایی دقیق شدت هیجانی و احساسات زمینه‌ای در این روایت‌ها به دلیل الگوهای زبانی پیچیده در مباحث مرتبط با سلامت، همچنان چالش‌برانگیز است. این پژوهش چارچوبی هیبریدی مبتنی بر یادگیری تجمعی و ترنسفورمر هدایت‌شده با مکانیزم توجه را برای شناسایی آسیب‌پذیری هیجانی در پست‌های شبکه‌های اجتماعی مرتبط با سرطان پیشنهاد می‌کند. معماری پیشنهادی، بازنمایی‌های زمینه‌ای سازگار با حوزه که توسط BioBERT تولید شده‌اند را با ویژگی‌های شدت زبانی ترکیب می‌کند تا هم زمینه معنایی و هم قدرت هیجانی را استخراج نماید. مکانیزم ادغام ویژگی مبتنی بر توجه، این ویژگی‌های ناهمگن را به صورت پویا ترکیب می‌کند تا بازنمایی‌های غنی‌شده‌ای از روایت‌های بیماران ارائه دهد. این بازنمایی‌های ادغام‌شده سپس توسط چندین طبقه‌بند یادگیری ماشین بهینه‌شده شامل XGBoost، LightGBM، Random Forest و CatBoost مورد استفاده قرار می‌گیرند. بهینه‌سازی ابرپارامترها با استفاده از چارچوب Optuna برای بهبود عملکرد پیش‌بینی انجام می‌شود. افزون بر این، راهبردهای یادگیری تجمعی مانند رأی‌دهی نرم، رأی‌دهی سخت و استکینگ برای ترکیب پیش‌بینی‌های طبقه‌بندهای پایه به کار گرفته می‌شوند. آزمایش‌های انجام‌شده بر روی بخش جداگانه‌ای از یک مجموعه داده عمومی شامل ۱۰٬۳۹۱ پست از بیماران سرطانی و مراقبان آنان نشان می‌دهد که رویکردهای تجمعی به طور پیوسته عملکرد بهتری نسبت به طبقه‌بندهای منفرد در این داده‌ها دارند. استکینگ تجمعی به دقت ۰٫۷۶ و ROC-AUC برابر با ۰٫۹۱ دست می‌یابد که نسبت به طبقه‌بندهای پایه خود عملکرد بهتری دارد، اما نسبت به خط‌مبنای BioBERT تنظیم‌شده (دقت ۰٫۷۷، ROC-AUC برابر با ۰٫۹۲) که بر روی همان بخش ارزیابی شده است، برتری ندارد؛ همچنین خط‌مبنای TF-IDF با SVM خطی نیز رقابتی است (دقت ۰٫۷۶۳). بنابراین، مزیت عملی چارچوب پیشنهادی نسبت به تنظیم کامل BioBERT، بیشتر محاسباتی است تا صرفاً پیش‌بینی: این چارچوب از ویژگی‌های ثابت‌شده BioBERT استفاده می‌کند و مرحله‌ای سبک، قابل تفسیر و مبتنی بر ادغام توجه و یادگیری تجمعی درختی را با کسری از هزینه آموزش اضافه می‌کند، در حالی که مطالعه حذف اجزا تأیید می‌کند که ادغام مبتنی بر توجه سیگنال‌های زمینه‌ای و شدت واژگانی به طور معناداری بهتر از هر یک به تنهایی یا ادغام ساده آن‌ها عمل می‌کند. بدین ترتیب، چارچوب پیشنهادی رویکردی مقیاس‌پذیر و کم‌هزینه برای پشتیبانی از پایش سلامت روان و سامانه‌های مداخله زودهنگام در جوامع سلامت آنلاین فراهم می‌کند، هرچند با هزینه اندکی در دقت نسبت به تنظیم کامل ترنسفورمر.
