Transformer

This study develops an approach to predict personality traits based on the Big Five model through essay text by combining global and contextual information using a Vocabulary Graph Convolutional Network (VGCN) and Bidirectional Encoder Representations from Transformers (BERT). VGCN is used to capture global relationships between words through a vocabulary graph representation built based on NPMI weights, while BERT plays a role in producing richer and more contextual text representations. Experimental results show that the integration of structural and contextual features can provide good performance in multi-label classification tasks. Based on the grid search process and 5-fold cross-validation, the best model configuration obtained a macro F1 score of 0.6827 and a weighted F1 score of 0.6829 in out-of-fold prediction. The evaluation results for each feature show that the recall value is close to 1.0, while the precision value ranges from 0.50 to 0.56. This condition indicates a tendency for the model to produce more positive predictions. Furthermore, the results of the study highlight the importance of optimizing the prediction threshold value to obtain a more optimal compromise between precision and recall. Overall, the integration of graph-based semantic information with contextual representations from BERT shows that the VGCN-BERT approach has good potential for application in multi-label personality classification

Suicidal ideation is the consideration of self-inflicted death and has emerged as a serious and rising concern for worldwide public health systems, contributing to over 800,000 deaths annually worldwide. Individuals express intentions, distress, and thoughts of self-harm and death, thereby offering a crucial and unprecedented avenue for timely psychological intervention and surveillance. The core problem addressed by this research is the pronounced global insufficiency in detecting and mitigating suicidal ideation across linguistically diverse environments, specifically focusing on low-resource languages. Previous computational studies have primarily focused on English and other widely used languages, leaving a critical research gap for contexts such as Amharic. The main aim of this study was to investigate and to develop a robust and optimal deep learning model for identifying suicidal ideation in Amharic social media content. A total of 5,428 postings from social media such as Facebook and Telegram were carefully collected, manually annotated, and processed to provide the first publicly available dataset on Amharic suicidal ideation. After preprocessing, Word2Vec, GloVe, and FastText were among the word embedding techniques used for feature engineering. Five deep learning models and four machine learning models were then compared in this study. Based on the experimental results, ensemble learning models achieved slightly higher performance than the individual deep learning models in suicidal ideation detection. Specifically, hard voting ensemble learning models achieved the highest accuracy (83.3%) and precision (86.55%). CNN-BiLSTM achieved an accuracy of 81.45%, while the BiLSTM model achieved an accuracy of 81.4%, indicating that bidirectional sequence learning effectively captures contextual information in Amharic texts. Beyond its strong empirical performance, this study contributes a robust detection framework and introduces a public Amharic dataset, thereby establishing a foundational methodological resource for mental health research. Future studies should focus on developing scalable datasets and context-aware deep learning models that effectively handle multimodal data, multilingual transformer models, fusion-based features, and addressing bias in low-resource computational linguistics.

افکار خودکشی به معنای اندیشیدن به مرگ خودخواسته است و به عنوان یک نگرانی جدی و رو به افزایش برای نظام‌های سلامت عمومی در سراسر جهان مطرح شده است، به طوری که سالانه بیش از ۸۰۰٬۰۰۰ مرگ را در سطح جهانی رقم می‌زند. افراد، نیت‌ها، پریشانی و افکار آسیب به خود و مرگ را ابراز می‌کنند و بدین ترتیب، مسیر مهم و بی‌سابقه‌ای برای مداخله و پایش روان‌شناختی به موقع فراهم می‌شود. مسئله اصلی که این پژوهش به آن می‌پردازد، کمبود چشمگیر جهانی در شناسایی و کاهش افکار خودکشی در محیط‌های زبانی متنوع، به ویژه در زبان‌های کم‌منبع است. مطالعات محاسباتی پیشین عمدتاً بر زبان انگلیسی و سایر زبان‌های پرکاربرد تمرکز داشته‌اند و این امر موجب ایجاد شکاف پژوهشی مهمی در زمینه‌هایی مانند زبان آمهاریک شده است. هدف اصلی این مطالعه، بررسی و توسعه یک مدل یادگیری عمیق قوی و بهینه برای شناسایی افکار خودکشی در محتوای شبکه‌های اجتماعی به زبان آمهاریک بود. در مجموع، ۵٬۴۲۸ پست از شبکه‌های اجتماعی مانند فیس‌بوک و تلگرام با دقت جمع‌آوری، به صورت دستی برچسب‌گذاری و پردازش شدند تا نخستین مجموعه‌داده عمومی درباره افکار خودکشی به زبان آمهاریک فراهم شود. پس از پیش‌پردازش، تکنیک‌های تعبیه واژه مانند Word2Vec، GloVe و FastText برای مهندسی ویژگی‌ها به کار گرفته شدند. در این پژوهش، پنج مدل یادگیری عمیق و چهار مدل یادگیری ماشین با یکدیگر مقایسه شدند. بر اساس نتایج تجربی، مدل‌های یادگیری تجمعی (ensemble learning) عملکردی اندکی بهتر از مدل‌های یادگیری عمیق منفرد در شناسایی افکار خودکشی داشتند. به طور خاص، مدل‌های یادگیری تجمعی با رأی‌گیری سخت (hard voting) بالاترین دقت (۸۳/۳٪) و دقت مثبت (precision) (۸۶/۵۵٪) را به دست آوردند. مدل CNN-BiLSTM به دقت ۸۱/۴۵٪ و مدل BiLSTM به دقت ۸۱/۴٪ دست یافتند که نشان می‌دهد یادگیری دنباله‌ای دوسویه به طور مؤثری اطلاعات زمینه‌ای را در متون آمهاریک استخراج می‌کند. افزون بر عملکرد تجربی قوی، این پژوهش چارچوب شناسایی قابل اعتمادی ارائه داده و مجموعه‌داده عمومی آمهاریک را معرفی می‌کند و بدین ترتیب منبع روش‌شناختی بنیادی برای پژوهش‌های سلامت روان فراهم می‌آورد. مطالعات آتی باید بر توسعه مجموعه‌داده‌های مقیاس‌پذیر و مدل‌های یادگیری عمیق آگاه از زمینه که به طور مؤثر داده‌های چندوجهی، مدل‌های ترنسفورمر چندزبانه، ویژگی‌های مبتنی بر همجوشی و رفع سوگیری در زبان‌شناسی محاسباتی کم‌منبع را مدیریت می‌کنند، تمرکز کنند.

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

Long-term digital psychological intervention faces issues such as delayed state feedback, observation absence, and scattered individual responses. Static input is difficult to retain cross-period dependencies, and a unified strategy will also widen user differences and cause fluctuations in continuous actions. To address these problems, a personalized intervention system that combines Transformer temporal modeling and proximal policy optimization is constructed. Structured psychological state representation organizes continuous behaviors and subjective feedback into an updateable sequence. The Transformer encoder extracts long-term dependencies and local mutations, the individual embedding absorbs user response deviations, and the Kullback–Leibler (KL) constraint inhibits adjacent strategy jumps. The experiment uses StudentLife data and accompanying simulations, semi-synthetic data. The cumulative reward of the complete model reaches 634.7 ± 21.8, with a 95% confidence interval of 619.11–650.29. The rule strategy, Proximal Policy Optimization (PPO) immediate state model, and the configuration without individual embedding are 412.6 ± 38.4, 528.3 ± 42.7, and 561.9 ± 35.2, respectively. The differences among the three groups, after Holm correction, all reach significant levels ( p < 0.001). The complete model enters the stable range after 1620 rounds, and the variance of the reward after convergence drops to 19.4. The rate of change in emotional intensity, the improvement value of state stability, and the cumulative variance of individual rewards is 0.091, 0.052, and 28.4, respectively. The ablation results show that temporal encoding mainly affects long-term benefits and convergence stability, and individual embedding focuses on reducing the dispersion among users. The existing evidence supports strategy optimization in non-clinical environments, but does not constitute a psychological mechanism explanation, causal effect proof, or clinical effectiveness conclusion.

مداخله روان‌شناختی دیجیتال بلندمدت با مسائلی نظیر بازخورد تأخیری وضعیت، فقدان مشاهده و پاسخ‌های پراکنده فردی مواجه است. ورودی ایستا در حفظ وابستگی‌های میان‌دوره‌ای دشوار عمل می‌کند و راهبرد یکپارچه نیز تفاوت‌های کاربران را افزایش داده و موجب نوسان در اقدامات پیوسته می‌شود. برای رفع این مشکلات، یک سامانه مداخله شخصی‌سازی‌شده که مدل‌سازی زمانی Transformer و بهینه‌سازی سیاست مجاور (Proximal Policy Optimization) را ترکیب می‌کند، طراحی شده است. بازنمایی ساختاریافته وضعیت روان‌شناختی، رفتارهای پیوسته و بازخوردهای ذهنی را به دنباله‌ای قابل به‌روزرسانی سازمان‌دهی می‌کند. رمزگذار Transformer وابستگی‌های بلندمدت و جهش‌های محلی را استخراج می‌کند، تعبیه فردی (individual embedding) انحرافات پاسخ کاربران را جذب می‌کند و قید کولبک–لیبلر (Kullback–Leibler constraint) از جهش‌های راهبردی مجاور جلوگیری می‌کند. آزمایش با داده‌های StudentLife و شبیه‌سازی‌های همراه، داده‌های نیمه‌مصنوعی، انجام شده است. پاداش تجمعی مدل کامل به ۶۳۴٫۷ ± ۲۱٫۸ با فاصله اطمینان ۹۵٪ برابر با ۶۱۹٫۱۱ تا ۶۵۰٫۲۹ می‌رسد. راهبرد قاعده‌مند، مدل وضعیت فوری Proximal Policy Optimization (PPO) و پیکربندی بدون تعبیه فردی به ترتیب ۴۱۲٫۶ ± ۳۸٫۴، ۵۲۸٫۳ ± ۴۲٫۷ و ۵۶۱٫۹ ± ۳۵٫۲ هستند. تفاوت میان سه گروه، پس از اصلاح Holm، همگی به سطح معناداری (p < 0.001) می‌رسد. مدل کامل پس از ۱۶۲۰ دور به بازه پایدار وارد می‌شود و واریانس پاداش پس از همگرایی به ۱۹٫۴ کاهش می‌یابد. نرخ تغییر شدت هیجانی، مقدار بهبود پایداری وضعیت و واریانس تجمعی پاداش فردی به ترتیب ۰٫۰۹۱، ۰٫۰۵۲ و ۲۸٫۴ است. نتایج حذف اجزا (ablation) نشان می‌دهد که رمزگذاری زمانی عمدتاً بر منافع بلندمدت و پایداری همگرایی اثرگذار است و تعبیه فردی بر کاهش پراکندگی میان کاربران تمرکز دارد. شواهد موجود از بهینه‌سازی راهبرد در محیط‌های غیر بالینی حمایت می‌کند، اما تبیین سازوکار روان‌شناختی، اثبات اثر علّی یا نتیجه‌گیری اثربخشی بالینی را فراهم نمی‌کند.

Fatigue severely degrades operational reliability in high-risk operational settings such as aviation maintenance. Although multimodal physiological signals support objective fatigue assessment, many existing models emphasize temporal patterns without explicitly modeling dependencies among physiological features across modalities. We propose a Physiology-Guided Parallel Graph–Transformer Network (PGTNet) for multimodal fatigue recognition, which incorporates physiologically motivated fatigue-related features derived from multimodal physiological signals. Parallel DGCN and Transformer branches jointly model physiological feature relationships and long-range temporal dependencies, and their representations are integrated through a bidirectional cross-attention mechanism. Under the predefined subject-independent partition, PGTNet achieves an Accuracy of 0.8778 and a Macro-AUC of 0.9648. Eight-fold subject-wise cross-validation yields an average Accuracy of 0.8592 ± 0.0112 across the eight held-out subjects. These results support the effectiveness of PGTNet within the present dataset.

خستگی به طور جدی پایایی عملیاتی را در محیط‌های عملیاتی پرخطر مانند تعمیر و نگهداری هوانوردی کاهش می‌دهد. اگرچه سیگنال‌های فیزیولوژیکی چندوجهی از ارزیابی عینی خستگی پشتیبانی می‌کنند، بسیاری از مدل‌های موجود بر الگوهای زمانی تأکید دارند بدون آنکه به طور صریح وابستگی‌های میان ویژگی‌های فیزیولوژیکی در میان وجه‌ها را مدل‌سازی کنند. ما یک شبکه گراف-ترنسفورمر موازی با راهنمایی فیزیولوژیکی (PGTNet) را برای شناسایی خستگی چندوجهی پیشنهاد می‌کنیم که ویژگی‌های مرتبط با خستگی با انگیزه فیزیولوژیکی را که از سیگنال‌های فیزیولوژیکی چندوجهی استخراج شده‌اند، دربر می‌گیرد. شاخه‌های موازی DGCN و ترنسفورمر به طور مشترک روابط ویژگی‌های فیزیولوژیکی و وابستگی‌های زمانی بلندمدت را مدل‌سازی می‌کنند و بازنمایی‌های آن‌ها از طریق یک سازوکار توجه متقاطع دوسویه ادغام می‌شوند. تحت تقسیم‌بندی از پیش تعیین‌شده مستقل از آزمودنی، PGTNet به دقت (Accuracy) برابر با 0.8778 و Macro-AUC برابر با 0.9648 دست می‌یابد. اعتبارسنجی متقاطع هشت‌تایی مبتنی بر آزمودنی به طور میانگین دقت 0.8592 ± 0.0112 را در میان هشت آزمودنی کنارگذاشته‌شده نشان می‌دهد. این نتایج اثربخشی PGTNet را در مجموعه داده حاضر تأیید می‌کند.

Understanding the emotional vulnerability of cancer patients and caregivers is critical for improving psychological support and clinical intervention strategies. With the rapid growth of online health communities, large volumes of textual narratives describing treatment experiences and emotional struggles have become available for computational analysis. However, accurately capturing emotional intensity and contextual sentiment in such narratives remains challenging due to the complex linguistic patterns present in health-related discussions. This study proposes an attention-guided hybrid transformer-ensemble learning framework for emotional vulnerability detection in cancer-related social media posts. The proposed architecture integrates domain-adapted contextual representations generated by BioBERT with linguistic intensity features to capture both semantic context and emotional strength. An attention-based feature fusion mechanism dynamically combines these heterogeneous features to produce enriched representations of patient narratives. The fused representations are subsequently utilized by multiple optimized machine learning classifiers, including XGBoost, LightGBM, Random Forest, and CatBoost. Hyperparameter optimization is performed using the Optuna framework to improve predictive performance. Furthermore, ensemble learning strategies such as soft voting, hard voting, and stacking are employed to combine the predictions of the base classifiers. Experiments conducted on a held-out split of a publicly available dataset of 10,391 posts from cancer patients and caregivers demonstrate that ensemble approaches consistently outperform individual classifiers on this data. The stacking ensemble achieves an accuracy of 0.76 and an ROC-AUC of 0.91, outperforming its own individual base classifiers but not a fine-tuned BioBERT baseline (accuracy 0.77, ROC-AUC 0.92) evaluated on the same split; a TF-IDF with linear SVM baseline is also competitive (accuracy 0.763). The framework’s practical advantage over full BioBERT fine-tuning is therefore computational rather than purely predictive: it reuses frozen BioBERT features and adds a lightweight, interpretable attention-fusion and tree-ensemble stage at a fraction of the training cost, while an ablation study confirms that the attention-based fusion of contextual and lexical-intensity signals meaningfully outperforms either signal alone or their simple concatenation. The proposed framework thus provides a scalable, lower-cost computational approach that can support mental health monitoring and early intervention systems in online healthcare communities, at a modest accuracy cost relative to full transformer fine-tuning.

درک آسیب‌پذیری هیجانی بیماران سرطانی و مراقبان آنان برای بهبود حمایت روان‌شناختی و راهبردهای مداخله بالینی اهمیت اساسی دارد. با رشد سریع جوامع سلامت آنلاین، حجم زیادی از روایت‌های متنی که تجارب درمانی و چالش‌های هیجانی را توصیف می‌کنند، برای تحلیل محاسباتی در دسترس قرار گرفته‌اند. با این حال، شناسایی دقیق شدت هیجانی و احساسات زمینه‌ای در این روایت‌ها به دلیل الگوهای زبانی پیچیده در مباحث مرتبط با سلامت، همچنان چالش‌برانگیز است. این پژوهش چارچوبی هیبریدی مبتنی بر یادگیری تجمعی و ترنسفورمر هدایت‌شده با مکانیزم توجه را برای شناسایی آسیب‌پذیری هیجانی در پست‌های شبکه‌های اجتماعی مرتبط با سرطان پیشنهاد می‌کند. معماری پیشنهادی، بازنمایی‌های زمینه‌ای سازگار با حوزه که توسط BioBERT تولید شده‌اند را با ویژگی‌های شدت زبانی ترکیب می‌کند تا هم زمینه معنایی و هم قدرت هیجانی را استخراج نماید. مکانیزم ادغام ویژگی مبتنی بر توجه، این ویژگی‌های ناهمگن را به صورت پویا ترکیب می‌کند تا بازنمایی‌های غنی‌شده‌ای از روایت‌های بیماران ارائه دهد. این بازنمایی‌های ادغام‌شده سپس توسط چندین طبقه‌بند یادگیری ماشین بهینه‌شده شامل XGBoost، LightGBM، Random Forest و CatBoost مورد استفاده قرار می‌گیرند. بهینه‌سازی ابرپارامترها با استفاده از چارچوب Optuna برای بهبود عملکرد پیش‌بینی انجام می‌شود. افزون بر این، راهبردهای یادگیری تجمعی مانند رأی‌دهی نرم، رأی‌دهی سخت و استکینگ برای ترکیب پیش‌بینی‌های طبقه‌بندهای پایه به کار گرفته می‌شوند. آزمایش‌های انجام‌شده بر روی بخش جداگانه‌ای از یک مجموعه داده عمومی شامل ۱۰٬۳۹۱ پست از بیماران سرطانی و مراقبان آنان نشان می‌دهد که رویکردهای تجمعی به طور پیوسته عملکرد بهتری نسبت به طبقه‌بندهای منفرد در این داده‌ها دارند. استکینگ تجمعی به دقت ۰٫۷۶ و ROC-AUC برابر با ۰٫۹۱ دست می‌یابد که نسبت به طبقه‌بندهای پایه خود عملکرد بهتری دارد، اما نسبت به خط‌مبنای BioBERT تنظیم‌شده (دقت ۰٫۷۷، ROC-AUC برابر با ۰٫۹۲) که بر روی همان بخش ارزیابی شده است، برتری ندارد؛ همچنین خط‌مبنای TF-IDF با SVM خطی نیز رقابتی است (دقت ۰٫۷۶۳). بنابراین، مزیت عملی چارچوب پیشنهادی نسبت به تنظیم کامل BioBERT، بیشتر محاسباتی است تا صرفاً پیش‌بینی: این چارچوب از ویژگی‌های ثابت‌شده BioBERT استفاده می‌کند و مرحله‌ای سبک، قابل تفسیر و مبتنی بر ادغام توجه و یادگیری تجمعی درختی را با کسری از هزینه آموزش اضافه می‌کند، در حالی که مطالعه حذف اجزا تأیید می‌کند که ادغام مبتنی بر توجه سیگنال‌های زمینه‌ای و شدت واژگانی به طور معناداری بهتر از هر یک به تنهایی یا ادغام ساده آن‌ها عمل می‌کند. بدین ترتیب، چارچوب پیشنهادی رویکردی مقیاس‌پذیر و کم‌هزینه برای پشتیبانی از پایش سلامت روان و سامانه‌های مداخله زودهنگام در جوامع سلامت آنلاین فراهم می‌کند، هرچند با هزینه اندکی در دقت نسبت به تنظیم کامل ترنسفورمر.

Healthcare workers (HCWs) face elevated risk for burnout and stress-related disorders, yet conventional self-report assessments are limited by professional stigma and underreporting. We evaluated whether multimodal computational analysis of brief, remotely collected stress narratives could distinguish longitudinal stress profiles. In a prospective six-week cohort study, N = 750 HCWs were invited to provide weekly naturalistic narratives describing recent stressful experiences and repeated measures of anxiety, depression, burnout, and subjective distress. Among 553 participants with sufficient repeated self-report data, multivariate longitudinal clustering identified two distinct profiles: Resilient ( n = 295) and Vulnerable ( n = 258). Linguistic, acoustic, and facial expression embeddings were extracted from the recordings and integrated using a hierarchical multimodal transformer. In a held-out test set, the model achieved an AUROC of 0.75, outperforming unimodal (linguistic embeddings; AUROC = 0.63) and bimodal (linguistic + acoustic; AUROC = 0.70) configurations. These findings provide proof of concept that multimodal embeddings extracted from brief stress narratives are associated with occupational stress profiles, potentially complementing traditional assessment methods and informing targeted prevention strategies.

کارکنان مراقبت‌های سلامت (HCWs) در معرض خطر بالاتر فرسودگی شغلی و اختلالات مرتبط با استرس قرار دارند، اما ارزیابی‌های خودگزارشی متداول به دلیل انگ حرفه‌ای و گزارش‌دهی ناکافی محدودیت دارند. ما ارزیابی کردیم که آیا تحلیل محاسباتی چندوجهی روایت‌های کوتاه و جمع‌آوری‌شده از راه دور درباره استرس می‌تواند پروفایل‌های طولی استرس را متمایز کند یا خیر. در یک مطالعه کوهورت آینده‌نگر شش‌هفته‌ای، تعداد N = 750 نفر از کارکنان مراقبت‌های سلامت دعوت شدند تا به صورت هفتگی روایت‌های طبیعی درباره تجربیات استرس‌زای اخیر خود و همچنین سنجش‌های تکرارشونده اضطراب، افسردگی، فرسودگی شغلی و پریشانی ذهنی را ارائه دهند. در میان 553 شرکت‌کننده با داده‌های خودگزارشی تکرارشونده کافی، خوشه‌بندی طولی چندمتغیره دو پروفایل متمایز را شناسایی کرد: مقاوم (n = 295) و آسیب‌پذیر (n = 258). تعبیه‌های زبانی، آکوستیکی و حالات چهره از ضبط‌ها استخراج و با استفاده از یک ترنسفورمر چندوجهی سلسله‌مراتبی ادغام شدند. در مجموعه آزمون جداگانه، مدل به AUROC برابر با 0.75 دست یافت که عملکرد بهتری نسبت به پیکربندی‌های تک‌وجهی (تعبیه‌های زبانی؛ AUROC = 0.63) و دووجهی (زبانی + آکوستیکی؛ AUROC = 0.70) داشت. این یافته‌ها اثبات مفهومی ارائه می‌کنند مبنی بر اینکه تعبیه‌های چندوجهی استخراج‌شده از روایت‌های کوتاه استرس با پروفایل‌های استرس شغلی مرتبط هستند و می‌توانند به عنوان مکمل روش‌های ارزیابی سنتی و اطلاع‌رسانی راهبردهای پیشگیرانه هدفمند مورد استفاده قرار گیرند.

Fine-grained interior design style recognition is challenging due to the subtle, context-dependent nature of stylistic cues, which are often entangled with dominant semantic objects. While convolutional neural networks effectively capture local textures, they lack global reasoning, whereas Vision Transformers model spatial relationships but do not explicitly encode perceptual style attributes. To address these limitations, we propose SAT $$^{3}$$ (Style-Aware Attention Transformer) that integrates four synergistic components: (i) a Style Attention Embedding that combines a CNN (Convolutional Neural Network) stem with a Transformer encoder enhanced by a Style Attention Module (SAM) to emphasize texture and color-related cues; (ii) an auxiliary self-supervised learning (SSL) branch leveraging masked autoencoding and contrastive learning to enrich style-invariant representations; (iii) a joint optimization strategy that balances supervised and self-supervised objectives for improved robustness; and (iv) an efficient inference pathway that retains a style-sensitive encoder while removing auxiliary components. Extensive experiments on interior design datasets demonstrate that SAT $$^{3}$$ achieves the best performance among the baselines evaluated in this study. Additional analyses indicate that the learned representations are more aligned with stylistic attributes and less dependent on semantic content, leading to improved generalization, particularly under limited annotation settings. These results highlight the effectiveness of the proposed approach for fine-grained style recognition and suggest its broader applicability to other style-driven visual understanding tasks.

شناسایی دقیق سبک طراحی داخلی به دلیل ماهیت ظریف و وابسته به زمینه نشانه‌های سبکی که اغلب با اشیای معنایی غالب درهم‌تنیده‌اند، چالش‌برانگیز است. در حالی که شبکه‌های عصبی کانولوشنی (CNN) به‌طور مؤثری بافت‌های محلی را استخراج می‌کنند، فاقد استدلال جهانی هستند؛ در مقابل، ترنسفورمرهای بینایی (Vision Transformers) روابط فضایی را مدل‌سازی می‌کنند اما ویژگی‌های ادراکی سبک را به‌طور صریح رمزگذاری نمی‌کنند. برای رفع این محدودیت‌ها، ما SAT $$^{3}$$ (ترنسفورمر توجه‌آگاه به سبک) را پیشنهاد می‌کنیم که چهار مؤلفه هم‌افزا را ادغام می‌کند: (i) تعبیه توجه به سبک که یک بخش ابتدایی CNN را با یک رمزگذار ترنسفورمر تقویت‌شده توسط ماژول توجه به سبک (SAM) برای تأکید بر نشانه‌های مرتبط با بافت و رنگ ترکیب می‌کند؛ (ii) یک شاخه یادگیری خودنظارتی کمکی (SSL) که با بهره‌گیری از رمزگشایی خودکار ماسک‌شده و یادگیری متضاد، نمایش‌های مستقل از سبک را غنی می‌سازد؛ (iii) یک راهبرد بهینه‌سازی مشترک که اهداف نظارت‌شده و خودنظارتی را برای افزایش پایداری متعادل می‌کند؛ و (iv) یک مسیر استنتاج کارآمد که رمزگذار حساس به سبک را حفظ کرده و مؤلفه‌های کمکی را حذف می‌کند. آزمایش‌های گسترده بر روی پایگاه‌های داده طراحی داخلی نشان می‌دهد که SAT $$^{3}$$ بهترین عملکرد را در میان روش‌های پایه ارزیابی‌شده در این مطالعه دارد. تحلیل‌های تکمیلی نشان می‌دهد که نمایش‌های یادگرفته‌شده با ویژگی‌های سبکی هم‌راستاتر و کمتر وابسته به محتوای معنایی هستند که منجر به بهبود تعمیم‌پذیری، به‌ویژه در شرایط برچسب‌گذاری محدود می‌شود. این نتایج اثربخشی رویکرد پیشنهادی را برای شناسایی دقیق سبک نشان داده و کاربرد گسترده‌تر آن را در سایر وظایف درک بصری مبتنی بر سبک پیشنهاد می‌کند.

The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.

کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخ‌های فیزیولوژیکی و رفتاری چندوجهی است و به سیستم‌های هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیش‌بینی قصد عاطفی کمک می‌کند. اگرچه مدل‌های عمیق موجود پیشرفت‌های قابل توجهی نشان داده‌اند، اما اکثر آن‌ها شیوه‌های چندوجهی را به صورت مجزا پردازش می‌کنند و مکانیسم‌های علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمی‌گیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی می‌کند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهت‌دار متغیر با زمان میان کانال‌های فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمی‌گیرد. تمامی شیوه‌های داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویایی‌های چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدل‌سازی شده‌اند که با مکانیزم خودتوجهی یاد گرفته می‌شود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیه‌های نهفته در حال تغییر پیوسته را آموزش می‌دهد تا بتواند تغییرات احساسات را به طور هموار مدل‌سازی کند. توجه متقاطع شرطی‌شده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام می‌کند و استنباطی معنادار و فردمحور ارائه می‌دهد. تحلیل‌های تجربی بر روی مجموعه AFFEC نشان می‌دهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدل‌های پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوه‌های داده مقاوم است. نقشه‌های تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودی‌های شیوه‌های داده نشان می‌دهد که اطلاعات علوم اعصاب درباره شکل‌گیری احساسات ارائه می‌کند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل می‌کند.