BERT

Shared Reading (SR) is a communal well-being intervention in which a literary text is read aloud and discussed in a group. A form of emotion-centred close reading, SR emerged as a reaction against elitist academic norms and was developed in an attempt to emotionalise and democratise literary study by moving it outside of the confines of the university. This theoretical essay argues that humanities and social science lecturers might benefit from introducing SR praxis into their classes. Each section analyses an aspect of SR through emotionally engaged (hooks, Palmer), relational (Hickey, Riddle, Gravett), and critical (Freire) pedagogical and theoretical lenses, arguing that SR serves many of the aspirations of these pedagogies. I then consider how SR might be implemented in an academic setting and the kind of adaptations that might be necessary. This essay is a thought experiment which I hope will lay the groundwork for a more sustained and applied experiment in SR. Throughout, I argue that infusing SR into university settings has the potential to positively benefit student well-being and academic performance.

This study develops an approach to predict personality traits based on the Big Five model through essay text by combining global and contextual information using a Vocabulary Graph Convolutional Network (VGCN) and Bidirectional Encoder Representations from Transformers (BERT). VGCN is used to capture global relationships between words through a vocabulary graph representation built based on NPMI weights, while BERT plays a role in producing richer and more contextual text representations. Experimental results show that the integration of structural and contextual features can provide good performance in multi-label classification tasks. Based on the grid search process and 5-fold cross-validation, the best model configuration obtained a macro F1 score of 0.6827 and a weighted F1 score of 0.6829 in out-of-fold prediction. The evaluation results for each feature show that the recall value is close to 1.0, while the precision value ranges from 0.50 to 0.56. This condition indicates a tendency for the model to produce more positive predictions. Furthermore, the results of the study highlight the importance of optimizing the prediction threshold value to obtain a more optimal compromise between precision and recall. Overall, the integration of graph-based semantic information with contextual representations from BERT shows that the VGCN-BERT approach has good potential for application in multi-label personality classification

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

Personalized psychological counseling is essential for tailoring therapeutic strategies to individual needs. However, existing methods often rely on static approaches that fail to dynamically adapt responses based on emotional and contextual changes in client conversations. The primary objective is to improve personalized psychological counseling for college students experiencing academic stress, social adjustment challenges, and emotional well-being concerns. The proposed model is termed the Grizzly Bear Fat-Increase Optimization–Driven Encoder–Decoder Long Short-Term Memory (GBFI–EDLSTM) architecture to dynamically adjust counseling strategies. The model utilizes an Encoder–Decoder LSTM to process and generate personalized counseling responses. GBFI fine-tunes these responses by analyzing emotional cues, ensuring that the generated strategies are tailored to the client’s evolving needs within a college academic and social environment. The model is trained on a curated dataset consisting of mental health conversation dialogues collected from college students and university counseling sessions, which contain text-based interactions between student clients and professional counselors. Preprocessing steps such as tokenization, stop-word removal, lemmatization, and punctuation removal to standardize the input. BERT embeddings are used for feature extraction, enabling the model to capture meaningful semantic relationships. These features assist the model in generating contextually appropriate and emotionally relevant responses. The model is implemented using Python, with Tensorflow and Keras for DL, and NLTK and spaCy for text preprocessing. The model accuracy (0.936), precision (0.93), recall (0.92), and F1-score (0.92), along with a PHQ-9 reduction (4.3) and dropout rate (8.8%). It outperforms traditional models in terms of emotional engagement and therapeutic progress prediction.

مشاوره روان‌شناختی شخصی‌سازی‌شده برای تطبیق راهبردهای درمانی با نیازهای فردی ضروری است. با این حال، روش‌های موجود اغلب بر رویکردهای ایستا تکیه دارند که قادر به انطباق پویا با تغییرات هیجانی و زمینه‌ای در مکالمات مراجع نیستند. هدف اصلی، بهبود مشاوره روان‌شناختی شخصی‌سازی‌شده برای دانشجویان دانشگاه است که با استرس تحصیلی، چالش‌های سازگاری اجتماعی و نگرانی‌های بهزیستی هیجانی مواجه هستند. مدل پیشنهادی با عنوان معماری Grizzly Bear Fat-Increase Optimization–Driven Encoder–Decoder Long Short-Term Memory (GBFI–EDLSTM) ارائه می‌شود تا راهبردهای مشاوره را به صورت پویا تنظیم کند. این مدل از یک Encoder–Decoder LSTM برای پردازش و تولید پاسخ‌های مشاوره‌ای شخصی‌سازی‌شده بهره می‌برد. GBFI این پاسخ‌ها را با تحلیل نشانه‌های هیجانی بهینه می‌کند تا اطمینان حاصل شود که راهبردهای تولیدشده با نیازهای در حال تحول مراجع در محیط دانشگاهی و اجتماعی تطابق دارند. مدل بر روی مجموعه داده‌ای منتخب شامل گفتگوهای سلامت روان جمع‌آوری‌شده از دانشجویان و جلسات مشاوره دانشگاهی آموزش داده می‌شود که شامل تعاملات متنی بین مراجعان دانشجو و مشاوران حرفه‌ای است. مراحل پیش‌پردازش مانند توکنیزاسیون، حذف کلمات توقف، لماتیزاسیون و حذف علائم نگارشی برای استانداردسازی ورودی انجام می‌شود. برای استخراج ویژگی‌ها از تعبیه‌های BERT استفاده می‌شود تا مدل بتواند روابط معنایی معنادار را دریافت کند. این ویژگی‌ها به مدل در تولید پاسخ‌های متناسب با زمینه و مرتبط با هیجان کمک می‌کنند. مدل با استفاده از Python و کتابخانه‌های Tensorflow و Keras برای یادگیری عمیق و NLTK و spaCy برای پیش‌پردازش متنی پیاده‌سازی شده است. دقت مدل (0.936)، دقت مثبت (0.93)، یادآوری (0.92) و امتیاز F1 (0.92)، همراه با کاهش PHQ-9 (4.3) و نرخ دراپ‌اوت (8.8%) گزارش شده است. این مدل از نظر درگیری هیجانی و پیش‌بینی پیشرفت درمانی عملکرد بهتری نسبت به مدل‌های سنتی دارد.

Abstract Rapid advancements in education assessment and natural language processing have fundamentally transformed the methodologies employed in multi-dimensional writing assessment. Neural network approaches have shown remarkable effectiveness, obviating the need for handcrafted feature engineering. However, the potential of pre-trained language models for constructing multi-dimensional automated essay scoring (AES) models still needs to be explored. The present study addresses critical challenges, including the resilience of AES models to subtle input perturbations leading to prediction inaccuracies and the elucidation of the intricate mechanisms within deep learning frameworks. We propose an integrated approach leveraging multi-task learning and the pre-trained model Bidirectional Encoder Representations from Transformers (BERT), augmented with adversarial training via the Fast Gradient Sign Method (FGSM), aiming to enhance scoring accuracy and stability in multi-dimensional AES tasks. Findings reveal that BERT-Integrated-MTL-FGSM significantly outperforms existing baselines. Integrating Explainable Artificial Intelligence (XAI) elucidates the complex evaluation processes within the deep learning black box, offering potentially diagnostic feedback for students and assisting educators in delivering individualized instruction guided by word-level attributions across diverse analytic rating scales. These insights enhance the robustness, generalizability, and interpretability of multi-dimensional AES models, thus paving an interdisciplinary pathway for multi-dimensional writing assessment and instruction.

پیشرفت‌های سریع در ارزیابی آموزشی و پردازش زبان طبیعی، روش‌شناسی‌های به‌کاررفته در ارزیابی چندبُعدی نوشتار را به‌طور بنیادین متحول کرده‌اند. رویکردهای شبکه عصبی اثربخشی چشمگیری نشان داده‌اند و نیاز به مهندسی ویژگی‌های دستی را برطرف ساخته‌اند. با این حال، پتانسیل مدل‌های زبانی از پیش‌آموزش‌دیده برای ساخت مدل‌های خودکار نمره‌دهی مقاله (AES) چندبُعدی همچنان نیازمند بررسی است. مطالعه حاضر به چالش‌های اساسی از جمله تاب‌آوری مدل‌های AES در برابر اختلالات جزئی ورودی که منجر به نادرستی پیش‌بینی می‌شوند و تبیین سازوکارهای پیچیده در چارچوب‌های یادگیری عمیق می‌پردازد. ما رویکردی یکپارچه مبتنی بر یادگیری چندوظیفه‌ای و مدل از پیش‌آموزش‌دیده Bidirectional Encoder Representations from Transformers (BERT) ارائه می‌دهیم که با آموزش خصمانه از طریق Fast Gradient Sign Method (FGSM) تقویت شده است، با هدف ارتقای دقت و پایداری نمره‌دهی در وظایف AES چندبُعدی. یافته‌ها نشان می‌دهند که BERT-Integrated-MTL-FGSM به طور معناداری عملکرد بهتری نسبت به خطوط پایه موجود دارد. ادغام هوش مصنوعی قابل‌توضیح (XAI) فرآیندهای ارزیابی پیچیده در جعبه سیاه یادگیری عمیق را روشن می‌سازد و بازخورد تشخیصی بالقوه‌ای برای دانشجویان فراهم می‌کند و به مدرسان در ارائه آموزش فردمحور مبتنی بر انتساب‌های واژه‌محور در مقیاس‌های تحلیلی متنوع کمک می‌کند. این بینش‌ها موجب افزایش تاب‌آوری، قابلیت تعمیم و تفسیرپذیری مدل‌های AES چندبُعدی می‌شود و بدین ترتیب مسیر میان‌رشته‌ای برای ارزیابی و آموزش چندبُعدی نوشتار هموار می‌گردد.