Xiaoyi Tang

Abstract Rapid advancements in education assessment and natural language processing have fundamentally transformed the methodologies employed in multi-dimensional writing assessment. Neural network approaches have shown remarkable effectiveness, obviating the need for handcrafted feature engineering. However, the potential of pre-trained language models for constructing multi-dimensional automated essay scoring (AES) models still needs to be explored. The present study addresses critical challenges, including the resilience of AES models to subtle input perturbations leading to prediction inaccuracies and the elucidation of the intricate mechanisms within deep learning frameworks. We propose an integrated approach leveraging multi-task learning and the pre-trained model Bidirectional Encoder Representations from Transformers (BERT), augmented with adversarial training via the Fast Gradient Sign Method (FGSM), aiming to enhance scoring accuracy and stability in multi-dimensional AES tasks. Findings reveal that BERT-Integrated-MTL-FGSM significantly outperforms existing baselines. Integrating Explainable Artificial Intelligence (XAI) elucidates the complex evaluation processes within the deep learning black box, offering potentially diagnostic feedback for students and assisting educators in delivering individualized instruction guided by word-level attributions across diverse analytic rating scales. These insights enhance the robustness, generalizability, and interpretability of multi-dimensional AES models, thus paving an interdisciplinary pathway for multi-dimensional writing assessment and instruction.

پیشرفت‌های سریع در ارزیابی آموزشی و پردازش زبان طبیعی، روش‌شناسی‌های به‌کاررفته در ارزیابی چندبُعدی نوشتار را به‌طور بنیادین متحول کرده‌اند. رویکردهای شبکه عصبی اثربخشی چشمگیری نشان داده‌اند و نیاز به مهندسی ویژگی‌های دستی را برطرف ساخته‌اند. با این حال، پتانسیل مدل‌های زبانی از پیش‌آموزش‌دیده برای ساخت مدل‌های خودکار نمره‌دهی مقاله (AES) چندبُعدی همچنان نیازمند بررسی است. مطالعه حاضر به چالش‌های اساسی از جمله تاب‌آوری مدل‌های AES در برابر اختلالات جزئی ورودی که منجر به نادرستی پیش‌بینی می‌شوند و تبیین سازوکارهای پیچیده در چارچوب‌های یادگیری عمیق می‌پردازد. ما رویکردی یکپارچه مبتنی بر یادگیری چندوظیفه‌ای و مدل از پیش‌آموزش‌دیده Bidirectional Encoder Representations from Transformers (BERT) ارائه می‌دهیم که با آموزش خصمانه از طریق Fast Gradient Sign Method (FGSM) تقویت شده است، با هدف ارتقای دقت و پایداری نمره‌دهی در وظایف AES چندبُعدی. یافته‌ها نشان می‌دهند که BERT-Integrated-MTL-FGSM به طور معناداری عملکرد بهتری نسبت به خطوط پایه موجود دارد. ادغام هوش مصنوعی قابل‌توضیح (XAI) فرآیندهای ارزیابی پیچیده در جعبه سیاه یادگیری عمیق را روشن می‌سازد و بازخورد تشخیصی بالقوه‌ای برای دانشجویان فراهم می‌کند و به مدرسان در ارائه آموزش فردمحور مبتنی بر انتساب‌های واژه‌محور در مقیاس‌های تحلیلی متنوع کمک می‌کند. این بینش‌ها موجب افزایش تاب‌آوری، قابلیت تعمیم و تفسیرپذیری مدل‌های AES چندبُعدی می‌شود و بدین ترتیب مسیر میان‌رشته‌ای برای ارزیابی و آموزش چندبُعدی نوشتار هموار می‌گردد.