Xiao-Chao Yao

Introduction AI-supported writing assessment can provide rapid scores and issue-level comments, yet its formative value depends on how students and teachers interpret and act on that information. This study examined this process in a university English writing course. Methods Two pre-existing intact classes comprising 96 students (48 per class) completed three writing-feedback-revision cycles. The Control class received AI scores/standard feedback, routine teacher checking, and revision. The Diagnostic Review class received DeepSeek-R1 issue-level diagnoses, completed an interpretation sheet, revised independently, underwent structured teacher review and reassessment, and recorded a reflection. Measures included diagnostic accuracy, feedback actionability, feedback comprehension, self-assessment accuracy, revision quality, reflection quality, misunderstanding codes, and teacher review activity. Mixed-effects models with student random intercepts were used for analysis. Results The Diagnostic Review class showed higher scores for diagnostic accuracy, actionability, comprehension, revision quality, and self-assessment accuracy. Group-by-cycle interactions were significant for diagnostic accuracy, comprehension, revision quality, and self-assessment accuracy, whereas the actionability interaction was not. Feedback comprehension showed the strongest bivariate association with revision quality. Exploratory indirect associations through actionability and comprehension remained positive after adjustment for condition and cycle using student-cluster bootstrap confidence intervals. Teacher records documented confirmation, correction, supplementation, and re-explanation, with greater review time in the Diagnostic Review class. Discussion The findings indicate that the formative value of AI-supported writing assessment extends beyond automated diagnosis to the subsequent processes of student interpretation, revision, and teacher review. Repeated classroom assessment may therefore benefit from integrating AI-generated diagnostic feedback with structured learner reflection and context-sensitive teacher judgment.

مقدمه: ارزیابی نوشتار با پشتیبانی هوش مصنوعی می‌تواند نمرات سریع و بازخوردهای سطح مسئله ارائه دهد، اما ارزش تکوینی آن وابسته به نحوه تفسیر و واکنش دانشجویان و معلمان به این اطلاعات است. این پژوهش این فرایند را در یک درس دانشگاهی نوشتار انگلیسی مورد بررسی قرار داد. روش‌ها: دو کلاس موجود متشکل از ۹۶ دانشجو (۴۸ نفر در هر کلاس) سه چرخه نوشتار-بازخورد-بازنگری را تکمیل کردند. کلاس کنترل نمرات هوش مصنوعی/بازخورد استاندارد، بررسی معمول معلم و بازنگری را دریافت کرد. کلاس بازبینی تشخیصی، تشخیص‌های سطح مسئله DeepSeek-R1، تکمیل برگه تفسیر، بازنگری مستقل، بازبینی ساختاریافته معلم و ارزیابی مجدد و ثبت تأمل را انجام داد. سنجه‌ها شامل دقت تشخیصی، قابلیت اقدام بازخورد، درک بازخورد، دقت خودارزیابی، کیفیت بازنگری، کیفیت تأمل، کدهای سوءتفاهم و فعالیت بازبینی معلم بود. برای تحلیل از مدل‌های اثرات مختلط با انقطاع تصادفی دانشجو استفاده شد. نتایج: کلاس بازبینی تشخیصی نمرات بالاتری در دقت تشخیصی، قابلیت اقدام، درک، کیفیت بازنگری و دقت خودارزیابی نشان داد. تعامل گروه-چرخه برای دقت تشخیصی، درک، کیفیت بازنگری و دقت خودارزیابی معنادار بود، در حالی که تعامل قابلیت اقدام معنادار نبود. درک بازخورد قوی‌ترین ارتباط دومتغیره را با کیفیت بازنگری نشان داد. ارتباطات غیرمستقیم اکتشافی از طریق قابلیت اقدام و درک، پس از تعدیل بر اساس وضعیت و چرخه با استفاده از فاصله اطمینان بوت‌استرپ خوشه‌ای دانشجو، مثبت باقی ماند. سوابق معلم تأیید، تصحیح، تکمیل و توضیح مجدد را مستند کرد و زمان بازبینی بیشتری در کلاس بازبینی تشخیصی صرف شد. بحث: یافته‌ها نشان می‌دهد که ارزش تکوینی ارزیابی نوشتار با پشتیبانی هوش مصنوعی فراتر از تشخیص خودکار بوده و به فرایندهای بعدی تفسیر دانشجو، بازنگری و بازبینی معلم نیز گسترش می‌یابد. بنابراین، ارزیابی مکرر کلاسی می‌تواند از ادغام بازخورد تشخیصی تولیدشده توسط هوش مصنوعی با تأمل ساختاریافته یادگیرنده و قضاوت حساس به زمینه معلم سود ببرد.