Psychometric properties of digital progress monitoring in special education: a COSMIN-guided systematic review
ویژگیهای روانسنجی پایش پیشرفت دیجیتال در آموزش ویژه: مرور نظاممند مبتنی بر راهنمای COSMIN
چکیده
Introduction Digital progress monitoring is central to data-based decision-making in multi-tiered systems of support (MTSS) and response to intervention (RTI), particularly for students with or at risk for special educational needs, yet existing reviews mainly address reading curriculum-based measurement (CBM) and do not sufficiently synthesize digital, cross-domain, and decision-relevant psychometric evidence. Methods This systematic review followed PRISMA 2020 and used a COSMIN-aligned synthesis of measurement properties. Seven databases were searched; study selection and extraction followed a multi-rater pipeline with consensus adjudication. Results The final corpus comprised 106 studies with a cumulative sample of 774,420 students (median study-level n = 459). Psychometric coverage was uneven: reliability was reported in 67% of studies (55% with strong coefficients, defined a priori as ≥ .80); validity was reported most frequently (86%) but reached strong coefficients in only 33%; responsiveness was reported in 45% and reached strong coefficients in only 8%; classification accuracy was reported in 36% (31% strong). These patterns were robust across sensitivity analyses addressing administration modality, longitudinal design, risk of bias, and alternative coefficient thresholds. CBM-reading formed the most mature evidence base. CBM-math showed adequate reliability and validity but a marked classification-accuracy gap. Language progress monitoring remained evidence-thin, and direct behavior rating and digital behavioral observation showed substantial gaps in responsiveness and classification accuracy. For the emerging paradigm of ecological momentary assessment (EMA) and wearables, no eligible school-based validation study was identified at all. Discussion The core finding is a validity-responsiveness asymmetry: instruments are commonly evaluated for concurrent or predictive validity but far less often for their capacity to detect intervention-related change. For MTSS-aligned practice, math and behavior measures require stronger classification validation, and EMA- or wearable-based approaches remain insufficiently operationalized in school-based special education.
مقدمه: پایش پیشرفت دیجیتال نقش محوری در تصمیمگیری مبتنی بر داده در نظامهای چندسطحی حمایت (MTSS) و پاسخ به مداخله (RTI) دارد، بهویژه برای دانشآموزان دارای نیازهای ویژه آموزشی یا در معرض خطر آن، اما مرورهای موجود عمدتاً به سنجش مبتنی بر برنامه درسی خواندن (CBM) میپردازند و شواهد روانسنجی دیجیتال، میانحوزهای و مرتبط با تصمیمگیری را بهطور کافی تلفیق نمیکنند. روشها: این مرور نظاممند بر اساس PRISMA 2020 انجام شد و از سنتز ویژگیهای اندازهگیری همسو با COSMIN بهره گرفت. جستجو در هفت پایگاه داده صورت گرفت؛ انتخاب و استخراج مطالعات با رویکرد چندارزیاب و داوری اجماعی انجام شد. یافتهها: مجموعه نهایی شامل ۱۰۶ مطالعه با نمونه تجمعی ۷۷۴٬۴۲۰ دانشآموز (میانگین نمونه در هر مطالعه = ۴۵۹) بود. پوشش روانسنجی نامتوازن بود: پایایی در ۶۷٪ مطالعات گزارش شد (۵۵٪ با ضرایب قوی، تعریفشده بهصورت a priori ≥ .80)؛ روایی بیشترین فراوانی گزارش را داشت (۸۶٪) اما تنها در ۳۳٪ به ضرایب قوی رسید؛ پاسخگویی در ۴۵٪ گزارش شد و تنها در ۸٪ به ضرایب قوی رسید؛ دقت طبقهبندی در ۳۶٪ گزارش شد (۳۱٪ قوی). این الگوها در تحلیلهای حساسیت مربوط به شیوه اجرا، طرح طولی، خطر سوگیری و آستانههای جایگزین ضرایب نیز پایدار بود. CBM-خواندن قویترین پایه شواهد را داشت. CBM-ریاضی پایایی و روایی کافی نشان داد اما شکاف قابل توجهی در دقت طبقهبندی داشت. پایش پیشرفت زبان شواهد اندکی داشت و سنجش مستقیم رفتار و مشاهده رفتاری دیجیتال نیز شکافهای قابل توجهی در پاسخگویی و دقت طبقهبندی نشان دادند. برای الگوی نوظهور ارزیابی لحظهای بومشناختی (EMA) و ابزارهای پوشیدنی، هیچ مطالعه اعتبارسنجی مبتنی بر مدرسه واجد شرایط شناسایی نشد. بحث: یافته اصلی، عدم تقارن روایی-پاسخگویی است: ابزارها معمولاً از نظر روایی همزمان یا پیشبین ارزیابی میشوند اما بهمراتب کمتر از نظر توانایی شناسایی تغییرات مرتبط با مداخله بررسی میشوند. برای اجرای همسو با MTSS، سنجههای ریاضی و رفتار نیازمند اعتبارسنجی طبقهبندی قویتر هستند و رویکردهای مبتنی بر EMA یا ابزارهای پوشیدنی در آموزش ویژه مبتنی بر مدرسه هنوز بهطور کافی عملیاتی نشدهاند.