Raw data

Data analysis is an important stage in educational research because it transforms raw data into meaningful information that can be used to answer research questions and formulate conclusions. This article discusses data analysis in educational research, including the meaning of data analysis, types of analysis, quantitative and qualitative analysis procedures, mixed-methods analysis, selection of analytical techniques, validity, interpretation, and the use of digital technology and artificial intelligence. This article uses a conceptual literature-review approach based on the submitted paper entitled Analisis Data dalam Penelitian Pendidikan and the methodological references contained in it. The discussion shows that data analysis cannot be separated from the research problem, objectives, research questions, and characteristics of the data. Quantitative analysis generally uses descriptive and inferential statistics, while qualitative analysis involves reading data, coding, categorizing, developing themes, and interpreting meaning. Mixed methods requires meaningful integration between quantitative and qualitative findings. The analysis also indicates that the use of statistical software and artificial intelligence can support researchers in processing and exploring data, but these technologies cannot replace the researcher's methodological judgment. Therefore, the quality of data analysis depends not merely on the complexity of the technique used, but on its suitability, transparency, validity, and the researcher's ability to interpret findings within the context of the research

تحلیل داده‌ها مرحله‌ای مهم در پژوهش‌های آموزشی است، زیرا داده‌های خام را به اطلاعات معناداری تبدیل می‌کند که می‌توان از آن‌ها برای پاسخ به پرسش‌های پژوهش و تدوین نتایج استفاده کرد. این مقاله به بررسی تحلیل داده‌ها در پژوهش‌های آموزشی می‌پردازد و مفاهیمی چون معنای تحلیل داده‌ها، انواع تحلیل، رویه‌های تحلیل کمی و کیفی، تحلیل روش‌های ترکیبی، انتخاب فنون تحلیلی، روایی، تفسیر و استفاده از فناوری دیجیتال و هوش مصنوعی را مورد بحث قرار می‌دهد. این مقاله با رویکرد مرور مفهومی ادبیات، مبتنی بر مقاله ارائه‌شده با عنوان «تحلیل داده‌ها در پژوهش آموزشی» و منابع روش‌شناختی مندرج در آن نگاشته شده است. بحث مقاله نشان می‌دهد که تحلیل داده‌ها از مسئله پژوهش، اهداف، پرسش‌های پژوهش و ویژگی‌های داده‌ها جدا نیست. تحلیل کمی عموماً از آمار توصیفی و استنباطی استفاده می‌کند، در حالی که تحلیل کیفی شامل خواندن داده‌ها، کدگذاری، دسته‌بندی، توسعه مضامین و تفسیر معنا است. روش‌های ترکیبی نیازمند ادغام معنادار یافته‌های کمی و کیفی هستند. تحلیل همچنین نشان می‌دهد که استفاده از نرم‌افزارهای آماری و هوش مصنوعی می‌تواند پژوهشگران را در پردازش و کاوش داده‌ها یاری کند، اما این فناوری‌ها جایگزین قضاوت روش‌شناختی پژوهشگر نمی‌شوند. بنابراین، کیفیت تحلیل داده‌ها صرفاً به پیچیدگی فنون مورد استفاده بستگی ندارد، بلکه به تناسب، شفافیت، روایی و توانایی پژوهشگر در تفسیر یافته‌ها در بستر پژوهش وابسته است.

Background Handwriting is central to children's written-language development, but conventional assessment usually emphasizes the completed product and provides limited information about the processes that produced it. Digital technologies can capture handwriting as an unfolding motor and orthographic activity. Objective This scoping review mapped technologies for capturing children's handwriting process data, the raw signals and derived features obtained, the assessment constructs supported by process measures, and their educational, developmental, and clinical applications. Methods Following scoping-review guidance and PRISMA-ScR, we searched Scopus, PubMed, ERIC, Web of Science Core Collection, and IEEE Xplore and conducted backward citation searching of 11 relevant review or framework articles. Of 198 reports sought for full-text assessment, one could not be retrieved, 197 were assessed, 39 were excluded, and 158 were included. All included reports were charted with the same 16-field framework. Independent verification by a second researcher covered randomly selected samples of 40 of 197 full-text eligibility decisions (20.3%; 97.5% agreement; Cohen's κ = 0.918) and 32 of 158 extractions (20.3%). Results Digitizing or graphics tablets were used in 136 reports (86.1%), and 117 (74.1%) used Wacom hardware. Position or trajectory (145, 91.8%) and time or timestamps (124, 78.5%) were the most common raw signals, followed by pen pressure or normal force (82, 51.9%) and pen-state or in-air information (71, 44.9%). Common derived feature families included speed or velocity (97, 61.4%), temporal or duration measures (84, 53.2%), spatial or geometric measures (67, 42.4%), and pressure- or force-derived measures (59, 37.3%). Developmental or normative characterization (75, 47.5%) and clinical characterization or differential assessment (74, 46.8%) were the most frequent applications. Latin-alphabetic handwriting appeared in 114 reports (72.2%), followed by Hebrew (23, 14.6%), Chinese (19, 12.0%), and Arabic (5, 3.2%). Conclusions Digital handwriting assessment is well established in process capture but less consistently translated into applied educational or clinical decisions. Classification performance should not be equated with diagnostic validity. A theory-informed and review-refined four-level framework organizes raw signals, derived features, assessment constructs, and empirical interpretation or action without implying a validated developmental or psychometric hierarchy.

زمینه و هدف: دست‌خط نقش مرکزی در رشد زبان نوشتاری کودکان دارد، اما ارزیابی‌های متداول معمولاً بر محصول نهایی تأکید می‌کنند و اطلاعات محدودی درباره فرایندهایی که به تولید آن منجر شده‌اند ارائه می‌دهند. فناوری‌های دیجیتال قادرند دست‌خط را به عنوان یک فعالیت حرکتی و املایی در حال شکل‌گیری ثبت کنند. هدف: این مرور گسترده به شناسایی فناوری‌های ثبت داده‌های فرایندی دست‌خط کودکان، سیگنال‌های خام و ویژگی‌های استخراج‌شده، سازه‌های ارزیابی پشتیبانی‌شده توسط سنجه‌های فرایندی و کاربردهای آموزشی، رشدی و بالینی آن‌ها پرداخت. روش‌ها: با پیروی از راهنمای مرور گسترده و PRISMA-ScR، پایگاه‌های Scopus، PubMed، ERIC، Web of Science Core Collection و IEEE Xplore جست‌وجو شدند و جست‌وجوی ارجاعات معکوس ۱۱ مقاله مروری یا چارچوبی مرتبط انجام شد. از میان ۱۹۸ گزارش مورد بررسی برای ارزیابی متن کامل، یک مورد قابل بازیابی نبود، ۱۹۷ مورد ارزیابی شدند، ۳۹ مورد حذف شدند و ۱۵۸ مورد وارد مطالعه شدند. همه گزارش‌های واردشده با یک چارچوب ۱۶ بخشی یکسان ثبت شدند. راستی‌آزمایی مستقل توسط پژوهشگر دوم بر روی نمونه‌های تصادفی ۴۰ تصمیم صلاحیت متن کامل از ۱۹۷ مورد (۲۰.۳٪؛ توافق ۹۷.۵٪؛ کاپای Cohen's κ = ۰.۹۱۸) و ۳۲ استخراج از ۱۵۸ مورد (۲۰.۳٪) انجام شد. یافته‌ها: در ۱۳۶ گزارش (۸۶.۱٪) از تبلت‌های دیجیتایزر یا گرافیکی استفاده شد و ۱۱۷ مورد (۷۴.۱٪) از سخت‌افزار Wacom بهره بردند. موقعیت یا مسیر (۱۴۵ مورد، ۹۱.۸٪) و زمان یا برچسب‌های زمانی (۱۲۴ مورد، ۷۸.۵٪) رایج‌ترین سیگنال‌های خام بودند و پس از آن فشار قلم یا نیروی عمودی (۸۲ مورد، ۵۱.۹٪) و اطلاعات وضعیت قلم یا در هوا (۷۱ مورد، ۴۴.۹٪) قرار داشتند. خانواده‌های رایج ویژگی‌های استخراج‌شده شامل سرعت یا تندی (۹۷ مورد، ۶۱.۴٪)، سنجه‌های زمانی یا مدت (۸۴ مورد، ۵۳.۲٪)، سنجه‌های فضایی یا هندسی (۶۷ مورد، ۴۲.۴٪) و سنجه‌های مبتنی بر فشار یا نیرو (۵۹ مورد، ۳۷.۳٪) بودند. بیشترین کاربردها، توصیف رشدی یا هنجاری (۷۵ مورد، ۴۷.۵٪) و توصیف بالینی یا ارزیابی افتراقی (۷۴ مورد، ۴۶.۸٪) بود. دست‌خط الفبای لاتین در ۱۱۴ گزارش (۷۲.۲٪) مشاهده شد و پس از آن عبری (۲۳ مورد، ۱۴.۶٪)، چینی (۱۹ مورد، ۱۲.۰٪) و عربی (۵ مورد، ۳.۲٪) قرار داشتند. نتیجه‌گیری: ارزیابی دیجیتال دست‌خط در ثبت فرایند به خوبی تثبیت شده است اما کمتر به تصمیمات کاربردی آموزشی یا بالینی ترجمه شده است. عملکرد طبقه‌بندی نباید معادل روایی تشخیصی تلقی شود. یک چارچوب چهارسطحی مبتنی بر نظریه و اصلاح‌شده توسط مرور، سیگنال‌های خام، ویژگی‌های استخراج‌شده، سازه‌های ارزیابی و تفسیر یا اقدام تجربی را سازمان‌دهی می‌کند بدون آنکه سلسله‌مراتب رشدی یا روان‌سنجی روایی‌شده‌ای را القا کند.

Generative artificial intelligence (GenAI), including large language models and large multimodal models, is increasingly used to support psychological assessment and digital mental health measurement. This review proposes a lifecycle framework for evaluating these uses without weakening psychometric standards. The framework covers construct definition; item, prompt, indicator, or signal generation; evaluation of content, response processes, usability, and data quality; piloting and calibration; validation; fairness and measurement invariance; scoring and interpretation; documentation; and post-deployment monitoring. We argue that digital traces from smartphones, chatbots, ecological momentary assessment, wearables, social media, clinical notes, and multimodal systems should not be treated as psychometric measures by default. They should remain raw data, candidate indicators, or algorithmic scores until their construct interpretation and intended use are theoretically specified, technically verified, empirically calibrated, and validated with human data. GenAI may help generate candidate items, refine wording, classify open-text responses, extract structured information, support multimodal integration, and assist scoring under explicit rules. These uses may improve efficiency and scale, but they do not establish validity, objectivity, fairness, or clinical meaning. We distinguish two complementary facets: GenAI for psychometrics, in which models support measurement development and scoring, and psychometrics for GenAI, in which psychometric methods evaluate model behavior when LLMs are part of measurement workflows. Key risks include construct drift, face validity without structural validity, compressed variability in synthetic respondents, algorithmic bias, lack of invariance, prompt sensitivity, model drift, automation bias, data-security and privacy failures, and loss of subjectivity and disagreement. Responsible use requires human oversight, transparent reporting, validation with human data, fairness evaluation, secure data governance, and continuous monitoring. GenAI should augment, not replace, psychometric science.

هوش مصنوعی مولد (GenAI)، شامل مدل‌های زبانی بزرگ و مدل‌های چندوجهی بزرگ، به طور فزاینده‌ای برای پشتیبانی از ارزیابی روان‌شناختی و سنجش سلامت روان دیجیتال مورد استفاده قرار می‌گیرد. این مرور، چارچوبی مبتنی بر چرخه عمر را برای ارزیابی این کاربردها بدون تضعیف استانداردهای روان‌سنجی پیشنهاد می‌کند. این چارچوب شامل تعریف سازه؛ تولید ماده، محرک، شاخص یا سیگنال؛ ارزیابی محتوا، فرآیندهای پاسخ‌دهی، قابلیت استفاده و کیفیت داده؛ اجرای آزمایشی و کالیبراسیون؛ روایی؛ انصاف و ناوریانس سنجش؛ نمره‌گذاری و تفسیر؛ مستندسازی؛ و پایش پس از استقرار است. ما استدلال می‌کنیم که ردپاهای دیجیتال از تلفن‌های هوشمند، چت‌بات‌ها، ارزیابی لحظه‌ای بوم‌شناختی، پوشیدنی‌ها، شبکه‌های اجتماعی، یادداشت‌های بالینی و سامانه‌های چندوجهی نباید به طور پیش‌فرض به عنوان مقیاس‌های روان‌سنجی تلقی شوند. آن‌ها باید تا زمانی که تفسیر سازه‌ای و کاربرد مورد نظرشان به طور نظری مشخص، به لحاظ فنی تأیید، به طور تجربی کالیبره و با داده انسانی روایی‌یابی نشده‌اند، به عنوان داده خام، شاخص‌های پیشنهادی یا نمرات الگوریتمی باقی بمانند. GenAI می‌تواند در تولید مواد پیشنهادی، اصلاح واژگان، طبقه‌بندی پاسخ‌های متنی باز، استخراج اطلاعات ساختاریافته، پشتیبانی از ادغام چندوجهی و کمک به نمره‌گذاری بر اساس قواعد صریح نقش‌آفرینی کند. این کاربردها ممکن است کارایی و مقیاس را بهبود بخشند، اما روایی، عینیت، انصاف یا معنای بالینی را تضمین نمی‌کنند. ما دو جنبه مکمل را متمایز می‌کنیم: GenAI برای روان‌سنجی، که در آن مدل‌ها از توسعه سنجش و نمره‌گذاری پشتیبانی می‌کنند، و روان‌سنجی برای GenAI، که در آن روش‌های روان‌سنجی رفتار مدل را زمانی که LLMها بخشی از جریان‌های کاری سنجش هستند، ارزیابی می‌کنند. مخاطرات کلیدی شامل رانش سازه، روایی صوری بدون روایی ساختاری، کاهش تنوع در پاسخ‌دهندگان مصنوعی، سوگیری الگوریتمی، فقدان ناوریانس، حساسیت به محرک، رانش مدل، سوگیری اتوماسیون، شکست‌های امنیت و حریم خصوصی داده و از دست رفتن ذهنیت و اختلاف نظر است. استفاده مسئولانه مستلزم نظارت انسانی، گزارش‌دهی شفاف، روایی‌یابی با داده انسانی، ارزیابی انصاف، حاکمیت امن داده و پایش مستمر است. GenAI باید مکمل علم روان‌سنجی باشد، نه جایگزین آن.