Yscenia Paredes-Gonzales

Generative artificial intelligence (GenAI), including large language models and large multimodal models, is increasingly used to support psychological assessment and digital mental health measurement. This review proposes a lifecycle framework for evaluating these uses without weakening psychometric standards. The framework covers construct definition; item, prompt, indicator, or signal generation; evaluation of content, response processes, usability, and data quality; piloting and calibration; validation; fairness and measurement invariance; scoring and interpretation; documentation; and post-deployment monitoring. We argue that digital traces from smartphones, chatbots, ecological momentary assessment, wearables, social media, clinical notes, and multimodal systems should not be treated as psychometric measures by default. They should remain raw data, candidate indicators, or algorithmic scores until their construct interpretation and intended use are theoretically specified, technically verified, empirically calibrated, and validated with human data. GenAI may help generate candidate items, refine wording, classify open-text responses, extract structured information, support multimodal integration, and assist scoring under explicit rules. These uses may improve efficiency and scale, but they do not establish validity, objectivity, fairness, or clinical meaning. We distinguish two complementary facets: GenAI for psychometrics, in which models support measurement development and scoring, and psychometrics for GenAI, in which psychometric methods evaluate model behavior when LLMs are part of measurement workflows. Key risks include construct drift, face validity without structural validity, compressed variability in synthetic respondents, algorithmic bias, lack of invariance, prompt sensitivity, model drift, automation bias, data-security and privacy failures, and loss of subjectivity and disagreement. Responsible use requires human oversight, transparent reporting, validation with human data, fairness evaluation, secure data governance, and continuous monitoring. GenAI should augment, not replace, psychometric science.

هوش مصنوعی مولد (GenAI)، شامل مدل‌های زبانی بزرگ و مدل‌های چندوجهی بزرگ، به طور فزاینده‌ای برای پشتیبانی از ارزیابی روان‌شناختی و سنجش سلامت روان دیجیتال مورد استفاده قرار می‌گیرد. این مرور، چارچوبی مبتنی بر چرخه عمر را برای ارزیابی این کاربردها بدون تضعیف استانداردهای روان‌سنجی پیشنهاد می‌کند. این چارچوب شامل تعریف سازه؛ تولید ماده، محرک، شاخص یا سیگنال؛ ارزیابی محتوا، فرآیندهای پاسخ‌دهی، قابلیت استفاده و کیفیت داده؛ اجرای آزمایشی و کالیبراسیون؛ روایی؛ انصاف و ناوریانس سنجش؛ نمره‌گذاری و تفسیر؛ مستندسازی؛ و پایش پس از استقرار است. ما استدلال می‌کنیم که ردپاهای دیجیتال از تلفن‌های هوشمند، چت‌بات‌ها، ارزیابی لحظه‌ای بوم‌شناختی، پوشیدنی‌ها، شبکه‌های اجتماعی، یادداشت‌های بالینی و سامانه‌های چندوجهی نباید به طور پیش‌فرض به عنوان مقیاس‌های روان‌سنجی تلقی شوند. آن‌ها باید تا زمانی که تفسیر سازه‌ای و کاربرد مورد نظرشان به طور نظری مشخص، به لحاظ فنی تأیید، به طور تجربی کالیبره و با داده انسانی روایی‌یابی نشده‌اند، به عنوان داده خام، شاخص‌های پیشنهادی یا نمرات الگوریتمی باقی بمانند. GenAI می‌تواند در تولید مواد پیشنهادی، اصلاح واژگان، طبقه‌بندی پاسخ‌های متنی باز، استخراج اطلاعات ساختاریافته، پشتیبانی از ادغام چندوجهی و کمک به نمره‌گذاری بر اساس قواعد صریح نقش‌آفرینی کند. این کاربردها ممکن است کارایی و مقیاس را بهبود بخشند، اما روایی، عینیت، انصاف یا معنای بالینی را تضمین نمی‌کنند. ما دو جنبه مکمل را متمایز می‌کنیم: GenAI برای روان‌سنجی، که در آن مدل‌ها از توسعه سنجش و نمره‌گذاری پشتیبانی می‌کنند، و روان‌سنجی برای GenAI، که در آن روش‌های روان‌سنجی رفتار مدل را زمانی که LLMها بخشی از جریان‌های کاری سنجش هستند، ارزیابی می‌کنند. مخاطرات کلیدی شامل رانش سازه، روایی صوری بدون روایی ساختاری، کاهش تنوع در پاسخ‌دهندگان مصنوعی، سوگیری الگوریتمی، فقدان ناوریانس، حساسیت به محرک، رانش مدل، سوگیری اتوماسیون، شکست‌های امنیت و حریم خصوصی داده و از دست رفتن ذهنیت و اختلاف نظر است. استفاده مسئولانه مستلزم نظارت انسانی، گزارش‌دهی شفاف، روایی‌یابی با داده انسانی، ارزیابی انصاف، حاکمیت امن داده و پایش مستمر است. GenAI باید مکمل علم روان‌سنجی باشد، نه جایگزین آن.