Diagnostic accuracy

The DSM-5 Alternative Model for Personality Disorders introduced a dimensional approach to personality pathology, with maladaptive traits assessed by the Personality Inventory for DSM-5 Brief Form (PID-5-BF). Despite extensive validation, evidence on its diagnostic accuracy and empirically derived cutoff scores remains limited. This study aims to compare PID-5-BF trait levels and profiles across individuals with personality disorders (PDs), clinical participants without PDs, and nonclinical participants and to evaluate its diagnostic accuracy and screening cutoffs. This cross-sectional study included 1168 Hungarian participants: 867 nonclinical, 237 clinical without PD, and 64 with PD. Group differences were examined using one-way ANOVAs, whereas domain profiles were evaluated with mixed-design repeated-measures ANOVA. Diagnostic accuracy was assessed using ROC analyses adjusted for age, sex, and education, and optimal cutoffs were determined using Youden's index. Participants with PD showed the highest pathological trait scores, followed by clinical participants without PD and nonclinical participants. The largest group effects emerged for disinhibition, total score, and detachment. For distinguishing PD from nonclinical participants, the adjusted AUC for the PID-5-BF total score was 0.849, with an optimal cutoff of ≥ 1.32. Domain-specific cutoffs ranged from 0.60 to 1.60 (median = 1.20). Negative predictive values were high (mean NPV = 0.934), whereas positive predictive values were modest (mean PPV = 0.327). The PID-5-BF may be useful as a brief screening measure for identifying individuals requiring further personality assessment. However, its limited positive predictive value and weaker discrimination between PD and other clinical conditions preclude its use as a stand-alone diagnostic instrument.

مدل جایگزین DSM-5 برای اختلالات شخصیت، رویکردی ابعادی به آسیب‌شناسی شخصیت ارائه می‌دهد که در آن صفات ناسازگارانه توسط فرم کوتاه پرسشنامه شخصیت برای DSM-5 (PID-5-BF) ارزیابی می‌شوند. علی‌رغم اعتبارسنجی گسترده، شواهد مربوط به دقت تشخیصی و نمرات برش تجربی این ابزار همچنان محدود است. هدف این مطالعه مقایسه سطوح و پروفایل‌های صفات PID-5-BF در میان افراد مبتلا به اختلالات شخصیت (PDs)، شرکت‌کنندگان بالینی بدون PD و شرکت‌کنندگان غیربالینی و همچنین ارزیابی دقت تشخیصی و نمرات برش غربالگری آن است. این مطالعه مقطعی شامل ۱۱۶۸ شرکت‌کننده مجارستانی بود: ۸۶۷ نفر غیربالینی، ۲۳۷ نفر بالینی بدون PD و ۶۴ نفر مبتلا به PD. تفاوت‌های گروهی با استفاده از تحلیل واریانس یک‌طرفه (ANOVA) بررسی شد و پروفایل‌های حوزه‌ها با ANOVA اندازه‌گیری‌های مکرر با طرح مختلط ارزیابی گردید. دقت تشخیصی با استفاده از تحلیل‌های ROC تعدیل‌شده بر اساس سن، جنس و تحصیلات سنجیده شد و نمرات برش بهینه با شاخص Youden تعیین گردید. شرکت‌کنندگان مبتلا به PD بالاترین نمرات صفات آسیب‌شناختی را نشان دادند و پس از آن شرکت‌کنندگان بالینی بدون PD و شرکت‌کنندگان غیربالینی قرار داشتند. بیشترین اثرات گروهی مربوط به بی‌بازداری، نمره کل و کناره‌گیری بود. برای تمایز PD از شرکت‌کنندگان غیربالینی، سطح زیر منحنی (AUC) تعدیل‌شده برای نمره کل PID-5-BF برابر با ۰.۸۴۹ و نمره برش بهینه برابر با ≥ ۱.۳۲ بود. نمرات برش حوزه‌ای بین ۰.۶۰ تا ۱.۶۰ (میانگین = ۱.۲۰) متغیر بود. مقادیر پیش‌بینی منفی بالا بودند (میانگین NPV = ۰.۹۳۴) در حالی که مقادیر پیش‌بینی مثبت متوسط بودند (میانگین PPV = ۰.۳۲۷). پرسشنامه PID-5-BF می‌تواند به عنوان ابزاری کوتاه برای غربالگری افراد نیازمند ارزیابی بیشتر شخصیت مفید باشد، اما به دلیل محدودیت در مقدار پیش‌بینی مثبت و قدرت تمایز کمتر بین PD و سایر شرایط بالینی، نمی‌تواند به عنوان ابزار تشخیصی مستقل مورد استفاده قرار گیرد.

OBJECTIVES: This study aimed to comprehensively investigate the psychometric properties of the Montgomery-Åsberg Depression Rating Scale (MADRS) in a sample from Northeast Brazil. METHODS: Data were obtained from a cross-sectional study of 303 participants with depressive disorders assessed using the MINI 7.02, MADRS, GAD-7, and ASSIST 3.0. We evaluated reliability, construct validity, convergent and discriminant validity, and diagnostic accuracy. RESULTS: Regarding reliability, the instrument demonstrated robust internal consistency, supported by strong Cronbach's alpha and McDonald's omega coefficients. In terms of construct validity, Exploratory Factor Analysis (EFA) indicated a single-factor solution, while the H-index supported a replicable latent structure. However, formal assessments of closeness to unidimensionality suggested that the scale is not strictly unidimensional. For convergent and discriminant validity, correlational analyses showed a moderate association with anxiety symptoms and weak associations with substance use measures, respectively. Regarding accuracy, ROC curve analysis indicated that a cutoff score of 9 is useful for screening, whereas 18 may better identify a depressive episode. CONCLUSION: While the MADRS remains a valuable tool, structural refinements could further enhance its psychometric performance across distinct clinical settings.

اهداف: این مطالعه با هدف بررسی جامع ویژگی‌های روان‌سنجی مقیاس درجه‌بندی افسردگی مونتگومری-آسبرگ (MADRS) در نمونه‌ای از شمال‌شرق برزیل انجام شد. روش‌ها: داده‌ها از یک مطالعه مقطعی با ۳۰۳ شرکت‌کننده مبتلا به اختلالات افسردگی که با استفاده از MINI 7.02، MADRS، GAD-7 و ASSIST 3.0 ارزیابی شدند، به‌دست آمد. پایایی، روایی سازه، روایی همگرا و واگرا و دقت تشخیصی مورد ارزیابی قرار گرفتند. نتایج: از نظر پایایی، ابزار مذکور انسجام درونی قوی‌ای را نشان داد که توسط ضرایب آلفای کرونباخ و امگا مک‌دونالد تأیید شد. از نظر روایی سازه، تحلیل عاملی اکتشافی (EFA) راه‌حل تک‌عاملی را نشان داد، در حالی که شاخص H ساختار نهفته قابل تکرار را تأیید کرد. با این حال، ارزیابی‌های رسمی نزدیکی به تک‌بعدی بودن نشان داد که این مقیاس کاملاً تک‌بعدی نیست. برای روایی همگرا و واگرا، تحلیل‌های همبستگی به ترتیب ارتباط متوسط با علائم اضطراب و ارتباط ضعیف با شاخص‌های مصرف مواد را نشان دادند. از نظر دقت، تحلیل منحنی ROC نشان داد که نمره برش ۹ برای غربالگری مفید است، در حالی که نمره ۱۸ ممکن است برای شناسایی اپیزود افسردگی مناسب‌تر باشد. نتیجه‌گیری: اگرچه MADRS همچنان ابزاری ارزشمند است، اصلاحات ساختاری می‌تواند عملکرد روان‌سنجی آن را در محیط‌های بالینی مختلف بهبود بخشد.

Background Survey planning must balance recruitment losses against uncertainty in screening yield, diagnostic accuracy and survey design. This study examined how these considerations determine invitation requirements and diagnostic-validation allocation. Methods A Beta planning distribution used 170 PHQ-9-positive results among 1,045 Chinese community participants and an effective sample size of 100. Asymmetric recruitment loss selected conditional and joint-distribution invitation targets. A separate cost-plus-variance Bayes criterion jointly allocated survey clusters and independent reference-positive and reference-negative validation samples. Parameter uncertainty and future-data performance were evaluated by integration and simulation. Results With an illustrative underplanning-to-overplanning loss ratio of 3, conditional planning selected a screening-positive proportion of 0.1862 and 4,794 screening invitations. Integrating design uncertainty increased this target to 5,346. Current-prevalence planning required 9,247 conditional invitations or 11,866 under joint parameter uncertainty when diagnostic accuracy was known within each scenario. The original validation sample imposed a reference-point half-width floor of 0.0292, exceeding the 0.020 target. Under specified relative costs, the joint allocation used 21,708 invitations and 240/4,538 reference-positive/reference-negative validation participants. Its prior-predictive width attainment was 53.15%, compared with 0.03% when nearly the same budget retained the original validation sample. Increasing the precision valuation fourfold raised attainment to 10,000/10,000 simulations, with 95.31% coverage. Uncorrected specificity shifts produced substantial bias despite larger samples. Conclusions At k = 3, the loss-based rule selected a screening-positive planning proportion of 0.1862, reducing conditional invitation requirements by 39.38% relative to p = 0.5. Joint survey–validation allocation improved simulated precision at comparable assumed cost. These findings support allocating recruitment and diagnostic-validation resources jointly when planning current-prevalence surveys.

زمینه: برنامه‌ریزی پیمایش باید بین کاهش جذب و عدم قطعیت در بازده غربالگری، دقت تشخیصی و طراحی پیمایش تعادل برقرار کند. این مطالعه بررسی کرد که چگونه این ملاحظات الزامات دعوت و تخصیص اعتبارسنجی تشخیصی را تعیین می‌کنند. روش‌ها: توزیع برنامه‌ریزی بتا با استفاده از ۱۷۰ نتیجه مثبت PHQ-9 در میان ۱٬۰۴۵ شرکت‌کننده جامعه چینی و اندازه نمونه مؤثر ۱۰۰ به کار رفت. زیان نامتقارن جذب، اهداف دعوت شرطی و توزیع مشترک را انتخاب کرد. معیار بیز هزینه به‌علاوه واریانس به طور مشترک خوشه‌های پیمایش و نمونه‌های اعتبارسنجی مستقل مثبت مرجع و منفی مرجع را تخصیص داد. عدم قطعیت پارامتر و عملکرد داده‌های آینده از طریق انتگرال‌گیری و شبیه‌سازی ارزیابی شد. نتایج: با نسبت زیان برنامه‌ریزی کمتر از حد به بیشتر از حد برابر با ۳، برنامه‌ریزی شرطی نسبت مثبت غربالگری ۰٫۱۸۶۲ و ۴٬۷۹۴ دعوت غربالگری را انتخاب کرد. ادغام عدم قطعیت طراحی این هدف را به ۵٬۳۴۶ افزایش داد. برنامه‌ریزی بر اساس شیوع فعلی به ۹٬۲۴۷ دعوت شرطی یا ۱۱٬۸۶۶ دعوت تحت عدم قطعیت مشترک پارامترها نیاز داشت، زمانی که دقت تشخیصی در هر سناریو معلوم بود. نمونه اعتبارسنجی اولیه کف نیم‌عرض نقطه مرجع ۰٫۰۲۹۲ را تحمیل کرد که از هدف ۰٫۰۲۰ بیشتر بود. تحت هزینه‌های نسبی مشخص‌شده، تخصیص مشترک از ۲۱٬۷۰۸ دعوت و ۲۴۰/۴٬۵۳۸ شرکت‌کننده اعتبارسنجی مثبت مرجع/منفی مرجع استفاده کرد. دستیابی به عرض پیش‌بینی پیشین آن ۵۳٫۱۵٪ بود، در مقایسه با ۰٫۰۳٪ زمانی که تقریباً همان بودجه نمونه اعتبارسنجی اولیه را حفظ کرد. افزایش چهار برابری ارزش‌گذاری دقت، دستیابی را به ۱۰٬۰۰۰/۱۰٬۰۰۰ شبیه‌سازی با پوشش ۹۵٫۳۱٪ رساند. تغییرات تصحیح‌نشده ویژگی، علی‌رغم نمونه‌های بزرگ‌تر، سوگیری قابل توجهی ایجاد کرد. نتیجه‌گیری: در k = ۳، قاعده مبتنی بر زیان نسبت برنامه‌ریزی مثبت غربالگری ۰٫۱۸۶۲ را انتخاب کرد و الزامات دعوت شرطی را نسبت به p = ۰٫۵ به میزان ۳۹٫۳۸٪ کاهش داد. تخصیص مشترک پیمایش–اعتبارسنجی دقت شبیه‌سازی‌شده را در هزینه فرضی مشابه بهبود بخشید. این یافته‌ها از تخصیص مشترک منابع جذب و اعتبارسنجی تشخیصی هنگام برنامه‌ریزی پیمایش‌های شیوع فعلی حمایت می‌کنند.

Introduction AI-supported writing assessment can provide rapid scores and issue-level comments, yet its formative value depends on how students and teachers interpret and act on that information. This study examined this process in a university English writing course. Methods Two pre-existing intact classes comprising 96 students (48 per class) completed three writing-feedback-revision cycles. The Control class received AI scores/standard feedback, routine teacher checking, and revision. The Diagnostic Review class received DeepSeek-R1 issue-level diagnoses, completed an interpretation sheet, revised independently, underwent structured teacher review and reassessment, and recorded a reflection. Measures included diagnostic accuracy, feedback actionability, feedback comprehension, self-assessment accuracy, revision quality, reflection quality, misunderstanding codes, and teacher review activity. Mixed-effects models with student random intercepts were used for analysis. Results The Diagnostic Review class showed higher scores for diagnostic accuracy, actionability, comprehension, revision quality, and self-assessment accuracy. Group-by-cycle interactions were significant for diagnostic accuracy, comprehension, revision quality, and self-assessment accuracy, whereas the actionability interaction was not. Feedback comprehension showed the strongest bivariate association with revision quality. Exploratory indirect associations through actionability and comprehension remained positive after adjustment for condition and cycle using student-cluster bootstrap confidence intervals. Teacher records documented confirmation, correction, supplementation, and re-explanation, with greater review time in the Diagnostic Review class. Discussion The findings indicate that the formative value of AI-supported writing assessment extends beyond automated diagnosis to the subsequent processes of student interpretation, revision, and teacher review. Repeated classroom assessment may therefore benefit from integrating AI-generated diagnostic feedback with structured learner reflection and context-sensitive teacher judgment.

مقدمه: ارزیابی نوشتار با پشتیبانی هوش مصنوعی می‌تواند نمرات سریع و بازخوردهای سطح مسئله ارائه دهد، اما ارزش تکوینی آن وابسته به نحوه تفسیر و واکنش دانشجویان و معلمان به این اطلاعات است. این پژوهش این فرایند را در یک درس دانشگاهی نوشتار انگلیسی مورد بررسی قرار داد. روش‌ها: دو کلاس موجود متشکل از ۹۶ دانشجو (۴۸ نفر در هر کلاس) سه چرخه نوشتار-بازخورد-بازنگری را تکمیل کردند. کلاس کنترل نمرات هوش مصنوعی/بازخورد استاندارد، بررسی معمول معلم و بازنگری را دریافت کرد. کلاس بازبینی تشخیصی، تشخیص‌های سطح مسئله DeepSeek-R1، تکمیل برگه تفسیر، بازنگری مستقل، بازبینی ساختاریافته معلم و ارزیابی مجدد و ثبت تأمل را انجام داد. سنجه‌ها شامل دقت تشخیصی، قابلیت اقدام بازخورد، درک بازخورد، دقت خودارزیابی، کیفیت بازنگری، کیفیت تأمل، کدهای سوءتفاهم و فعالیت بازبینی معلم بود. برای تحلیل از مدل‌های اثرات مختلط با انقطاع تصادفی دانشجو استفاده شد. نتایج: کلاس بازبینی تشخیصی نمرات بالاتری در دقت تشخیصی، قابلیت اقدام، درک، کیفیت بازنگری و دقت خودارزیابی نشان داد. تعامل گروه-چرخه برای دقت تشخیصی، درک، کیفیت بازنگری و دقت خودارزیابی معنادار بود، در حالی که تعامل قابلیت اقدام معنادار نبود. درک بازخورد قوی‌ترین ارتباط دومتغیره را با کیفیت بازنگری نشان داد. ارتباطات غیرمستقیم اکتشافی از طریق قابلیت اقدام و درک، پس از تعدیل بر اساس وضعیت و چرخه با استفاده از فاصله اطمینان بوت‌استرپ خوشه‌ای دانشجو، مثبت باقی ماند. سوابق معلم تأیید، تصحیح، تکمیل و توضیح مجدد را مستند کرد و زمان بازبینی بیشتری در کلاس بازبینی تشخیصی صرف شد. بحث: یافته‌ها نشان می‌دهد که ارزش تکوینی ارزیابی نوشتار با پشتیبانی هوش مصنوعی فراتر از تشخیص خودکار بوده و به فرایندهای بعدی تفسیر دانشجو، بازنگری و بازبینی معلم نیز گسترش می‌یابد. بنابراین، ارزیابی مکرر کلاسی می‌تواند از ادغام بازخورد تشخیصی تولیدشده توسط هوش مصنوعی با تأمل ساختاریافته یادگیرنده و قضاوت حساس به زمینه معلم سود ببرد.