outcome measurement

Background Sleep problems are common among university students due to academic stress, lifestyle factors, and psychological distress and may adversely affect physical and mental health, academic performance, and social functioning. Mindfulness-based interventions (MBIs) have increasingly been used as a non-pharmacological approach to improve sleep health; however, previous findings remain inconsistent, and evidence specifically addressing sleep quality in university students remains limited. This study aimed to systematically evaluate the effects of MBIs on sleep quality in university students and explore factors that may account for variations in intervention effects. Methods We searched seven databases—PubMed, Web of Science, EBSCO, the Cochrane Library, Scopus, Embase, and ScienceDirect—from inception to June 26, 2026. Randomized controlled trials (RCTs) evaluating MBIs for sleep quality in university students were included. Two reviewers independently conducted study selection, data extraction, and risk-of-bias assessment using the RoB 2 tool. Meta-analysis was conducted in Stata 17.0 using a random-effects model. Subgroup analyses, sensitivity analyses, publication bias assessment, and GRADE assessment were also performed. Results Ten RCTs involving 638 university students were included, with 335 participants in the intervention groups and 303 in the control groups. MBIs significantly improved sleep quality [SMD = −0.97, 95% CI (−1.43, −0.51), p < 0.001], although substantial heterogeneity was observed ( I 2 = 85.1%). Subgroup analyses revealed statistically significant between-group differences with respect to sleep-outcome measurement instrument ( p = 0.001), intervention type ( p = 0.009), and session duration ( p = 0.030), indicating that these variables may partially account for the observed heterogeneity. Sensitivity analyses supported the robustness of the pooled results. Egger’s test revealed no evidence of significant publication bias ( p = 0.270). The certainty of the evidence was rated as low according to the GRADE framework. Conclusion MBIs may improve sleep quality in university students. However, given the substantial heterogeneity and low certainty of evidence, further high-quality RCTs are needed to confirm these findings. Systematic review registration CRD420261458068, https://www.crd.york.ac.uk/PROSPERO/view/CRD420261458068 .

Large language models (LLMs) are rapidly reshaping digital mental health, yet how these systems are designed, used, and evaluated remains poorly characterized. We conducted an HCI-centered scoping review of 84 studies examining mental health tasks, stakeholders, interaction paradigms, foundation models, evaluation methods, and outcome measurement. Counseling and support and self-help and well-being accounted for 73.8% of studies, while clinician support and crisis and risk support remained uncommon. Mixed-methods user studies predominated (42.9%), with only three randomized controlled trials and eight studies classified as longitudinal or field evaluations. Technical and response performance was assessed in 81.0% of studies, compared with 29.8% assessing mental health symptoms and clinical outcomes and 7.1% including longitudinal follow-up. Outcome profiles differed across intended tasks. Building on these findings and established evaluation guidance, we propose a task-oriented framework aligning evaluation domains, measurement approaches, and assessment timing with intended use.

مدل‌های زبانی بزرگ (LLMs) به سرعت در حال بازشکل‌دهی سلامت روان دیجیتال هستند، با این حال نحوه طراحی، استفاده و ارزیابی این سامانه‌ها همچنان به‌درستی تبیین نشده است. ما یک مرور محدوده با محوریت تعامل انسان و رایانه (HCI) بر روی ۸۴ مطالعه انجام دادیم که به بررسی وظایف سلامت روان، ذینفعان، الگوهای تعاملی، مدل‌های پایه، روش‌های ارزیابی و سنجش پیامدها می‌پرداختند. مشاوره و حمایت و خودیاری و بهزیستی ۷۳.۸٪ مطالعات را تشکیل می‌دادند، در حالی که حمایت از درمانگران و حمایت در بحران و ریسک کمتر رایج بودند. مطالعات کاربری با روش‌های ترکیبی غالب بودند (۴۲.۹٪)، و تنها سه کارآزمایی تصادفی کنترل‌شده و هشت مطالعه به‌عنوان ارزیابی‌های طولی یا میدانی طبقه‌بندی شدند. عملکرد فنی و پاسخ‌دهی در ۸۱.۰٪ مطالعات ارزیابی شد، در مقایسه با ۲۹.۸٪ که به ارزیابی علائم سلامت روان و پیامدهای بالینی پرداختند و ۷.۱٪ که پیگیری طولی را شامل می‌شدند. پروفایل‌های پیامدها بسته به وظایف مورد نظر متفاوت بود. بر اساس این یافته‌ها و راهنمایی‌های ارزیابی موجود، ما یک چارچوب وظیفه‌محور پیشنهاد می‌کنیم که حوزه‌های ارزیابی، رویکردهای سنجش و زمان‌بندی ارزیابی را با کاربرد مورد نظر همسو می‌سازد.

Background: Indirect exposure to disasters and violence through continuous news and social media is increasingly common among adolescents. However, instruments designed to assess media-induced indirect trauma in this population remain limited and conceptually heterogeneous.Objective: This systematic review aims to synthesize the characteristics and psychometric evidence of instruments measuring media-induced indirect trauma and evaluate their suitability for adolescents.Methods: This review of outcome measurement instruments (OMIs) was conducted using the COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) methodology and reported in accordance with the Preferred Reporting Items for Systematic reviews and Meta-Analyses−COSMIN for OMIs 2024 guideline. Eight electronic databases were searched for peer-reviewed articles published between 1 January 2000 and 22 October 2025, in English or Korean. Reference list screening was also performed. Eligible studies used or developed self-report instruments assessing media-induced vicarious, secondary, or indirect trauma responses to potentially traumatic events. Methodological quality was evaluated using the COSMIN Risk of Bias checklist, and certainty of evidence was graded using a modified Grading of Recommendations Assessment, Development and Evaluation approach.Results: Seven instruments were evaluated, varying in conceptual focus, recall periods, and contextual framing. Evidence for structural validity and internal consistency was generally moderate, whereas content validity was rated very low across all instruments. Overall, while evidence for internal structure is relatively stronger, substantial gaps in content validity and longitudinal measurement properties limit confident application in adolescents.Conclusion: Future research should prioritize adolescent-inclusive validation; systematic content validity evaluations; and rigorous reporting of test–retest reliability, measurement error, responsiveness, and interpretability.

زمینه: مواجهه غیرمستقیم با بلایا و خشونت از طریق اخبار و رسانه‌های اجتماعی به طور فزاینده‌ای در میان نوجوانان رایج شده است. با این حال، ابزارهای طراحی‌شده برای سنجش تروماي غیرمستقیم ناشی از رسانه در این جمعیت محدود و از نظر مفهومی ناهمگون هستند. هدف: این مرور نظام‌مند با هدف تلفیق ویژگی‌ها و شواهد روان‌سنجی ابزارهای سنجش تروماي غیرمستقیم ناشی از رسانه و ارزیابی شایستگی آن‌ها برای نوجوانان انجام شده است. روش‌ها: این مرور ابزارهای سنجش پیامد (OMIs) با استفاده از روش‌شناسی COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) و مطابق با راهنمای Preferred Reporting Items for Systematic reviews and Meta-Analyses−COSMIN for OMIs 2024 گزارش شده است. هشت پایگاه داده الکترونیکی برای مقالات داوری‌شده منتشرشده بین ۱ ژانویه ۲۰۰۰ تا ۲۲ اکتبر ۲۰۲۵ به زبان انگلیسی یا کره‌ای جست‌وجو شد. غربالگری فهرست منابع نیز انجام شد. مطالعات واجد شرایط، ابزارهای خودگزارشی را که پاسخ‌های تروماي ویکاری، ثانویه یا غیرمستقیم ناشی از رسانه به رویدادهای بالقوه تروماتیک را ارزیابی می‌کردند، استفاده یا توسعه داده بودند. کیفیت روش‌شناختی با استفاده از چک‌لیست COSMIN Risk of Bias ارزیابی شد و قطعیت شواهد با رویکرد اصلاح‌شده Grading of Recommendations Assessment, Development and Evaluation درجه‌بندی گردید. یافته‌ها: هفت ابزار مورد ارزیابی قرار گرفت که از نظر تمرکز مفهومی، دوره‌های یادآوری و چارچوب زمینه‌ای متفاوت بودند. شواهد مربوط به روایی ساختاری و پایایی درونی عموماً در سطح متوسط بود، در حالی که روایی محتوا در همه ابزارها بسیار پایین ارزیابی شد. به طور کلی، اگرچه شواهد مربوط به ساختار درونی نسبتاً قوی‌تر است، اما شکاف‌های قابل توجهی در روایی محتوا و ویژگی‌های سنجش طولی، کاربرد مطمئن این ابزارها را در نوجوانان محدود می‌کند. نتیجه‌گیری: پژوهش‌های آتی باید اعتبارسنجی با مشارکت نوجوانان، ارزیابی‌های نظام‌مند روایی محتوا و گزارش دقیق پایایی آزمون–بازآزمون، خطای اندازه‌گیری، پاسخگویی و تفسیرپذیری را در اولویت قرار دهند.

This study analyzes the need for a comprehensive and contextual evaluation model for the Teacher Professional Education Program (PPG) from the perspective of schools as employers of its graduates. An exploratory qualitative needs-assessment design was employed. Data were collected through three semi-structured interview sessions with principals and academic leaders at schools employing PPG graduates, complemented by a review of relevant policies and teacher-education evaluation literature. Approximately 40 minutes of recorded interviews were transcribed and analyzed through familiarization, coding, categorization, theme development, and interpretation. Credibility was strengthened by comparing evidence across interview sessions and checking its consistency with program documents. Five needs emerged: multidimensional assessment of graduate competence; responsiveness to school-specific competencies; stronger professional and socio-emotional dispositions; better alignment of field experience with school conditions; and systematic involvement of employing schools in outcome evaluation. Graduates were generally perceived as pedagogically, professionally, and socially competent. Nevertheless, the schools identified areas requiring reinforcement, including English for international-class instruction, integration of institutional values, contemporary instructional approaches, mental readiness, and socio-emotional sensitivity. These findings indicate that PPG evaluation should move beyond completion and implementation indicators by connecting context, input, process, product, and outcomes through multi-stakeholder evidence. The findings provide an empirical foundation for developing PRIMA-Eval as an adaptive, improvement-oriented evaluation model.

این مطالعه به تحلیل نیاز برای یک مدل ارزیابی جامع و زمینه‌مند در برنامه آموزش حرفه‌ای معلمان (PPG) از دیدگاه مدارس به عنوان کارفرمایان فارغ‌التحصیلان این برنامه می‌پردازد. از طرح پژوهش کیفی اکتشافی مبتنی بر نیازسنجی استفاده شده است. داده‌ها از طریق سه جلسه مصاحبه نیمه‌ساختاریافته با مدیران و رهبران آموزشی مدارس استخدام‌کننده فارغ‌التحصیلان PPG جمع‌آوری شد و با مرور سیاست‌های مرتبط و ادبیات ارزیابی آموزش معلمان تکمیل گردید. حدود ۴۰ دقیقه مصاحبه ضبط‌شده رونویسی و از طریق آشنایی، کدگذاری، دسته‌بندی، توسعه تم‌ها و تفسیر تحلیل شد. اعتبار نتایج با مقایسه شواهد میان جلسات مصاحبه و بررسی تطابق آن با اسناد برنامه تقویت گردید. پنج نیاز شناسایی شد: ارزیابی چندبعدی شایستگی فارغ‌التحصیلان؛ پاسخگویی به شایستگی‌های خاص مدرسه؛ تقویت گرایش‌های حرفه‌ای و اجتماعی-هیجانی؛ همسویی بهتر تجربه میدانی با شرایط مدرسه؛ و مشارکت نظام‌مند مدارس کارفرما در ارزیابی پیامدها. فارغ‌التحصیلان عموماً از نظر آموزشی، حرفه‌ای و اجتماعی شایسته ارزیابی شدند. با این حال، مدارس حوزه‌هایی را نیازمند تقویت دانستند، از جمله زبان انگلیسی برای تدریس کلاس‌های بین‌المللی، ادغام ارزش‌های نهادی، رویکردهای نوین آموزشی، آمادگی ذهنی و حساسیت اجتماعی-هیجانی. این یافته‌ها نشان می‌دهد که ارزیابی PPG باید فراتر از شاخص‌های اتمام و اجرا رفته و با پیوند دادن زمینه، ورودی، فرایند، محصول و پیامدها از طریق شواهد چندذینفعی عمل کند. یافته‌ها مبنای تجربی برای توسعه مدل ارزیابی تطبیقی و بهبودمحور PRIMA-Eval فراهم می‌کند.