Evaluation methods

Purpose This study examined the global landscape of mental health literacy (MHL) education for health professions students, focusing on publication trends, intervention designs, pedagogical approaches, MHL domains addressed, evaluation methods, and contextual influences. Methods Following PRISMA-ScR guidelines, an Evidence and Gap Mapping (EGM) scoping review was conducted to identify and visually synthesize MHL education interventions. Searches were conducted in PubMed, Embase, Scopus, Web of Science, EBSCOhost (including CINAHL, PsycINFO, and ERIC), and APA PsycArticles (February 1997-May 2025). The included studies involved pre-licensure health professions students and implemented structured educational interventions explicitly targeting MHL domains. The data were extracted using a standardized framework and analyzed through descriptive synthesis and visual mapping to identify research clusters and gaps. PROSPERO registration: CRD420251050891. Results Fifty-five studies met the inclusion criteria for this review. Notably, the number of publications increased significantly after 2016, with most of the evidence coming from Europe, the Western Pacific, and the Americas, while representation from the African and Eastern Mediterranean regions was limited. Quasi-experimental designs were the most common, characterized by short-term, classroom-based interventions primarily targeting specific professions, particularly nursing and medicine. Although traditional didactic teaching methods remained prevalent, experiential strategies such as simulation, role-play, and reflective practices were increasingly adopted. Within the existing body of evidence, interventions predominantly emphasized knowledge, attitudes, and confidence, whereas skills development, behavioral change, self-awareness, and help-seeking were less consistently addressed. Furthermore, evaluations mostly relied on short-term, self-reported outcomes, with few studies examining behavioral change or long-term impacts. Conclusions MHL education for future health professionals is expanding but remains unevenly distributed, pedagogically conservative, and methodologically limited. Advancing the field will require longitudinal, theory-informed, and experiential approaches, stronger evaluation designs, integration of lived-experience perspectives, and targeted capacity-building in low- and middle-income settings.

Introduction Effective community health promotion requires information about residents’ health-related characteristics and the interpersonal, environmental, organizational, and policy supports they perceive. The Multidimensional Assessment Scale for Social-Ecological Healthy Communities MASE-HC was designed as a multidimensional resident-reported instrument, not as a unidimensional measure or an objective community-level rating. We report its development and initial psychometric evaluation. Methods Items were generated through literature review, a two-round Delphi survey, content-validity assessment, and cognitive interviews. A purposive sample of 412 adult community residents was recruited from one community health service center in Anhui Province, China. Subsample 1 ( n = 206) was used for item analysis and exploratory factor analysis, and Subsample 2 ( n = 206) was used for confirmatory factor analysis, convergent and discriminant validity assessment, and hypothesis-based associations with self-rated health. Internal consistency was evaluated in the total sample ( n = 412). Results Data from 412 participants were analyzed. EFA identified a six-factor solution for the final 39-item MASE-HC, accounting for 61.411% of the variance. The final CFA specified six correlated first-order factors and did not evaluate a higher-order general factor. After four post-hoc within-factor residual covariances were added, the refined model showed generally acceptable fit (χ 2 /df = 1.741, RMSEA = 0.060, SRMR = 0.0649, CFI = 0.906, TLI = 0.898, and IFI = 0.907); TLI was marginally below 0.90. The Fornell–Larcker criterion was satisfied for all six factors, whereas convergent validity and internal consistency were comparatively weaker for Diet and Nutrition. Self-rated health was positively associated with five of the six subscales. Conclusion The MASE-HC showed preliminary support for a six-factor multidimensional structure in the present sample. The Diet and Nutrition subscale requires further refinement, and independent psychometric evaluation and replication in larger, more representative samples are needed before routine use or any community-level comparison.

مقدمه: ارتقای مؤثر سلامت جامعه مستلزم اطلاعاتی درباره ویژگی‌های مرتبط با سلامت ساکنان و حمایت‌های بین‌فردی، محیطی، سازمانی و سیاستی است که آن‌ها ادراک می‌کنند. مقیاس سنجش چندبعدی جوامع سالم اجتماعی-بوم‌شناختی (MASE-HC) به عنوان ابزاری چندبعدی و خودگزارش‌دهی توسط ساکنان طراحی شده است و نه به عنوان یک سنجه تک‌بعدی یا ارزیابی عینی در سطح جامعه. در این پژوهش، توسعه و ارزیابی روان‌سنجی اولیه این ابزار گزارش می‌شود. روش‌ها: گویه‌ها از طریق مرور متون، پیمایش دلفی دو مرحله‌ای، ارزیابی روایی محتوا و مصاحبه‌های شناختی تولید شدند. نمونه هدفمند شامل ۴۱۲ نفر از ساکنان بزرگسال یک مرکز خدمات سلامت جامعه در استان آن‌هویی چین بود. زیرنمونه ۱ (n = 206) برای تحلیل گویه و تحلیل عاملی اکتشافی و زیرنمونه ۲ (n = 206) برای تحلیل عاملی تأییدی، ارزیابی روایی همگرا و افتراقی و بررسی ارتباطات مبتنی بر فرضیه با سلامت خودارزیابی‌شده استفاده شد. پایایی در کل نمونه (n = 412) ارزیابی گردید. نتایج: داده‌های ۴۱۲ شرکت‌کننده تحلیل شد. تحلیل عاملی اکتشافی، راه‌حل شش‌عاملی برای نسخه نهایی ۳۹ گویه‌ای MASE-HC را شناسایی کرد که ۶۱/۴۱۱٪ واریانس را تبیین می‌کرد. تحلیل عاملی تأییدی نهایی، شش عامل همبسته مرتبه اول را مشخص کرد و عامل کلی مرتبه بالاتر را ارزیابی نکرد. پس از افزودن چهار کوواریانس باقیمانده درون‌عاملی به صورت پس‌نگر، مدل اصلاح‌شده برازش قابل قبولی نشان داد (χ2 /df = 1.741، RMSEA = 0.060، SRMR = 0.0649، CFI = 0.906، TLI = 0.898 و IFI = 0.907)؛ مقدار TLI اندکی کمتر از ۰/۹۰ بود. معیار فورنل-لارکر برای هر شش عامل احراز شد، در حالی که روایی همگرا و پایایی برای زیرمقیاس رژیم غذایی و تغذیه نسبتاً ضعیف‌تر بود. سلامت خودارزیابی‌شده با پنج زیرمقیاس از شش زیرمقیاس ارتباط مثبت داشت. نتیجه‌گیری: MASE-HC در نمونه حاضر حمایت اولیه‌ای برای ساختار شش‌عاملی چندبعدی نشان داد. زیرمقیاس رژیم غذایی و تغذیه نیازمند اصلاح بیشتر است و پیش از استفاده روتین یا هرگونه مقایسه در سطح جامعه، ارزیابی روان‌سنجی مستقل و تکرار در نمونه‌های بزرگ‌تر و نماینده‌تر ضروری است.

Large language models (LLMs) are rapidly reshaping digital mental health, yet how these systems are designed, used, and evaluated remains poorly characterized. We conducted an HCI-centered scoping review of 84 studies examining mental health tasks, stakeholders, interaction paradigms, foundation models, evaluation methods, and outcome measurement. Counseling and support and self-help and well-being accounted for 73.8% of studies, while clinician support and crisis and risk support remained uncommon. Mixed-methods user studies predominated (42.9%), with only three randomized controlled trials and eight studies classified as longitudinal or field evaluations. Technical and response performance was assessed in 81.0% of studies, compared with 29.8% assessing mental health symptoms and clinical outcomes and 7.1% including longitudinal follow-up. Outcome profiles differed across intended tasks. Building on these findings and established evaluation guidance, we propose a task-oriented framework aligning evaluation domains, measurement approaches, and assessment timing with intended use.

مدل‌های زبانی بزرگ (LLMs) به سرعت در حال بازشکل‌دهی سلامت روان دیجیتال هستند، با این حال نحوه طراحی، استفاده و ارزیابی این سامانه‌ها همچنان به‌درستی تبیین نشده است. ما یک مرور محدوده با محوریت تعامل انسان و رایانه (HCI) بر روی ۸۴ مطالعه انجام دادیم که به بررسی وظایف سلامت روان، ذینفعان، الگوهای تعاملی، مدل‌های پایه، روش‌های ارزیابی و سنجش پیامدها می‌پرداختند. مشاوره و حمایت و خودیاری و بهزیستی ۷۳.۸٪ مطالعات را تشکیل می‌دادند، در حالی که حمایت از درمانگران و حمایت در بحران و ریسک کمتر رایج بودند. مطالعات کاربری با روش‌های ترکیبی غالب بودند (۴۲.۹٪)، و تنها سه کارآزمایی تصادفی کنترل‌شده و هشت مطالعه به‌عنوان ارزیابی‌های طولی یا میدانی طبقه‌بندی شدند. عملکرد فنی و پاسخ‌دهی در ۸۱.۰٪ مطالعات ارزیابی شد، در مقایسه با ۲۹.۸٪ که به ارزیابی علائم سلامت روان و پیامدهای بالینی پرداختند و ۷.۱٪ که پیگیری طولی را شامل می‌شدند. پروفایل‌های پیامدها بسته به وظایف مورد نظر متفاوت بود. بر اساس این یافته‌ها و راهنمایی‌های ارزیابی موجود، ما یک چارچوب وظیفه‌محور پیشنهاد می‌کنیم که حوزه‌های ارزیابی، رویکردهای سنجش و زمان‌بندی ارزیابی را با کاربرد مورد نظر همسو می‌سازد.

Large Language Models (LLMs) have demonstrated significant capabilities in generating human-like and contextually relevant responses across a wide range of applications.However, their reliability is affected not only by factual hallucinations but also by failures to correctly understand and follow user instructions.This emerging issue, referred to as intent hallucination, occurs when an LLM omits, misinterprets, or fails to satisfy one or more requirements contained in a user's request, even when the generated response may be factually correct.Such failures can reduce the reliability and usefulness of LLM-based systems, particularly in complex tasks involving multiple constraints.This paper proposes a systematic review of existing research on intent hallucination and instructionfollowing capabilities in Large Language Models.The study will examine major types and causes of instructionfollowing failures, existing benchmarks and evaluation techniques, methods for detecting such failures, and approaches proposed to mitigate them.The review will also compare current evaluation frameworks and investigate limitations in existing research, particularly concerning complex, multi-constraint, and dynamic user instructions.Based on the reviewed literature, the study aims to organize existing approaches into a structured taxonomy covering instruction-following failures, detection and evaluation methods, and mitigation strategies.Finally, the paper will highlight open research challenges and future directions for developing more reliable and intent-aligned LLM systems.The study aims to provide a consolidated understanding of intent hallucination and support future research toward more dependable human-AI interaction.

مدل‌های زبانی بزرگ (LLMs) توانایی‌های قابل توجهی در تولید پاسخ‌های مشابه انسان و مرتبط با زمینه در طیف وسیعی از کاربردها نشان داده‌اند. با این حال، پایایی آن‌ها نه تنها تحت تأثیر توهمات واقعی بلکه همچنین به دلیل ناتوانی در درک و پیروی صحیح از دستورالعمل‌های کاربر قرار می‌گیرد. این مسئله نوظهور که به آن توهم نیت گفته می‌شود، زمانی رخ می‌دهد که یک مدل زبانی بزرگ یک یا چند الزام موجود در درخواست کاربر را حذف، تفسیر نادرست یا برآورده نمی‌کند، حتی اگر پاسخ تولیدشده از نظر واقعی صحیح باشد. چنین شکست‌هایی می‌تواند پایایی و سودمندی سامانه‌های مبتنی بر مدل‌های زبانی بزرگ را به ویژه در وظایف پیچیده با محدودیت‌های متعدد کاهش دهد. این مقاله مرور نظام‌مندی از پژوهش‌های موجود درباره توهم نیت و قابلیت‌های پیروی از دستورالعمل در مدل‌های زبانی بزرگ ارائه می‌دهد. این مطالعه انواع اصلی و علل شکست‌های پیروی از دستورالعمل، معیارها و تکنیک‌های ارزیابی موجود، روش‌های شناسایی این شکست‌ها و رویکردهای پیشنهادی برای کاهش آن‌ها را بررسی خواهد کرد. همچنین این مرور چارچوب‌های ارزیابی فعلی را مقایسه و محدودیت‌های پژوهش‌های موجود، به ویژه در ارتباط با دستورالعمل‌های پیچیده، چندمحدوده‌ای و پویا را بررسی می‌کند. بر اساس ادبیات مرورشده، مطالعه حاضر تلاش دارد رویکردهای موجود را در قالب یک طبقه‌بندی ساختاریافته شامل شکست‌های پیروی از دستورالعمل، روش‌های شناسایی و ارزیابی و راهبردهای کاهش سازماندهی کند. در نهایت، مقاله چالش‌های پژوهشی باز و مسیرهای آینده برای توسعه سامانه‌های مدل زبانی بزرگ پایاتر و هم‌راستا با نیت کاربر را برجسته خواهد کرد. هدف این مطالعه ارائه درکی یکپارچه از توهم نیت و حمایت از پژوهش‌های آتی به سوی تعامل انسان-هوش مصنوعی قابل اعتمادتر است.

Assessment and evaluation in distance education aim to ensure that learning outcomes are determined in a valid, reliable, and fair manner. While the flexibility in time and place offered by distance education allows for diversity in assessment and evaluation, problems such as academic integrity and technical issues, which undermine both validity and reliability, prevent the assessment from being conducted healthily. This research aims to investigate how an effective assessment process can be maintained in distance education. For this purpose, data were collected through Delphi rounds. Consensus was reached on the assessment and evaluation process in distance education through 3 rounds and 1 intermediate round, based on the expert panelists' opinions. As a result of the research findings, it was revealed that this process should be considered as a system. The sub-steps of this system include planning, measurement, and evaluation tools and environments, validity and reliability, protection of personal data, and support.

ارزیابی و سنجش در آموزش از راه دور با هدف اطمینان از تعیین نتایج یادگیری به شیوه‌ای معتبر، پایا و منصفانه انجام می‌شود. اگرچه انعطاف‌پذیری زمانی و مکانی که آموزش از راه دور فراهم می‌کند، امکان تنوع در ارزیابی و سنجش را به وجود می‌آورد، اما مسائلی همچون صداقت علمی و مشکلات فنی که هر دو روایی و پایایی را تضعیف می‌کنند، مانع از انجام صحیح ارزیابی می‌شوند. هدف این پژوهش بررسی چگونگی حفظ یک فرآیند ارزیابی مؤثر در آموزش از راه دور است. بدین منظور داده‌ها از طریق دورهای دلفی گردآوری شد. اجماع درباره فرآیند ارزیابی و سنجش در آموزش از راه دور طی سه دور و یک دور میانی، بر اساس نظرات اعضای پانل خبرگان حاصل شد. یافته‌های پژوهش نشان داد که این فرآیند باید به عنوان یک سیستم در نظر گرفته شود. زیرگام‌های این سیستم شامل برنامه‌ریزی، ابزارها و محیط‌های سنجش و ارزیابی، روایی و پایایی، حفاظت از داده‌های شخصی و پشتیبانی است.