evaluation framework

The integration of Islamic Religious Education (PAI) and Science represents a crucial approach to developing students' scientific competence while simultaneously strengthening Islamic values ​​and character. This study aims to identify the general and specific characteristics of integrated PAI and Science instruction, serving as an empirical foundation for developing an integrated learning model at MI Muhammadiyah Sains Qur'an (MIM SAINSQU) Balong. A qualitative descriptive approach was employed, with data collected through interviews with the principal, curriculum coordinator, PAI teachers, and classroom or Science teachers; classroom observations; and an analysis of relevant school and instructional documents. The findings indicate that this integration is realized through Quran-oriented contextualization, scientific inquiry, environment-based learning, active student participation, teacher facilitation, and the development of cognitive and affective competencies. However, implementation varies depending on the learning topic, teacher readiness, and the availability of integrated learning resources and assessment frameworks. The study concludes that MIM SAINSQU Balong possesses a strong institutional and pedagogical foundation for integrated PAI and Science instruction but requires a systematic model that coherently links scientific concepts, Quranic values, learning activities, resources, the roles of teachers and students, and assessment.

Introduction Faculty development (FD) is an established feature of Higher Education, yet its impact on what teachers actually do in their teaching has been studied less often than outcomes such as satisfaction, learning and attitudes. This behavioural level is the third of the four outcome levels in the adaptation of Kirkpatrick's model developed for FD in Higher Education. No prior review has mapped it across disciplinary fields outside health professions education, and the present scoping review addresses that gap. Methods Following the PRISMA Extension for Scoping Reviews, we included empirical and theoretical sources published in English between 2005 and 2025 that reported a change in the teaching practices of university teachers following structured FD, in any discipline other than health professions education. Scopus and Web of Science were searched, with the last search on 25 April 2026. Three reviewers charted the data independently, coding the evaluation framework, the assessment method and type of evidence, and the indicator and direction of effect. Empirical studies were appraised with the Mixed Methods Appraisal Tool (MMAT). Results The search yielded 491 deduplicated records, of which 69 met the inclusion criteria. The evidence is recent and concentrated in the United States and in science, technology, engineering and mathematics (STEM) fields. Fifty-three of the 69 sources name no evaluation model. Of the 64 empirical studies appraised, 29 used non-randomised or descriptive quantitative designs and only one used random assignment. Qualitative studies largely met their criteria, whereas quantitative and mixed methods studies recurrently showed incomplete outcome data, unaccounted confounding, undocumented intervention fidelity and unexamined divergence between strands. Of 217 behavioural effects, 150 rest on teacher self-report and 66 on evidence external to the teacher, with one effect not classifiable. The direction of effect depended on how the change was established. Positive effects accounted for 65% of the self-reported behavioural effects but for 42% of the externally documented ones, and for 65% of those measured without a baseline against 49% of those measured with one. Discussion The literature makes its central claim, that development changes what teachers do, largely on the teachers' own testimony. Where that claim is tested against external evidence, it holds less often. Systematic Review Registration https://doi.org/10.17605/OSF.IO/SAERU .

مقدمه: توسعه اعضای هیئت علمی (FD) یکی از ویژگی‌های تثبیت‌شده آموزش عالی است، اما تأثیر آن بر آنچه که مدرسان عملاً در تدریس خود انجام می‌دهند، کمتر از پیامدهایی مانند رضایت، یادگیری و نگرش‌ها مورد مطالعه قرار گرفته است. این سطح رفتاری، سومین سطح از چهار سطح پیامدها در اقتباس مدل Kirkpatrick است که برای FD در آموزش عالی توسعه یافته است. تاکنون هیچ مرور پیشینی این سطح را در حوزه‌های علمی خارج از آموزش حرفه‌های سلامت ترسیم نکرده است و مرور محدوده‌ای حاضر به این خلأ می‌پردازد. روش‌ها: با پیروی از PRISMA Extension for Scoping Reviews، منابع تجربی و نظری منتشرشده به زبان انگلیسی بین سال‌های ۲۰۰۵ تا ۲۰۲۵ که گزارشی از تغییر در شیوه‌های تدریس مدرسان دانشگاهی پس از FD ساختاریافته در هر رشته‌ای به جز آموزش حرفه‌های سلامت ارائه داده بودند، وارد شدند. پایگاه‌های Scopus و Web of Science جست‌وجو شدند و آخرین جست‌وجو در ۲۵ آوریل ۲۰۲۶ انجام شد. سه ارزیاب به طور مستقل داده‌ها را استخراج کردند و چارچوب ارزیابی، روش سنجش و نوع شواهد، و شاخص و جهت اثر را کدگذاری نمودند. مطالعات تجربی با ابزار Mixed Methods Appraisal Tool (MMAT) ارزیابی شدند. نتایج: جست‌وجو منجر به ۴۹۱ رکورد بدون تکرار شد که از این میان ۶۹ مورد معیارهای ورود را داشتند. شواهد به‌دست‌آمده جدید و عمدتاً متمرکز بر ایالات متحده و حوزه‌های علوم، فناوری، مهندسی و ریاضیات (STEM) است. پنجاه‌وسه منبع از ۶۹ منبع هیچ مدل ارزیابی را ذکر نکرده‌اند. از میان ۶۴ مطالعه تجربی ارزیابی‌شده، ۲۹ مطالعه از طرح‌های کمی توصیفی یا غیرتصادفی استفاده کرده‌اند و تنها یک مطالعه تخصیص تصادفی داشته است. مطالعات کیفی عمدتاً معیارهای خود را برآورده کرده‌اند، در حالی که مطالعات کمی و روش‌های ترکیبی به طور مکرر داده‌های پیامدی ناقص، عوامل مخدوش‌کننده کنترل‌نشده، وفاداری مداخله مستندسازی‌نشده و عدم بررسی واگرایی بین رشته‌ها را نشان داده‌اند. از میان ۲۱۷ اثر رفتاری، ۱۵۰ مورد مبتنی بر خودگزارشی مدرس و ۶۶ مورد مبتنی بر شواهد بیرونی نسبت به مدرس بوده است و یک اثر قابل طبقه‌بندی نبوده است. جهت اثر به نحوه تعیین تغییر بستگی داشته است. آثار مثبت ۶۵٪ از آثار رفتاری خودگزارشی و ۴۲٪ از آثار مستندسازی‌شده بیرونی را تشکیل می‌دهند و ۶۵٪ از آثاری که بدون خط پایه سنجیده شده‌اند در مقابل ۴۹٪ از آثاری که با خط پایه سنجیده شده‌اند، مثبت بوده‌اند. بحث: ادبیات پژوهش ادعای مرکزی خود مبنی بر اینکه توسعه، رفتار مدرسان را تغییر می‌دهد، عمدتاً بر اساس اظهارات خود مدرسان مطرح می‌کند. در مواردی که این ادعا با شواهد بیرونی آزمون می‌شود، کمتر تأیید می‌گردد. ثبت مرور نظام‌مند: https://doi.org/10.17605/OSF.IO/SAERU .

Despite extensive research on critical thinking instruction, approaches for supporting the maintenance of procedural argument-evaluation performance, particularly among struggling learners, remain underexplored. This exploratory study evaluated the Formalization and Argument Reasoning Evaluation Framework (FAREF), a flowchart-guided procedural scaffold integrating the Triangular Logic Model. In a quasi-experimental pretest-posttest design, 29 undergraduates received FAREF instruction ( $$n = 15$$ ) or conventional instruction ( $$n = 14$$ ). An omnibus item-level analysis yielded a significant three-way interaction between condition, initial skill, and pre-test response state, $$\chi ^2(1) = 4.08$$ , $$p =.043$$ , consistent with a consolidation-specific benefit for lower-skill learners; the interaction was fragile to single cases (leave-one-out range: $$p =.024$$ –.127) and marginal when initial skill was modeled continuously ( $$p =.053$$ ). No acquisition effect was detectable, and an equivalence test showed the study was insensitive to effects smaller than $$\pm\;0.10$$ on the proportion scale. The pre-test performance clustered near the chance level of the binary format, bounding all inferences. The findings are hypothesis-generating and motivate a powered, randomized replication with a validated instrument.

با وجود پژوهش‌های گسترده در زمینه آموزش تفکر انتقادی، رویکردهای حمایت از حفظ عملکرد رویه‌ای در ارزیابی استدلال، به‌ویژه در میان یادگیرندگان ضعیف‌تر، همچنان کمتر مورد بررسی قرار گرفته‌اند. این مطالعه اکتشافی به ارزیابی چارچوب Formalization and Argument Reasoning Evaluation Framework (FAREF)، که یک حمایت رویه‌ای مبتنی بر فلوچارت و ادغام‌کننده Triangular Logic Model است، پرداخت. در یک طرح شبه‌آزمایشی پیش‌آزمون-پس‌آزمون، ۲۹ دانشجوی کارشناسی آموزش FAREF (n = ۱۵) یا آموزش متداول (n = ۱۴) دریافت کردند. تحلیل همه‌جانبه در سطح آیتم، تعامل سه‌طرفه معناداری بین وضعیت، مهارت اولیه و وضعیت پاسخ پیش‌آزمون نشان داد، χ²(۱) = ۴٫۰۸، p = ۰٫۰۴۳، که با سودمندی خاص تثبیت برای یادگیرندگان با مهارت پایین‌تر سازگار بود؛ این تعامل نسبت به حذف تک‌نمونه‌ها شکننده بود (دامنه leave-one-out: p = ۰٫۰۲۴–۰٫۱۲۷) و زمانی که مهارت اولیه به‌صورت پیوسته مدل‌سازی شد، در حد مرزی قرار داشت (p = ۰٫۰۵۳). هیچ اثر اکتسابی قابل شناسایی نبود و آزمون هم‌ارزی نشان داد مطالعه نسبت به اثرات کوچک‌تر از ±۰٫۱۰ در مقیاس نسبت حساسیت نداشت. عملکرد پیش‌آزمون در نزدیکی سطح تصادفی فرمت دودویی متمرکز بود که همه استنتاج‌ها را محدود می‌کند. یافته‌ها فرضیه‌ساز بوده و انجام تکرار تصادفی‌شده با قدرت کافی و ابزار معتبر را انگیزه می‌بخشد.

Large language models (LLMs) are rapidly reshaping digital mental health, yet how these systems are designed, used, and evaluated remains poorly characterized. We conducted an HCI-centered scoping review of 84 studies examining mental health tasks, stakeholders, interaction paradigms, foundation models, evaluation methods, and outcome measurement. Counseling and support and self-help and well-being accounted for 73.8% of studies, while clinician support and crisis and risk support remained uncommon. Mixed-methods user studies predominated (42.9%), with only three randomized controlled trials and eight studies classified as longitudinal or field evaluations. Technical and response performance was assessed in 81.0% of studies, compared with 29.8% assessing mental health symptoms and clinical outcomes and 7.1% including longitudinal follow-up. Outcome profiles differed across intended tasks. Building on these findings and established evaluation guidance, we propose a task-oriented framework aligning evaluation domains, measurement approaches, and assessment timing with intended use.

مدل‌های زبانی بزرگ (LLMs) به سرعت در حال بازشکل‌دهی سلامت روان دیجیتال هستند، با این حال نحوه طراحی، استفاده و ارزیابی این سامانه‌ها همچنان به‌درستی تبیین نشده است. ما یک مرور محدوده با محوریت تعامل انسان و رایانه (HCI) بر روی ۸۴ مطالعه انجام دادیم که به بررسی وظایف سلامت روان، ذینفعان، الگوهای تعاملی، مدل‌های پایه، روش‌های ارزیابی و سنجش پیامدها می‌پرداختند. مشاوره و حمایت و خودیاری و بهزیستی ۷۳.۸٪ مطالعات را تشکیل می‌دادند، در حالی که حمایت از درمانگران و حمایت در بحران و ریسک کمتر رایج بودند. مطالعات کاربری با روش‌های ترکیبی غالب بودند (۴۲.۹٪)، و تنها سه کارآزمایی تصادفی کنترل‌شده و هشت مطالعه به‌عنوان ارزیابی‌های طولی یا میدانی طبقه‌بندی شدند. عملکرد فنی و پاسخ‌دهی در ۸۱.۰٪ مطالعات ارزیابی شد، در مقایسه با ۲۹.۸٪ که به ارزیابی علائم سلامت روان و پیامدهای بالینی پرداختند و ۷.۱٪ که پیگیری طولی را شامل می‌شدند. پروفایل‌های پیامدها بسته به وظایف مورد نظر متفاوت بود. بر اساس این یافته‌ها و راهنمایی‌های ارزیابی موجود، ما یک چارچوب وظیفه‌محور پیشنهاد می‌کنیم که حوزه‌های ارزیابی، رویکردهای سنجش و زمان‌بندی ارزیابی را با کاربرد مورد نظر همسو می‌سازد.

The actual deployment of driver monitoring system (DMS) is still limited by the limited edge computing resources and the sudden risk transition caused by discrete state classification. To this end, this study proposes LTC-CGMN, a lightweight driver state evaluation framework that integrates cross granularity state mapping and temporal convolution. Firstly, the CGSM module aligns fine-grained head/hand cues with coarse-grained torso features through cross attention, and then the LTC module uses depthwise separable causal dilation convolution to capture temporal dependencies with low computational cost. In addition, the knowledge extraction scheme guided by the AHP of the National Highway Traffic Safety Administration generates a continuous Driver Risk Index (DRI), reducing the step discontinuity in risk estimation. Finally, the experimental results on the 3MDAD multimodal driving dataset showed that LTC-CGMN achieved a Top-1 accuracy of 96.37%, a DRI prediction RMSE of 0.058, and a inference rate of 33.6 FPS on NVIDIA Jetson Orin. Research has shown that LTC-CCMN provides a good balance between recognition accuracy, continuous risk estimation, and edge deployment efficiency for intelligent cockpit DMS applications.

استقرار واقعی سامانه پایش راننده (DMS) همچنان با محدودیت منابع محاسباتی لبه و انتقال ناگهانی ریسک ناشی از طبقه‌بندی گسسته وضعیت‌ها محدود می‌شود. بدین منظور، این مطالعه چارچوب ارزیابی وضعیت راننده سبک‌وزن LTC-CGMN را پیشنهاد می‌کند که نگاشت وضعیت میان‌دانه‌ای و کانولوشن زمانی را یکپارچه می‌سازد. نخست، ماژول CGSM نشانه‌های ریزدانه سر/دست را از طریق توجه متقاطع با ویژگی‌های درشت‌دانه تنه هم‌تراز می‌کند و سپس ماژول LTC با استفاده از کانولوشن علی با اتساع جداسازی‌پذیر عمقی، وابستگی‌های زمانی را با هزینه محاسباتی پایین استخراج می‌کند. افزون بر این، طرح استخراج دانش با راهنمایی AHP اداره ملی ایمنی ترافیک بزرگراه‌ها، شاخص ریسک راننده پیوسته (DRI) را تولید می‌کند و ناپیوستگی پله‌ای در برآورد ریسک را کاهش می‌دهد. در نهایت، نتایج تجربی روی پایگاه داده چندوجهی رانندگی 3MDAD نشان داد که LTC-CGMN به دقت Top-1 معادل ۹۶٫۳۷٪، RMSE پیش‌بینی DRI برابر با ۰٫۰۵۸ و نرخ استنتاج ۳۳٫۶ فریم بر ثانیه روی NVIDIA Jetson Orin دست یافته است. پژوهش‌ها نشان داده‌اند که LTC-CGMN تعادل مناسبی میان دقت شناسایی، برآورد پیوسته ریسک و کارایی استقرار لبه برای کاربردهای DMS کابین هوشمند فراهم می‌کند.

Introduction Legal and Ethical Business (LEB) curricula in higher education (HE) are traditionally taught through lectures and subsequently assessed via invigilated examinations. These methods have been shown to result in suboptimal student engagement, with challenges to students inculcating the desired theoretical knowledge. Studies have shown that authentic assessment (AA) offers a viable alternative towards enhancement of student learning, engagement, and skill development while maintaining academic integrity. This study proposes an authentic assessment practical framework for LEB. The proposed framework may support the adoption of AA in LEB curricula and in turn have a positive impact on student learning in higher education. Methods A systematic literature review (SLR) was employed to identify, evaluate, and synthesise existing research on the topic. The review followed a structured search, screening and categorisation process to develop the proposed evidence-informed framework for AA. Results A structured framework is proposed for implementing AA in Legal and Ethical Business curricula, comprising of five key processes: (1) selecting appropriate AA forms; (2) aligning AA characteristics with the chosen assessment design; (3) incorporating the anticipated impacts of AA; (4) implementing the designed AA within the curricula; and (5) evaluating its effectiveness. Discussion The proposed framework informed by the SLR and pedagogical experience of the author, aims to guide educators in adopting AA practices that are context-specific, pedagogically-sound, and aligned with learning outcomes. It offers a scaffolded framework for LEB curricula so that it can be structured across key dimensions of authenticity including real-world complexity, core knowledge and skills, as well as meaningful application in the contextual learning environment. It also offers potential applicability to other regulatory curricula in business education and other disciplines with similar learning outcomes. It may support institutions in upholding the necessity for continuous quality enhancement including innovation in teaching, learning and assessment, thereby enhancing the overall student learning experience.

مقدمه: برنامه‌های درسی حقوقی و اخلاقی کسب‌وکار (LEB) در آموزش عالی به طور سنتی از طریق سخنرانی تدریس و سپس از طریق آزمون‌های نظارت‌شده ارزیابی می‌شوند. پژوهش‌ها نشان داده‌اند که این روش‌ها منجر به مشارکت کمتر دانشجویان شده و دانشجویان در درونی‌سازی دانش نظری مطلوب با چالش‌هایی مواجه می‌شوند. مطالعات نشان داده‌اند که ارزیابی اصیل (AA) جایگزینی مناسب برای ارتقاء یادگیری، مشارکت و توسعه مهارت‌های دانشجویان است و در عین حال یکپارچگی علمی را حفظ می‌کند. این مطالعه چارچوب عملی ارزیابی اصیل را برای LEB پیشنهاد می‌کند. چارچوب پیشنهادی می‌تواند از پذیرش AA در برنامه‌های درسی LEB حمایت کند و در نتیجه تأثیر مثبتی بر یادگیری دانشجویان در آموزش عالی داشته باشد. روش‌ها: مرور نظام‌مند ادبیات (SLR) برای شناسایی، ارزیابی و ترکیب پژوهش‌های موجود در این حوزه به کار گرفته شد. این مرور با یک فرایند جستجوی ساختاریافته، غربالگری و دسته‌بندی به منظور توسعه چارچوب مبتنی بر شواهد برای AA دنبال شد. نتایج: چارچوبی ساختاریافته برای اجرای AA در برنامه‌های درسی حقوقی و اخلاقی کسب‌وکار پیشنهاد شده است که شامل پنج فرایند کلیدی است: (۱) انتخاب اشکال مناسب AA؛ (۲) همسویی ویژگی‌های AA با طراحی ارزیابی انتخاب‌شده؛ (۳) گنجاندن تأثیرات مورد انتظار AA؛ (۴) اجرای AA طراحی‌شده در برنامه درسی؛ و (۵) ارزیابی اثربخشی آن. بحث: چارچوب پیشنهادی که مبتنی بر SLR و تجربه آموزشی نویسنده است، با هدف راهنمایی مدرسان در پذیرش شیوه‌های AA که متناسب با زمینه، از نظر آموزشی معتبر و همسو با نتایج یادگیری هستند، ارائه شده است. این چارچوب ساختاریافته برای برنامه‌های درسی LEB ارائه می‌دهد تا بتوان آن را در ابعاد کلیدی اصالت از جمله پیچیدگی دنیای واقعی، دانش و مهارت‌های اصلی و همچنین کاربرد معنادار در محیط یادگیری زمینه‌ای ساختاربندی کرد. همچنین قابلیت کاربرد بالقوه در سایر برنامه‌های درسی مقرراتی در آموزش کسب‌وکار و سایر رشته‌ها با نتایج یادگیری مشابه را دارد. این چارچوب می‌تواند از مؤسسات در حفظ ضرورت ارتقای مستمر کیفیت از جمله نوآوری در تدریس، یادگیری و ارزیابی حمایت کند و در نتیجه تجربه کلی یادگیری دانشجویان را ارتقاء دهد.