argument evaluation

Despite extensive research on critical thinking instruction, approaches for supporting the maintenance of procedural argument-evaluation performance, particularly among struggling learners, remain underexplored. This exploratory study evaluated the Formalization and Argument Reasoning Evaluation Framework (FAREF), a flowchart-guided procedural scaffold integrating the Triangular Logic Model. In a quasi-experimental pretest-posttest design, 29 undergraduates received FAREF instruction ( $$n = 15$$ ) or conventional instruction ( $$n = 14$$ ). An omnibus item-level analysis yielded a significant three-way interaction between condition, initial skill, and pre-test response state, $$\chi ^2(1) = 4.08$$ , $$p =.043$$ , consistent with a consolidation-specific benefit for lower-skill learners; the interaction was fragile to single cases (leave-one-out range: $$p =.024$$ –.127) and marginal when initial skill was modeled continuously ( $$p =.053$$ ). No acquisition effect was detectable, and an equivalence test showed the study was insensitive to effects smaller than $$\pm\;0.10$$ on the proportion scale. The pre-test performance clustered near the chance level of the binary format, bounding all inferences. The findings are hypothesis-generating and motivate a powered, randomized replication with a validated instrument.

با وجود پژوهش‌های گسترده در زمینه آموزش تفکر انتقادی، رویکردهای حمایت از حفظ عملکرد رویه‌ای در ارزیابی استدلال، به‌ویژه در میان یادگیرندگان ضعیف‌تر، همچنان کمتر مورد بررسی قرار گرفته‌اند. این مطالعه اکتشافی به ارزیابی چارچوب Formalization and Argument Reasoning Evaluation Framework (FAREF)، که یک حمایت رویه‌ای مبتنی بر فلوچارت و ادغام‌کننده Triangular Logic Model است، پرداخت. در یک طرح شبه‌آزمایشی پیش‌آزمون-پس‌آزمون، ۲۹ دانشجوی کارشناسی آموزش FAREF (n = ۱۵) یا آموزش متداول (n = ۱۴) دریافت کردند. تحلیل همه‌جانبه در سطح آیتم، تعامل سه‌طرفه معناداری بین وضعیت، مهارت اولیه و وضعیت پاسخ پیش‌آزمون نشان داد، χ²(۱) = ۴٫۰۸، p = ۰٫۰۴۳، که با سودمندی خاص تثبیت برای یادگیرندگان با مهارت پایین‌تر سازگار بود؛ این تعامل نسبت به حذف تک‌نمونه‌ها شکننده بود (دامنه leave-one-out: p = ۰٫۰۲۴–۰٫۱۲۷) و زمانی که مهارت اولیه به‌صورت پیوسته مدل‌سازی شد، در حد مرزی قرار داشت (p = ۰٫۰۵۳). هیچ اثر اکتسابی قابل شناسایی نبود و آزمون هم‌ارزی نشان داد مطالعه نسبت به اثرات کوچک‌تر از ±۰٫۱۰ در مقیاس نسبت حساسیت نداشت. عملکرد پیش‌آزمون در نزدیکی سطح تصادفی فرمت دودویی متمرکز بود که همه استنتاج‌ها را محدود می‌کند. یافته‌ها فرضیه‌ساز بوده و انجام تکرار تصادفی‌شده با قدرت کافی و ابزار معتبر را انگیزه می‌بخشد.

This study aims to develop an Arabic language learning module based on Higher Order Thinking Skills (HOTS) to improve students' higher-order thinking skills at the Faculty of Teacher Training and Education, University of Muhammadiyah North Sumatra (UMSU). The study used the Research and Development (R&D) method with the ADDIE model which includes the stages of Analysis, Design, Development, Implementation, and Evaluation. At the analysis stage, it was found that Arabic language learning was still dominated by low-order thinking skills (LOTS) and did not provide analytical, evaluative, and creative activities as required by the OBE curriculum. The developed module was validated by material experts and learning design experts with the assessment results being in the very feasible category. A limited trial on 32 students showed a significant increase in HOTS skills, evidenced by the difference in pre-test and post-test scores, as well as an increase in the ability to analyze texts, evaluate arguments, and produce new texts in Arabic. Student responses were also very positive towards the use of the module because it was considered interesting, challenging, and helped understand Arabic texts more deeply. The results of the study indicate that the HOTS-based Arabic language learning module is effective, feasible to use, and has the potential to be widely applied in Arabic language courses at universities..

هدف این پژوهش توسعهٔ یک ماژول آموزش زبان عربی مبتنی بر مهارت‌های تفکر سطوح بالاتر (HOTS) به منظور ارتقای مهارت‌های تفکر سطح بالای دانشجویان در دانشکدهٔ تربیت معلم و آموزش دانشگاه محمدیه شمال سوماترا (UMSU) است. این پژوهش از روش تحقیق و توسعه (R&D) با مدل ADDIE که شامل مراحل تحلیل، طراحی، توسعه، اجرا و ارزیابی است، استفاده کرده‌است. در مرحلهٔ تحلیل مشخص شد که آموزش زبان عربی همچنان تحت سلطهٔ مهارت‌های تفکر سطوح پایین (LOTS) قرار دارد و فعالیت‌های تحلیلی، ارزیابی و خلاقانه مطابق با الزامات برنامهٔ درسی OBE ارائه نمی‌شود. ماژول توسعه‌یافته توسط متخصصان محتوا و طراحی آموزشی اعتبارسنجی شد و نتایج ارزیابی در دستهٔ «بسیار قابل قبول» قرار گرفت. آزمون محدودی بر روی ۳۲ دانشجو نشان داد که مهارت‌های HOTS به طور معناداری افزایش یافته‌است، که این امر با تفاوت نمرات پیش‌آزمون و پس‌آزمون و همچنین افزایش توانایی تحلیل متون، ارزیابی استدلال‌ها و تولید متون جدید به زبان عربی مشهود است. واکنش دانشجویان نیز نسبت به استفاده از این ماژول بسیار مثبت بود، زیرا آن را جالب، چالش‌برانگیز و کمک‌کننده به درک عمیق‌تر متون عربی دانستند. نتایج پژوهش نشان می‌دهد که ماژول آموزش زبان عربی مبتنی بر HOTS مؤثر، قابل استفاده و دارای پتانسیل کاربرد گسترده در دروس زبان عربی در دانشگاه‌ها است.