Despite extensive research on critical thinking instruction, approaches for supporting the maintenance of procedural argument-evaluation performance, particularly among struggling learners, remain underexplored. This exploratory study evaluated the Formalization and Argument Reasoning Evaluation Framework (FAREF), a flowchart-guided procedural scaffold integrating the Triangular Logic Model. In a quasi-experimental pretest-posttest design, 29 undergraduates received FAREF instruction ( $$n = 15$$ ) or conventional instruction ( $$n = 14$$ ). An omnibus item-level analysis yielded a significant three-way interaction between condition, initial skill, and pre-test response state, $$\chi ^2(1) = 4.08$$ , $$p =.043$$ , consistent with a consolidation-specific benefit for lower-skill learners; the interaction was fragile to single cases (leave-one-out range: $$p =.024$$ –.127) and marginal when initial skill was modeled continuously ( $$p =.053$$ ). No acquisition effect was detectable, and an equivalence test showed the study was insensitive to effects smaller than $$\pm\;0.10$$ on the proportion scale. The pre-test performance clustered near the chance level of the binary format, bounding all inferences. The findings are hypothesis-generating and motivate a powered, randomized replication with a validated instrument.
با وجود پژوهش‌های گسترده در زمینه آموزش تفکر انتقادی، رویکردهای حمایت از حفظ عملکرد رویه‌ای در ارزیابی استدلال، به‌ویژه در میان یادگیرندگان ضعیف‌تر، همچنان کمتر مورد بررسی قرار گرفته‌اند. این مطالعه اکتشافی به ارزیابی چارچوب Formalization and Argument Reasoning Evaluation Framework (FAREF)، که یک حمایت رویه‌ای مبتنی بر فلوچارت و ادغام‌کننده Triangular Logic Model است، پرداخت. در یک طرح شبه‌آزمایشی پیش‌آزمون-پس‌آزمون، ۲۹ دانشجوی کارشناسی آموزش FAREF (n = ۱۵) یا آموزش متداول (n = ۱۴) دریافت کردند. تحلیل همه‌جانبه در سطح آیتم، تعامل سه‌طرفه معناداری بین وضعیت، مهارت اولیه و وضعیت پاسخ پیش‌آزمون نشان داد، χ²(۱) = ۴٫۰۸، p = ۰٫۰۴۳، که با سودمندی خاص تثبیت برای یادگیرندگان با مهارت پایین‌تر سازگار بود؛ این تعامل نسبت به حذف تک‌نمونه‌ها شکننده بود (دامنه leave-one-out: p = ۰٫۰۲۴–۰٫۱۲۷) و زمانی که مهارت اولیه به‌صورت پیوسته مدل‌سازی شد، در حد مرزی قرار داشت (p = ۰٫۰۵۳). هیچ اثر اکتسابی قابل شناسایی نبود و آزمون هم‌ارزی نشان داد مطالعه نسبت به اثرات کوچک‌تر از ±۰٫۱۰ در مقیاس نسبت حساسیت نداشت. عملکرد پیش‌آزمون در نزدیکی سطح تصادفی فرمت دودویی متمرکز بود که همه استنتاج‌ها را محدود می‌کند. یافته‌ها فرضیه‌ساز بوده و انجام تکرار تصادفی‌شده با قدرت کافی و ابزار معتبر را انگیزه می‌بخشد.
Kit-Build Concept Mapping (KBCM) supports formative assessment by externalizing learning goals as a teacher reference map and diagnosing proposition-level gaps through automated comparison. However, typical KBCM use provides mainly verification feedback (what is missing/incorrect) and offers limited support for how students should act to close those gaps. Leveraging KBCM’s diagnostic outputs as an enabling infrastructure, this study proposes and implements a three-layer formative feedback framework that operationalizes structured gap-closing actions: (Layer 1) Evidence Access links each frequently missing proposition to specific source-text evidence; (Layer 2) Comprehension Verification prompts learners to articulate the reasoning behind the proposition through guided questioning; and (Layer 3) Integration Practice requires coordinated application of multiple propositions in authentic problem-solving tasks. We report three classroom trials with undergraduate informatics students (N = 11, N = 10, N = 10). Across all trials, large overall learning gains were observed from post-reading (T1) to post-intervention (T3) (Wilcoxon r =.895,.878,.889; all $$p <0.05$$ ). The magnitude of additional improvement beyond KBCM diagnostics differed by content complexity. These findings suggest that KBCM-based diagnosis can be systematically transformed into progressive, pedagogically grounded feedback that supports students’ gap-closing actions in classroom practice.
نگاشت مفهومی Kit-Build (KBCM) با برون‌سازی اهداف یادگیری به‌صورت نقشه مرجع معلم و تشخیص شکاف‌های سطح گزاره‌ای از طریق مقایسه خودکار، از ارزشیابی تکوینی پشتیبانی می‌کند. با این حال، استفاده معمول از KBCM عمدتاً بازخورد تأییدی (آنچه که ناقص یا نادرست است) ارائه می‌دهد و حمایت محدودی از نحوه اقدام دانش‌آموزان برای رفع این شکاف‌ها فراهم می‌سازد. این پژوهش با بهره‌گیری از خروجی‌های تشخیصی KBCM به‌عنوان زیرساخت توانمندساز، چارچوب بازخورد سازنده سه‌لایه‌ای را پیشنهاد و اجرا می‌کند که اقدامات ساختاریافته برای رفع شکاف‌ها را عملیاتی می‌سازد: (لایه ۱) دسترسی به شواهد، هر گزاره‌ای که به‌طور مکرر حذف شده را به شواهد خاصی در متن منبع پیوند می‌دهد؛ (لایه ۲) راستی‌آزمایی درک، یادگیرندگان را از طریق پرسش‌های هدایت‌شده به بیان استدلال پشت گزاره ترغیب می‌کند؛ و (لایه ۳) تمرین ادغام، نیازمند به‌کارگیری هماهنگ چند گزاره در وظایف حل مسئله اصیل است. سه آزمون کلاسی با دانشجویان کارشناسی رشته انفورماتیک (N = 11، N = 10، N = 10) گزارش می‌شود. در تمامی آزمون‌ها، افزایش چشمگیر یادگیری کلی از پس‌مطالعه (T1) تا پس‌مداخله (T3) مشاهده شد (Wilcoxon r = .895، .878، .889؛ همه $$p <0.05$$). میزان بهبود اضافی فراتر از تشخیص‌های KBCM بسته به پیچیدگی محتوا متفاوت بود. این یافته‌ها نشان می‌دهد که تشخیص مبتنی بر KBCM را می‌توان به‌صورت نظام‌مند به بازخورد تدریجی و مبتنی بر اصول آموزشی تبدیل کرد که از اقدامات رفع شکاف دانش‌آموزان در عمل کلاسی حمایت می‌کند.
