Bloom's revised taxonomy

Large language models (LLMs) are increasingly used in dental education, but research has focused mainly on answer accuracy. Whether LLMs can identify the cognitive demand of examination items remains unclear. This study evaluated LLM classification fidelity for endodontic multiple-choice questions (MCQs) across three educational taxonomies and compared four publicly accessible models. Two hundred endodontic MCQs from the Turkish Dentistry Specialty Examination (DUS, 2012–2025) were classified by ChatGPT, Gemini, Kimi, and DeepSeek according to Revised Bloom’s Taxonomy, the SOLO Taxonomy, and Miller’s Pyramid. A three-layer expert consensus procedure comprising calibration training, procedural audit, and structured joint deliberation established the expert consensus reference standard. Agreement was assessed using weighted Cohen’s kappa (κw) with bootstrap 95% confidence intervals; classification performance was evaluated using accuracy and macro-averaged F1. Inter-model differences in item-level accuracy were tested using Cochran’s Q with Kendall’s W, followed by Holm–Bonferroni-corrected pairwise McNemar tests. For Revised Bloom’s Taxonomy, Gemini (κw=0.676) and DeepSeek (κw=0.667) achieved substantial agreement, while Kimi (κw=0.428) and ChatGPT (κw=0.365) performed lower. For SOLO, Gemini achieved substantial agreement (κw=0.622), while the remaining models showed moderate agreement. For Miller’s Pyramid, agreement did not exceed fair, with ChatGPT highest (κw=0.372). Inter-model differences were significant for all three taxonomies (all p<0.001). ChatGPT ranked lowest for Revised Bloom and SOLO but highest for Miller. Revised Bloom levels of expert consensus reference standard increased significantly across examination years (Spearman ρ=0.301, p<0.001). LLMs showed meaningful classification fidelity for Revised Bloom and SOLO taxonomies, particularly Gemini and DeepSeek, but performance for Miller’s Pyramid remained weak. Bloom, SOLO, and Miller should not be treated as interchangeable frameworks, and LLM selection should be tailored to the taxonomy and assessment purpose. Answer accuracy and taxonomy classification fidelity represent distinct capabilities that warrant independent evaluation.

This study aims to analyze the cognitive levels represented in the writing exercises of Basic English for Elementary School Grade VI based on Revised Bloom’s Taxonomy and to identify the dominant cognitive level represented in the exercises. This study employed a qualitative descriptive design using qualitative content analysis. The data consisted of 50 independent writing-exercise units identified from the textbook. The exercises were analyzed based on the six cognitive levels of Revised Bloom’s Taxonomy: Remembering (C1), Understanding (C2), Applying (C3), Analyzing (C4), Evaluating (C5), and Creating (C6). The findings show that five cognitive levels were represented: C1, C2, C3, C4, and C6, while C5 was not identified. Applying (C3) was the dominant cognitive level, accounting for 35 exercises (70%), followed by Understanding (C2) with 7 exercises (14%), Creating (C6) with 6 exercises (12%), and Remembering (C1) and Analyzing (C4) with 1 exercise each (2%). Overall, lower-order thinking skills (C1-C3) accounted for 86% of the exercises, whereas higher-order thinking skills (C4-C6) accounted for 14%. These findings indicate that the textbook predominantly emphasizes the application of previously learned language knowledge through structured writing activities, while opportunities for analysis, evaluation, and extended creative production remain limited. The study highlights the importance of considering a more balanced distribution of cognitive levels in elementary English writing exercises.

هدف این پژوهش تحلیل سطوح شناختی نمایان‌شده در تمرین‌های نوشتاری کتاب درسی زبان انگلیسی پایه ششم ابتدایی بر اساس طبقه‌بندی تجدیدنظرشده بلوم و شناسایی سطح شناختی غالب در این تمرین‌ها است. این پژوهش با استفاده از طرح توصیفی کیفی و تحلیل محتوای کیفی انجام شده است. داده‌ها شامل ۵۰ واحد مستقل تمرین نوشتاری استخراج‌شده از کتاب درسی بودند. تمرین‌ها بر اساس شش سطح شناختی طبقه‌بندی تجدیدنظرشده بلوم شامل: یادآوری (C1)، درک (C2)، به‌کارگیری (C3)، تحلیل (C4)، ارزشیابی (C5) و خلق (C6) مورد تحلیل قرار گرفتند. یافته‌ها نشان می‌دهد که پنج سطح شناختی شامل C1، C2، C3، C4 و C6 در تمرین‌ها نمایان شده‌اند و سطح C5 شناسایی نشده است. سطح به‌کارگیری (C3) با ۳۵ تمرین (۷۰٪) سطح غالب بوده است، پس از آن سطح درک (C2) با ۷ تمرین (۱۴٪)، خلق (C6) با ۶ تمرین (۱۲٪) و یادآوری (C1) و تحلیل (C4) هر کدام با ۱ تمرین (۲٪) قرار دارند. به طور کلی، مهارت‌های تفکر سطوح پایین‌تر (C1-C3) ۸۶٪ از تمرین‌ها را تشکیل داده‌اند، در حالی که مهارت‌های تفکر سطوح بالاتر (C4-C6) ۱۴٪ را شامل می‌شوند. این یافته‌ها نشان می‌دهد که کتاب درسی عمدتاً بر به‌کارگیری دانش زبانی آموخته‌شده از طریق فعالیت‌های نوشتاری ساختاریافته تأکید دارد و فرصت‌های تحلیل، ارزشیابی و تولید خلاقانه گسترده محدود باقی مانده است. این پژوهش بر اهمیت توجه به توزیع متوازن‌تر سطوح شناختی در تمرین‌های نوشتاری زبان انگلیسی ابتدایی تأکید می‌کند.

This study aims to analyze the cognitive levels of reading exercises presented in the English textbook “Work in Progress” published by the Ministry of Education using the framework of Revised Bloom’s Taxonomy. This research employs a qualitative content analysis method to examine the distribution of cognitive processes reflected in the reading tasks. The data were collected from selected reading exercises in the textbook and categorized into six cognitive levels: remembering, understanding, applying, analyzing, evaluating, and creating. The findings indicate that the majority of reading exercises are dominated by lower-order thinking skills (LOTS), particularly at the levels of remembering and understanding. In contrast, higher-order thinking skills (HOTS), such as analyzing, evaluating, and creating, are less frequently represented. This imbalance suggests that the textbook has not fully supported the development of students’ critical thinking and analytical skills. Furthermore, this study emphasizes the importance of a more balanced distribution of cognitive levels in reading exercises to enhance students’ comprehension and higher-level thinking abilities. The results are expected to provide valuable insights for textbook developers, teachers, and curriculum designers in improving the quality of instructional materials. In conclusion, integrating a broader range of cognitive processes in reading exercises is essential to foster students’ active engagement and critical literacy development.

هدف این پژوهش تحلیل سطوح شناختی تمرین‌های خواندن ارائه‌شده در کتاب درسی زبان انگلیسی «Work in Progress» منتشر شده توسط وزارت آموزش و پرورش با استفاده از چارچوب طبقه‌بندی بازنگری‌شده بلوم است. این پژوهش با بهره‌گیری از روش تحلیل محتوای کیفی، به بررسی توزیع فرایندهای شناختی منعکس‌شده در فعالیت‌های خواندن می‌پردازد. داده‌ها از تمرین‌های منتخب خواندن در کتاب جمع‌آوری و در شش سطح شناختی شامل: به‌خاطر سپردن، درک کردن، به‌کار بردن، تحلیل کردن، ارزیابی کردن و خلق کردن طبقه‌بندی شدند. یافته‌ها نشان می‌دهد که اکثریت تمرین‌های خواندن تحت سلطه مهارت‌های تفکر سطوح پایین‌تر (LOTS) به‌ویژه در سطوح به‌خاطر سپردن و درک کردن هستند. در مقابل، مهارت‌های تفکر سطوح بالاتر (HOTS) مانند تحلیل کردن، ارزیابی کردن و خلق کردن کمتر نمایان شده‌اند. این عدم توازن حاکی از آن است که کتاب درسی به طور کامل از توسعه مهارت‌های تفکر انتقادی و تحلیلی دانش‌آموزان حمایت نکرده است. افزون بر این، این پژوهش بر اهمیت توزیع متوازن‌تر سطوح شناختی در تمرین‌های خواندن به منظور ارتقای درک مطلب و توانایی‌های تفکر سطح بالای دانش‌آموزان تأکید می‌کند. انتظار می‌رود نتایج این پژوهش بینش‌های ارزشمندی برای تدوین‌کنندگان کتاب‌های درسی، معلمان و طراحان برنامه درسی در جهت بهبود کیفیت مواد آموزشی فراهم آورد. در نهایت، ادغام دامنه وسیع‌تری از فرایندهای شناختی در تمرین‌های خواندن برای تقویت مشارکت فعال و توسعه سواد انتقادی دانش‌آموزان ضروری است.

Foundational basic science courses in early health sciences curricula are characterized by high conceptual density, complex disciplinary content, and large student enrollments. In this demanding environment, students frequently rely on superficial rote memorization rather than deep conceptual understanding, compromising the overarching curricular goal of establishing robust scientific foundations for subsequent clinical training. The pedagogical strategy implemented in this study consisted of an instructional framework combining weekly curated short instructional videos with asynchronous, incentivized online formative quizzes, designed to provide students with opportunities to identify conceptual gaps and perform active retrieval practice. Utilizing a multi-campus, observational quasi-experimental design across two consecutive cohorts of first-year dental students ( N = 771), the association between active quiz completion (Responders) and raw summative examination performance was analyzed. Active participation in the strategy was significantly and positively associated with raw summative examination scores across all evaluation periods (Cohen's d = 0.37–0.77), with continuous milestone completion accounting for 14.1% of the total variance in overall semester performance ( η 2 = 0.1409). Additionally, a concept-matched anchor-question design aligned with Bloom's revised taxonomy was implemented ( N = 412) to explore whether active participation was associated with item-level performance on higher-order questions, operationalized into categorical response profiles (Null, Basic, and Deep). Although small effect sizes were observed (Cramer's V = 0.10–0.11), item-level response profile distributions between Responders and Non-responders did not reach statistical significance following False Discovery Rate adjustment ( p adj >.25). The instructional design described here provides an adaptable, operationally scalable formative framework for large-enrollment health science courses. Prospective and longitudinal studies will be valuable to further investigate the relationship between continuous formative scaffolding and both long-term knowledge retention and higher-order analytical performance.

دروس علوم پایه بنیادین در اوایل برنامه‌های درسی علوم سلامت با تراکم مفهومی بالا، محتوای پیچیده رشته‌ای و تعداد زیاد دانشجویان مشخص می‌شوند. در این محیط پر‌چالش، دانشجویان اغلب به حفظیات سطحی تکیه می‌کنند تا درک عمیق مفهومی، که این امر هدف کلی برنامه درسی مبنی بر ایجاد بنیان‌های علمی قوی برای آموزش بالینی بعدی را به خطر می‌اندازد. راهبرد آموزشی به‌کاررفته در این پژوهش شامل چارچوبی آموزشی بود که ویدئوهای آموزشی کوتاه هفتگی گزینش‌شده را با آزمون‌های تکوینی آنلاین غیرهمزمان و مشوق‌دار ترکیب می‌کرد تا فرصت‌هایی برای شناسایی خلأهای مفهومی و تمرین بازیابی فعال برای دانشجویان فراهم آورد. با استفاده از طرح شبه‌آزمایشی مشاهده‌ای چند‌دانشگاهی در دو گروه متوالی از دانشجویان سال اول دندانپزشکی (N = 771)، ارتباط بین تکمیل فعال آزمون‌ها (پاسخ‌دهندگان) و عملکرد خام در آزمون‌های جمع‌بندی مورد تحلیل قرار گرفت. مشارکت فعال در این راهبرد به طور معنادار و مثبت با نمرات خام آزمون‌های جمع‌بندی در تمامی دوره‌های ارزیابی مرتبط بود (d کوهن = 0.37–0.77)، به‌طوری که تکمیل مستمر مراحل، ۱۴.۱٪ از واریانس کل عملکرد ترم را تبیین کرد (η۲ = 0.1409). علاوه بر این، طراحی سؤال لنگر مفهومی منطبق با طبقه‌بندی بازنگری‌شده بلوم (N = 412) به کار گرفته شد تا بررسی شود که آیا مشارکت فعال با عملکرد در سطح آیتم در سؤالات سطوح بالاتر، که به پروفایل‌های پاسخ‌دهی طبقه‌ای (Null، Basic و Deep) عملیاتی شده بود، مرتبط است یا خیر. اگرچه اندازه اثرات کوچک مشاهده شد (V کرامر = 0.10–0.11)، توزیع پروفایل‌های پاسخ‌دهی در سطح آیتم بین پاسخ‌دهندگان و غیرپاسخ‌دهندگان پس از اصلاح نرخ کشف کاذب از نظر آماری معنادار نشد (p adj >.25). طراحی آموزشی توصیف‌شده در اینجا، چارچوب تکوینی قابل تطبیق و مقیاس‌پذیری عملیاتی برای دروس علوم سلامت با ثبت‌نام بالا فراهم می‌کند. مطالعات آینده‌نگر و طولی برای بررسی بیشتر رابطه بین پشتیبانی تکوینی مستمر و هر دو نگهداری دانش بلندمدت و عملکرد تحلیلی سطوح بالاتر ارزشمند خواهند بود.