Large language models (LLMs) are increasingly used in dental education, but research has focused mainly on answer accuracy. Whether LLMs can identify the cognitive demand of examination items remains unclear. This study evaluated LLM classification fidelity for endodontic multiple-choice questions (MCQs) across three educational taxonomies and compared four publicly accessible models. Two hundred endodontic MCQs from the Turkish Dentistry Specialty Examination (DUS, 2012–2025) were classified by ChatGPT, Gemini, Kimi, and DeepSeek according to Revised Bloom’s Taxonomy, the SOLO Taxonomy, and Miller’s Pyramid. A three-layer expert consensus procedure comprising calibration training, procedural audit, and structured joint deliberation established the expert consensus reference standard. Agreement was assessed using weighted Cohen’s kappa (κw) with bootstrap 95% confidence intervals; classification performance was evaluated using accuracy and macro-averaged F1. Inter-model differences in item-level accuracy were tested using Cochran’s Q with Kendall’s W, followed by Holm–Bonferroni-corrected pairwise McNemar tests. For Revised Bloom’s Taxonomy, Gemini (κw=0.676) and DeepSeek (κw=0.667) achieved substantial agreement, while Kimi (κw=0.428) and ChatGPT (κw=0.365) performed lower. For SOLO, Gemini achieved substantial agreement (κw=0.622), while the remaining models showed moderate agreement. For Miller’s Pyramid, agreement did not exceed fair, with ChatGPT highest (κw=0.372). Inter-model differences were significant for all three taxonomies (all p<0.001). ChatGPT ranked lowest for Revised Bloom and SOLO but highest for Miller. Revised Bloom levels of expert consensus reference standard increased significantly across examination years (Spearman ρ=0.301, p<0.001). LLMs showed meaningful classification fidelity for Revised Bloom and SOLO taxonomies, particularly Gemini and DeepSeek, but performance for Miller’s Pyramid remained weak. Bloom, SOLO, and Miller should not be treated as interchangeable frameworks, and LLM selection should be tailored to the taxonomy and assessment purpose. Answer accuracy and taxonomy classification fidelity represent distinct capabilities that warrant independent evaluation.
This study aims to analyze the integration between the cognitive process dimensions of Revised Bloom's Taxonomy and the structural complexity of the SOLO Taxonomy in questions constructed by pre-service biology teachers, as well as its correlation with students' cognitive learning outcomes. A descriptive-quantitative approach with co-relational analysis was employed, evaluating a total sample of 420 question sentences generated by students during their field teaching program (PPL). Data collection was conducted using double-coding observation rubrics and statistically processed via Spearman’s rho non-parametric correlation test. The results indicated a stark gradation phenomenon, with question distribution heavily accumulating within lower-order thinking skills (LOTS), predominantly spanning the Remembering (C1) and Understanding (C2) levels with Unistructural and Multistructural reasoning profiles. Conversely, higher-order thinking skills (HOTS) were strictly concentrated at the Analyzing (C4) and Evaluating (C5) levels, aligning with Relational and Extended Abstract structures. Statistical analysis revealed a positive and significant correlation coefficient (p = 0.707, p < 0.001), indicating a very strong linear relationship where higher cognitive demands inherently correspond to greater structural reasoning maturity. In conclusion, while pre-service teachers possess a solid foundation in factual knowledge, their capacity to formulate higher-order questions remains limited. Therefore, transforming classroom communication through constructivist learning strategies and gradual conceptual scaffolding is highly recommended to foster integrative thinking and bridge the cognitive transition toward deep conceptual understanding.
This study aims to determine the implementation of the use of the Daily Journal Book 7 Habits of Great Indonesian Children, the formation of Islamic character of grade 5B students of SD Quran Terpadu Nurul Islam Karawang, as well as supporting and inhibiting factors in its implementation. The study used a qualitative approach with a descriptive method. Data collection techniques were carried out through observation, semi-structured interviews, and documentation, with research subjects consisting of the principal, homeroom teacher 5B, and grade 5B students. Data analysis was carried out through data reduction, data presentation, and drawing conclusions, while the validity of the data was tested using triangulation. The results of the study indicate that the implementation of the Daily Journal Book 7 Habits of Great Indonesian Children is carried out through habits that are integrated with school culture and students' daily activities. This program contributes to the formation of Islamic character in the form of piety, responsibility, trustworthiness, ukhuwah, istiqomah, and patience. Based on the analysis of Bloom's Taxonomy of the affective domain, student character development takes place through the stages of accepting, responding, appreciating, organizing values, and making values part of personality. Supporting factors for the program include school support, teacher involvement, parental involvement, a conducive environment, and student motivation. While inhibiting factors include lack of student consistency, boredom, limited parental guidance, the influence of technology, and differences in student character. Therefore, the use of the 7 Habits of Great Indonesian Children Daily Journal effectively supports the formation of Islamic character in students through a continuous process of habituation.
این پژوهش با هدف تعیین نحوه اجرای استفاده از دفترچه روزانه هفت عادت کودکان بزرگ اندونزیایی، شکلگیری شخصیت اسلامی دانشآموزان پایه ۵B دبستان قرآنمحور نورالاسلام کاراوانگ و همچنین عوامل حمایتکننده و بازدارنده در اجرای آن انجام شده است. این پژوهش با رویکرد کیفی و روش توصیفی انجام شده است. دادهها از طریق مشاهده، مصاحبه نیمهساختاریافته و مستندسازی گردآوری شدهاند و شرکتکنندگان پژوهش شامل مدیر مدرسه، معلم راهنمای کلاس ۵B و دانشآموزان پایه ۵B بودهاند. تحلیل دادهها از طریق کاهش داده، ارائه داده و نتیجهگیری صورت گرفته و روایی دادهها با استفاده از مثلثسازی مورد بررسی قرار گرفته است. نتایج پژوهش نشان میدهد که اجرای دفترچه روزانه هفت عادت کودکان بزرگ اندونزیایی از طریق عادتهایی که با فرهنگ مدرسه و فعالیتهای روزانه دانشآموزان ادغام شدهاند، انجام میشود. این برنامه در شکلگیری شخصیت اسلامی به صورت تقوا، مسئولیتپذیری، امانتداری، اخوت، استقامت و صبر نقش دارد. بر اساس تحلیل طبقهبندی بلوم در حوزه عاطفی، رشد شخصیت دانشآموزان از مراحل پذیرش، پاسخدهی، ارزشگذاری، سازماندهی ارزشها و درونیسازی ارزشها در شخصیت فردی عبور میکند. عوامل حمایتکننده برنامه شامل حمایت مدرسه، مشارکت معلمان، مشارکت والدین، محیط مناسب و انگیزه دانشآموزان است. عوامل بازدارنده نیز شامل عدم ثبات دانشآموزان، احساس کسالت، محدودیت راهنمایی والدین، تأثیر فناوری و تفاوتهای شخصیتی دانشآموزان میباشد. بنابراین، استفاده از دفترچه روزانه هفت عادت کودکان بزرگ اندونزیایی به طور مؤثری از طریق فرایند مستمر عادتسازی به شکلگیری شخصیت اسلامی دانشآموزان کمک میکند.
This study aims to analyze the cognitive levels represented in the writing exercises of Basic English for Elementary School Grade VI based on Revised Bloom’s Taxonomy and to identify the dominant cognitive level represented in the exercises. This study employed a qualitative descriptive design using qualitative content analysis. The data consisted of 50 independent writing-exercise units identified from the textbook. The exercises were analyzed based on the six cognitive levels of Revised Bloom’s Taxonomy: Remembering (C1), Understanding (C2), Applying (C3), Analyzing (C4), Evaluating (C5), and Creating (C6). The findings show that five cognitive levels were represented: C1, C2, C3, C4, and C6, while C5 was not identified. Applying (C3) was the dominant cognitive level, accounting for 35 exercises (70%), followed by Understanding (C2) with 7 exercises (14%), Creating (C6) with 6 exercises (12%), and Remembering (C1) and Analyzing (C4) with 1 exercise each (2%). Overall, lower-order thinking skills (C1-C3) accounted for 86% of the exercises, whereas higher-order thinking skills (C4-C6) accounted for 14%. These findings indicate that the textbook predominantly emphasizes the application of previously learned language knowledge through structured writing activities, while opportunities for analysis, evaluation, and extended creative production remain limited. The study highlights the importance of considering a more balanced distribution of cognitive levels in elementary English writing exercises.
هدف این پژوهش تحلیل سطوح شناختی نمایانشده در تمرینهای نوشتاری کتاب درسی زبان انگلیسی پایه ششم ابتدایی بر اساس طبقهبندی تجدیدنظرشده بلوم و شناسایی سطح شناختی غالب در این تمرینها است. این پژوهش با استفاده از طرح توصیفی کیفی و تحلیل محتوای کیفی انجام شده است. دادهها شامل ۵۰ واحد مستقل تمرین نوشتاری استخراجشده از کتاب درسی بودند. تمرینها بر اساس شش سطح شناختی طبقهبندی تجدیدنظرشده بلوم شامل: یادآوری (C1)، درک (C2)، بهکارگیری (C3)، تحلیل (C4)، ارزشیابی (C5) و خلق (C6) مورد تحلیل قرار گرفتند. یافتهها نشان میدهد که پنج سطح شناختی شامل C1، C2، C3، C4 و C6 در تمرینها نمایان شدهاند و سطح C5 شناسایی نشده است. سطح بهکارگیری (C3) با ۳۵ تمرین (۷۰٪) سطح غالب بوده است، پس از آن سطح درک (C2) با ۷ تمرین (۱۴٪)، خلق (C6) با ۶ تمرین (۱۲٪) و یادآوری (C1) و تحلیل (C4) هر کدام با ۱ تمرین (۲٪) قرار دارند. به طور کلی، مهارتهای تفکر سطوح پایینتر (C1-C3) ۸۶٪ از تمرینها را تشکیل دادهاند، در حالی که مهارتهای تفکر سطوح بالاتر (C4-C6) ۱۴٪ را شامل میشوند. این یافتهها نشان میدهد که کتاب درسی عمدتاً بر بهکارگیری دانش زبانی آموختهشده از طریق فعالیتهای نوشتاری ساختاریافته تأکید دارد و فرصتهای تحلیل، ارزشیابی و تولید خلاقانه گسترده محدود باقی مانده است. این پژوهش بر اهمیت توجه به توزیع متوازنتر سطوح شناختی در تمرینهای نوشتاری زبان انگلیسی ابتدایی تأکید میکند.
This study aims to analyze the cognitive levels of reading exercises presented in the English textbook “Work in Progress” published by the Ministry of Education using the framework of Revised Bloom’s Taxonomy. This research employs a qualitative content analysis method to examine the distribution of cognitive processes reflected in the reading tasks. The data were collected from selected reading exercises in the textbook and categorized into six cognitive levels: remembering, understanding, applying, analyzing, evaluating, and creating. The findings indicate that the majority of reading exercises are dominated by lower-order thinking skills (LOTS), particularly at the levels of remembering and understanding. In contrast, higher-order thinking skills (HOTS), such as analyzing, evaluating, and creating, are less frequently represented. This imbalance suggests that the textbook has not fully supported the development of students’ critical thinking and analytical skills. Furthermore, this study emphasizes the importance of a more balanced distribution of cognitive levels in reading exercises to enhance students’ comprehension and higher-level thinking abilities. The results are expected to provide valuable insights for textbook developers, teachers, and curriculum designers in improving the quality of instructional materials. In conclusion, integrating a broader range of cognitive processes in reading exercises is essential to foster students’ active engagement and critical literacy development.
هدف این پژوهش تحلیل سطوح شناختی تمرینهای خواندن ارائهشده در کتاب درسی زبان انگلیسی «Work in Progress» منتشر شده توسط وزارت آموزش و پرورش با استفاده از چارچوب طبقهبندی بازنگریشده بلوم است. این پژوهش با بهرهگیری از روش تحلیل محتوای کیفی، به بررسی توزیع فرایندهای شناختی منعکسشده در فعالیتهای خواندن میپردازد. دادهها از تمرینهای منتخب خواندن در کتاب جمعآوری و در شش سطح شناختی شامل: بهخاطر سپردن، درک کردن، بهکار بردن، تحلیل کردن، ارزیابی کردن و خلق کردن طبقهبندی شدند. یافتهها نشان میدهد که اکثریت تمرینهای خواندن تحت سلطه مهارتهای تفکر سطوح پایینتر (LOTS) بهویژه در سطوح بهخاطر سپردن و درک کردن هستند. در مقابل، مهارتهای تفکر سطوح بالاتر (HOTS) مانند تحلیل کردن، ارزیابی کردن و خلق کردن کمتر نمایان شدهاند. این عدم توازن حاکی از آن است که کتاب درسی به طور کامل از توسعه مهارتهای تفکر انتقادی و تحلیلی دانشآموزان حمایت نکرده است. افزون بر این، این پژوهش بر اهمیت توزیع متوازنتر سطوح شناختی در تمرینهای خواندن به منظور ارتقای درک مطلب و تواناییهای تفکر سطح بالای دانشآموزان تأکید میکند. انتظار میرود نتایج این پژوهش بینشهای ارزشمندی برای تدوینکنندگان کتابهای درسی، معلمان و طراحان برنامه درسی در جهت بهبود کیفیت مواد آموزشی فراهم آورد. در نهایت، ادغام دامنه وسیعتری از فرایندهای شناختی در تمرینهای خواندن برای تقویت مشارکت فعال و توسعه سواد انتقادی دانشآموزان ضروری است.
The study analysed the quality and cognitive complexity of Financial Accounting questions in the WASSCE from 2014 to 2024 using a descriptive quantitative approach. A total of 837 questions (550 multiple-choice and 287 essay items) were assessed based on Etsey’s [ 1 ] item-writing standards and Revised Bloom’s Taxonomy. Descriptive statistics were employed to summarise the prevalence of item-writing flaws and cognitive levels. Findings revealed that 57% of multiple-choice items violated item-writing principles, with common flaws including ambiguous stems, inconsistent option sequences, and unequal option lengths. Analysis of cognitive demand showed that lower-order skills dominated the examination, while higher-order skills were severely underrepresented. This imbalance suggests that students’ abilities to analyse, evaluate, and create accounting information are insufficiently assessed. The study recommends that WAEC prioritise examiner training, implement rigorous moderation, and ensure future examination papers reflect a more balanced distribution of cognitive skills to enhance assessment validity and better prepare students for professional accounting challenges.
این پژوهش با رویکرد توصیفی-کمی به تحلیل کیفیت و پیچیدگی شناختی سؤالات حسابداری مالی در آزمون WASSCE از سال ۲۰۱۴ تا ۲۰۲۴ پرداخت. مجموعاً ۸۳۷ سؤال (۵۵۰ سؤال چندگزینهای و ۲۸۷ سؤال تشریحی) بر اساس استانداردهای نگارش سؤال Etsey و طبقهبندی بازنگریشده بلوم مورد ارزیابی قرار گرفتند. برای خلاصهسازی شیوع خطاهای نگارش سؤال و سطوح شناختی از آمار توصیفی استفاده شد. یافتهها نشان داد که ۵۷٪ از سؤالات چندگزینهای اصول نگارش سؤال را نقض کردهاند و رایجترین خطاها شامل ابهام در صورت سؤال، ترتیب نامنسجم گزینهها و طول نابرابر گزینهها بوده است. تحلیل تقاضای شناختی نشان داد که مهارتهای سطوح پایینتر بر آزمون غالب بوده و مهارتهای سطوح بالاتر بهشدت کمتر نمایان شدهاند. این عدم توازن حاکی از آن است که توانایی دانشآموزان در تحلیل، ارزیابی و خلق اطلاعات حسابداری بهطور کافی مورد سنجش قرار نمیگیرد. پژوهش توصیه میکند که WAEC آموزش ممتحنان را در اولویت قرار دهد، تعدیلگری دقیق را اجرا کند و اطمینان حاصل کند که آزمونهای آتی توزیع متوازنتری از مهارتهای شناختی را منعکس میکنند تا روایی ارزیابی ارتقا یافته و دانشآموزان برای چالشهای حرفهای حسابداری بهتر آماده شوند.
The Malaysia Education Blueprint 2013-2025 requires assessment of Higher-Order Thinking Skills (HOTS). The objective of this study is to develop and validate an assessment instrument measuring both HOTS and Mathematical Thinking (MT) skills in Malaysian Form 4 students studying quadratic functions, according to KSSM standards. The development of the assessment instrument began with (1) theoretical alignment between Bloom’s Taxonomy and Mason’s MT; (2) development of items based on KSSM content standards; (3) expert validation by five Malaysian mathematics education specialists using the Content Validity Index (CVI); and (4) pilot testing with 20 Form 4 students from Johor schools. Expert validation yielded excellent content validity with I-CVI scores ranging from 0.80 to 1.00. Pilot testing demonstrated high internal consistency, with Cronbach's alpha values of 0.89 for HOTS and 0.87 for MT. The final instrument comprises three parts: Calculator Proficiency (5 items), HOTS Assessment (4 items), and MT Assessment (4 items), with scoring rubrics aligned to KSSM standards. This study presents the first systematically validated instrument integrating Bloom's Taxonomy and Mason's MT framework for Malaysian Form 4 students studying quadratic functions. The validated tool equips teachers with reliable resources to assess advanced thinking, supports evidence-based instructional decisions, and contributes to national educational initiatives.
سند تحول آموزش و پرورش مالزی ۲۰۱۳-۲۰۲۵ بر ارزیابی مهارتهای تفکر سطح بالای ریاضی (HOTS) تأکید دارد. هدف این پژوهش، تدوین و رواییسنجی ابزاری برای سنجش همزمان مهارتهای HOTS و تفکر ریاضی (MT) در دانشآموزان پایه چهارم متوسطه مالزی در مبحث توابع درجه دوم بر اساس استانداردهای KSSM است. فرایند تدوین ابزار سنجش شامل: (۱) همسویی نظری میان طبقهبندی بلوم و چارچوب MT میسون؛ (۲) طراحی سؤالها بر اساس استانداردهای محتوایی KSSM؛ (۳) رواییسنجی توسط پنج متخصص آموزش ریاضی مالزیایی با استفاده از شاخص روایی محتوا (CVI)؛ و (۴) اجرای آزمایشی ابزار بر روی ۲۰ دانشآموز پایه چهارم از مدارس ایالت جوهور بود. رواییسنجی متخصصان، روایی محتوایی عالی با مقادیر I-CVI بین ۰.۸۰ تا ۱.۰۰ را نشان داد. آزمون آزمایشی نیز پایایی درونی بالایی را با مقادیر آلفای کرونباخ ۰.۸۹ برای HOTS و ۰.۸۷ برای MT نشان داد. ابزار نهایی شامل سه بخش است: مهارت استفاده از ماشین حساب (۵ سؤال)، سنجش HOTS (۴ سؤال) و سنجش MT (۴ سؤال) که دستورالعمل نمرهدهی آنها با استانداردهای KSSM همسو است. این پژوهش نخستین ابزار رواییسنجیشده را که به طور نظاممند طبقهبندی بلوم و چارچوب MT میسون را برای دانشآموزان پایه چهارم متوسطه مالزی در مبحث توابع درجه دوم ادغام میکند، ارائه میدهد. ابزار رواییسنجیشده، منابع قابل اعتمادی را برای معلمان جهت ارزیابی تفکر پیشرفته فراهم میکند، از تصمیمگیری آموزشی مبتنی بر شواهد حمایت میکند و به ابتکارات آموزشی ملی کمک مینماید.
When students provide unintended responses to cognitively demanding questions, science teachers may face a challenge of how to sustain the cognitive trajectory of the interaction without reverting to an authoritative stance. In this qualitative single case study, we examined the discursive moves employed by three experienced Life Sciences secondary school teachers in South Africa when students provided unintended responses to questions pitched at higher levels of the revised Bloom’s taxonomy. Drawing on video recordings of eight lessons, 12 interaction episodes were identified and analysed using an integrated framework comprising the Initiation–Response–Feedback pattern, the revised Bloom’s taxonomy and Hardman’s student talk move categories. Three categories of teacher discursive moves were inductively derived: pressing moves, escalating moves and interaction-regulating moves. One move, elaborating, was categorised as ‘other’. These moves were used by the teachers to sustain the interaction. However, we also found a recurring pattern where the teachers bypassed student-generated questions in favour of the teacher’s original line of inquiry. Interaction-regulating moves played an important role in opening, sustaining and closing interaction episodes. The findings highlight the need for teacher education to support teachers not only in maintaining cognitive demand during classroom interaction, but also in creating opportunities for deeper conceptual exploration through student contributions.
زمانی که دانشآموزان به پرسشهای با تقاضای شناختی بالا پاسخهای ناخواسته ارائه میدهند، معلمان علوم ممکن است با چالشی مواجه شوند که چگونه مسیر شناختی تعامل را بدون بازگشت به موضع اقتدارگرایانه حفظ کنند. در این مطالعه کیفی موردی منفرد، حرکات گفتمانی بهکاررفته توسط سه معلم باتجربه علوم زیستی در مدارس متوسطه آفریقای جنوبی زمانی که دانشآموزان به پرسشهایی در سطوح بالاتر طبقهبندی بازنگریشده بلوم پاسخهای ناخواسته ارائه دادند، مورد بررسی قرار گرفت. با استفاده از ضبط ویدئویی هشت جلسه درس، ۱۲ اپیزود تعاملی شناسایی و با بهرهگیری از چارچوبی تلفیقی شامل الگوی آغاز–پاسخ–بازخورد، طبقهبندی بازنگریشده بلوم و دستهبندی حرکات گفتاری دانشآموزان هاردمن تحلیل شدند. سه دسته از حرکات گفتمانی معلمان بهصورت استقرایی استخراج شد: حرکات فشارآور، حرکات تصاعدی و حرکات تنظیمکننده تعامل. یک حرکت، یعنی بسطدهی، در دسته «سایر» قرار گرفت. این حرکات توسط معلمان برای حفظ تعامل بهکار گرفته شد. با این حال، الگوی تکرارشوندهای نیز مشاهده شد که در آن معلمان از پرسشهای تولیدشده توسط دانشآموزان عبور کرده و خط سیر اصلی پرسشگری معلم را دنبال کردند. حرکات تنظیمکننده تعامل نقش مهمی در آغاز، حفظ و پایانبخشی به اپیزودهای تعاملی ایفا کردند. یافتهها بر ضرورت آموزش معلمان برای حمایت از آنان نهتنها در حفظ تقاضای شناختی در تعاملات کلاسی، بلکه در ایجاد فرصتهایی برای کاوش مفهومی عمیقتر از طریق مشارکت دانشآموزان تأکید میکند.
