Large language models (LLMs) are increasingly used in dental education, but research has focused mainly on answer accuracy. Whether LLMs can identify the cognitive demand of examination items remains unclear. This study evaluated LLM classification fidelity for endodontic multiple-choice questions (MCQs) across three educational taxonomies and compared four publicly accessible models. Two hundred endodontic MCQs from the Turkish Dentistry Specialty Examination (DUS, 2012–2025) were classified by ChatGPT, Gemini, Kimi, and DeepSeek according to Revised Bloom’s Taxonomy, the SOLO Taxonomy, and Miller’s Pyramid. A three-layer expert consensus procedure comprising calibration training, procedural audit, and structured joint deliberation established the expert consensus reference standard. Agreement was assessed using weighted Cohen’s kappa (κw) with bootstrap 95% confidence intervals; classification performance was evaluated using accuracy and macro-averaged F1. Inter-model differences in item-level accuracy were tested using Cochran’s Q with Kendall’s W, followed by Holm–Bonferroni-corrected pairwise McNemar tests. For Revised Bloom’s Taxonomy, Gemini (κw=0.676) and DeepSeek (κw=0.667) achieved substantial agreement, while Kimi (κw=0.428) and ChatGPT (κw=0.365) performed lower. For SOLO, Gemini achieved substantial agreement (κw=0.622), while the remaining models showed moderate agreement. For Miller’s Pyramid, agreement did not exceed fair, with ChatGPT highest (κw=0.372). Inter-model differences were significant for all three taxonomies (all p<0.001). ChatGPT ranked lowest for Revised Bloom and SOLO but highest for Miller. Revised Bloom levels of expert consensus reference standard increased significantly across examination years (Spearman ρ=0.301, p<0.001). LLMs showed meaningful classification fidelity for Revised Bloom and SOLO taxonomies, particularly Gemini and DeepSeek, but performance for Miller’s Pyramid remained weak. Bloom, SOLO, and Miller should not be treated as interchangeable frameworks, and LLM selection should be tailored to the taxonomy and assessment purpose. Answer accuracy and taxonomy classification fidelity represent distinct capabilities that warrant independent evaluation.
This study aims to analyze the integration between the cognitive process dimensions of Revised Bloom's Taxonomy and the structural complexity of the SOLO Taxonomy in questions constructed by pre-service biology teachers, as well as its correlation with students' cognitive learning outcomes. A descriptive-quantitative approach with co-relational analysis was employed, evaluating a total sample of 420 question sentences generated by students during their field teaching program (PPL). Data collection was conducted using double-coding observation rubrics and statistically processed via Spearman’s rho non-parametric correlation test. The results indicated a stark gradation phenomenon, with question distribution heavily accumulating within lower-order thinking skills (LOTS), predominantly spanning the Remembering (C1) and Understanding (C2) levels with Unistructural and Multistructural reasoning profiles. Conversely, higher-order thinking skills (HOTS) were strictly concentrated at the Analyzing (C4) and Evaluating (C5) levels, aligning with Relational and Extended Abstract structures. Statistical analysis revealed a positive and significant correlation coefficient (p = 0.707, p < 0.001), indicating a very strong linear relationship where higher cognitive demands inherently correspond to greater structural reasoning maturity. In conclusion, while pre-service teachers possess a solid foundation in factual knowledge, their capacity to formulate higher-order questions remains limited. Therefore, transforming classroom communication through constructivist learning strategies and gradual conceptual scaffolding is highly recommended to foster integrative thinking and bridge the cognitive transition toward deep conceptual understanding.
In Ireland and internationally, problem-solving is central to post-primary mathematics curricula. Enacting problem-solving in the classroom is challenging: it requires teachers to select or create problems appropriate to their students and the intended (mathematical thinking) learning outcomes. Despite the centrality of problem-solving in curricula in Ireland, post-primary students score higher in procedural tasks than problem-solving in the international assessments. Coinciding with this, in Ireland there is a reliance on textbooks with many tasks requiring low levels of cognitive demands. Combining these findings, there is an onus on teachers to be able to pose mathematical problems to expose students to problem-solving opportunities. This study investigates the problem posing capacities of two cohorts of pre-service post-primary mathematics teachers (PSMTs) in an Irish university. The participants were undertaking a module focused on mathematical problem-solving, with a focus on its teaching. PSMTs undertook activities in which they constructed new problems, constructed extension tasks to problems they had worked on themselves, and reformulated other mathematical tasks as problems. Each task generated by the PSMTs was classified against meeting the criteria of being a mathematical problem. Those which did not (non-problem tasks) were categorised using an inductive approach. Findings show that the pre-service teachers found it challenging to pose problems with the majority of tasks classified as unsolvable or procedural. The analysis revealed gaps in the PSMTs’ mathematical content knowledge and their capacity for writing mathematics. The findings suggest that PSMTs’ capacities in posing mathematical problems needs to be developed to enhance learners’ experiences of problem-solving in post-primary classrooms.
در ایرلند و در سطح بینالمللی، حل مسئله محور اصلی برنامههای درسی ریاضی دوره متوسطه است. اجرای حل مسئله در کلاس درس چالشبرانگیز است؛ زیرا معلمان باید مسائلی متناسب با دانشآموزان و اهداف یادگیری (تفکر ریاضی) مورد نظر انتخاب یا ایجاد کنند. با وجود اهمیت حل مسئله در برنامههای درسی ایرلند، دانشآموزان دوره متوسطه در ارزیابیهای بینالمللی در وظایف رویهای نمرات بالاتری نسبت به حل مسئله کسب میکنند. همزمان با این موضوع، در ایرلند اتکای زیادی به کتابهای درسی وجود دارد که بسیاری از وظایف آنها نیازمند سطوح پایین تقاضاهای شناختی است. با ترکیب این یافتهها، مسئولیت معلمان است که بتوانند مسائل ریاضی را مطرح کنند تا فرصتهایی برای حل مسئله در اختیار دانشآموزان قرار دهند. این مطالعه به بررسی تواناییهای مسئلهسازی دو گروه از معلمان ریاضی پیشخدمت دوره متوسطه (PSMTs) در یک دانشگاه ایرلندی میپردازد. شرکتکنندگان در حال گذراندن یک واحد درسی با محوریت حل مسئله ریاضی و تمرکز بر آموزش آن بودند. معلمان پیشخدمت در فعالیتهایی شرکت کردند که در آنها مسائل جدیدی ساختند، وظایف گسترشیافتهای برای مسائلی که خودشان روی آنها کار کرده بودند ایجاد کردند و سایر وظایف ریاضی را به صورت مسئله بازنویسی کردند. هر وظیفهای که توسط معلمان پیشخدمت تولید شد، بر اساس معیارهای یک مسئله ریاضی طبقهبندی شد. وظایفی که این معیارها را نداشتند (وظایف غیرمسئلهای) با رویکرد استقرایی دستهبندی شدند. یافتهها نشان میدهد که معلمان پیشخدمت در مسئلهسازی با چالش مواجه بودند و اکثریت وظایف به عنوان غیرقابل حل یا رویهای طبقهبندی شدند. تحلیلها شکافهایی را در دانش محتوایی ریاضی و توانایی نگارش ریاضی معلمان پیشخدمت آشکار ساخت. یافتهها نشان میدهد که تواناییهای معلمان پیشخدمت در مسئلهسازی ریاضی نیازمند توسعه است تا تجربههای یادگیرندگان در حل مسئله در کلاسهای دوره متوسطه بهبود یابد.
The study analysed the quality and cognitive complexity of Financial Accounting questions in the WASSCE from 2014 to 2024 using a descriptive quantitative approach. A total of 837 questions (550 multiple-choice and 287 essay items) were assessed based on Etsey’s [ 1 ] item-writing standards and Revised Bloom’s Taxonomy. Descriptive statistics were employed to summarise the prevalence of item-writing flaws and cognitive levels. Findings revealed that 57% of multiple-choice items violated item-writing principles, with common flaws including ambiguous stems, inconsistent option sequences, and unequal option lengths. Analysis of cognitive demand showed that lower-order skills dominated the examination, while higher-order skills were severely underrepresented. This imbalance suggests that students’ abilities to analyse, evaluate, and create accounting information are insufficiently assessed. The study recommends that WAEC prioritise examiner training, implement rigorous moderation, and ensure future examination papers reflect a more balanced distribution of cognitive skills to enhance assessment validity and better prepare students for professional accounting challenges.
این پژوهش با رویکرد توصیفی-کمی به تحلیل کیفیت و پیچیدگی شناختی سؤالات حسابداری مالی در آزمون WASSCE از سال ۲۰۱۴ تا ۲۰۲۴ پرداخت. مجموعاً ۸۳۷ سؤال (۵۵۰ سؤال چندگزینهای و ۲۸۷ سؤال تشریحی) بر اساس استانداردهای نگارش سؤال Etsey و طبقهبندی بازنگریشده بلوم مورد ارزیابی قرار گرفتند. برای خلاصهسازی شیوع خطاهای نگارش سؤال و سطوح شناختی از آمار توصیفی استفاده شد. یافتهها نشان داد که ۵۷٪ از سؤالات چندگزینهای اصول نگارش سؤال را نقض کردهاند و رایجترین خطاها شامل ابهام در صورت سؤال، ترتیب نامنسجم گزینهها و طول نابرابر گزینهها بوده است. تحلیل تقاضای شناختی نشان داد که مهارتهای سطوح پایینتر بر آزمون غالب بوده و مهارتهای سطوح بالاتر بهشدت کمتر نمایان شدهاند. این عدم توازن حاکی از آن است که توانایی دانشآموزان در تحلیل، ارزیابی و خلق اطلاعات حسابداری بهطور کافی مورد سنجش قرار نمیگیرد. پژوهش توصیه میکند که WAEC آموزش ممتحنان را در اولویت قرار دهد، تعدیلگری دقیق را اجرا کند و اطمینان حاصل کند که آزمونهای آتی توزیع متوازنتری از مهارتهای شناختی را منعکس میکنند تا روایی ارزیابی ارتقا یافته و دانشآموزان برای چالشهای حرفهای حسابداری بهتر آماده شوند.
This Hypothesis and Theory paper addresses a design problem at the center of AI-assisted research writing: which cognitive demands should AI reduce, and which must remain the writer’s own work. Generative AI can absorb the effort of drafting, organizing, and synthesizing prose, but that same effort is where understanding takes shape. Recent empirical work documents reduced neural engagement, weaker recall of one’s own writing, and a diminished sense of authorship among writers who rely heavily on AI assistance. The paper grounds this problem in cognitive load theory, which distinguishes intrinsic load (the element interactivity a task inherently requires) from extraneous load (demands that do not contribute to learning), and which treats germane processes as the working memory resources a writer allocates to intrinsic load. It draws on productive struggle and generative processing to explain why germane processing cannot be offloaded: when a tool performs the work, the processing does not transfer to the writer; it does not occur. Two research questions are posed. First, which cognitive demands in research writing constitute extraneous load that AI could reduce, and which require germane processing that must remain the writer’s own. Second, how can human-in-the-loop AI collaboration be designed across the phases of research writing so that this distinction is operationalized through human judgment? The contribution is a nine-phase conceptual framework mapped to the sections of a research paper, from curiosity and inquiry through references and submission. Each phase specifies the dominant cognitive demand, the AI role (ranging from minimal involvement to full collaboration), and design guidelines for tools and interactions. The framework addresses research writing from secondary school (grades 9–12) through postdoctoral and professional research, across disciplines. It treats phase-aware AI use as responsive pedagogy applied to research writing: instruction and tool design that respond to the cognitive demands of the task rather than to the tool’s capabilities. The paper draws implications for the design of responsive digital education, including tool selection, assessment, equity, and support for writers with cognitive differences. The framework is intended to preserve the cognitive work that makes research meaningful.
این مقاله از نوع فرضیه و نظریه به یک مسئله طراحی در مرکز نگارش پژوهشی با کمک هوش مصنوعی میپردازد: کدام مطالبات شناختی باید توسط هوش مصنوعی کاهش یابد و کدام باید همچنان کار خود نویسنده باقی بماند. هوش مصنوعی مولد میتواند تلاش مربوط به پیشنویسنویسی، سازماندهی و ترکیب نثر را بر عهده گیرد، اما همین تلاش جایی است که فهم شکل میگیرد. پژوهشهای تجربی اخیر کاهش درگیری عصبی، یادآوری ضعیفتر نوشتههای خود و کاهش حس مالکیت نویسندگی را در میان نویسندگانی که به شدت به کمک هوش مصنوعی متکی هستند، مستند کردهاند. مقاله این مسئله را در نظریه بار شناختی ریشهیابی میکند که بار ذاتی (تعامل عناصر مورد نیاز ذاتی یک وظیفه) را از بار زائد (مطالباتی که به یادگیری کمک نمیکنند) متمایز میسازد و فرایندهای مرتبط را به عنوان منابع حافظه فعال که نویسنده به بار ذاتی اختصاص میدهد، تلقی میکند. مقاله با بهرهگیری از مفاهیم تلاش مولد و پردازش مولد توضیح میدهد که چرا پردازش مرتبط را نمیتوان واگذار کرد: زمانی که یک ابزار کار را انجام میدهد، پردازش به نویسنده منتقل نمیشود؛ بلکه اصلاً رخ نمیدهد. دو پرسش پژوهشی مطرح میشود. نخست، کدام مطالبات شناختی در نگارش پژوهشی بار زائد محسوب میشوند که هوش مصنوعی میتواند آن را کاهش دهد و کدام نیازمند پردازش مرتبط است که باید کار خود نویسنده باقی بماند. دوم، چگونه میتوان همکاری هوش مصنوعی با حضور انسان در حلقه را در مراحل مختلف نگارش پژوهشی به گونهای طراحی کرد که این تمایز از طریق قضاوت انسانی عملیاتی شود؟ دستاورد مقاله، یک چارچوب مفهومی نهمرحلهای است که با بخشهای یک مقاله پژوهشی، از کنجکاوی و پرسشگری تا منابع و ارسال، تطبیق یافته است. هر مرحله، مطالبه شناختی غالب، نقش هوش مصنوعی (از حداقل مداخله تا همکاری کامل) و راهنمای طراحی برای ابزارها و تعاملات را مشخص میکند. این چارچوب نگارش پژوهشی را از دبیرستان (پایههای ۹ تا ۱۲) تا پژوهشهای فوقدکتری و حرفهای، در رشتههای مختلف پوشش میدهد. استفاده مرحلهمحور از هوش مصنوعی را به عنوان آموزش پاسخگو در نگارش پژوهشی تلقی میکند: آموزش و طراحی ابزار که به مطالبات شناختی وظیفه پاسخ میدهد نه به قابلیتهای ابزار. مقاله پیامدهایی برای طراحی آموزش دیجیتال پاسخگو، از جمله انتخاب ابزار، ارزیابی، عدالت و حمایت از نویسندگان با تفاوتهای شناختی ارائه میدهد. هدف چارچوب، حفظ کار شناختی است که پژوهش را معنادار میکند.
When students provide unintended responses to cognitively demanding questions, science teachers may face a challenge of how to sustain the cognitive trajectory of the interaction without reverting to an authoritative stance. In this qualitative single case study, we examined the discursive moves employed by three experienced Life Sciences secondary school teachers in South Africa when students provided unintended responses to questions pitched at higher levels of the revised Bloom’s taxonomy. Drawing on video recordings of eight lessons, 12 interaction episodes were identified and analysed using an integrated framework comprising the Initiation–Response–Feedback pattern, the revised Bloom’s taxonomy and Hardman’s student talk move categories. Three categories of teacher discursive moves were inductively derived: pressing moves, escalating moves and interaction-regulating moves. One move, elaborating, was categorised as ‘other’. These moves were used by the teachers to sustain the interaction. However, we also found a recurring pattern where the teachers bypassed student-generated questions in favour of the teacher’s original line of inquiry. Interaction-regulating moves played an important role in opening, sustaining and closing interaction episodes. The findings highlight the need for teacher education to support teachers not only in maintaining cognitive demand during classroom interaction, but also in creating opportunities for deeper conceptual exploration through student contributions.
زمانی که دانشآموزان به پرسشهای با تقاضای شناختی بالا پاسخهای ناخواسته ارائه میدهند، معلمان علوم ممکن است با چالشی مواجه شوند که چگونه مسیر شناختی تعامل را بدون بازگشت به موضع اقتدارگرایانه حفظ کنند. در این مطالعه کیفی موردی منفرد، حرکات گفتمانی بهکاررفته توسط سه معلم باتجربه علوم زیستی در مدارس متوسطه آفریقای جنوبی زمانی که دانشآموزان به پرسشهایی در سطوح بالاتر طبقهبندی بازنگریشده بلوم پاسخهای ناخواسته ارائه دادند، مورد بررسی قرار گرفت. با استفاده از ضبط ویدئویی هشت جلسه درس، ۱۲ اپیزود تعاملی شناسایی و با بهرهگیری از چارچوبی تلفیقی شامل الگوی آغاز–پاسخ–بازخورد، طبقهبندی بازنگریشده بلوم و دستهبندی حرکات گفتاری دانشآموزان هاردمن تحلیل شدند. سه دسته از حرکات گفتمانی معلمان بهصورت استقرایی استخراج شد: حرکات فشارآور، حرکات تصاعدی و حرکات تنظیمکننده تعامل. یک حرکت، یعنی بسطدهی، در دسته «سایر» قرار گرفت. این حرکات توسط معلمان برای حفظ تعامل بهکار گرفته شد. با این حال، الگوی تکرارشوندهای نیز مشاهده شد که در آن معلمان از پرسشهای تولیدشده توسط دانشآموزان عبور کرده و خط سیر اصلی پرسشگری معلم را دنبال کردند. حرکات تنظیمکننده تعامل نقش مهمی در آغاز، حفظ و پایانبخشی به اپیزودهای تعاملی ایفا کردند. یافتهها بر ضرورت آموزش معلمان برای حمایت از آنان نهتنها در حفظ تقاضای شناختی در تعاملات کلاسی، بلکه در ایجاد فرصتهایی برای کاوش مفهومی عمیقتر از طریق مشارکت دانشآموزان تأکید میکند.
Poetry is persistently perceived as more difficult than narrative prose among ESL/EFL learners, yet whether this difficulty is intrinsic to the genre or structurally mediated remains undertheorised. This study examined whether Grade 8 ESL/EFL learners’ poetry difficulty may be associated with institutional–cognitive misalignment rather than inherent genre complexity. Employing a convergent mixed-methods case study design, eleven Grade 8 students from a private school in Kathmandu, Nepal, completed controlled genre comparison tasks using thematically identical poetic and prose texts, alongside a 50-item Universal Design Learning (UDL)-aligned cognitive engagement instrument mapped onto Cattell–Horn–Carroll (CHC) domains. Within this bounded classroom context, descriptive patterns revealed a performance asymmetry: 54.54% of participants demonstrated at least partial success in prose comprehension, whereas 72.72% of participants failed the poetry task entirely. Cognitive profiling indicated a within-subject pattern of relatively higher engagement in Crystallised Knowledge and relatively lower engagement in Fluid Reasoning and Long-Term Storage and Retrieval, a domain theoretically implicated in poetic interpretation. Because the profiling instrument was purpose-built and was not designed to support between-domain psychometric comparison, this pattern is reported as a relative within-sample profile rather than as evidence of differential cognitive strength. A further metacognitive misalignment was found, suggesting a possible “brevity-as-ease heuristic”, wherein learners conflated the poetry shorter length relative to its prose with reduced cognitive demand. These patterns are consistent with a possible role for differential rehearsal of cognitive processes within a prose-dominant, examination-oriented curriculum rather than from inherent textual opacity. The study advances a provisional institutional–cognitive alignment framework to guide future large-scale investigation across examination-driven ESL/EFL contexts.
شعر همواره در میان زبانآموزان انگلیسی به عنوان زبان دوم یا خارجی (ESL/EFL) دشوارتر از نثر روایی تلقی میشود، اما اینکه آیا این دشواری ذاتی این ژانر است یا به واسطه ساختارها میانجیگری میشود، همچنان کمتر نظریهپردازی شده است. این پژوهش بررسی کرد که آیا دشواری شعر برای زبانآموزان پایه هشتم ESL/EFL ممکن است ناشی از ناهماهنگی شناختی-نهادی باشد تا پیچیدگی ذاتی ژانر. با بهکارگیری طرح مطالعه موردی آمیخته همگرا، یازده دانشآموز پایه هشتم از یک مدرسه خصوصی در کاتماندو، نپال، وظایف مقایسهای کنترلشده ژانر را با استفاده از متون شعری و نثری با موضوع یکسان انجام دادند و همزمان یک ابزار سنجش درگیری شناختی ۵۰ مادهای منطبق با Universal Design Learning (UDL) که بر حوزههای Cattell–Horn–Carroll (CHC) نگاشت شده بود را تکمیل کردند. در این زمینه محدود کلاسی، الگوهای توصیفی عدم تقارن عملکرد را نشان داد: ۵۴.۵۴٪ از شرکتکنندگان حداقل موفقیت نسبی در درک نثر داشتند، در حالی که ۷۲.۷۲٪ از شرکتکنندگان در تکلیف شعر کاملاً ناکام ماندند. نمایهسازی شناختی نشان داد که الگوی درونفردی با درگیری نسبتاً بالاتر در دانش تبلور یافته (Crystallised Knowledge) و درگیری نسبتاً پایینتر در استدلال سیال (Fluid Reasoning) و ذخیرهسازی و بازیابی بلندمدت (Long-Term Storage and Retrieval) وجود دارد؛ حوزههایی که از لحاظ نظری در تفسیر شعر نقش دارند. از آنجا که ابزار نمایهسازی به طور اختصاصی ساخته شده و برای مقایسه روانسنجی بین حوزهای طراحی نشده بود، این الگو به عنوان نمایه نسبی درون نمونه گزارش میشود و نه به عنوان شواهدی از قوت شناختی متفاوت. همچنین ناهماهنگی فراشناختی دیگری مشاهده شد که به وجود یک «کشف میانبر اختصار به عنوان سهولت» (brevity-as-ease heuristic) اشاره دارد؛ جایی که زبانآموزان کوتاهی شعر نسبت به نثر را با کاهش تقاضای شناختی اشتباه گرفتهاند. این الگوها با نقش احتمالی تمرین متفاوت فرایندهای شناختی در یک برنامه درسی غالباً مبتنی بر نثر و آزمونمحور سازگار است تا با ابهام ذاتی متن. این پژوهش چارچوبی مقدماتی برای همترازی شناختی-نهادی ارائه میدهد تا راهنمای تحقیقات آتی در مقیاس وسیعتر در زمینههای ESL/EFL آزمونمحور باشد.
