Gemini

Large language models (LLMs) are increasingly used in dental education, but research has focused mainly on answer accuracy. Whether LLMs can identify the cognitive demand of examination items remains unclear. This study evaluated LLM classification fidelity for endodontic multiple-choice questions (MCQs) across three educational taxonomies and compared four publicly accessible models. Two hundred endodontic MCQs from the Turkish Dentistry Specialty Examination (DUS, 2012–2025) were classified by ChatGPT, Gemini, Kimi, and DeepSeek according to Revised Bloom’s Taxonomy, the SOLO Taxonomy, and Miller’s Pyramid. A three-layer expert consensus procedure comprising calibration training, procedural audit, and structured joint deliberation established the expert consensus reference standard. Agreement was assessed using weighted Cohen’s kappa (κw) with bootstrap 95% confidence intervals; classification performance was evaluated using accuracy and macro-averaged F1. Inter-model differences in item-level accuracy were tested using Cochran’s Q with Kendall’s W, followed by Holm–Bonferroni-corrected pairwise McNemar tests. For Revised Bloom’s Taxonomy, Gemini (κw=0.676) and DeepSeek (κw=0.667) achieved substantial agreement, while Kimi (κw=0.428) and ChatGPT (κw=0.365) performed lower. For SOLO, Gemini achieved substantial agreement (κw=0.622), while the remaining models showed moderate agreement. For Miller’s Pyramid, agreement did not exceed fair, with ChatGPT highest (κw=0.372). Inter-model differences were significant for all three taxonomies (all p<0.001). ChatGPT ranked lowest for Revised Bloom and SOLO but highest for Miller. Revised Bloom levels of expert consensus reference standard increased significantly across examination years (Spearman ρ=0.301, p<0.001). LLMs showed meaningful classification fidelity for Revised Bloom and SOLO taxonomies, particularly Gemini and DeepSeek, but performance for Miller’s Pyramid remained weak. Bloom, SOLO, and Miller should not be treated as interchangeable frameworks, and LLM selection should be tailored to the taxonomy and assessment purpose. Answer accuracy and taxonomy classification fidelity represent distinct capabilities that warrant independent evaluation.

Background Digital mental health tools, including general-purpose artificial intelligence (AI) chatbots, may provide accessible and low-threshold psychological support for people living with chronic conditions. However, their value in this population depends not only on recognizing depression or anxiety, but also on understanding how psychological distress is shaped by disease-specific experiences and when self-guided support should transition toward professional care. We evaluated the appropriateness, contextual sensitivity, safety, and consistency of psychological support provided by three widely accessible AI chatbots across contrasting chronic illness contexts. Methods We conducted a standardized simulated-patient benchmarking study comparing ChatGPT, Gemini, and Doubao. Twenty scenarios were developed across type 2 diabetes mellitus (T2DM) and chronic spontaneous urticaria (CSU), representing matched mild and moderate presentations of depression and anxiety together with condition-specific distress related to diabetes self-management and CSU-related flare uncertainty. Each scenario was independently submitted to all three systems in two testing rounds, yielding 120 responses. Blinded raters assessed overall psychological support appropriateness, recognition and emotional support, chronic-illness contextualization, psychological support and referral, psychosomatic balance and safety, and major clinical or safety errors. Repeated testing assessed response consistency. Results Overall psychological support appropriateness differed across systems (P = 0.002), with 90.0% of ChatGPT, 75.0% of Gemini, and 55.0% of Doubao responses meeting the prespecified appropriateness threshold. Recognition and emotional support was consistently strong across systems, whereas greater differences emerged in chronic-illness contextualization (P = 0.001), psychological support and referral (P = 0.002), and psychosomatic balance and safety (P<0.001). All responses to mild presentations were classified as psychologically appropriate, compared with 58.3% of responses to moderate presentations, indicating that performance became less reliable when digital support required stronger escalation toward professional assessment. Contextualization was also less consistent in CSU, particularly when responses needed to incorporate flare unpredictability, pruritus, sleep disruption, and illness uncertainty. Major clinical or safety errors occurred in 0%, 10.0%, and 15.0% of first-round ChatGPT, Gemini, and Doubao responses, respectively. Test–retest consistency was moderate and varied between systems. Conclusions General-purpose AI chatbots show potential as accessible, self-guided digital mental health resources for people living with chronic conditions, particularly for recognizing distress and providing initial supportive guidance. Their current limitations emerge when effective support requires disease-specific contextualization, balanced interpretation of psychological and somatic factors, or escalation as symptoms become more severe. These findings identify important boundaries for the use of conversational AI in chronic-illness mental health care and suggest that implementation should emphasize context-sensitive guidance, severity-responsive referral, and clear integration with rather than substitution for professional care.

زمینه: ابزارهای سلامت روان دیجیتال، از جمله چت‌بات‌های هوش مصنوعی عمومی، ممکن است حمایت روان‌شناختی قابل دسترس و با آستانه پایین برای افراد مبتلا به بیماری‌های مزمن فراهم کنند. با این حال، ارزش آن‌ها در این جمعیت نه تنها به شناسایی افسردگی یا اضطراب بستگی دارد، بلکه به درک چگونگی شکل‌گیری پریشانی روان‌شناختی توسط تجارب خاص بیماری و زمان انتقال حمایت خودراهنما به مراقبت حرفه‌ای نیز وابسته است. ما تناسب، حساسیت زمینه‌ای، ایمنی و انسجام حمایت روان‌شناختی ارائه‌شده توسط سه چت‌بات هوش مصنوعی عمومی و در دسترس را در زمینه‌های متضاد بیماری مزمن ارزیابی کردیم. روش‌ها: یک مطالعه بنچمارک‌گیری بیمار شبیه‌سازی‌شده استانداردشده انجام دادیم و ChatGPT، Gemini و Doubao را مقایسه کردیم. بیست سناریو در زمینه دیابت نوع ۲ (T2DM) و کهیر مزمن خودبه‌خود (CSU) توسعه یافت که ارائه‌های خفیف و متوسط افسردگی و اضطراب را همراه با پریشانی خاص بیماری مرتبط با خودمدیریتی دیابت و عدم قطعیت شعله‌ورشدگی مرتبط با CSU بازنمایی می‌کرد. هر سناریو به طور مستقل در دو دور آزمون به هر سه سیستم ارائه شد و ۱۲۰ پاسخ به دست آمد. ارزیابان نابینا تناسب کلی حمایت روان‌شناختی، شناسایی و حمایت هیجانی، زمینه‌مندی بیماری مزمن، حمایت روان‌شناختی و ارجاع، تعادل روان‌تنی و ایمنی، و خطاهای عمده بالینی یا ایمنی را ارزیابی کردند. آزمون تکرارشونده انسجام پاسخ‌ها را سنجید. نتایج: تناسب کلی حمایت روان‌شناختی بین سیستم‌ها متفاوت بود (P = 0.002)، به‌طوری‌که ۹۰.۰٪ پاسخ‌های ChatGPT، ۷۵.۰٪ Gemini و ۵۵.۰٪ Doubao به آستانه تناسب از پیش تعیین‌شده رسیدند. شناسایی و حمایت هیجانی در همه سیستم‌ها به طور مداوم قوی بود، در حالی که تفاوت‌های بیشتری در زمینه‌مندی بیماری مزمن (P = 0.001)، حمایت روان‌شناختی و ارجاع (P = 0.002)، و تعادل روان‌تنی و ایمنی (P<0.001) مشاهده شد. همه پاسخ‌ها به ارائه‌های خفیف از نظر روان‌شناختی مناسب طبقه‌بندی شدند، در حالی که تنها ۵۸.۳٪ پاسخ‌ها به ارائه‌های متوسط مناسب بودند که نشان می‌دهد عملکرد زمانی که حمایت دیجیتال نیازمند ارجاع قوی‌تر به ارزیابی حرفه‌ای بود، کمتر قابل اعتماد می‌شود. زمینه‌مندی در CSU نیز کمتر منسجم بود، به‌ویژه زمانی که پاسخ‌ها باید عدم قطعیت شعله‌ورشدگی، خارش، اختلال خواب و عدم قطعیت بیماری را در بر می‌گرفتند. خطاهای عمده بالینی یا ایمنی به ترتیب در ۰٪، ۱۰.۰٪ و ۱۵.۰٪ پاسخ‌های دور اول ChatGPT، Gemini و Doubao رخ داد. انسجام آزمون–بازآزمون متوسط بود و بین سیستم‌ها تفاوت داشت. نتیجه‌گیری: چت‌بات‌های هوش مصنوعی عمومی به عنوان منابع سلامت روان دیجیتال خودراهنما و قابل دسترس برای افراد مبتلا به بیماری‌های مزمن، به ویژه در شناسایی پریشانی و ارائه راهنمایی حمایتی اولیه، پتانسیل نشان می‌دهند. محدودیت‌های فعلی آن‌ها زمانی آشکار می‌شود که حمایت مؤثر نیازمند زمینه‌مندی خاص بیماری، تفسیر متعادل عوامل روانی و جسمانی یا ارجاع در صورت تشدید علائم باشد. این یافته‌ها مرزهای مهمی را برای استفاده از هوش مصنوعی مکالمه‌ای در مراقبت سلامت روان بیماری مزمن شناسایی می‌کند و نشان می‌دهد که پیاده‌سازی باید بر راهنمایی حساس به زمینه، ارجاع متناسب با شدت و ادغام شفاف با مراقبت حرفه‌ای (و نه جایگزینی آن) تأکید کند.

Background Large language models are increasingly used for informal mental health support, yet their safety during escalating suicide-risk conversations may depend on how prior information is presented. Native multi-turn conversations and reconstructed cumulative prompts differ not only in the presence of prior model responses but also in prompt reconstruction, information concentration, message positioning, explicit integration cues, and conversation-state processing. Objective This study compared suicide-risk recognition, direct safety inquiry, response urgency, and timely real-world intervention across isolated current-turn prompts, reconstructed cumulative user-only prompts, and native continuous multi-turn conversations. Methods We conducted a controlled repeated-measures evaluation of ChatGPT, Gemini, and Doubao using 12 standardized five-turn trajectories: 4 direct suicide-risk trajectories, 4 implicit or internally inconsistent risk trajectories, and 4 non-suicidal high-distress controls. Each trajectory was evaluated under three context-presentation formats. The 24 model-trajectory combinations were treated as matched repeated-measures units nested within 8 independent risk-trajectory blocks. Primary contrasts were estimated using exact trajectory-level sign-flip tests and trajectory-block bootstrap confidence intervals. Turn-level outcomes were analyzed using multilevel mixed-effects models. Exploratory condition-by-model heterogeneity was assessed using a trajectory-blocked exact permutation sensitivity analysis, with a trajectory-clustered interaction model used only as a secondary asymptotic check. Results Timely appropriate intervention occurred in 10/24 isolated current-turn observations (41.7%), 21/24 reconstructed cumulative observations (87.5%), and 12/24 native continuous observations (50.0%). On average across the three systems, reconstructed cumulative presentation exceeded isolated input by 45.8 percentage points (95% trajectory-block bootstrap CI, 25.0 to 66.7; Holm-adjusted exact P = .031), whereas native continuous performance was 37.5 percentage points lower than reconstructed cumulative performance (95% trajectory-block bootstrap CI, −50.0 to −25.0; Holm-adjusted exact P = .031). Exploratory model-specific analyses indicated substantial heterogeneity: the native-versus-reconstructed contrast was largest for Doubao, smaller and statistically imprecise for Gemini, and absent for ChatGPT. Conclusions On average across the three evaluated systems, reconstructed cumulative user-only prompts outperformed native continuous conversations, although exploratory model-specific patterns were heterogeneous. Because the formats also differed in prompt reconstruction, information salience, message positioning, explicit integration instructions, and native conversation-state processing, the contrast cannot isolate the causal effect of prior model responses.

زمینه: مدل‌های زبانی بزرگ به طور فزاینده‌ای برای حمایت غیررسمی سلامت روان مورد استفاده قرار می‌گیرند، اما ایمنی آن‌ها در مکالمات با ریسک فزایندهٔ خودکشی ممکن است به نحوهٔ ارائهٔ اطلاعات پیشین وابسته باشد. گفت‌وگوهای بومی چندنوبتی و بازسازی‌شدهٔ تجمعی تنها-کاربر نه‌تنها در حضور پاسخ‌های پیشین مدل، بلکه در بازسازی پرامپت، تمرکز اطلاعات، موقعیت پیام، نشانه‌های ادغام صریح و پردازش وضعیت گفت‌وگو نیز تفاوت دارند. هدف: این مطالعه شناسایی ریسک خودکشی، پرسش مستقیم دربارهٔ ایمنی، فوریت پاسخ و مداخلهٔ به‌موقع در دنیای واقعی را در قالب‌های پرامپت نوبت فعلی مجزا، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر و گفت‌وگوهای بومی پیوستهٔ چندنوبتی مقایسه کرد. روش‌ها: ما ارزیابی کنترل‌شدهٔ تکرارپذیری از ChatGPT، Gemini و Doubao با استفاده از ۱۲ مسیر استاندارد پنج‌نوبتی انجام دادیم: ۴ مسیر مستقیم ریسک خودکشی، ۴ مسیر ریسک ضمنی یا ناسازگار درونی، و ۴ کنترل غیرخودکشی با پریشانی بالا. هر مسیر تحت سه قالب ارائهٔ زمینه ارزیابی شد. ۲۴ ترکیب مدل-مسیر به عنوان واحدهای تکرارپذیر همسان درون ۸ بلوک مستقل مسیر ریسک در نظر گرفته شدند. مقایسه‌های اصلی با استفاده از آزمون‌های دقیق وارونگی علامت در سطح مسیر و بازه‌های اطمینان بوت‌استرپ بلوک-مسیر برآورد شد. پیامدهای سطح نوبت با مدل‌های اثرات مختلط چندسطحی تحلیل شد. ناهمگنی اکتشافی وضعیت-مدل با تحلیل حساسیت دقیق جایگشت بلوک-مسیر ارزیابی شد و مدل تعاملی خوشه‌بندی‌شده بر مسیر تنها به عنوان بررسی ثانویهٔ مجانبی استفاده شد. نتایج: مداخلهٔ مناسب و به‌موقع در ۱۰ مورد از ۲۴ مشاهدهٔ نوبت فعلی مجزا (۴۱٫۷٪)، ۲۱ از ۲۴ مشاهدهٔ تجمعی بازسازی‌شده (۸۷٫۵٪) و ۱۲ از ۲۴ مشاهدهٔ بومی پیوسته (۵۰٫۰٪) رخ داد. به طور میانگین در سه سامانه، ارائهٔ تجمعی بازسازی‌شده نسبت به ورودی مجزا ۴۵٫۸ درصد بیشتر بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ۲۵٫۰ تا ۶۶٫۷؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱)، در حالی که عملکرد بومی پیوسته ۳۷٫۵ درصد کمتر از عملکرد تجمعی بازسازی‌شده بود (۹۵٪ بازهٔ اطمینان بوت‌استرپ بلوک-مسیر، ‎−۵۰٫۰ تا ‎−۲۵٫۰؛ مقدار P دقیق تعدیل‌شده با Holm = ‎.۰۳۱). تحلیل‌های اکتشافی مدل‌محور ناهمگنی قابل توجهی نشان داد: تفاوت بومی-در مقابل-بازسازی‌شده برای Doubao بیشترین مقدار، برای Gemini کمتر و از نظر آماری نامشخص، و برای ChatGPT غایب بود. نتیجه‌گیری: به طور میانگین در سه سامانهٔ ارزیابی‌شده، پرامپت‌های تجمعی بازسازی‌شدهٔ تنها-کاربر عملکرد بهتری نسبت به گفت‌وگوهای بومی پیوسته داشتند، اگرچه الگوهای مدل‌محور اکتشافی ناهمگون بودند. از آنجا که قالب‌ها همچنین در بازسازی پرامپت، برجستگی اطلاعات، موقعیت پیام، دستورالعمل‌های ادغام صریح و پردازش وضعیت گفت‌وگوی بومی تفاوت داشتند، این مقایسه نمی‌تواند اثر علّی پاسخ‌های پیشین مدل را به طور مجزا تعیین کند.

The rapid emergence of Artificial Intelligence (AI), is reshaping higher education through real-time tutoring, personalised learning, and advanced knowledge synthesis. In Uganda, the adoption of Competence-Based Education (CBE) emphasises learner-centered pedagogy, critical thinking, and practical skill development. While AI presents opportunities to strengthen CBE, its unstructured use may undermine independent inquiry, critical thinking, and authentic competency development. The study investigated how institutional readiness, stakeholder perceptions, and AI use patterns relate to learner achievement within a competence-based curriculum in an AI-powered environment. It further identified strategies for integrating AI to support competency attainment, academic performance, assessment outcomes, and learning outcomes while preserving the principles of CBE in Ugandan higher education institutions. A cross-sectional quantitative design was employed, involving academic staff ( n = 52) and students ( n = 513) from public and private universities in Uganda. Participants were recruited through convenience sampling using online platforms. Data were collected using structured questionnaires measuring institutional readiness, stakeholder perceptions, AI usage patterns, learner achievement, and pedagogical strategies for AI integration. Both descriptive and inferential statistics were analysed using the JASP statistical tool and Python-based data analysis tools. The findings revealed moderate institutional readiness for AI adoption, with technology recording the highest readiness (M = 3.2), followed by pedagogy (M = 2.9), while policy and governance readiness remained low (M = 2.4). Stakeholders perceived AI as supporting competency achievement (M = 4.1, 85%) and self-directed learning (M = 4.0, 80%), although concerns were raised regarding independent problem-solving (M = 3.6, 65%) and assessment authenticity (M = 3.8, 70%). Students reported frequent use of AI tools, particularly ChatGPT (81.1%), Gemini (56.8%), and Copilot (38.8%), primarily for concept clarification (89.2%), research (81.1%), and idea generation (70.3%). Correlation analysis revealed a moderate positive relationship between AI use frequency and academic performance ( r = 0.544), while chi-square analysis confirmed a significant association between AI use and academic performance (χ 2 = 241.898, p < 0.001). The study concludes that effective AI integration in CBE requires AI literacy training, lecturer capacity building, institutional policy frameworks, and competency-oriented assessment approaches to enhance learner achievement while preserving the integrity of competency development.

ظهور سریع هوش مصنوعی (AI)، آموزش عالی را از طریق آموزش در لحظه، یادگیری شخصی‌سازی‌شده و ترکیب پیشرفته دانش دگرگون می‌کند. در اوگاندا، پذیرش آموزش مبتنی بر شایستگی (CBE) بر آموزش یادگیرنده‌محور، تفکر انتقادی و توسعه مهارت‌های عملی تأکید دارد. در حالی که هوش مصنوعی فرصت‌هایی برای تقویت CBE فراهم می‌کند، استفاده بدون ساختار از آن ممکن است پژوهش مستقل، تفکر انتقادی و توسعه واقعی شایستگی را تضعیف کند. این مطالعه بررسی کرد که آمادگی نهادی، ادراک ذینفعان و الگوهای استفاده از هوش مصنوعی چگونه با پیشرفت یادگیرندگان در چارچوب برنامه درسی مبتنی بر شایستگی در محیطی مبتنی بر هوش مصنوعی مرتبط است. همچنین راهبردهایی را برای ادغام هوش مصنوعی به منظور حمایت از دستیابی به شایستگی، عملکرد تحصیلی، نتایج ارزیابی و نتایج یادگیری، در عین حفظ اصول CBE در مؤسسات آموزش عالی اوگاندا شناسایی کرد. یک طرح کمی مقطعی به کار گرفته شد که شامل اعضای هیئت علمی (n = 52) و دانشجویان (n = 513) از دانشگاه‌های دولتی و خصوصی اوگاندا بود. شرکت‌کنندگان از طریق نمونه‌گیری در دسترس با استفاده از بسترهای آنلاین جذب شدند. داده‌ها با استفاده از پرسشنامه‌های ساختاریافته که آمادگی نهادی، ادراک ذینفعان، الگوهای استفاده از هوش مصنوعی، پیشرفت یادگیرندگان و راهبردهای آموزشی برای ادغام هوش مصنوعی را اندازه‌گیری می‌کرد، جمع‌آوری شد. هر دو آمار توصیفی و استنباطی با استفاده از ابزار آماری JASP و ابزارهای تحلیل داده مبتنی بر Python تحلیل شدند. یافته‌ها آمادگی متوسط نهادی برای پذیرش هوش مصنوعی را نشان داد، به طوری که فناوری بالاترین آمادگی (M = 3.2) و پس از آن آموزش (M = 2.9) را داشت، در حالی که آمادگی سیاست و حکمرانی پایین باقی ماند (M = 2.4). ذینفعان هوش مصنوعی را در حمایت از دستیابی به شایستگی (M = 4.1، ۸۵٪) و یادگیری خودراهبر (M = 4.0، ۸۰٪) مؤثر دانستند، اگرچه نگرانی‌هایی در مورد حل مسئله مستقل (M = 3.6، ۶۵٪) و اصالت ارزیابی (M = 3.8، ۷۰٪) مطرح شد. دانشجویان استفاده مکرر از ابزارهای هوش مصنوعی، به ویژه ChatGPT (۸۱.۱٪)، Gemini (۵۶.۸٪) و Copilot (۳۸.۸٪) را عمدتاً برای شفاف‌سازی مفاهیم (۸۹.۲٪)، پژوهش (۸۱.۱٪) و تولید ایده (۷۰.۳٪) گزارش کردند. تحلیل همبستگی رابطه مثبت متوسطی بین فراوانی استفاده از هوش مصنوعی و عملکرد تحصیلی (r = 0.544) نشان داد، در حالی که تحلیل کای-دو ارتباط معناداری بین استفاده از هوش مصنوعی و عملکرد تحصیلی (χ2 = 241.898، p < 0.001) را تأیید کرد. مطالعه نتیجه می‌گیرد که ادغام مؤثر هوش مصنوعی در CBE مستلزم آموزش سواد هوش مصنوعی، توانمندسازی اعضای هیئت علمی، چارچوب‌های سیاست نهادی و رویکردهای ارزیابی مبتنی بر شایستگی است تا پیشرفت یادگیرندگان را در عین حفظ یکپارچگی توسعه شایستگی ارتقا دهد.