Artificial intelligence (AI) chatbots are increasingly embedded in adolescents’ daily lives, yet developmental science research struggles to keep pace with adoption. This mixed-methods study gathered developmental expert perspectives via a survey ( n = 141 researchers studying youth and technology and adjacent professionals) and semi-structured interviews ( n = 15) to inform a coordinated research and policy agenda on adolescent AI use. The study aims were to identify (1) priority AI use cases for future study, (2) priority research questions and methods, as well as barriers to future research, and (3) societal guardrails that developmental professionals recommend enacting now, while research is underway. Participants cautioned against vague “screen time” measures and agreed that nearly all use cases merit study but prioritized those with severe or irreversible immediate-term harms, AI literacy, AI as a social/relational actor, AI-generated (mis)information, and overreliance. Participants emphasized that methodological pluralism and triangulation, including within individual studies, are essential, agreeing that different methods can be complementary to address distinct research questions. Key barriers included the rapid pace of change in AI technology and use relative to academic timelines, limited industry transparency, funding gaps, and misaligned academic incentives. Proposed solutions included shared infrastructure, interdisciplinary consortia, and community partnerships. Participants underscored that responsibility for safe AI should not rest primarily on adolescents and families and identified three immediate guardrails: enforceable youth-centered regulation, developmentally informed design, and multidimensional AI literacy. Findings clarify a preliminary direction for the field and emphasize that coordination among researchers and between sectors is needed.
چتباتهای هوش مصنوعی (AI) به طور فزایندهای در زندگی روزمره نوجوانان جای گرفتهاند، اما پژوهشهای علم رشد با سرعت پذیرش این فناوری همگام نیستند. این مطالعه با روش ترکیبی، دیدگاههای متخصصان رشد را از طریق یک پیمایش (n = 141 پژوهشگر حوزه نوجوانان و فناوری و حرفهایهای مرتبط) و مصاحبههای نیمهساختاریافته (n = 15) گردآوری کرد تا دستورکار هماهنگ پژوهشی و سیاستی درباره استفاده نوجوانان از هوش مصنوعی را تدوین کند. اهداف مطالعه عبارت بودند از: (1) شناسایی موارد اولویتدار استفاده از هوش مصنوعی برای پژوهشهای آتی، (2) شناسایی پرسشها و روشهای پژوهشی اولویتدار و همچنین موانع پژوهشهای آینده، و (3) تعیین چارچوبهای محافظتی اجتماعی که متخصصان رشد توصیه میکنند همزمان با انجام پژوهشها، اجرایی شوند. شرکتکنندگان نسبت به سنجشهای مبهم «زمان استفاده از صفحهنمایش» هشدار دادند و توافق داشتند که تقریباً همه موارد استفاده شایسته مطالعه هستند، اما مواردی با آسیبهای شدید یا غیرقابل بازگشت در کوتاهمدت، سواد هوش مصنوعی، نقش اجتماعی/ارتباطی هوش مصنوعی، اطلاعات (نادرست) تولیدشده توسط هوش مصنوعی و اتکای بیش از حد را در اولویت قرار دادند. شرکتکنندگان تأکید کردند که کثرتگرایی روشی و مثلثسازی، حتی در درون یک مطالعه، ضروری است و توافق داشتند که روشهای مختلف میتوانند برای پاسخ به پرسشهای پژوهشی متفاوت، مکمل یکدیگر باشند. موانع کلیدی شامل سرعت بالای تغییرات فناوری و استفاده از هوش مصنوعی نسبت به زمانبندیهای دانشگاهی، شفافیت محدود صنعت، کمبود منابع مالی و عدم تطابق مشوقهای دانشگاهی بود. راهحلهای پیشنهادی شامل زیرساخت مشترک، کنسرسیومهای میانرشتهای و مشارکتهای اجتماعی بود. شرکتکنندگان تأکید کردند که مسئولیت ایمنی هوش مصنوعی نباید عمدتاً بر دوش نوجوانان و خانوادهها باشد و سه چارچوب فوری را شناسایی کردند: مقررات قابل اجرا با محوریت نوجوانان، طراحی مبتنی بر رشد و سواد چندبعدی هوش مصنوعی. یافتهها جهتگیری مقدماتی این حوزه را روشن میکند و بر ضرورت هماهنگی میان پژوهشگران و بین بخشها تأکید دارد.
Driving can be enhanced if the vehicle quickly responds to the driver’s emotions. Accurate recognition of the driver’s emotional state is essential for advanced driver assistance systems (ADAS). The existing models restrict to single-modal data and fail to acquire hidden emotions which affects the prediction accuracy. Also, they lack real time data integration with self driving vehicles. Thus, a more robust multimodal model is needed to combine driver’s vital metrics and emotional behaviors for enhanced safety and dynamic vehicle-human interactivity. The proposed model ‘Emo-Aware’ blends real-time data from multiple sensors, including face emotion detection cameras, speech emotion detection microphones, heart rate sensors, and blood pressure sensors. The captured data are preprocessed to remove noise, retrieve relevant features and amplify to the desired state. Further, it processes this integrated data using a CNN model with hard voting method to precisely assess driver’s sentiments. The proposed framework is validated in a simulator using benchmark multimodal datasets, demonstrating its effectiveness for driver emotion assessment and laying groundwork for future real-world ADAS deployment. The robustness of model lies in its capability to adjust driving constraints on basis of the emotion quotient of driver thereby providing a personalized driving environment. Upon model’s implementation, there is a notable rise in accuracy and fall in the loss function. The diagonal values in the confusion matrix represent class-wise emotion detection accuracies of 0.92, 0.93, 0.91, 0.95, 0.92, and 0.86, corresponding to the emotions of disgust, fear, happiness, neutrality, sadness, and surprise, respectively. The results for discrete functional modules are also gauged. The speech-sentiment module recorded the optimal values, 0.94, 0.93, 0.91, and 0.92, respectively, for accuracy, precision, recall, and f-score. The blood pressure module reported the MSE, RMSE, MAE, and R-squared values as 6 mmHg² and 2.6 mmHg, 2.2 mmHg, and 0.96, respectively. Furthermore, the Face module also recorded the optimum values of 0.95, 0.94, 0.93, and 0.93 for accuracy, precision, recall, and f-score, respectively. Therefore, the model can be beneficial for advanced driver emotion detection that not only emphasizes safety but also examines the relationship between drivers and their vehicles through personalized emotionally aware interactions.
رانندگی میتواند در صورتی بهبود یابد که وسیله نقلیه به سرعت به هیجانات راننده واکنش نشان دهد. شناسایی دقیق وضعیت هیجانی راننده برای سامانههای پیشرفته کمکراننده (ADAS) ضروری است. مدلهای موجود به دادههای تکوجهی محدود میشوند و قادر به شناسایی هیجانات پنهان نیستند که این امر بر دقت پیشبینی تأثیر میگذارد. همچنین، این مدلها فاقد یکپارچهسازی دادههای بلادرنگ با خودروهای خودران هستند. بنابراین، نیاز به یک مدل چندوجهی مقاومتر وجود دارد تا شاخصهای حیاتی و رفتارهای هیجانی راننده را برای افزایش ایمنی و تعامل پویای انسان و خودرو ترکیب کند. مدل پیشنهادی «Emo-Aware» دادههای بلادرنگ را از حسگرهای متعدد، از جمله دوربینهای شناسایی هیجان چهره، میکروفونهای شناسایی هیجان گفتار، حسگرهای ضربان قلب و حسگرهای فشار خون ترکیب میکند. دادههای جمعآوریشده پیشپردازش میشوند تا نویز حذف، ویژگیهای مرتبط استخراج و به وضعیت مطلوب تقویت شوند. سپس این دادههای یکپارچه با استفاده از مدل CNN و روش hard voting برای ارزیابی دقیق احساسات راننده پردازش میشوند. چارچوب پیشنهادی در شبیهساز با استفاده از دادهمجموعههای چندوجهی مرجع اعتبارسنجی شده و اثربخشی آن برای ارزیابی هیجان راننده و فراهمسازی زمینه برای استقرار آتی در ADAS واقعی را نشان میدهد. پایداری مدل در توانایی آن برای تنظیم محدودیتهای رانندگی بر اساس ضریب هیجانی راننده نهفته است و بدین ترتیب محیط رانندگی شخصیسازیشدهای فراهم میشود. با پیادهسازی مدل، افزایش قابل توجهی در دقت و کاهش تابع خطا مشاهده میشود. مقادیر قطری ماتریس سردرگمی دقت شناسایی هیجان به تفکیک کلاس را به ترتیب 0.92، 0.93، 0.91، 0.95، 0.92 و 0.86 برای هیجانات انزجار، ترس، شادی، خنثی، غم و شگفتی نشان میدهد. نتایج ماژولهای عملکردی مجزا نیز ارزیابی شدهاند. ماژول احساس-گفتار مقادیر بهینه 0.94، 0.93، 0.91 و 0.92 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. ماژول فشار خون مقادیر MSE، RMSE، MAE و R-squared را به ترتیب 6 mmHg² و 2.6 mmHg، 2.2 mmHg و 0.96 گزارش کرده است. همچنین، ماژول چهره نیز مقادیر بهینه 0.95، 0.94، 0.93 و 0.93 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. بنابراین، این مدل میتواند برای شناسایی پیشرفته هیجان راننده مفید باشد که نه تنها بر ایمنی تأکید دارد بلکه رابطه بین رانندگان و خودروهایشان را از طریق تعاملات شخصیسازیشده و آگاه از هیجان بررسی میکند.
The main purpose of this study is to determine the antecedents of online game purchase intention. The theoretical background of the research is based on the Flow Experience Theory. In this context, the study examines the relationships between flow experience, online game addiction, smartphone addiction, stickiness, e-WOM, and in-game purchase intention. Data were obtained from 870 participants via an online survey using the convenience sampling technique. To test the hypotheses of the research, PLS-SEM was employed using the SmartPLS software. The results of the study show that flow experience and e-WOM are the variables that directly affect in-game purchase intention. In addition, flow experience was found to have a significant effect on online game addiction, smartphone addiction, and stickiness. Furthermore, the effects of flow experience, online game addiction, smartphone addiction, and stickiness on e-WOM were statistically confirmed. By identifying the determinants of in-game purchase intention, this study makes a theoretical contribution to the literature on consumer (user/player) behavior in digital gaming environments. The findings specifically demonstrate how flow experience, different forms of addiction, stickiness, and e-WOM are associated with in-game purchase intention, thereby advancing scholarly discussions on consumer behavior within the digital gaming context. From a practical standpoint, the results provide guidance for game and application developers, marketing professionals, and managers in designing strategies aimed at enhancing user engagement and purchase-related outcomes. Finally, future research is encouraged to examine the indirect effects of the variables included in this study on in-game purchase intention.
هدف اصلی این پژوهش تعیین پیشایندهای قصد خرید در بازیهای آنلاین است. مبانی نظری پژوهش بر نظریه تجربه فلو استوار است. در این راستا، پژوهش حاضر روابط میان تجربه فلو، اعتیاد به بازی آنلاین، اعتیاد به تلفن هوشمند، چسبندگی، تبلیغات الکترونیکی دهانبهدهان (e-WOM) و قصد خرید درونبازی را مورد بررسی قرار میدهد. دادهها از ۸۷۰ شرکتکننده از طریق پرسشنامه آنلاین و با استفاده از روش نمونهگیری در دسترس گردآوری شد. برای آزمون فرضیههای پژوهش، از مدلسازی معادلات ساختاری مبتنی بر واریانس (PLS-SEM) با نرمافزار SmartPLS استفاده شد. نتایج پژوهش نشان میدهد که تجربه فلو و تبلیغات الکترونیکی دهانبهدهان متغیرهایی هستند که به طور مستقیم بر قصد خرید درونبازی تأثیر میگذارند. همچنین مشخص شد که تجربه فلو تأثیر معناداری بر اعتیاد به بازی آنلاین، اعتیاد به تلفن هوشمند و چسبندگی دارد. افزون بر این، تأثیر تجربه فلو، اعتیاد به بازی آنلاین، اعتیاد به تلفن هوشمند و چسبندگی بر تبلیغات الکترونیکی دهانبهدهان از نظر آماری تأیید شد. با شناسایی تعیینکنندههای قصد خرید درونبازی، این پژوهش به ادبیات رفتار مصرفکننده (کاربر/بازیکن) در محیطهای بازی دیجیتال از لحاظ نظری کمک میکند. یافتهها به طور خاص نشان میدهند که چگونه تجربه فلو، انواع مختلف اعتیاد، چسبندگی و تبلیغات الکترونیکی دهانبهدهان با قصد خرید درونبازی مرتبط هستند و بدین ترتیب مباحث علمی درباره رفتار مصرفکننده در زمینه بازیهای دیجیتال را پیش میبرند. از منظر عملی، نتایج راهنماییهایی برای توسعهدهندگان بازی و اپلیکیشن، متخصصان بازاریابی و مدیران در طراحی راهبردهایی با هدف افزایش درگیری کاربر و پیامدهای مرتبط با خرید ارائه میدهد. در نهایت، به پژوهشهای آتی توصیه میشود که اثرات غیرمستقیم متغیرهای وارد شده در این پژوهش بر قصد خرید درونبازی را مورد بررسی قرار دهند.
Grounded Theory (GT), as developed by Anselm Strauss and Barney Glaser in the mid-20th century, originated in a research tradition that refused rigid boundaries between qualitative and quantitative methods. This paper argues that Grounded Theory is not only compatible with mixed methods research, but was, in fact, originally conceived as a mixed methods approach. From its roots in the methodologically pluralistic University of Chicago, GT integrated observational, narrative, and statistical data in a recursive methodological loop. Central to this approach is Strauss’s unique treatment of numbers – not as neutral facts, but as representations of social meaning. Using examples from early seminal studies (1950 – 1965), this paper shows how Strauss converted narratives into statistical patterns, then returned to interpret those numbers through rich contextual analysis. The resulting loop enabled the simultaneous exploration of what, where, why, and how social phenomena occur. The paper concludes by linking these classic GT practices with contemporary challenges: digital data integration, hybrid models, and transdisciplinary design. In an era shaped by AI, NLP, and participatory science, GT offers a robust and meaning-centred model for integrated knowledge production that bridges traditional empirical work with emerging digital methodologies.
نظریهٔ دادهبنیاد (Grounded Theory) که توسط Anselm Strauss و Barney Glaser در اواسط قرن بیستم توسعه یافت، ریشه در سنت پژوهشیای دارد که مرزهای سخت میان روشهای کیفی و کمی را نمیپذیرفت. این مقاله استدلال میکند که نظریهٔ دادهبنیاد نهتنها با پژوهشهای روش ترکیبی سازگار است، بلکه در واقع، در ابتدا بهعنوان رویکردی با روش ترکیبی طراحی شده بود. نظریهٔ دادهبنیاد که از دانشگاه شیکاگو با رویکرد روششناختی کثرتگرا نشأت گرفت، دادههای مشاهدهای، روایتی و آماری را در یک چرخهٔ روششناختی بازگشتی ادغام کرد. در مرکز این رویکرد، برخورد منحصربهفرد Strauss با اعداد قرار دارد – نه بهعنوان واقعیتهای خنثی، بلکه بهعنوان بازنماییهای معنای اجتماعی. با استفاده از نمونههایی از مطالعات برجستهٔ اولیه (۱۹۵۰–۱۹۶۵)، این مقاله نشان میدهد که چگونه Strauss روایتها را به الگوهای آماری تبدیل کرده و سپس برای تفسیر آن اعداد به تحلیل زمینهای غنی بازمیگردد. این چرخهٔ حاصل، امکان بررسی همزمان چیستی، کجایی، چرایی و چگونگی وقوع پدیدههای اجتماعی را فراهم میکند. مقاله با پیوند دادن این شیوههای کلاسیک نظریهٔ دادهبنیاد با چالشهای معاصر، از جمله ادغام دادههای دیجیتال، مدلهای ترکیبی و طراحی فرارشتهای، نتیجهگیری میکند. در عصری که توسط هوش مصنوعی، پردازش زبان طبیعی و علم مشارکتی شکل گرفته است، نظریهٔ دادهبنیاد الگویی استوار و معنامحور برای تولید دانش یکپارچه ارائه میدهد که کار تجربی سنتی را با روششناسیهای نوین دیجیتال پیوند میزند.
Reflective freewriting holds a distinctive place in ESL writing pedagogy as a low-stakes, exploratory practice in which learners articulate tentative thinking before it is shaped by evaluative demands. The rapid integration of generative AI (GenAI) into second language (L2) writing now threatens to absorb reflective freewriting into a wider regime of AI-mediated production, reducing reflection to one more output to be generated, polished or summarised. This article argues that this loss is not only pedagogical but ontological. Drawing on Biesta’s theory of subjectification, the article conceptualises reflective freewriting as subjectifying writing, functioning as a site of existential encounter with the world, where the learner uses language to respond in their own name. The article introduces the construct of algorithmic foreclosure to describe the structural tendency of GenAI systems to short-circuit this existential response, substituting generated text for the indeterminate work of subjectification. Together, these constructs support a case for protecting reflective freewriting as a non-AI-mediated space within L2 writing pedagogy.
نوشتار آزاد تأملی جایگاهی متمایز در آموزش نگارش زبان انگلیسی به عنوان زبان دوم دارد و به عنوان یک تمرین کمخطر و اکتشافی، به زبانآموزان امکان میدهد تا اندیشههای اولیهٔ خود را پیش از آنکه تحت تأثیر الزامات ارزشیابی قرار گیرد، بیان کنند. ادغام سریع هوش مصنوعی مولد (GenAI) در نگارش زبان دوم (L2) اکنون تهدید میکند که نوشتار آزاد تأملی را در یک نظام گستردهتر تولید مبتنی بر هوش مصنوعی جذب کند و تأمل را به یکی دیگر از خروجیهایی که باید تولید، ویرایش یا خلاصه شود، تقلیل دهد. این مقاله استدلال میکند که این فقدان نه تنها آموزشی بلکه وجودی است. با بهرهگیری از نظریهٔ سوژهسازی بیستا (Biesta)، مقاله نوشتار آزاد تأملی را به عنوان نوشتاری سوژهساز مفهومپردازی میکند که به عنوان عرصهای برای مواجههٔ وجودی با جهان عمل میکند، جایی که زبانآموز با زبان به نام خود پاسخ میدهد. مقاله سازهٔ «انسداد الگوریتمی» را معرفی میکند تا گرایش ساختاری سامانههای GenAI را برای کوتاهکردن این پاسخ وجودی و جایگزینی متن تولیدشده به جای کار نامعین سوژهسازی توصیف کند. این مفاهیم در مجموع از ضرورت حفظ نوشتار آزاد تأملی به عنوان فضایی غیرمبتنی بر هوش مصنوعی در آموزش نگارش زبان دوم حمایت میکنند.
Play-based parent-child interaction offers preschoolers rich opportunities for everyday foreign language learning, yet many parents struggle to turn open-ended play into effective English-as-a-Foreign-Language (EFL) learning experiences at home. To explore how AI might support this process, we conducted formative studies through interviews and a Wizard-of-Oz study. We identified four key challenges: content selection, language expression, balancing instruction and play, and problem solving. To address these challenges, we present PAPEL, a parent–AI collaborative system that grounds suggestions in the ongoing play scene and organizes support into four core modules: content generation, language adaptation, balance assessment, and extended response. In a counterbalanced within-subjects study with 16 parent–child dyads, PAPEL was associated with more integrated parent utterances that combined playful and instructional content, as well as more parent–child conversational turns, than the lightweight chatbot baseline used in our study.
تعامل والد-کودک مبتنی بر بازی، فرصتهای غنیای برای یادگیری زبان خارجی در زندگی روزمره کودکان پیشدبستانی فراهم میکند، اما بسیاری از والدین در تبدیل بازیهای باز به تجربیات مؤثر یادگیری زبان انگلیسی بهعنوان زبان خارجی (EFL) در خانه با دشواری مواجه هستند. بهمنظور بررسی نقش هوش مصنوعی در حمایت از این فرایند، مطالعات شکلدهندهای از طریق مصاحبهها و مطالعهٔ ویزارد آو آز انجام دادیم. چهار چالش کلیدی شناسایی شد: انتخاب محتوا، بیان زبانی، ایجاد تعادل میان آموزش و بازی، و حل مسئله. برای پاسخ به این چالشها، سامانهٔ PAPEL را معرفی میکنیم که یک سامانهٔ مشارکتی والد-هوش مصنوعی است و پیشنهادها را بر اساس صحنهٔ جاری بازی ارائه میدهد و حمایت را در قالب چهار ماژول اصلی سازماندهی میکند: تولید محتوا، سازگاری زبانی، ارزیابی تعادل، و پاسخدهی گسترده. در یک مطالعهٔ درونگروهی متقابل با ۱۶ زوج والد-کودک، استفاده از PAPEL با اظهارات والدین یکپارچهتر که محتوای بازیگوشانه و آموزشی را ترکیب میکردند و همچنین تعداد بیشتری از نوبتهای مکالمهٔ والد-کودک نسبت به چتبات سبکوزن مبنا در پژوهش ما همراه بود.
Group decision-making often suffers from uneven information sharing, hindering decision quality. While large language models (LLMs) have been widely studied as aids for individuals, their potential to support groups of users, potentially as facilitators, is relatively underexplored. We present a pre-registered randomized experiment with 1,475 participants assigned to 281 live groups completing a hidden profile task—selecting an optimal city for a hypothetical sporting event—under one of four facilitation conditions: no facilitation, a one-time message prompting information sharing, a human facilitator, or an LLM (GPT-4o) facilitator. We find that LLM facilitation increased information shared within a discussion by raising the minimum level of engagement with the task among group members, and that these gains came at limited cost in terms of participants’ attitudes towards the task, their group, or their facilitator. Whether by human or AI, there was no significant effect of facilitation on the final decision outcome, suggesting that even substantial but partial increases in information sharing were insufficient to overcome the hidden profile effect studied. To support the design and evaluation of LLM-mediated group decision-making systems, we release our data and our experimental platform, the Group-AI Interaction Laboratory (GRAIL), as an open-source tool.
تصمیمگیری گروهی اغلب به دلیل به اشتراکگذاری نامتوازن اطلاعات، از کیفیت تصمیم آسیب میبیند. در حالی که مدلهای زبانی بزرگ (LLMs) به طور گسترده به عنوان ابزار کمکی برای افراد مورد مطالعه قرار گرفتهاند، ظرفیت آنها برای حمایت از گروههای کاربران، به ویژه به عنوان تسهیلگر، نسبتاً کمتر مورد بررسی قرار گرفته است. در این پژوهش، یک آزمایش تصادفی پیشثبتشده با ۱۴۷۵ شرکتکننده که به ۲۸۱ گروه زنده تقسیم شدهاند و یک وظیفه پروفایل پنهان—انتخاب شهر بهینه برای یک رویداد ورزشی فرضی—را تحت یکی از چهار وضعیت تسهیلگری انجام دادهاند، ارائه میشود: بدون تسهیلگری، پیام یکباره برای تشویق به اشتراکگذاری اطلاعات، تسهیلگر انسانی، یا تسهیلگر مدل زبانی بزرگ (GPT-4o). یافتهها نشان میدهد که تسهیلگری توسط مدل زبانی بزرگ با افزایش حداقل سطح مشارکت اعضای گروه در وظیفه، میزان اطلاعات به اشتراکگذاشتهشده در بحث را افزایش داده است و این دستاوردها با هزینه اندکی در نگرش شرکتکنندگان نسبت به وظیفه، گروه یا تسهیلگر همراه بوده است. چه توسط انسان و چه توسط هوش مصنوعی، تسهیلگری تأثیر معناداری بر نتیجه نهایی تصمیم نداشته است که نشان میدهد حتی افزایش قابل توجه اما جزئی در به اشتراکگذاری اطلاعات برای غلبه بر اثر پروفایل پنهان کافی نبوده است. به منظور حمایت از طراحی و ارزیابی سامانههای تصمیمگیری گروهی مبتنی بر مدلهای زبانی بزرگ، دادهها و بستر آزمایشی خود، آزمایشگاه تعامل گروه-هوش مصنوعی (GRAIL)، را به عنوان ابزاری متنباز منتشر میکنیم.
Large Language Models (LLMs) have demonstrated significant capabilities in generating human-like and contextually relevant responses across a wide range of applications.However, their reliability is affected not only by factual hallucinations but also by failures to correctly understand and follow user instructions.This emerging issue, referred to as intent hallucination, occurs when an LLM omits, misinterprets, or fails to satisfy one or more requirements contained in a user's request, even when the generated response may be factually correct.Such failures can reduce the reliability and usefulness of LLM-based systems, particularly in complex tasks involving multiple constraints.This paper proposes a systematic review of existing research on intent hallucination and instructionfollowing capabilities in Large Language Models.The study will examine major types and causes of instructionfollowing failures, existing benchmarks and evaluation techniques, methods for detecting such failures, and approaches proposed to mitigate them.The review will also compare current evaluation frameworks and investigate limitations in existing research, particularly concerning complex, multi-constraint, and dynamic user instructions.Based on the reviewed literature, the study aims to organize existing approaches into a structured taxonomy covering instruction-following failures, detection and evaluation methods, and mitigation strategies.Finally, the paper will highlight open research challenges and future directions for developing more reliable and intent-aligned LLM systems.The study aims to provide a consolidated understanding of intent hallucination and support future research toward more dependable human-AI interaction.
مدلهای زبانی بزرگ (LLMs) تواناییهای قابل توجهی در تولید پاسخهای مشابه انسان و مرتبط با زمینه در طیف وسیعی از کاربردها نشان دادهاند. با این حال، پایایی آنها نه تنها تحت تأثیر توهمات واقعی بلکه همچنین به دلیل ناتوانی در درک و پیروی صحیح از دستورالعملهای کاربر قرار میگیرد. این مسئله نوظهور که به آن توهم نیت گفته میشود، زمانی رخ میدهد که یک مدل زبانی بزرگ یک یا چند الزام موجود در درخواست کاربر را حذف، تفسیر نادرست یا برآورده نمیکند، حتی اگر پاسخ تولیدشده از نظر واقعی صحیح باشد. چنین شکستهایی میتواند پایایی و سودمندی سامانههای مبتنی بر مدلهای زبانی بزرگ را به ویژه در وظایف پیچیده با محدودیتهای متعدد کاهش دهد. این مقاله مرور نظاممندی از پژوهشهای موجود درباره توهم نیت و قابلیتهای پیروی از دستورالعمل در مدلهای زبانی بزرگ ارائه میدهد. این مطالعه انواع اصلی و علل شکستهای پیروی از دستورالعمل، معیارها و تکنیکهای ارزیابی موجود، روشهای شناسایی این شکستها و رویکردهای پیشنهادی برای کاهش آنها را بررسی خواهد کرد. همچنین این مرور چارچوبهای ارزیابی فعلی را مقایسه و محدودیتهای پژوهشهای موجود، به ویژه در ارتباط با دستورالعملهای پیچیده، چندمحدودهای و پویا را بررسی میکند. بر اساس ادبیات مرورشده، مطالعه حاضر تلاش دارد رویکردهای موجود را در قالب یک طبقهبندی ساختاریافته شامل شکستهای پیروی از دستورالعمل، روشهای شناسایی و ارزیابی و راهبردهای کاهش سازماندهی کند. در نهایت، مقاله چالشهای پژوهشی باز و مسیرهای آینده برای توسعه سامانههای مدل زبانی بزرگ پایاتر و همراستا با نیت کاربر را برجسته خواهد کرد. هدف این مطالعه ارائه درکی یکپارچه از توهم نیت و حمایت از پژوهشهای آتی به سوی تعامل انسان-هوش مصنوعی قابل اعتمادتر است.
Community-engaged Work-Integrated Learning (WIL) is increasingly positioned as a mechanism for advancing graduate employability and social responsibility, yet the frameworks used to evaluate it remain anchored to countable proxies: employment rates, satisfaction scores, and placement completions. This provocation argues that these metrics are structurally misaligned with what WIL practitioners actually know about placement quality: knowledge that is relational, contextually rich, and routinely invisible in institutional reporting. As Generative AI enters WIL evaluation, this misalignment becomes urgent. Automating existing frameworks will not resolve their limitations, and risks further marginalising the evidence that most reliably signals whether community-engaged WIL is working. Drawing on research into practitioner agency in learning analytics, this provocation calls for evaluation frameworks that legitimise practitioner judgement, centre community partner perspectives, and deploy GenAI in service of relational knowledge rather than as a substitute for it. Effective WIL evaluation is not primarily a measurement problem, it is a question of whose evidence counts.
یادگیری تلفیقی با کار (WIL) مبتنی بر مشارکت جامعه، به طور فزایندهای به عنوان سازوکاری برای ارتقای اشتغالپذیری فارغالتحصیلان و مسئولیت اجتماعی مطرح میشود، اما چارچوبهایی که برای ارزیابی آن به کار میروند همچنان به شاخصهای قابل شمارش مانند نرخ اشتغال، امتیازات رضایت و تکمیل دورههای کارورزی متکی هستند. این مقاله استدلال میکند که این سنجهها به طور ساختاری با آنچه متخصصان WIL درباره کیفیت دورههای کارورزی میدانند، ناسازگار است؛ دانشی که رابطهمحور، غنی از زمینه و اغلب در گزارشهای نهادی نامرئی است. با ورود هوش مصنوعی مولد به ارزیابی WIL، این ناسازگاری فوریت مییابد. خودکارسازی چارچوبهای موجود، محدودیتهای آنها را رفع نخواهد کرد و خطر به حاشیه راندن بیشتر شواهدی را دارد که به طور قابل اعتماد نشان میدهد آیا WIL مبتنی بر جامعه مؤثر است یا خیر. با استناد به پژوهشها درباره عاملیت متخصصان در تحلیل یادگیری، این مقاله خواستار چارچوبهای ارزیابی است که داوری متخصصان را مشروعیت ببخشد، دیدگاههای شرکای جامعه را در مرکز قرار دهد و از هوش مصنوعی مولد در خدمت دانش رابطهای بهره گیرد، نه به عنوان جایگزین آن. ارزیابی مؤثر WIL در درجه اول مسئله اندازهگیری نیست، بلکه پرسشی است درباره اینکه شواهد چه کسانی اهمیت دارد.
Introduction: Coding is a central step in many qualitative data analyses (QDA). Artificial intelligence (AI) has made inroads into the field with performance dependent on the prompting strategy used. This work examines the effectiveness of different prompting strategies on AI performance. Methods: Coding and theme analyses were performed on abstracts from a 16-study meta-analysis examining the association between air pollution and preeclampsia incidence. These were also performed in a second related corpus containing fewer formal sources. Coding was performed with R, NVivo 14, and ChatGPT 4.1. Several prompting strategies in increasing degree of complexity (zero-shot, few-shots, and chain-of-thought – CoT) were evaluated regarding their accuracy against manual coding. Direct thematic coding with AI was also examined. Results: Zero-shot prompting (with or without CoT) provided the best results for structured text. Requesting a full word-by-abstract matrix increases sensitivity. Supplementing CoT with general topic information and role playing made it the best strategy for more colloquial text. Directly inquiring thematic coding within AI showed good performance. Some prompting strategies are more prone to hallucinations. The latter are associated with errors in the frequency counting process while coding. Discussion: This work offers performance assessment of an AI tool for coding and theme extraction through a variety of prompting strategies combined with head-to-head comparison with popular QDA tools using readily available data. During user interaction, AI chatbots provide suggestions regarding potential next steps which may enhance results during coding. AI tools may require replication to ensure consistent findings and mitigate their probabilistic nature. Integrating results from at least two tools (AI and traditional) provides more comprehensive and accessible results for QDA.
مقدمه: کدگذاری یکی از مراحل اساسی در بسیاری از تحلیلهای دادههای کیفی (QDA) است. هوش مصنوعی (AI) به این حوزه وارد شده است و عملکرد آن وابسته به راهبرد پرامپتدهی مورد استفاده میباشد. این پژوهش اثربخشی راهبردهای مختلف پرامپتدهی بر عملکرد هوش مصنوعی را بررسی میکند. روشها: کدگذاری و تحلیل مضامین بر روی چکیدههای یک فراتحلیل ۱۶مطالعهای که به بررسی ارتباط بین آلودگی هوا و بروز پرهاکلامپسی میپرداخت، انجام شد. این تحلیلها همچنین بر روی یک پیکره مرتبط دوم که منابع رسمی کمتری داشت، صورت گرفت. کدگذاری با استفاده از R، NVivo 14 و ChatGPT 4.1 انجام شد. چندین راهبرد پرامپتدهی با درجات مختلف پیچیدگی (zero-shot، few-shots و chain-of-thought – CoT) از نظر دقت نسبت به کدگذاری دستی ارزیابی شدند. کدگذاری مستقیم مضامین با هوش مصنوعی نیز بررسی شد. نتایج: پرامپتدهی zero-shot (با یا بدون CoT) بهترین نتایج را برای متون ساختاریافته ارائه داد. درخواست ماتریس کامل واژه-بر-چکیده حساسیت را افزایش میدهد. تکمیل CoT با اطلاعات کلی موضوع و ایفای نقش، آن را به بهترین راهبرد برای متون محاورهایتر تبدیل کرد. استعلام مستقیم کدگذاری مضامین در هوش مصنوعی عملکرد خوبی نشان داد. برخی راهبردهای پرامپتدهی مستعد هالوسینیشن بیشتری هستند. این مورد با خطا در فرایند شمارش فراوانی هنگام کدگذاری همراه است. بحث: این پژوهش ارزیابی عملکرد یک ابزار هوش مصنوعی برای کدگذاری و استخراج مضامین را از طریق راهبردهای مختلف پرامپتدهی و مقایسه مستقیم با ابزارهای رایج QDA با استفاده از دادههای در دسترس ارائه میدهد. در طول تعامل کاربر، چتباتهای هوش مصنوعی پیشنهادهایی درباره گامهای بعدی احتمالی ارائه میکنند که ممکن است نتایج را در حین کدگذاری بهبود بخشد. ابزارهای هوش مصنوعی ممکن است نیازمند تکرار برای اطمینان از یافتههای پایدار و کاهش ماهیت احتمالی آنها باشند. ادغام نتایج حداقل دو ابزار (هوش مصنوعی و سنتی) نتایج جامعتر و قابل دسترستری برای QDA فراهم میکند.
Abstract Rapid advancements in education assessment and natural language processing have fundamentally transformed the methodologies employed in multi-dimensional writing assessment. Neural network approaches have shown remarkable effectiveness, obviating the need for handcrafted feature engineering. However, the potential of pre-trained language models for constructing multi-dimensional automated essay scoring (AES) models still needs to be explored. The present study addresses critical challenges, including the resilience of AES models to subtle input perturbations leading to prediction inaccuracies and the elucidation of the intricate mechanisms within deep learning frameworks. We propose an integrated approach leveraging multi-task learning and the pre-trained model Bidirectional Encoder Representations from Transformers (BERT), augmented with adversarial training via the Fast Gradient Sign Method (FGSM), aiming to enhance scoring accuracy and stability in multi-dimensional AES tasks. Findings reveal that BERT-Integrated-MTL-FGSM significantly outperforms existing baselines. Integrating Explainable Artificial Intelligence (XAI) elucidates the complex evaluation processes within the deep learning black box, offering potentially diagnostic feedback for students and assisting educators in delivering individualized instruction guided by word-level attributions across diverse analytic rating scales. These insights enhance the robustness, generalizability, and interpretability of multi-dimensional AES models, thus paving an interdisciplinary pathway for multi-dimensional writing assessment and instruction.
پیشرفتهای سریع در ارزیابی آموزشی و پردازش زبان طبیعی، روششناسیهای بهکاررفته در ارزیابی چندبُعدی نوشتار را بهطور بنیادین متحول کردهاند. رویکردهای شبکه عصبی اثربخشی چشمگیری نشان دادهاند و نیاز به مهندسی ویژگیهای دستی را برطرف ساختهاند. با این حال، پتانسیل مدلهای زبانی از پیشآموزشدیده برای ساخت مدلهای خودکار نمرهدهی مقاله (AES) چندبُعدی همچنان نیازمند بررسی است. مطالعه حاضر به چالشهای اساسی از جمله تابآوری مدلهای AES در برابر اختلالات جزئی ورودی که منجر به نادرستی پیشبینی میشوند و تبیین سازوکارهای پیچیده در چارچوبهای یادگیری عمیق میپردازد. ما رویکردی یکپارچه مبتنی بر یادگیری چندوظیفهای و مدل از پیشآموزشدیده Bidirectional Encoder Representations from Transformers (BERT) ارائه میدهیم که با آموزش خصمانه از طریق Fast Gradient Sign Method (FGSM) تقویت شده است، با هدف ارتقای دقت و پایداری نمرهدهی در وظایف AES چندبُعدی. یافتهها نشان میدهند که BERT-Integrated-MTL-FGSM به طور معناداری عملکرد بهتری نسبت به خطوط پایه موجود دارد. ادغام هوش مصنوعی قابلتوضیح (XAI) فرآیندهای ارزیابی پیچیده در جعبه سیاه یادگیری عمیق را روشن میسازد و بازخورد تشخیصی بالقوهای برای دانشجویان فراهم میکند و به مدرسان در ارائه آموزش فردمحور مبتنی بر انتسابهای واژهمحور در مقیاسهای تحلیلی متنوع کمک میکند. این بینشها موجب افزایش تابآوری، قابلیت تعمیم و تفسیرپذیری مدلهای AES چندبُعدی میشود و بدین ترتیب مسیر میانرشتهای برای ارزیابی و آموزش چندبُعدی نوشتار هموار میگردد.
The purpose of this study is to evaluate the legibility of fourth-grade elementary school students' handwriting and to examine the differences and relationships between two evaluators: a human researcher and artificial intelligence (ChatGPT). To this end, the study was conducted using the descriptive survey model, one of the quantitative research approaches. The study sample consisted of 67 fourth-grade students attending a public elementary school. The students' handwriting was evaluated using the Multidimensional Legibility Scale. Writing samples were collected from each student, including copying samples, dictated samples, and free writing samples. One class period was allocated for each writing task. The 201 handwriting samples obtained from the 67 students were evaluated by a researcher (the second author) and artificial intelligence (ChatGPT). According to the findings, no significant differences were detected between the artificial intelligence and the researcher in any writing type or subdimension, except for the slant subdimension of free writing. However, a high level of positive and significant correlation was identified between the two raters. Findings indicate that artificial intelligence can produce results comparable to those of expert raters when evaluating handwriting legibility. The fact that differences among raters are not statistically significant suggests that AI-based handwriting evaluations could serve as an objective and reliable alternative.
هدف این پژوهش، ارزیابی خوانایی دستخط دانشآموزان پایه چهارم ابتدایی و بررسی تفاوتها و روابط بین دو ارزیاب: یک پژوهشگر انسانی و هوش مصنوعی (ChatGPT) است. بدین منظور، پژوهش با استفاده از مدل پیمایش توصیفی که یکی از رویکردهای پژوهش کمی است، انجام شد. نمونه پژوهش شامل ۶۷ دانشآموز پایه چهارم یک مدرسه ابتدایی دولتی بود. دستخط دانشآموزان با استفاده از مقیاس چندبعدی خوانایی ارزیابی شد. نمونههای نوشتاری از هر دانشآموز جمعآوری گردید که شامل نمونههای رونویسی، نمونههای دیکته و نمونههای نوشتار آزاد بود. برای هر تکلیف نوشتاری یک جلسه کلاسی اختصاص داده شد. ۲۰۱ نمونه دستخط بهدستآمده از ۶۷ دانشآموز توسط یک پژوهشگر (نویسنده دوم) و هوش مصنوعی (ChatGPT) ارزیابی شد. بر اساس یافتهها، به جز زیرمقیاس شیب در نوشتار آزاد، هیچ تفاوت معناداری بین هوش مصنوعی و پژوهشگر در هیچیک از انواع نوشتار یا زیرمقیاسها مشاهده نشد. با این حال، همبستگی مثبت و معنادار بالایی بین دو ارزیاب شناسایی گردید. یافتهها نشان میدهد که هوش مصنوعی میتواند نتایجی قابل مقایسه با ارزیابان خبره در ارزیابی خوانایی دستخط ارائه دهد. عدم معناداری آماری تفاوت بین ارزیابان، حاکی از آن است که ارزیابیهای دستخط مبتنی بر هوش مصنوعی میتواند به عنوان جایگزینی عینی و قابل اعتماد مورد استفاده قرار گیرد.