Design-based research

Leadership coaching develops managers but is expensive and difficult to scale. AI may be able to help scale access, but “answering machine” like AI coaching agents invite cognitive offloading and weaken learning. We instantiated a human coaching protocol, supported across prior cycles, as a text-based AI coach built to prompt reflective questioning. In the fourth cycle of a design-based research program at a global consulting firm, eight managers received the same protocol from a human coach and the AI coach, applied each session in an observed onboarding activity, and reflected on both in interviews. All eight welcomed the probing questions and preferred the human coach. Notably, they resisted the same protocol of questioning from the AI coach and wanted answers from it instead. This study’s theoretical contribution is the Reflection Penalty, the cost an AI coach pays for asking a user to do the reflective work that makes human coaching effective. Its practical contribution is a jobs-to-be-done map for AI coaching, assembled from proposals participants raised on their own. It divides coaching into distinct jobs and assigns each to the human or the AI best suited to it. Both contributions are offered to those designing AI tools that aim to support reflection

مربیگری رهبری به توسعهٔ مدیران کمک می‌کند اما پرهزینه و دشوار برای مقیاس‌پذیری است. هوش مصنوعی ممکن است بتواند دسترسی را مقیاس‌پذیر کند، اما عامل‌های مربیگری مبتنی بر هوش مصنوعی که شبیه «دستگاه پاسخگو» عمل می‌کنند، منجر به واگذاری شناختی و تضعیف یادگیری می‌شوند. ما یک پروتکل مربیگری انسانی را که در چرخه‌های قبلی پشتیبانی شده بود، به‌صورت یک مربی مبتنی بر متن با هدف پرسشگری تأملی به‌عنوان مربی هوش مصنوعی پیاده‌سازی کردیم. در چهارمین چرخهٔ یک برنامهٔ پژوهش مبتنی بر طراحی در یک شرکت مشاورهٔ جهانی، هشت مدیر همان پروتکل را از یک مربی انسانی و مربی هوش مصنوعی دریافت کردند، هر جلسه را در یک فعالیت مشاهده‌شدهٔ آشنایی به کار بردند و در مصاحبه‌ها دربارهٔ هر دو تأمل کردند. هر هشت نفر پرسش‌های عمیق را پذیرفتند و مربی انسانی را ترجیح دادند. به طور قابل توجهی، آن‌ها در برابر همان پروتکل پرسشگری از سوی مربی هوش مصنوعی مقاومت کردند و به جای آن خواهان دریافت پاسخ از آن بودند. سهم نظری این مطالعه «جریمهٔ تأمل» است؛ هزینه‌ای که یک مربی هوش مصنوعی برای واداشتن کاربر به انجام کار تأملی که مربیگری انسانی را مؤثر می‌کند، می‌پردازد. سهم عملی آن نقشه‌ای از وظایف قابل انجام برای مربیگری هوش مصنوعی است که از پیشنهادهای مطرح‌شده توسط شرکت‌کنندگان گردآوری شده است. این نقشه مربیگری را به وظایف متمایز تقسیم می‌کند و هر یک را به انسان یا هوش مصنوعی که برای آن مناسب‌تر است، اختصاص می‌دهد. هر دو سهم به طراحان ابزارهای هوش مصنوعی که هدف آن‌ها حمایت از تأمل است، ارائه می‌شود.

Student evaluations of teaching (SET) remain the most widely used—and most contested—form of feedback in U.S. higher education. Evidence documents validity threats, including confounding from course difficulty, grading, modality, and student and instructor demographics, plus a persistent gap between in-the-moment experience and longer-horizon learning. Yet SET still anchor consequential personnel decisions and function within market logics that shape course selection and branding. Rather than abandoning SET, this paper asks how the instrument can be redesigned to serve assessment for learning. Using design-based research, the authors synthesized peer-reviewed and grey literature, audited an existing instrument in a graduate business-leadership course, and iteratively developed a revised SET built on learning-centered teaching, customizable course-level items, and a common cross-disciplinary core. The paper presents the redesign process, early implementation evidence, and a transferable toolkit. A redesigned instrument is necessary but insufficient; lasting change also requires aligning instruments with institutional incentives.

ارزیابی‌های دانشجویی تدریس (SET) همچنان رایج‌ترین و در عین حال بحث‌برانگیزترین شکل بازخورد در آموزش عالی ایالات متحده هستند. شواهد، تهدیدهای روایی را مستند می‌کنند، از جمله تداخل با دشواری درس، نمره‌دهی، شیوه ارائه، و ویژگی‌های جمعیت‌شناختی دانشجویان و مدرسان، به‌علاوه شکاف ماندگار میان تجربه لحظه‌ای و یادگیری بلندمدت. با این حال، SET همچنان مبنای تصمیم‌گیری‌های مهم پرسنلی است و در منطق بازار که انتخاب و برندینگ درس‌ها را شکل می‌دهد، ایفای نقش می‌کند. این مقاله به جای کنار گذاشتن SET، می‌پرسد چگونه می‌توان این ابزار را برای خدمت به ارزیابی در جهت یادگیری بازطراحی کرد. نویسندگان با استفاده از پژوهش مبتنی بر طراحی، ادبیات داوری‌شده و خاکستری را سنتز کردند، یک ابزار موجود را در یک درس رهبری کسب‌وکار در مقطع تحصیلات تکمیلی ممیزی کردند و به‌صورت تکراری یک SET بازطراحی‌شده مبتنی بر تدریس یادگیری‌محور، آیتم‌های قابل تنظیم در سطح درس، و یک هسته مشترک بین‌رشته‌ای توسعه دادند. مقاله فرایند بازطراحی، شواهد اولیه پیاده‌سازی و یک جعبه‌ابزار قابل انتقال را ارائه می‌کند. یک ابزار بازطراحی‌شده لازم اما ناکافی است؛ تغییر پایدار همچنین مستلزم همسویی ابزارها با مشوق‌های نهادی است.

We present a STEM-based learning trajectory, centered on the phenomenon of earthquakes, that aims to develop spatial reasoning in eight-year-old children. The trajectory has as an end product the design of an evacuation route. Based on a framework integrating spatial reasoning actions, reference frames, and the differentiation of micro-, meso- and macrospaces, the trajectory tasks combine concrete resources (measuring tools, recycled materials) with digital ones (e.g., Google Maps, Google Earth, LightBot) so that students can analyze representations, measure distances, as well as construct and test instruments and artifacts (e.g., a seismograph) not usually included in the primary school curriculum. It is designed to help students articulate and move between different spatial sizes and their representations and use adequate measuring instruments for each. Within a design-based research (DBR) study, the trajectory was implemented with groups of children from a disadvantaged context in Mexico, in two phases and in different modalities: online, during the Covid-19 pandemic, and face-to-face the following year. We describe the pedagogical framework, learning environment, and trajectory design, and report results derived from the analysis of the implementation data –video and audio recordings, photos and student productions. We discuss the practical implications of combining digital and concrete resources, mathematics and the other STEM disciplines; we argue that this can be considered an extended sense of blended learning that helps build a classroom culture of inquiry and gives children agency over their own reasoning. We end by acknowledging the constraints of our work and discuss the accessibility limitations of the online modality in our implementation.

در این پژوهش، یک مسیر یادگیری مبتنی بر STEM با محوریت پدیده زلزله ارائه می‌شود که هدف آن توسعه استدلال فضایی در کودکان هشت‌ساله است. محصول نهایی این مسیر، طراحی مسیر تخلیه می‌باشد. بر اساس چارچوبی که کنش‌های استدلال فضایی، چارچوب‌های مرجع و تمایز بین فضاهای خرد، میانه و کلان را ادغام می‌کند، وظایف این مسیر منابع عینی (ابزارهای اندازه‌گیری، مواد بازیافتی) را با منابع دیجیتال (مانند Google Maps، Google Earth، LightBot) ترکیب می‌کند تا دانش‌آموزان بتوانند بازنمایی‌ها را تحلیل کنند، فاصله‌ها را اندازه‌گیری نمایند و همچنین ابزارها و مصنوعات (مانند یک لرزه‌نگار) را که معمولاً در برنامه درسی دبستان گنجانده نمی‌شوند، بسازند و آزمایش کنند. این مسیر به گونه‌ای طراحی شده است که به دانش‌آموزان کمک کند تا بتوانند بین اندازه‌های فضایی مختلف و بازنمایی‌های آن‌ها حرکت و ارتباط برقرار کنند و برای هر یک از ابزارهای اندازه‌گیری مناسب استفاده نمایند. در قالب یک مطالعه پژوهش مبتنی بر طراحی (DBR)، این مسیر با گروه‌هایی از کودکان در یک زمینه محروم در مکزیک، در دو مرحله و در قالب‌های مختلف اجرا شد: آنلاین، در دوران همه‌گیری کووید-۱۹ و حضوری در سال بعد. چارچوب آموزشی، محیط یادگیری و طراحی مسیر شرح داده می‌شود و نتایج حاصل از تحلیل داده‌های اجرا – شامل ضبط‌های ویدئویی و صوتی، عکس‌ها و تولیدات دانش‌آموزان – گزارش می‌شود. پیامدهای عملی ترکیب منابع دیجیتال و عینی، ریاضیات و سایر رشته‌های STEM مورد بحث قرار می‌گیرد؛ استدلال می‌شود که این امر می‌تواند به عنوان معنای گسترده‌ای از یادگیری ترکیبی تلقی شود که به ایجاد فرهنگ پرسشگری در کلاس و اعطای عاملیت به کودکان در استدلال خود کمک می‌کند. در پایان، محدودیت‌های کار خود را اذعان کرده و محدودیت‌های دسترسی در قالب آنلاین اجرای خود را مورد بحث قرار می‌دهیم.

Educational leaders are increasingly expected to communicate and enact innovation within volatile and uncertain conditions. Yet strategic initiatives frequently stall because leaders struggle to articulate new ideas in ways that stakeholders can understand, trust, and meaningfully differentiate from past practice. This study examined how design-based professional learning using scenario planning can build innovation literacy-the communicative, imaginative, and symbolic capacity to describe emerging futures. Using a design-based research methodology, the study examined 161 educational leaders across six leadership groups who participated in a 10-month professional learning series incorporating scenario planning, futures thinking, and iterative design cycles. A graduate student cohort ( n = 11) completed a single adapted scenario-planning activity and provided a comparative case through which to examine the development of scenario literacy and innovation literacy in relation to leadership experience. Data sources included scenario artifacts, participant journals, field notes, session transcripts, and pre- and post-self-assessments. Quantitative data were analyzed descriptively and interpreted alongside qualitative evidence of shifts in participants' language, metaphors, and communicative practices. The triangulated findings indicated that leaders initially lacked scenario literacy and required explicit scaffolding to imagine plausible futures rather than reproduce current realities. As shared understandings of trust, disruption, and innovation developed, participants generated new metaphors, icons, and linguistic structures that enhanced communicative clarity. Participants also reported increased confidence and efficacy in describing innovations to stakeholders. The findings indicate that scenario planning, when embedded within a design-based professional learning structure, can expand educational leaders' communicative repertoires and strengthen system-level sensemaking. The study offers implications for leadership development, professional learning design, and the cultivation of the communicative capacities needed to lead innovation in complex educational environments.

انتظار می‌رود رهبران آموزشی بیش از پیش بتوانند نوآوری را در شرایط ناپایدار و نامطمئن، به‌طور مؤثر ارتباط دهند و اجرا کنند. با این حال، ابتکارات راهبردی اغلب به دلیل ناتوانی رهبران در بیان ایده‌های جدید به گونه‌ای که ذی‌نفعان بتوانند آن‌ها را درک، اعتماد و به طور معناداری از رویه‌های گذشته تمییز دهند، متوقف می‌شود. این پژوهش بررسی کرد که چگونه یادگیری حرفه‌ای مبتنی بر طراحی با استفاده از برنامه‌ریزی سناریو می‌تواند سواد نوآوری—یعنی ظرفیت ارتباطی، تخیلی و نمادین برای توصیف آینده‌های نوظهور—را تقویت کند. با بهره‌گیری از روش‌شناسی پژوهش مبتنی بر طراحی، این مطالعه ۱۶۱ رهبر آموزشی را در شش گروه رهبری مورد بررسی قرار داد که در یک دوره یادگیری حرفه‌ای ۱۰ ماهه با محوریت برنامه‌ریزی سناریو، آینده‌نگری و چرخه‌های طراحی تکرارشونده شرکت کردند. یک گروه دانشجویان تحصیلات تکمیلی (n = 11) یک فعالیت برنامه‌ریزی سناریو تطبیق‌یافته را به طور منفرد انجام دادند و یک مطالعه موردی مقایسه‌ای برای بررسی توسعه سواد سناریو و سواد نوآوری در ارتباط با تجربه رهبری فراهم آوردند. منابع داده شامل مصنوعات سناریو، یادداشت‌های روزانه شرکت‌کنندگان، یادداشت‌های میدانی، رونوشت جلسات و ارزیابی‌های خودسنجی پیش و پس از مداخله بود. داده‌های کمی به صورت توصیفی تحلیل و در کنار شواهد کیفی از تغییرات در زبان، استعاره‌ها و شیوه‌های ارتباطی شرکت‌کنندگان تفسیر شد. یافته‌های مثلثی‌شده نشان داد که رهبران در ابتدا فاقد سواد سناریو بوده و برای تصور آینده‌های محتمل به جای بازتولید واقعیت‌های فعلی، به حمایت صریح نیاز داشتند. با توسعه درک‌های مشترک از اعتماد، اختلال و نوآوری، شرکت‌کنندگان استعاره‌ها، نمادها و ساختارهای زبانی جدیدی تولید کردند که به وضوح ارتباطی افزود. همچنین شرکت‌کنندگان افزایش اعتماد به نفس و کارایی در توصیف نوآوری‌ها برای ذی‌نفعان را گزارش کردند. یافته‌ها نشان می‌دهد که برنامه‌ریزی سناریو، زمانی که در ساختار یادگیری حرفه‌ای مبتنی بر طراحی ادغام شود، می‌تواند دامنه‌های ارتباطی رهبران آموزشی را گسترش داده و توانمندی تفسیر سیستمی را تقویت کند. این پژوهش پیامدهایی برای توسعه رهبری، طراحی یادگیری حرفه‌ای و پرورش ظرفیت‌های ارتباطی مورد نیاز برای رهبری نوآوری در محیط‌های آموزشی پیچیده ارائه می‌دهد.

This study aimed to examine how design strategies used by science communicators in informal learning environments (ILEs) could be adapted to develop a framework that supports scientific inquiry in under-resourced science classes. Using the analytic induction research strategy, a multiple-case study was conducted involving science communicators from three ILEs: National Science Museum (Thailand), Sci-Bono Discovery Centre (South Africa), and Tūhura Otago Museum (New Zealand). The Delphi technique was then used to validate the findings. Findings from the cases were reconciled with the literature from both formal and informal science education to develop a new inquiry learning design framework. The new framework, referred to as the Complementarity of Learning Framework (Colfram), consists of four simplified inquiry stages that are strengthened by design strategies from informal science learning environments. The Colfram is proposed as a design tool to assist teachers operating in under-resourced settings to develop their own inquiry learning materials. By combining the strengths of both formal and informal science learning viewpoints, we argue that the Colfram can better support teachers to develop material that achieves the broader goals of inquiry learning, which include cultivating STEM identities and sustained interest in science.

این مطالعه با هدف بررسی چگونگی تطبیق راهبردهای طراحی مورد استفاده توسط ارتباط‌دهندگان علم در محیط‌های یادگیری غیررسمی (ILEs) جهت توسعه یک چارچوب حمایتی برای پژوهش علمی در کلاس‌های علوم با منابع محدود انجام شد. با بهره‌گیری از راهبرد پژوهشی استقرا تحلیلی، یک مطالعه چندموردی با مشارکت ارتباط‌دهندگان علم از سه محیط یادگیری غیررسمی شامل موزه ملی علوم (تایلند)، مرکز اکتشاف Sci-Bono (آفریقای جنوبی) و موزه Tūhura Otago (نیوزیلند) انجام گرفت. سپس، جهت اعتبارسنجی یافته‌ها از تکنیک دلفی استفاده شد. یافته‌های حاصل از موارد موردی با ادبیات علمی آموزش علوم رسمی و غیررسمی تطبیق داده شد تا چارچوب جدیدی برای طراحی یادگیری پژوهشی تدوین گردد. چارچوب جدید که با عنوان چارچوب مکمل یادگیری (Colfram) معرفی می‌شود، شامل چهار مرحله ساده‌شده پژوهش است که با راهبردهای طراحی برگرفته از محیط‌های یادگیری علوم غیررسمی تقویت شده‌اند. Colfram به عنوان ابزاری طراحی برای کمک به معلمان در محیط‌های با منابع محدود جهت توسعه مواد یادگیری پژوهشی خود پیشنهاد می‌شود. با ترکیب نقاط قوت دیدگاه‌های آموزش علوم رسمی و غیررسمی، استدلال می‌شود که Colfram می‌تواند حمایت بهتری از معلمان در توسعه موادی که اهداف گسترده‌تر یادگیری پژوهشی از جمله پرورش هویت‌های STEM و علاقه پایدار به علم را محقق می‌سازد، فراهم آورد.

Professional observation ability is a foundational skill for preschool teachers, yet its cultivation has long faced the challenge of bridging theory and practice. Virtual simulation and authentic video offer new technological pathways to address this gap, but research on their sequential integration remains limited. This study adopted a design-based research-informed intervention approach, conducting four sequential workshops over six weeks with one natural class of 46 preschool teacher candidates. A mixed-methods design was employed, integrating group observation assignment scores (32 valid samples), questionnaires (34 students), and semi-structured interviews (9 students). In the initial skill acquisition phase, virtual simulation and authentic video demonstrated functional complementarity: virtual simulation was more conducive to stimulating active thinking (purposefulness dimension, p = 0.006), while authentic video showed an advantage in honing detail-capturing abilities (acuity dimension, p = 0.048) and higher-order cognitive skills (analysis and support dimensions, p < 0.05). During sequential exposure to authentic videos, analytical ability showed a "leap-plateau" pattern, supportive ability displayed continuous growth, while basic observation ability remained stable. Learners' experiences followed a trajectory from cognitive conflict to support seeking and then to metacognitive growth. This study provides preliminary support for the sequential integration model in enhancing preschool teacher candidates' observational skills, offering empirical insights for technology-enhanced teacher education. The findings suggest that teacher training programs should consider the complementary roles of different technological media across skill development stages.

توانایی مشاهده حرفه‌ای یکی از مهارت‌های بنیادی برای معلمان پیش‌دبستانی است، اما پرورش این مهارت همواره با چالش پیوند دادن نظریه و عمل مواجه بوده است. شبیه‌سازی مجازی و ویدیوی اصیل مسیرهای فناورانه جدیدی برای رفع این شکاف فراهم می‌کنند، اما پژوهش‌ها درباره ادغام متوالی آن‌ها همچنان محدود است. این مطالعه با اتخاذ رویکرد مداخله‌ای مبتنی بر پژوهش طراحی‌محور، چهار کارگاه متوالی طی شش هفته با یک کلاس طبیعی متشکل از ۴۶ داوطلب معلمی پیش‌دبستانی برگزار کرد. طرح پژوهش آمیخته به کار گرفته شد و نمرات تکالیف گروهی مشاهده (۳۲ نمونه معتبر)، پرسشنامه‌ها (۳۴ دانشجو) و مصاحبه‌های نیمه‌ساختاریافته (۹ دانشجو) را ادغام نمود. در مرحله اولیه کسب مهارت، شبیه‌سازی مجازی و ویدیوی اصیل مکمل عملکردی یکدیگر بودند: شبیه‌سازی مجازی بیشتر موجب تحریک تفکر فعال (بُعد هدفمندی، p = ۰٫۰۰۶) شد، در حالی که ویدیوی اصیل در تقویت توانایی ثبت جزئیات (بُعد دقت، p = ۰٫۰۴۸) و مهارت‌های شناختی عالی‌تر (ابعاد تحلیل و حمایت، p < ۰٫۰۵) برتری نشان داد. طی مواجهه متوالی با ویدیوهای اصیل، توانایی تحلیلی الگوی «جهش-سکون» را نشان داد، توانایی حمایتی رشد پیوسته داشت و توانایی مشاهده پایه پایدار باقی ماند. تجارب یادگیرندگان از تعارض شناختی به جستجوی حمایت و سپس به رشد فراشناختی سیر کرد. این مطالعه شواهد مقدماتی برای مدل ادغام متوالی در ارتقای مهارت‌های مشاهده‌ای داوطلبان معلمی پیش‌دبستانی فراهم می‌کند و بینش‌های تجربی برای آموزش معلم مبتنی بر فناوری ارائه می‌دهد. یافته‌ها نشان می‌دهد که برنامه‌های آموزش معلم باید نقش‌های مکمل رسانه‌های فناورانه مختلف را در مراحل توسعه مهارت مدنظر قرار دهند.