Coding (social sciences)

Examining sequences and series often leads students to rely on formulas, especially when assignments require algebraic modeling and generalization. This condition may hinder the advancement of critical thinking, especially in evaluation, inference, and reasoning. This study examined the extent to which a problem-solving e-module with algebraic challenges enhanced students' critical thinking and identified the elements that best facilitated critical thinking during the learning process. The study used a sequential explanatory mixed-methods design. The quantitative phase encompassed 89 senior high school students from three classes. Students completed a pretest, engaged with an e-module featuring guiding questions, scaffolding, feedback, and reflection, and then completed a posttest. The quantitative data were examined utilizing descriptive statistics, normalized gain, pretest-posttest comparisons, and effect size analysis. Data were gathered from students' e-module assignments, classroom observations, written reflections, and task-oriented interviews. The data were examined using theme coding and synthesized with the quantitative results. The results indicated an improvement in overall critical thinking and across all metrics; however, the improvements were inconsistent. Evaluation and interpretation improved more significantly than explanation. Feedback, directed inquiries, scaffolding, and reflection facilitated critical thinking; however, argument quality and algebraic reasoning varied among students.

بررسی دنباله‌ها و سری‌ها اغلب منجر به اتکای دانش‌آموزان به فرمول‌ها می‌شود، به‌ویژه زمانی که تکالیف نیازمند مدل‌سازی جبری و تعمیم هستند. این وضعیت ممکن است پیشرفت تفکر انتقادی، به‌ویژه در ارزیابی، استنتاج و استدلال را مختل کند. این پژوهش میزان ارتقای تفکر انتقادی دانش‌آموزان توسط یک ماژول الکترونیکی حل مسئله با چالش‌های جبری را بررسی کرد و عناصری را که بیشترین تسهیل را در تفکر انتقادی طی فرایند یادگیری داشتند، شناسایی نمود. این مطالعه از طرح آمیخته تبیینی متوالی بهره برد. مرحله‌ی کمی شامل ۸۹ دانش‌آموز دبیرستانی از سه کلاس بود. دانش‌آموزان یک پیش‌آزمون را تکمیل کردند، با ماژول الکترونیکی که شامل پرسش‌های راهنما، پشتیبانی، بازخورد و تأمل بود کار کردند و سپس پس‌آزمون را انجام دادند. داده‌های کمی با استفاده از آمار توصیفی، بهره‌ی نرمال‌شده، مقایسه‌ی پیش‌آزمون-پس‌آزمون و تحلیل اندازه‌ی اثر بررسی شد. داده‌ها از تکالیف دانش‌آموزان در ماژول الکترونیکی، مشاهدات کلاسی، تأملات مکتوب و مصاحبه‌های مبتنی بر وظیفه گردآوری شد. داده‌ها با استفاده از کدگذاری تماتیک تحلیل و با نتایج کمی تلفیق گردید. نتایج نشان داد که بهبود در تفکر انتقادی کلی و در تمامی شاخص‌ها مشاهده شد؛ با این حال، این بهبودها یکنواخت نبودند. ارزیابی و تفسیر نسبت به توضیح، بهبود بیشتری داشتند. بازخورد، پرسش‌های هدایت‌شده، پشتیبانی و تأمل به تسهیل تفکر انتقادی کمک کردند؛ با این حال، کیفیت استدلال و استدلال جبری در میان دانش‌آموزان متفاوت بود.

As technology-enhanced learning environments increasingly promote active and situated engagement, assessment must move beyond isolated tests of knowledge and skills to capture learners' performance in authentic contexts. In technology and engineering education, systems thinking is often embedded in product-based learning, yet technical product quality alone may not show how pre-service preschool teachers organise, connect, and justify systems-related ideas. The aim of this study was to examine systems-oriented reasoning as part of complex technology and engineering learning outcomes by combining the Distinctions, Systems, Relationships, and Perspectives (DSRP) framework with Epistemic Network Analysis (ENA). Students' written reflections on the “Product as a System” were coded across the four DSRP dimensions and re-encoded as binary indicators of DSRP achievement levels for ENA. Using ENA, we identified differences in the prominence and co-occurrence of DSRP-related reasoning elements between students taught through the technology-enhanced systems-thinking approach (STICT) and those taught through a traditional approach. The findings revealed distinguishable DSRP epistemic network structures between the two groups, with the STICT group displaying a more heterogeneous structure and the traditional group showing a more concentrated network around system organisation, functional relationships, and multiple perspectives. The ENA indicators were more clearly associated with written report quality than with technical product quality. This study contributes to the assessment of systems-oriented reasoning. It suggests that integrating DSRP-based coding and ENA provides complementary evidence about systems-oriented reasoning beyond that captured by product quality alone, thereby contributing to a broader assessment of technology and engineering learning outcomes in authentic higher education assessment tasks.

با توجه به اینکه محیط‌های یادگیری مبتنی بر فناوری به طور فزاینده‌ای مشارکت فعال و موقعیتی را ترویج می‌کنند، ارزیابی باید فراتر از آزمون‌های مجزای دانش و مهارت‌ها رفته و عملکرد یادگیرندگان را در زمینه‌های اصیل ثبت کند. در آموزش فناوری و مهندسی، تفکر سیستمی اغلب در یادگیری مبتنی بر محصول جای گرفته است، اما کیفیت فنی محصول به تنهایی ممکن است نشان ندهد که دانشجومعلمان پیش‌دبستانی چگونه ایده‌های مرتبط با سیستم را سازمان‌دهی، ارتباط‌دهی و توجیه می‌کنند. هدف این مطالعه بررسی استدلال مبتنی بر سیستم به عنوان بخشی از پیامدهای پیچیده یادگیری فناوری و مهندسی از طریق ترکیب چارچوب تمایزات، سیستم‌ها، روابط و دیدگاه‌ها (DSRP) با تحلیل شبکه معرفتی (ENA) بود. بازتاب‌های مکتوب دانشجویان درباره «محصول به عنوان یک سیستم» بر اساس چهار بُعد DSRP کدگذاری شد و به عنوان شاخص‌های دودویی سطوح دستیابی به DSRP برای ENA بازکدگذاری گردید. با استفاده از ENA، تفاوت‌هایی در برجستگی و هم‌رخدادی عناصر استدلال مرتبط با DSRP بین دانشجویانی که با رویکرد تفکر سیستمی مبتنی بر فناوری (STICT) آموزش دیده بودند و آن‌هایی که با رویکرد سنتی آموزش دیده بودند، شناسایی شد. یافته‌ها ساختارهای متمایز شبکه معرفتی DSRP را بین دو گروه نشان داد، به طوری که گروه STICT ساختاری ناهمگن‌تر و گروه سنتی شبکه‌ای متمرکزتر حول سازمان‌دهی سیستم، روابط عملکردی و دیدگاه‌های چندگانه داشت. شاخص‌های ENA ارتباط واضح‌تری با کیفیت گزارش مکتوب نسبت به کیفیت فنی محصول داشتند. این مطالعه به ارزیابی استدلال مبتنی بر سیستم کمک می‌کند و نشان می‌دهد که ادغام کدگذاری مبتنی بر DSRP و ENA شواهد مکملی درباره استدلال سیستمی فراتر از آنچه کیفیت محصول به تنهایی ثبت می‌کند، ارائه می‌دهد و بدین ترتیب به ارزیابی گسترده‌تر پیامدهای یادگیری فناوری و مهندسی در وظایف اصیل ارزیابی آموزش عالی کمک می‌کند.

Introduction: Coding is a central step in many qualitative data analyses (QDA). Artificial intelligence (AI) has made inroads into the field with performance dependent on the prompting strategy used. This work examines the effectiveness of different prompting strategies on AI performance. Methods: Coding and theme analyses were performed on abstracts from a 16-study meta-analysis examining the association between air pollution and preeclampsia incidence. These were also performed in a second related corpus containing fewer formal sources. Coding was performed with R, NVivo 14, and ChatGPT 4.1. Several prompting strategies in increasing degree of complexity (zero-shot, few-shots, and chain-of-thought – CoT) were evaluated regarding their accuracy against manual coding. Direct thematic coding with AI was also examined. Results: Zero-shot prompting (with or without CoT) provided the best results for structured text. Requesting a full word-by-abstract matrix increases sensitivity. Supplementing CoT with general topic information and role playing made it the best strategy for more colloquial text. Directly inquiring thematic coding within AI showed good performance. Some prompting strategies are more prone to hallucinations. The latter are associated with errors in the frequency counting process while coding. Discussion: This work offers performance assessment of an AI tool for coding and theme extraction through a variety of prompting strategies combined with head-to-head comparison with popular QDA tools using readily available data. During user interaction, AI chatbots provide suggestions regarding potential next steps which may enhance results during coding. AI tools may require replication to ensure consistent findings and mitigate their probabilistic nature. Integrating results from at least two tools (AI and traditional) provides more comprehensive and accessible results for QDA.

مقدمه: کدگذاری یکی از مراحل اساسی در بسیاری از تحلیل‌های داده‌های کیفی (QDA) است. هوش مصنوعی (AI) به این حوزه وارد شده است و عملکرد آن وابسته به راهبرد پرامپت‌دهی مورد استفاده می‌باشد. این پژوهش اثربخشی راهبردهای مختلف پرامپت‌دهی بر عملکرد هوش مصنوعی را بررسی می‌کند. روش‌ها: کدگذاری و تحلیل مضامین بر روی چکیده‌های یک فراتحلیل ۱۶‌مطالعه‌ای که به بررسی ارتباط بین آلودگی هوا و بروز پره‌اکلامپسی می‌پرداخت، انجام شد. این تحلیل‌ها همچنین بر روی یک پیکره مرتبط دوم که منابع رسمی کمتری داشت، صورت گرفت. کدگذاری با استفاده از R، NVivo 14 و ChatGPT 4.1 انجام شد. چندین راهبرد پرامپت‌دهی با درجات مختلف پیچیدگی (zero-shot، few-shots و chain-of-thought – CoT) از نظر دقت نسبت به کدگذاری دستی ارزیابی شدند. کدگذاری مستقیم مضامین با هوش مصنوعی نیز بررسی شد. نتایج: پرامپت‌دهی zero-shot (با یا بدون CoT) بهترین نتایج را برای متون ساختاریافته ارائه داد. درخواست ماتریس کامل واژه-بر-چکیده حساسیت را افزایش می‌دهد. تکمیل CoT با اطلاعات کلی موضوع و ایفای نقش، آن را به بهترین راهبرد برای متون محاوره‌ای‌تر تبدیل کرد. استعلام مستقیم کدگذاری مضامین در هوش مصنوعی عملکرد خوبی نشان داد. برخی راهبردهای پرامپت‌دهی مستعد هالوسینیشن بیشتری هستند. این مورد با خطا در فرایند شمارش فراوانی هنگام کدگذاری همراه است. بحث: این پژوهش ارزیابی عملکرد یک ابزار هوش مصنوعی برای کدگذاری و استخراج مضامین را از طریق راهبردهای مختلف پرامپت‌دهی و مقایسه مستقیم با ابزارهای رایج QDA با استفاده از داده‌های در دسترس ارائه می‌دهد. در طول تعامل کاربر، چت‌بات‌های هوش مصنوعی پیشنهادهایی درباره گام‌های بعدی احتمالی ارائه می‌کنند که ممکن است نتایج را در حین کدگذاری بهبود بخشد. ابزارهای هوش مصنوعی ممکن است نیازمند تکرار برای اطمینان از یافته‌های پایدار و کاهش ماهیت احتمالی آن‌ها باشند. ادغام نتایج حداقل دو ابزار (هوش مصنوعی و سنتی) نتایج جامع‌تر و قابل دسترس‌تری برای QDA فراهم می‌کند.