GMS Medizinische Informatik, Biometrie und Epidemiologie

Introduction: Coding is a central step in many qualitative data analyses (QDA). Artificial intelligence (AI) has made inroads into the field with performance dependent on the prompting strategy used. This work examines the effectiveness of different prompting strategies on AI performance. Methods: Coding and theme analyses were performed on abstracts from a 16-study meta-analysis examining the association between air pollution and preeclampsia incidence. These were also performed in a second related corpus containing fewer formal sources. Coding was performed with R, NVivo 14, and ChatGPT 4.1. Several prompting strategies in increasing degree of complexity (zero-shot, few-shots, and chain-of-thought – CoT) were evaluated regarding their accuracy against manual coding. Direct thematic coding with AI was also examined. Results: Zero-shot prompting (with or without CoT) provided the best results for structured text. Requesting a full word-by-abstract matrix increases sensitivity. Supplementing CoT with general topic information and role playing made it the best strategy for more colloquial text. Directly inquiring thematic coding within AI showed good performance. Some prompting strategies are more prone to hallucinations. The latter are associated with errors in the frequency counting process while coding. Discussion: This work offers performance assessment of an AI tool for coding and theme extraction through a variety of prompting strategies combined with head-to-head comparison with popular QDA tools using readily available data. During user interaction, AI chatbots provide suggestions regarding potential next steps which may enhance results during coding. AI tools may require replication to ensure consistent findings and mitigate their probabilistic nature. Integrating results from at least two tools (AI and traditional) provides more comprehensive and accessible results for QDA.

مقدمه: کدگذاری یکی از مراحل اساسی در بسیاری از تحلیل‌های داده‌های کیفی (QDA) است. هوش مصنوعی (AI) به این حوزه وارد شده است و عملکرد آن وابسته به راهبرد پرامپت‌دهی مورد استفاده می‌باشد. این پژوهش اثربخشی راهبردهای مختلف پرامپت‌دهی بر عملکرد هوش مصنوعی را بررسی می‌کند. روش‌ها: کدگذاری و تحلیل مضامین بر روی چکیده‌های یک فراتحلیل ۱۶‌مطالعه‌ای که به بررسی ارتباط بین آلودگی هوا و بروز پره‌اکلامپسی می‌پرداخت، انجام شد. این تحلیل‌ها همچنین بر روی یک پیکره مرتبط دوم که منابع رسمی کمتری داشت، صورت گرفت. کدگذاری با استفاده از R، NVivo 14 و ChatGPT 4.1 انجام شد. چندین راهبرد پرامپت‌دهی با درجات مختلف پیچیدگی (zero-shot، few-shots و chain-of-thought – CoT) از نظر دقت نسبت به کدگذاری دستی ارزیابی شدند. کدگذاری مستقیم مضامین با هوش مصنوعی نیز بررسی شد. نتایج: پرامپت‌دهی zero-shot (با یا بدون CoT) بهترین نتایج را برای متون ساختاریافته ارائه داد. درخواست ماتریس کامل واژه-بر-چکیده حساسیت را افزایش می‌دهد. تکمیل CoT با اطلاعات کلی موضوع و ایفای نقش، آن را به بهترین راهبرد برای متون محاوره‌ای‌تر تبدیل کرد. استعلام مستقیم کدگذاری مضامین در هوش مصنوعی عملکرد خوبی نشان داد. برخی راهبردهای پرامپت‌دهی مستعد هالوسینیشن بیشتری هستند. این مورد با خطا در فرایند شمارش فراوانی هنگام کدگذاری همراه است. بحث: این پژوهش ارزیابی عملکرد یک ابزار هوش مصنوعی برای کدگذاری و استخراج مضامین را از طریق راهبردهای مختلف پرامپت‌دهی و مقایسه مستقیم با ابزارهای رایج QDA با استفاده از داده‌های در دسترس ارائه می‌دهد. در طول تعامل کاربر، چت‌بات‌های هوش مصنوعی پیشنهادهایی درباره گام‌های بعدی احتمالی ارائه می‌کنند که ممکن است نتایج را در حین کدگذاری بهبود بخشد. ابزارهای هوش مصنوعی ممکن است نیازمند تکرار برای اطمینان از یافته‌های پایدار و کاهش ماهیت احتمالی آن‌ها باشند. ادغام نتایج حداقل دو ابزار (هوش مصنوعی و سنتی) نتایج جامع‌تر و قابل دسترس‌تری برای QDA فراهم می‌کند.