assessment validity

While higher education institutions increasingly claim to value student-centeredness, engaging students as authentic partners in educational assessment remains in many ways an aspirational practice. Grounded in the collective reflections of assessment professionals from diverse institutional contexts within the Student Partners in Assessment Community for Engagement (SPACE), the authors of this article explore the practical realities of student engagement, from consultation to collaboration, in assessment. Through qualitative thematic analyses, we identified profound promises of this work, including developmental benefits for students, enhanced validity of assessment data, and actionable institutional improvement. However, we also pinpointed significant pitfalls, such as resource and cultural barriers, inherent power imbalances, logistical mismatches with student availability, and tensions around quality. To bridge the gap between aspirational partnership and institutional reality, in this paper, we offer actionable strategies for assessment practitioners to mitigate some of these challenges. Within this paper, we provide a realistic, practitioner-oriented guide for cultivating sustainable and impactful student engagement in higher education

در حالی که مؤسسات آموزش عالی به طور فزاینده‌ای مدعی ارزش‌گذاری بر دانشجو‌محوری هستند، مشارکت دانشجویان به عنوان شرکای واقعی در ارزیابی آموزشی همچنان در بسیاری از موارد یک رویکرد آرمانی باقی مانده است. نویسندگان این مقاله با تکیه بر تأملات جمعی متخصصان ارزیابی از زمینه‌های نهادی متنوع در جامعه Student Partners in Assessment Community for Engagement (SPACE)، به بررسی واقعیت‌های عملی مشارکت دانشجویان، از مشاوره تا همکاری، در فرایند ارزیابی می‌پردازند. از طریق تحلیل‌های کیفی مضمون‌محور، وعده‌های عمیق این رویکرد، از جمله منافع رشدی برای دانشجویان، افزایش روایی داده‌های ارزیابی و بهبودهای قابل اجرا در سطح نهادی شناسایی شد. با این حال، چالش‌های قابل توجهی نیز شناسایی گردید، از جمله موانع منابع و فرهنگی، عدم توازن ذاتی قدرت، ناسازگاری‌های لجستیکی با زمان‌بندی دانشجویان و تنش‌هایی پیرامون کیفیت. به منظور پر کردن شکاف میان مشارکت آرمانی و واقعیت نهادی، در این مقاله راهبردهای عملی برای متخصصان ارزیابی جهت کاهش برخی از این چالش‌ها ارائه می‌شود. این مقاله راهنمایی واقع‌بینانه و مبتنی بر عمل برای پرورش مشارکت پایدار و مؤثر دانشجویان در آموزش عالی ارائه می‌دهد.

The study analysed the quality and cognitive complexity of Financial Accounting questions in the WASSCE from 2014 to 2024 using a descriptive quantitative approach. A total of 837 questions (550 multiple-choice and 287 essay items) were assessed based on Etsey’s [ 1 ] item-writing standards and Revised Bloom’s Taxonomy. Descriptive statistics were employed to summarise the prevalence of item-writing flaws and cognitive levels. Findings revealed that 57% of multiple-choice items violated item-writing principles, with common flaws including ambiguous stems, inconsistent option sequences, and unequal option lengths. Analysis of cognitive demand showed that lower-order skills dominated the examination, while higher-order skills were severely underrepresented. This imbalance suggests that students’ abilities to analyse, evaluate, and create accounting information are insufficiently assessed. The study recommends that WAEC prioritise examiner training, implement rigorous moderation, and ensure future examination papers reflect a more balanced distribution of cognitive skills to enhance assessment validity and better prepare students for professional accounting challenges.

این پژوهش با رویکرد توصیفی-کمی به تحلیل کیفیت و پیچیدگی شناختی سؤالات حسابداری مالی در آزمون WASSCE از سال ۲۰۱۴ تا ۲۰۲۴ پرداخت. مجموعاً ۸۳۷ سؤال (۵۵۰ سؤال چندگزینه‌ای و ۲۸۷ سؤال تشریحی) بر اساس استانداردهای نگارش سؤال Etsey و طبقه‌بندی بازنگری‌شده بلوم مورد ارزیابی قرار گرفتند. برای خلاصه‌سازی شیوع خطاهای نگارش سؤال و سطوح شناختی از آمار توصیفی استفاده شد. یافته‌ها نشان داد که ۵۷٪ از سؤالات چندگزینه‌ای اصول نگارش سؤال را نقض کرده‌اند و رایج‌ترین خطاها شامل ابهام در صورت سؤال، ترتیب نامنسجم گزینه‌ها و طول نابرابر گزینه‌ها بوده است. تحلیل تقاضای شناختی نشان داد که مهارت‌های سطوح پایین‌تر بر آزمون غالب بوده و مهارت‌های سطوح بالاتر به‌شدت کمتر نمایان شده‌اند. این عدم توازن حاکی از آن است که توانایی دانش‌آموزان در تحلیل، ارزیابی و خلق اطلاعات حسابداری به‌طور کافی مورد سنجش قرار نمی‌گیرد. پژوهش توصیه می‌کند که WAEC آموزش ممتحنان را در اولویت قرار دهد، تعدیل‌گری دقیق را اجرا کند و اطمینان حاصل کند که آزمون‌های آتی توزیع متوازن‌تری از مهارت‌های شناختی را منعکس می‌کنند تا روایی ارزیابی ارتقا یافته و دانش‌آموزان برای چالش‌های حرفه‌ای حسابداری بهتر آماده شوند.

Artificial intelligence (AI) is rapidly reshaping higher education assessment through applications such as automated feedback, adaptive testing, learning analytics, automated scoring, and generative support. Yet scholarship on AI-enabled assessment remains fragmented across technical, pedagogical, ethical, governance, and professional perspectives, limiting the field’s capacity to explain how these dimensions interact in practice and how misalignment among them affects educational legitimacy. This paper develops the AI-Assessment Ecosystem Model, a conceptual ecosystem framework for analysing AI in higher education assessment as a sociotechnical and institutional phenomenon rather than a discrete technical intervention. Drawing on a conceptual synthesis of literature published primarily between 2019 and 2024, and informed by foundational work on assessment validity, feedback, institutional legitimacy, organisational change, inclusive design, and computer-supported collaborative learning, the paper identifies five interdependent domains that shape AI-enabled assessment: technological innovation, pedagogical alignment and learner needs, institutional strategy and governance, faculty and professional readiness, and ethical and inclusive implementation. The paper theorises legitimacy as a relational and contested process through which AI-supported assessment must be justified to students, faculty, institutions, regulators, and other stakeholders as educationally valid, professionally defensible, ethically acceptable, inclusive, and organisationally accountable. The framework argues that AI in assessment cannot be adequately evaluated by technical capability, implementation success, or ethical compliance alone; it must be understood through the relations, tensions, and potential misalignments among educational purpose, organisational conditions, professional practice, student agency, and technological design. The model is offered as a conceptual ecosystem framework for guiding future research, critique, and institutional decision-making.

هوش مصنوعی (AI) به‌سرعت در حال بازشکل‌دهی ارزیابی در آموزش عالی از طریق کاربردهایی همچون بازخورد خودکار، آزمون‌های تطبیقی، تحلیل یادگیری، نمره‌دهی خودکار و پشتیبانی مولد است. با این حال، پژوهش‌ها درباره ارزیابی مبتنی بر هوش مصنوعی در میان دیدگاه‌های فنی، پداگوژیک، اخلاقی، حاکمیتی و حرفه‌ای پراکنده باقی مانده‌اند و این امر ظرفیت حوزه را برای تبیین نحوه تعامل این ابعاد در عمل و چگونگی تأثیر عدم‌همسویی میان آن‌ها بر مشروعیت آموزشی محدود می‌کند. این مقاله مدل اکوسیستم ارزیابی مبتنی بر هوش مصنوعی را توسعه می‌دهد؛ چارچوب مفهومی اکوسیستم برای تحلیل هوش مصنوعی در ارزیابی آموزش عالی به‌مثابه یک پدیده اجتماعی‌فنی و نهادی، نه صرفاً یک مداخله فنی مجزا. با اتکا به سنتز مفهومی ادبیات منتشرشده عمدتاً بین سال‌های ۲۰۱۹ تا ۲۰۲۴ و با الهام از آثار بنیادی درباره روایی ارزیابی، بازخورد، مشروعیت نهادی، تغییر سازمانی، طراحی فراگیر و یادگیری مشارکتی رایانه‌محور، مقاله پنج حوزه وابسته به‌هم را که شکل‌دهنده ارزیابی مبتنی بر هوش مصنوعی هستند شناسایی می‌کند: نوآوری فناورانه، همسویی پداگوژیک و نیازهای یادگیرنده، راهبرد و حاکمیت نهادی، آمادگی اعضای هیئت علمی و حرفه‌ای، و اجرای اخلاقی و فراگیر. مقاله، مشروعیت را به‌مثابه فرایندی رابطه‌ای و مورد مناقشه نظریه‌پردازی می‌کند که طی آن ارزیابی پشتیبانی‌شده با هوش مصنوعی باید برای دانشجویان، اعضای هیئت علمی، نهادها، ناظران و سایر ذی‌نفعان به‌عنوان آموزشی معتبر، حرفه‌ای قابل دفاع، اخلاقاً پذیرفتنی، فراگیر و سازمانی پاسخگو توجیه شود. این چارچوب استدلال می‌کند که هوش مصنوعی در ارزیابی را نمی‌توان صرفاً بر اساس قابلیت فنی، موفقیت اجرا یا انطباق اخلاقی به‌طور کافی ارزیابی کرد؛ بلکه باید آن را از رهگذر روابط، تنش‌ها و عدم‌همسویی‌های بالقوه میان هدف آموزشی، شرایط سازمانی، عمل حرفه‌ای، عاملیت دانشجو و طراحی فناورانه فهمید. این مدل به‌عنوان چارچوب مفهومی اکوسیستم برای هدایت پژوهش‌های آتی، نقد و تصمیم‌گیری نهادی ارائه می‌شود.