Mixed-methods analysis of student evaluative feedback on assessment usefully reveals variations in student experience and voice
تجزیه و تحلیل ترکیبی از بازخورد دانش آموز در ارزیابی مفید نشان می دهد تغییرات در تجربه دانش آموز و صدا
چکیده
‘Student voice’ and ‘inclusivity’ have emerged as cornerstones of assessment redesign projects. One largely unarticulated precondition for the student voice to be a meaningful determinant of assessment practices is that student preferences are consistent and specific. To find out whether this is actually the case, we developed a mixed-method approach to analysing focus group transcripts. The core of our work consists of a topic analysis and a collocation analysis. The main finding from our topic analysis is that student discourse does not revolve around a consistent set of preferences. Individual preferences get drowned out in aggregate data. Our collocation analysis shows an intense student focus on the logistics and regulation of assessment and a devastatingly bleak evaluation of them. Concerns around what is being assessed are largely absent from conversations around assessment preferences. Results point to a need to build trust at a ‘local’ level rather than seek silver bullets.
«صدای دانشجو» و «شمولیت» بهعنوان ارکان اصلی پروژههای بازطراحی ارزیابی مطرح شدهاند. یکی از پیششرطهای عمدتاً بیاننشده برای آنکه صدای دانشجو بتواند بهعنوان تعیینکنندهای معنادار در شیوههای ارزیابی ایفای نقش کند، این است که ترجیحات دانشجویان سازگار و مشخص باشد. برای بررسی اینکه آیا واقعاً چنین است یا خیر، رویکردی ترکیبی برای تحلیل رونوشتهای گروههای کانونی توسعه دادیم. هسته اصلی پژوهش ما شامل تحلیل موضوعی و تحلیل همآیی است. یافته اصلی تحلیل موضوعی ما این است که گفتار دانشجویان حول مجموعهای سازگار از ترجیحات نمیچرخد. ترجیحات فردی در دادههای تجمیعی نادیده گرفته میشود. تحلیل همآیی ما نشان میدهد که تمرکز دانشجویان بر جنبههای لجستیکی و مقرراتی ارزیابی بسیار شدید است و ارزیابی آنها از این جنبهها بهشدت منفی است. نگرانیها درباره اینکه چه چیزی مورد ارزیابی قرار میگیرد، عمدتاً در گفتگوهای مربوط به ترجیحات ارزیابی غایب است. نتایج نشان میدهد که نیاز به ایجاد اعتماد در سطح «محلی» وجود دارد و نباید به دنبال راهحلهای معجزهآسا بود.