AI4feedback-tool voor bachelorscripties: ‘Studenten krijgen liever feedback van de AI4feedbacktool dan van hun medestudenten’

Geneeskundestudenten schrijven aan het begin van hun derde studiejaar hun bachelorscriptie. Bij de geneeskundeopleiding van de UvA mogen studenten zelf hun scriptiebegeleider kiezen en kunnen kiezen uit maar liefst 900 senior tutors en 4.500 begeleiders. Doordat er zoveel tutors en begeleiders zijn, kunnen studenten een onderwerp kiezen waar ze echt enthousiast voor zijn.

Waarom AI-feedback?

Studenten waarderen die keuzevrijheid erg, zo blijkt uit evaluaties. Maar een probleem waar de geneeskundeopleiding mee worstelt, is dat niet elke begeleider even goede feedback geeft. Een ander probleem dat de opleiding signaleert, is dat vrij veel studenten betaalde scriptiebegeleiding gebruiken. Dit werkt ongelijkheid in de hand.

Kansenongelijkheid tegengaan

Bij het denken over hoe die ongelijkheid tegen te gaan, werd het idee voor de AI4feedbacktool geboren, die formatieve feedback geeft op bachelor geneeskundescripties. “Het is een aanvulling op de feedback van scriptiebegeleiders, géén vervanging van…”, benadrukte Floor. “Menselijke feedback blijft leidend.” Het doel is om studenten een meer gelijke kans op goede feedback te geven.

UvA AI-Chat & Feedbackmodel van Hattie & Timperley

De AI4feedbacktool is ontwikkeld binnen UvA AI Chat, de eigen, veilige, afgeschermde omgeving van de UvA. In  UvA AI Chat kun je persona’s maken, net zoals je in ChatGPT Custom GPT’s kunt maken. Voor de tool is het Feedbackmodel van John Hattie & Helen Timperley gebruikt. Dat kent drie componenten.

1. FEEDUP 
2. FEEDBACK: Top(s) & Tip(s): Wat gaat al goed en wat kan beter?
3. FEEDFORWARD: Formuleer praktische verbetersuggesties.

Een persona voor elk hoofdthema

De bachelorscripties moeten worden geschreven in het format van een wetenschappelijk artikel. Dat omvat de volgende vijf hoofdstukken.

- Titel/ abstract
- Introduction
- Method
- Result
- Discussion
 
Artikel gaat verder onder de afbeelding.

De expertisegroep definieerde 36 beoordelingscriteria, groepeerde die in 17 hoofdthema’s. Die 17 hoofdthema’s zijn (waar relevant) gekoppeld aan de hoofdstukken. Voor het hoofdstuk ‘Introduction’ zijn bijvoorbeeld de hoofdthema’s ‘relevance research design, writing skills, en source analysis’ relevant. Studenten kunnen via persona’s op die 17 hoofdthema’s feedback vragen, en erover chatten met de persona. Als je feedback wilt op ‘method research design’ ga je naar die persona en zet je de tekst die je wilt laten beoordelen in de chat.

Feedback en feedforward

De persona vertelt de student eerst hoe de ingevoerde tekst geanalyseerd wordt. Daarna volgen feedback en feedforward met concrete aanwijzingen voor verbeteringen. Zo luidt feedforward op de methodesectie bijvoorbeeld: “je zou kunnen beginnen met een korte samenvatting die de volgende elementen bevat: onderzoekontwerp, populatie, locatie en tijdsperiode, belangrijkste uitkomstvariabelen.” Soms geeft de tool ook een voorbeeldtekst. De student kan doorvragen op de feedback, licht Floor toe. “Wij moedigen studenten aan om dat te doen, vooral als ze de feedback niet goed snappen.”

Testen met studenten & vragenlijst

In de acht weken waarin studenten hun bachelorscriptie schrijven, organiseert de geneeskundeopleiding al jarenlang drie peerfeedbacksessies (in week 4, 6, en 8). Deelname is niet verplicht en de opkomst was altijd laag. Dit najaar (2024) konden studenten tijdens deze drie sessies niet alleen feedback vragen aan hun peers maar ook aan de AI4feedbacktool. En er waren docenten aanwezig aan wie ze vragen konden stellen. Een veel gestelde vraag over de feedbacktool was: “Wat mag ik hiermee? Is het plagiaat of fraude als ik deze feedback verwerk? Mag ik de voorbeeldtekst die de feedbacktool geeft overnemen?"

Liever feedback van AI4feedbacktool dan van medestudenten

Na elke sessie werden de studenten gevraagd een lijst van 34 vragen in te vullen ter evaluatie van de tool. Er kwamen 55 (unieke) studenten naar de feedbacksessies (aanzienlijk meer dan de 10-20 studenten in voorgaande jaren) en van hen vulden 34 studenten de vragenlijst in. De helft van die 34 studenten woonde één sessie bij, de andere helft twee of drie sessies. Een belangrijke uitkomst is dat ze liever feedback krijgen van de AI4feedbacktool dan van medestudenten. Maar studenten verkiezen wel de feedback van hun scriptiebegeleiders boven de feedback van de tool.

Getest door een student-assistent

De AI4feedback-tool is ook zeer uitvoerig getest door een student-assistent. De Expertisegroep maakte een data-analyse van de antwoorden op de vragenlijst en de testresultaten van de student-assistent. Omdat de Expertisegroep wetenschappelijk onderzoek doet naar de AI4feedbacktool, kon Floor in het webinar de uitkomsten maar beperkt delen. Uit de data-analyse bleek in elk geval dat feedback op bepaalde criteria nu niet goed werkt, aldus Floor. “We moeten nu bedenken wat we gaan doen met die criteria. Willen we die eruit halen of in de vorm van feedup opnemen? We gaan eerst proberen of we ze beter werkend kunnen krijgen.”

Volgende testmoment tijdens “The Research Track”

Het volgende testmoment is juni 2025. Dan gaat de Expertisegroep een pilot doen met de AI4feedback-tool tool tijdens de laatste weken van het keuzevak “The Research Track” (eind maart tot eind juni). Studenten die dit vak kiezen, beginnen eerder aan hun scriptie en doen vaker empirisch onderzoek. Studenten die in acht weken een scriptie schrijven doen meestal een literature review, en maar heel soms een narratieve review of empirisch onderzoek. “Dat is omdat acht weken erg kort is om data te verzamelen en te analyseren”, lichtte Floor toe. “De AI4feedbacktool was tot nu toe vooral toegespitst op scripties over een systematic literature review. We maken de tool nu ook werkend voor empirische thesissen en narratieve thesissen.”

Open educational tool voor opleidingen in alle disciplines

De Expertisegroep wil de tool zo verder ontwikkelen dat deze uiteindelijk in alle disciplines en voor zowel wetenschappelijke als niet wetenschappelijke opleidingen gebruikt kan worden. Het doel is om er een open educational resource van te maken.

Evalueren met scriptiebegeleiders

De Expertisegroep wil de tool ook evalueren met de scriptiebegeleiders. Wat vinden zij van de tool? En merken zij een verschil als studenten vooraf de feedbacktool gebruiken? Komen ze dan beter voorbereid naar de gesprekken met hun begeleiders? Tot nu kreeg reageerden maar weinig scriptiebegeleiders. De komende tijd gaat de Expertisegroep erop inzetten om meer feedback van hen te krijgen. Een ander plan is om studenten in de drie feedbacksessies in najaar 2025 meer met elkaar en de docent in gesprek te laten gaan over de AI-feedback. “We willen dat studenten met elkaar reflecteren op de feedback die de AI-tool geeft. Wat vinden ze ervan? Is het goede feedback?” Dit soort gesprekken bevorderen AI-geletterdheid.

Bekijk het Vraagbaak-webinar van mei 2025 'AI gebruiken voor feedback en reflectie: hoe doe je dat?' 

Meer weten over AI in het onderwijs? Lees ook deze artikelen.

• AI in het geneeskundeonderwijs: de PAItiëntsimulator
• AI in het HRM-onderwijs
• Onderzoek naar AI-Geletterdheid bij Inholland
• Opleiding OpenICT start pilot met de AI-gestuurde Feedback Companion | SURF Communities
• AI Toolbox – Vrije Universiteit: Deze AI-tools helpen je je leermaterialen sneller en beter te ontwerpen | SURF Communities
• AI in het onderwijs: “We moeten studenten leren hoe ze de Human In The Loop kunnen zijn” | SURF Communities
• Taskmaster: een GPT Chatbot die alle opdrachten leuk maakt en studenten motiveert | SURF Communities