Bij de ICT-opleiding van Fontys spelen formatieve feedback en het portfolio een belangrijke rol. Elk semester omvat drie formatieve toetsen en eindigt met een summatieve toets. Tussendoor voeren de studenten formatieve feedbackgesprekken met docenten. Deze gesprekken zijn bedoeld om studenten te helpen reflecteren op hun leerproces.
AI-bullshit detectoren
Ruud en Koen zagen dat met de komst van GenAI de reflectieverslagen en de beroepsproducten in het Canvas-portfolio veel langer en wolliger werden. “We werden ‘AI-bullshit’ detectoren. Het portfolio devalueerde. Het eerste idee om dit probleem tegen te gaan, was om studenten hun portfolio mondeling te laten toelichten. Maar dat kost erg veel tijd en de gesprekken moeten worden vastgelegd. We zijn daarom gaan nadenken over hoe GenAI zou kunnen helpen bij de verwerking van het gesprek, en we hebben vervolgens een experiment opgezet dat we dit studiejaar uitvoeren.”
Studenten vinden de feedbackgesprekken waardevol, aldus Koen. “Ze geven aan dat feedback inzicht geeft in waar ze staan en in wat beter kan; stress vermindert; motiveert; en een bredere kijk geeft op hun eigen functioneren. Hoe concreter en specifieker, hoe fijner ze de feedback vinden. Als docent zijn we echter bewust niet al te specifiek want ze moeten vooral zelf reflecteren op hun functioneren.”
Communicatieprobleem
Ruud en Koen kregen ook meer inzicht in waarom er zoveel “onzintekst” in het portfolio stond. Ruud: “Ten eerste zijn de leeruitkomsten vaak vaag beschreven. Daarnaast is er een communicatieprobleem. De student moet onze feedback interpreteren. Studenten maken niet direct een verslag en actieplan, waardoor wat er gezegd is, vervaagd is als ze ermee aan de slag gaan…”
Onderzoeksvraag
Deze bevindingen brachten Koen en Ruud tot de volgende onderzoeksvraag. ‘Op welke manier kan GenAI een meerwaarde bieden in het op feedback gebaseerde formatieve beoordelingsproces.’ Koen: “We wilden vooral onderzoeken hoe GenAI kan helpen om die communicatiekloof in het feedbackproces te verkleinen.”
Audio-opname, GenAI-transscriptie en -samenvatting
Koen en Ruud hebben het experiment zo opgezet dat zowel studenten als docenten ervan kunnen leren. De stappen zijn als volgt.
1. Audio-opname van het gesprek.
2. GenAI maakt een transcriptie van het gesprek.
3. GenAI maakt een samenvatting van het gesprek.
4. Zowel studenten als docenten gebruiken het transcript voor feedback, up en forward.
Gedeelde kijk op het gesprek en de voortgang
Deze aanpak bevordert een gedeelde kijk op het gesprek en de voortgang. De student kan het gesprek terugluisteren en met hulp van een CustomGPT [een chatbot die voor een bepaald doel met prompts is geïnstrueerd en met informatie is gevoed] een reflectieverslag en actieplan maken. De docent kan het gesprek analyseren met hulp van een CustomGPT en daarvan leren. De docent(en) en de student krijgen beiden de audio-opname, de GenAI-transscriptie en -samenvatting. Deze input helpt de student bij het opstellen van een actieplan en docenten kunnen er hun gespreksvaardigheden mee verbeteren. Het experiment is nu halverwege.
Koen en Ruud benadrukten dat de mens altijd het uitgangspunt is voor hun experiment. “We gebruiken AI niet om de beoordeling te doen, maar om zelf te leren beter te beoordelen. We zetten AI niet in om efficiënter te kunnen werken maar om de kwaliteit van de feedbackgesprekken te verbeteren.”
CustomGPT-assistenten
Als een student een feedbackgesprek heeft, zijn daar altijd twee docenten bij aanwezig. De opname wordt gedaan met een Jabra-microfoon of laptop. Voor de transscriptie gebruiken de docenten de gratis versie van de transscriptietool MacWhisper of VibeAI. Koen en Ruud hebben voor het feedbackproces drie CustomGPT’s gemaakt: een notulist, een feedback expert en een docent die kan leren om betere feedback te geven. Om CustomGPTs te maken is een betaald ChatGPT account nodig.
Hallucineren en controles
Na het gesprek scant altijd een van de docenten de transcriptie en scannen beide docenten de GenAI-samenvatting om te controleren of daar geen gekke dingen inzitten. Ruud: “In het algemeen is die GenAI-samenvatting goed, maar je moet het wel checken. In een geval zag de samenvatting er goed uit, maar toen ik de transcriptie controleerde bleek dat een zin heel vaak werd herhaald; twee derde van de transscriptie ontbrak. Er was een stilte in het gesprek gevallen. Het blijkt dat AI dan kan gaan hallucineren.”
MacWhisper kan behoorlijk goed dialecten en Engelse accenten transcriberen, merken Koen en Ruud. Er is ook een betaalde variant maar de gratis variant is volgens hen goed genoeg. De transcriptietool van MS Teams is minder goed maar wel bijna even goed als de gratis versie van MacWhisper. De GenAI kan zelf uit de opname afleiden of het de student of de docent is die aan het woord is.
CustomGPT stelt reflectievragen
Als alles gecontroleerd is, krijgt de student in Canvas de transcriptie. Deze transcriptie kan de student uploaden naar ChatGPT of Copilot samen met de leerdoelen en leeruitkomsten. Vervolgens stelt de CustomGPT, ofwel de geïnstrueerde chatbot, de student vragen aan de hand waarvan de student een reflectieverslag kan maken. Koen: “Met de reflectievragen die de chatbot stelt, leert de student hoe je reflecteert en kan zich later zelf die vragen gaan stellen.”
Gespreksanalyse
Docenten maken met hulp van de CustomGPT een analyse van het gesprek op basis van de transscriptie. De CustomGPT is gevoed met prompts en feedbacktheorieën en geeft op basis daarvan de docent feedback op de kwaliteit van het gesprek. Koen: “Je krijgt met quotes uit het gesprek onderbouwde feedback.”
Eerste reacties docenten en studenten
Het experiment dat nu halverwege is, is net geëvalueerd. De ICT-docenten zijn overwegend positief. Koen: “Ze zeggen dat ze zich beter op het gesprek kunnen focussen doordat ze geen aantekeningen hoeven te maken. Maar ze geven ook aan dat de analyse van het gesprek extra werk geeft.” Ruud en Koen hebben de uitkomsten van de evaluatie onder studenten nog niet gezien. Van sommige studenten horen ze dat ze meer waarde hechten aan drie handgeschreven regels van een docent dan aan de samenvatting van ChatGPT.
Ethisch kader
Voor het experiment stelden Koen en Ruud een ethisch kader op om zaken als de privacy van studenten te waarborgen. Dat kader kent de volgende uitgangspunten.
- Docenten moeten de studenten om toestemming vragen.
- De mens is het begin- en eindpunt, AI ondersteunt alleen.
- De betrouwbaarheid van de output moet goed gecontroleerd worden (6x).
- Transparantie naar student: prompts, transcripten & audio delen.
- EU AI Act compliancy.
Als een student niet akkoord gaat, wordt het gesprek gevoerd zonder audio-opname en maakt de docent met de hand aantekeningen. Het experiment is nu halverwege dus het is nog te vroeg om echte conclusies te checken. “Ons MT moet straks besluiten of we dit wel of niet willen opschalen binnen de organisatie.”
Inspiratiedag AI en Toetsen
Deze workshop werd gegeven op de Inspiratiedag AI en Toetsen, georganiseerd door de SURF-Community Digitaal Toetsen en het Netwerk Toetsbekwaamheid. Er waren 2 plenaire sessies en 12 workshops. De presentaties en nog meer interessante tools en websites vind je in de Goodybag AI en Toetsen.
Lees ook het artikel: 'AI en toetsen: check je toetsen met de 'Toolkit AI in je toetsontwerp’
0 Praat mee