Opleiding OpenICT start pilot met de AI-gestuurde Feedback Companion

Het waren zijn studenten die Pascal al in 2022 op het idee van een AI-gestuurde feedbacktool brachten, vertelt hij. Hij gaf toen les bij een associate degree Digitale Techniek & Media en zag zijn studenten Chat-GPT 3.5 gebruiken om te checken of hun beroepsproduct aan de leeruitkomsten voldeed. Dat inspireerde Pascal om met Chat-GPT 3.5 te gaan experimenteren - en leidde tot de eerste versie van de Feedback Companion.

Formatief leren centraal

Tegenwoordig is Pascal docent en ‘gildemeester’ bij de bacheloropleiding Open-ICT waar formatief leren centraal staat. De opleiding startte zes jaar geleden met een geheel nieuwe aanpak, "want er was voorheen veel uitval en studenten waren niet tevreden", vertelt Gert. “Bij de nieuwe aanpak geven we geen les en nemen geen tentamens af. Daardoor houden we veel tijd over om studenten te begeleiden en ze goed te leren kennen.” 

Vaste coach

Bij Open ICT werken studenten nu in teams aan opdrachten van echte opdrachtgevers. Elke student heeft een vaste coach (een werkplekbegeleider) die de student begeleidt in diens ontwikkeling als individu en teamlid. Ook is elke student lid van een gilde, waarin studenten - uit verschillende studiejaren - met dezelfde beroepsrol samenkomen. Er zijn bijvoorbeeld gildes voor software developers en UI/EX designers. In die gildes leren studenten van elkaar.

Artikel gaat verder onder de foto.

Zelf bewijsmateriaal verzamelen

Open ICT werkt met tien leeruitkomsten die tijdens de hele vierjarige opleiding hetzelfde zijn. Studenten verzamelen zelf bewijsmateriaal om te laten zien dat ze groeien in die leeruitkomsten. “Wij begeleiden ze daarbij”, licht Gert toe. “We werken met sprints van twee weken. Studenten bedenken zelf wat ze voor de klant gaan maken en wat hun taken zijn. Ze geven feedback op elkaars producten en ze krijgen feedback van hun opdrachtgever. Daarnaast heeft elke student elke twee weken een coaching gesprek, waarin ze met de coach reflecteren op hun leerproces. Ze leren door te doen en door heel veel feedback. Al die feedback verzamelen ze in een e-portfolio waarin hun ontwikkeling in kaart gebracht wordt.”

Feedback-dialoog met coach

“Eerst lieten we studenten reflectieverslagen schrijven, maar studenten - zeker als ze niet zo talig zijn - houden niet zo van reflectieverslagen”, weet Gert. “Sommigen gingen daar dus ChatGPT voor gebruiken. Omdat we ze intensief begeleiden hadden we dat snel door. Studenten gaven het eerlijk toe en zeiden ‘als jullie zoveel verslagen vragen, ga ik dat gewoon doen’. We kwamen erachter dat we de feedback anders moesten organiseren. We zetten nu in op een feedback-dialoog voor de reflectie op het leerproces. Ter voorbereiding kunnen studenten, als ze dat willen, ook ChatGPT om feedback vragen. Het gaat erom dat ze in de feedback-dialoog goed kunnen uitleggen wat ze met die feedback wel of niet doen en wat ze daarvan geleerd hebben.”

Ontwikkeling volgen in e-portfolio

Gert vindt het interessant om de door Pascal ontwikkelde Feedback Companion (FC) uit te gaan proberen. “Studenten kunnen die tool 24/7 gebruiken als ze vastlopen. Dat scheelt docenten ook een hoop werk. We gaan de tool uitproberen in het tweede opleidingsjaar. Als studenten de FC om feedback vragen, ontstaat er meteen ook een datapunt. Onze coaches zien in het e-portfolio dat een student feedback heeft opgevraagd én welke feedback de FC gegeven heeft. Zo kunnen we de ontwikkeling van de student, de ‘rode draad’, volgen en hierop doorvragen in de feedback-dialoog. Welke feedback heb je gekregen; wat heb je er mee gedaan?”

Feedback cyclus van Hattie en Timperley

Volgens Pascal kan AI kan het leerproces versterken – onder drie voorwaarden.

1. Je moet de AI Agent voeden met duidelijke gewenste leeruitkomsten (vaardigheden), beroepstaken en rubrics; en slimme prompts. 
2. Je moet heel concrete taakomschrijvingen (prompts) formuleren bij het uploaden van het studentenwerk. Bijvoorbeeld: ‘neem de werkstukken door op basis van de volgende leeruitkomsten; geef per vaardigheid een niveau-inschatting en ook tips & tops.’
3. De AI Agent moet feedforward ofwel verbetersuggesties geven.

De Feedback Companion is gebaseerd op de feedback cyclus van Hattie en Timperley.

1. FEEDUP: Duidelijke doelen stellen. 
2. FEEDBACK: Top(s) & Tip(s): Wat gaat al goed en wat kan beter?
3. FEEDFORWARD: Formuleer praktische verbetersuggesties.

Artikel gaat verder onder de foto.

Open source

Toen Pascal bij Open ICT ging werken, hielp zijn collega-docent Dan Greven hem om de prompts van de Feedback Companion te verbeteren. De tool werd ook verder ontwikkeld in een werkgroep van Open ICT. Het is nu een open source tool die iedereen kan gebruiken.  De komende tijd kunnen studenten uit het tweede jaar de Feedback Companion gaan uitproberen. Open ICT heeft een Comenius Teaching Fellow beurs aangevraagd om te onderzoeken wat het effect van de Feedback Companion is op het leerproces en op de feedbackgeletterdheid van studenten.

Cognitieve luiheid

Alle docenten doen mee met de pilot maar er zijn wel twee “kampen” schetst Gert. “Sommigen zeggen ‘dit is super efficiënt en heel fijn voor studenten dus laten we de FC vooral inzetten.’ Anderen vrezen dat studenten er lui van worden en vragen zich af of we studenten niet hun eigen feedback companion moeten laten bouwen. Het plan is dit te gaan onderzoeken met drie controlegroepen: een groep studenten die geen AI-feedbacktool gebruikt, een groep die de FC gebruikt, en een groep die er zelf een bouwt.” Gert denkt zelf dat cognitieve luiheid voorkomen wordt omdat de feedback in het e-portfolio komt en besproken wordt in de coachgesprekken. “We moeten het kritisch denkvermogen van studenten prikkelen en goed uitvragen wat ze met de feedback van de FC doen.”

AI Act: veilig en verantwoord gebruik van AI in het onderwijs

Open ICT zorgt ervoor dat de Feedback Companion voldoet aan de eisen van de AI Act voor veilig en verantwoord gebruik van AI in het onderwijs. "We hadden in het team wat discussie over of deze AI-toepassing wel of niet onder hoog risico valt", vertelt Pascal. “Ik meen dat de veiligheid geborgd is, omdat OpenICT een heel rijk formatief proces heeft met heel veel datapunten.”

Deelname aan pilot

Een belangrijke eis van de AI Act is transparantie. Pascal: “We leggen studenten goed uit hoe de FC werkt, welke gegevens worden gebruikt en hoe dit bijdraagt aan hun leerproces. Voor de FC-pilot gaan we tweedejaarsstudenten vragen of ze mee willen doen. We verwachten dat ze vrijwel allemaal mee zullen doen. Onze studenten zijn gewend te werken met ICT en AI. Een enkeling wil geen AI gebruiken, maar we weten uit steekproeven die ik regelmatig in mijn lessen doe dat 8 op de 10 van onze OpenICT   -studenten AI gebruikt en dat 60 procent een betaald account heeft. Ik lees dit ook online  en hoor ook van andere hogescholen dat dit beeld klopt.”

Opgeslagen op EU-servers

Open ICT gaat de FC in de pilot testen in twee versies: een in Azure- en een in Copilot. De data worden verstuurd via https en opgeslagen op EU-servers in Zweden en daar geanalyseerd. Pascal: “De mens blijft in controle, want de FC is geen vervanging van de docent maar een aanvulling. De docenten moeten de feedback van de FC valideren en personaliseren om zo het leerproces te verrijken. Zes docenten doen mee met de pilot en we gaan eens per drie weken de docenten en studenten die meedoen interviewen over hun ervaringen. We beginnen low key. Als de Comenius-beurs wordt toegekend gaan we na de zomer opschalen.”

Vraagbaak-Webinar: AI gebruiken voor feedback en reflectie: hoe doe je dat verantwoord?

Vrijdag 9 mei, 11.00 - 12.00 uur
Deelname: kosteloos.

Kom naar het webinar! Vergeet niet je aan te melden

 Meer lezen over AI en Onderwijs op de Vraagbaak-website?

• Fontys ICT-experiment: Kan GenAI de kwaliteit van feedbackgesprekken verbeteren? | SURF Communities
• MondriAI-Edu programma: “Help ons AI te verbinden met waar onderwijs écht om draait” | SURF Communities
• AI Toolbox – Vrije Universiteit: Deze AI-tools helpen je je leermaterialen sneller en beter te ontwerpen | SURF Communities
• AI in het onderwijs: “We moeten studenten leren hoe ze de Human In The Loop kunnen zijn” | SURF Communities
• Taskmaster: een GPT Chatbot die alle opdrachten leuk maakt en studenten motiveert | SURF Communities