Wat zit er in de toolkit?
De toolkit bevat:
- Een gesprekstool ‘AI en toetsing’ voor onderwijsprofessionals.
- Een interactieve flowchart die helpt bij de keuze om toetsen wel of niet aan te passen.
- Een kaartenset ‘Leren zichtbaar maken’ met suggesties voor toetsvormen en leeractiviteiten.
- Een handreiking Academische integriteit - voor studenten.
- Een handreiking (G)AI - voor examencommissies en examinatoren.
- Voorbeelden van formatief handelen met ChatGPT.
Bekijk de hele toolkit
Hoe is de toolkit ontvangen?
Frank: “Na onze presentatie van de toolkit in een SURF-webinar vorig najaar, was er veel interesse vanuit andere onderwijsinstellingen. We delen de toolkit graag, omdat we het belangrijk vinden samen op te trekken met andere instellingen. Inmiddels is de toolkit geactualiseerd en uitgebreid, en wordt veel gebruikt bij de HHs.”
Hoe gebruik je deze toolkit het beste?
Joyce: “Er is geen specifieke volgorde om de tools te gebruiken. Je kunt als opleiding, docent of examencommissie de tools kiezen die relevant zijn voor jouw onderwijspraktijk. Docententeams die hun toetsprogramma moeten herzien, zijn heel blij met de kaartenset. Die bevat veel ideeën voor toetsvormen, zowel formatief als summatief, met en zonder AI. Docenten zijn ook erg blij met de handreiking academische integriteit. Deze bespreken ze graag met studenten.”
“Met welke tool je start, hangt vooral af van hoe ver je als opleiding of docent al bent in het nadenken over AI en toetsing. We beginnen vaak met het doorlopen van de zeven vragen van de gesprekstool. Daarbij bespreken we ook de kwaliteitsprincipes voor toetsing uit het HHs-toetsbeleid. Voor AI is onder andere het principe van ‘Attributie’ belangrijk: hoe zeker kun je weten dat de prestatie door de student is geleverd? Bij elk kwaliteitsprincipe vragen we: hoe kan AI dit principe ondermijnen of verrijken?”
Hoe werkt de gesprekstool?
Frank: “De eerste vraag van de gesprekstool richt zich op wat AI betekent voor de toekomstige beroepspraktijk van je studenten. Verandert er iets of niet? De tweede vraag gaat over wat dat betekent voor de gewenste leeruitkomsten van je opleiding. Bij de derde vraag denk je na over een passende toetsvorm waarmee studenten hun leerresultaten zichtbaar kunnen maken. Vragen vier tot en met zeven richten zich op hoe studenten AI kunnen gebruiken bij deze toets en hoe AI de doelen van de toets kan versterken of ondermijnen. Soms moet je door het toestaan van AI-gebruik ook de manier van beoordelen aanpassen.”
Hoe werkt de flowchart?
Frank: “De flowchart helpt om duidelijk te krijgen wat de gevolgen van AI zijn voor de toetsing en beoordeling van jouw opleiding. We willen vooral inspireren. Naast het benoemen van risico’s nodigen we uit om te kijken naar de kansen die AI biedt om toetsen te verrijken.”
Welke gevolgen heeft AI voor beoordelen?
Joyce: “Veel opdrachten die studenten krijgen, kan AI tegenwoordig uitvoeren – als je de juiste prompts geeft. Bij de opleiding Communicatie moeten studenten bijvoorbeeld communicatiebeleidsplannen, persberichten en wervende teksten voor evenementen kunnen schrijven. Dit soort zaken kan AI allemaal doen. Dat betekent niet dat studenten deze vaardigheden niet meer hoeven te beheersen of dat ze geen AI mogen gebruiken. Maar je moet wel goed nadenken over wat en hoe je dit wilt beoordelen. Je kunt nu bijvoorbeeld beoordelen of de student in staat is een prompt te schrijven die leidt tot een communicatieplan dat goed past bij de doelgroep en de context. En je beoordeelt of de student zijn keuzes bij het maken van die prompt goed kan onderbouwen.”
Betekent dit dat beoordelen meer tijd gaat kosten voor docenten?
Frank: “We zien vooral een verschuiving van het inleveren van schriftelijke toetsproducten naar het verantwoorden van toetsproducten. Er wordt minder op papier beoordeeld. Docenten willen studenten observeren tijdens het uitvoeren van een handeling. Ze laten studenten vaker mondelinge presentaties geven. Studenten moeten hun verhaal goed kunnen onderbouwen, zodat de docent inzicht krijgt in wat de student kan. Dat kan het toetsen tijdsintensiever maken. Daarom moet je kijken naar je hele toetsprogramma. Wat ga je nog wel en wat niet meer toetsen? Het moet haalbaar blijven voor zowel docenten als studenten. Haalbaarheid is ook een belangrijk kwaliteitsprincipe van HHs-toetsing.”
Joyce: “Om het haalbaar te houden voor docenten, kun je ook de manier van beoordelen aanpassen. Als je bijvoorbeeld tien criteria gebruikt op een vijfpuntschaal, kun je kritisch kijken welke criteria echt cruciaal zijn. Of je kunt de beoordelingsschaal aanpassen, zodat je minder beslismomenten hebt. Dit soort keuzes kun je, uiteraard afhankelijk van de context, maken als je je toetsing herontwerpt. Tot nu toe ligt de nadruk sterk op andere vormen van toetsen, maar je kunt ook veranderingen aanbrengen in de wijze van beoordelen. Daarnaast is het belangrijk om naar je toetsprogramma als geheel te kijken, dus niet alleen naar je eigen vak of module.”
Frank: “AI kan docenten ook helpen bij het maken van toetsvragen en rubrics. Dat kan weer tijd opleveren. Maar nog lang niet alle docenten gebruiken AI of weten hoe ze dat kunnen doen. Wij laten soms zien hoe je prompts kunt maken voor formatieve toetsen.”
Waarbij helpt de handreiking voor examencommissies?
Joyce: “Op basis van jurisprudentie van de Raad van State hebben we in deze handreiking een twijfelprotocol opgenomen. We beschrijven daarin welke werkwijze je bij redelijke twijfel of de student het leerresultaat wel of niet zelf heeft vervaardigd het best kunt hanteren. De vakdocent en/of de examinator moet(en) bepaalde stappen ondernemen. En duidelijke communicatie vooraf over of AI wel of niet gebruikt mag worden en wat je als opleiding doet als je AI-plagiaat vermoedt, is essentieel.”
“Ook wijzen we op enkele belangrijke uitgangspunten voor het vormgeven van toetsen. Je mag studenten bijvoorbeeld niet verplichten AI te gebruiken als de hogeschool geen licenties heeft die voor alle studenten toegankelijk zijn. Gelijke toegang tot AI-tools is cruciaal!”
Bekijk alle tools in de toolkit.
Wil je op de hoogte blijven van nieuws en bijeenkomsten over (Digitaal) Toetsen en Toetsen?
5 Praat mee