Onderzoek: Wat is de impact van GenAI op toetsing in het hoger onderwijs en hoe kunnen examencommissies hiermee omgaan?

Is het doel van de literature review bereikt?
“Ja, deze literatuurstudie was een terreinverkenning en laat zien dat er nog ontzettend weinig bekend is over hoe examencommissies docenten kunnen ondersteunen bij eerlijk en effectief toetsen in het AI-tijdperk. Er is nog maar weinig onderzoek naar dit vraagstuk gedaan, blijkt uit mijn literatuuronderzoek. Er is wel wat over geschreven, maar dat is niet evidence based.”

Je verzamelde voor dit onderzoek alle GenAI-richtlijnen van de Nederlandse universiteiten. Wat zeggen die over AI en toetsen?
“Ja, het was helemaal niet zo makkelijk al die richtlijnen te vinden. Het artikel bevat nu een overzicht van die GenAI-richtlijnen, inclusief links. Ik ben nog bezig met het verzamelen van de GenAI-richtlijnen van de Nederlandse hbo- en mbo-instellingen.”

“Uit mijn quick scan blijkt dat de AI-richtlijnen van Nederlandse universiteiten weinige concrete handvatten geven voor examencommissies. Er staat weinig in over wat ze wel of niet moeten doen. De vraag is ook of een examencommissie dit wel kan. In mijn visie moeten examencommissies hiervoor nauw optrekken met de onderwijsdirecteuren.  Zij zouden samen richtlijnen moeten maken die ervoor zorgen dat toetsing eerlijk, actueel en effectief blijft."

"Onderwijsdirecteuren zouden samen met de docenten op cursusniveau moeten kijken wat de leerdoelen zijn en of de manier van toetsing die nu gebruikt wordt hier nog bij past. En ze zouden moeten checken: toetsen we nog wel wat we willen toetsen? Dit gebeurt nog maar weinig. Onderwijsdirecteuren en docenten kunnen ook meer in kansen denken. Zijn er toetsen denkbaar met GenAI?”

Zie je verschillen tussen de AI-richtlijnen van de universiteiten?
“Sommige universiteiten zijn nog behoorlijk defensief. Veelal staat ‘we moeten waken voor fraude’ op de voorgrond. Maar de technische universiteiten zien GenAI al meer als onderdeel van hun vakgebied en zijn daardoor minder defensief, zie ik.”

“Inmiddels wil niemand GenAI meer verbieden in het onderwijs. Je kunt het ook niet meer verbieden. De techniekgeschiedenis leert dat als er voor een nieuwe technologie eenmaal een minimumaantal gebruikers is, die techniek nooit meer weggaat. Universiteiten moeten academische scholing bieden en studenten ook voorbereiden op hun beroepenveld; in het hbo en mbo is dat natuurlijk helemaal zo. Het is de taak van universiteiten om verantwoord gebruik van chatbots in te bedden in universitair onderwijs; en ze zouden het ook als een kans moeten zien.”

Je waarschuwt dat het monitoren van fraude nu kan leiden tot juridische ongelijkheid… Hoe zit dat?
“Ja, je hebt namelijk studenten die toegeven GenAI gebruikt te hebben en dan gestraft worden en je hebt studenten die het ontkennen en ermee wegkomen, want het is moeilijk te bewijzen.”

Je schrijft dat het detecteren van door chatbots gegenereerde teksten nu onmogelijk is…
“Ja, detectie van AI is op dit moment niet haalbaar. AI-detectietools zijn niet betrouwbaar vanwege false positives en false negatives. Er is nu nog een foutmarge. Dat betekent dat examencommissies die detectietools niet kunnen gebruiken, want een student zou onterecht beschuldigd kunnen worden. Ook de AI-watermerken-techniek is nog niet waterdicht. Dit betekent dat we academische integriteit anders moeten benaderen dan voorheen. Examencommissies moeten richtlijnen ontwikkelen die studenten stimuleren om AI op een verantwoorde manier te gebruiken.”

Een van je conclusies is dat AI-geletterdheid voor docenten cruciaal is… Kun je dat toelichten?
“Ja, onderwijsinstellingen moeten studenten én docenten trainen in het kritisch en ethisch gebruiken van AI. Dat gebeurt nog veel te weinig. Veel docenten hebben niet eens een AI-account. Bij de UU bijvoorbeeld verschilt het per faculteit in hoeverre er aan AI-geletterdheid gewerkt wordt. Bij Geesteswetenschappen bieden ze al wel goede trainingen voor studenten en docenten. Dit zou veel breder moeten gebeuren en faculteiten zouden hier meer in kunnen samenwerken. Bij de UU wordt nu wel gewerkt aan een framework voor AI en toetsen - gekoppeld aan de onderwijsvisie. Maar overall, centraal beleid is bij universiteiten altijd lastig vanwege de autonomie van faculteiten.”

Je beveelt aan om toetsen te herontwerpen. Hoe ziet dat eruit?
“Ja, mijn advies is om toetsen en toetsmethoden te herontwerpen. Het herontwerpen van toetsen vraagt om kritisch kijken naar de leerdoelen en eindtermen - ‘critical alignment’ - en ook om kritisch kijken naar het gehele curriculum. In mijn optiek hebben onderwijsdirecteuren én docenten daar een belangrijke rol in. Het is iets dat van boven- én onderaf aangepakt moet worden; en het is een grote klus. Het is belangrijk te kijken welke rol GenAI speelt in het beroepenveld. Dat verschilt per vakgebied. Verder is het belangrijk te onderzoeken hoe we chatbot-gebruik op een constructieve manier kunnen integreren in toetsen.”

Wat vind je van de recent gepubliceerde landelijke mbo-richtlijn voor het gebruik van AI bij toetsing en examinering?
“Die mbo-richtlijn vind ik een mooi initiatief. Zo’n kader is heel belangrijk. Ik mis nog wel concrete voorbeelden, best practices, die docenten handvatten bieden. Ik zou het geweldig vinden als onderwijsinstellingen de handen ineenslaan en zoiets samen maken.”

Is GenAI de dood voor take home en essay exams?
“Dat hoeft niet. Je zou wel een tussenfase moeten inbouwen: een moment waarop je met de student in gesprek gaat over hoe de student GenAI gebruikt heeft.”

Wat vind je van de AI-waaier, gebaseerd op de AI-scale van Leon Furze?
“Ook de AI-waaier is een mooi initiatief, maar het moet niet zo zijn dat er alleen van dat soort frameworks gemaakt worden door beleidsmedewerkers. Het moet gecombineerd worden met het herzien van toetsplannen en toetsvormen.”  

Lees het artikel: Responsible Chatbot use in higher education: implications for exam boards - A narrative literature review, Dr. E. Loos, 31.01.2025

Lees ook: Tijd voor een AI-proof toetsplan!
Bij de UU zijn onderwijskundig adviseurs Laura Koenders en Steven Raaijmakers bezig om samen met acht UU-opleidingsdirecteuren te kijken of en hoe ze AI-proof toetsplannen kunnen maken. Ze leggen ook uit wat daar volgens hen voor nodig is.

Leestips ter inspiratie

In het artikel van dr. E. Loos vind je naast de richtlijnen van de Nederlandse universiteiten ook nog veel links naar interessante en inspirerende artikelen. Hieronder enkele leestips.

• Aligning our assessments to the age of generative AI – Teaching@Sydney
• Assessment reform for the age of artificial intelligence | Tertiary Education Quality and Standards Agency
• Reyna, J. (2023). AI in the Classroom: A Comprehensive Framework for ChatGPT Integration in Teaching and Learning in Higher Education