AI in het examenlokaal, kan dat verantwoord?

Examens afnemen en beoordelen met AI

Bij de inzet van AI-technologie voor het afnemen en beoordelen van examens moet je je ervan bewust zijn dat zo'n nieuwe werkwijze met een AI-model niet zomaar een simpel 'tooltje' is dat je als organisatie van een aanbieder afneemt. Als je het niet op de juiste manier inricht, kun je bijvoorbeeld niet aan het recht op inzage voldoen. Of misschien kun je zelf het examen niet zien, kun je verschillen in het cijfer niet verklaren en heb je onvoldoende controle op de uitkomst. Dit moet je zelf kunnen en dat mag niet afhankelijk zijn van de aanbieder/leverancier. Als je onvoldoende controle hebt, gaan er ook zaken mis rondom onderwijswetgeving, examenreglementen, etc. .

Dus voordat je AI inzet bij (toetsen en) examens, moet je goed nadenken over de correcte inrichting van het proces. Die zorgvuldigheid rondom de inpasbaarheid in je organisatie is belangrijk, want anders bestaat de kans dat je voor vervelende en dure verrassingen komt te staan. Denk aan het moeten herontwerpen of stoppen met de nieuwe werkwijze ondanks grote investeringen, of een hoge boete. Jouw bestuur moet betrokken zijn bij de keuze AI in te zetten. 

Kansen

Door de schaalvoordelen kan de inzet van AI-technologie een grote tijdsbesparing opleveren, eventueel ten gunste van een lagere werkdruk. Bijvoorbeeld als jij taalvaardigheidslessen geeft, ben je in verhouding veel tijd kwijt aan de afname en beoordeling van examens. Een kleine rekensom laat zien dat je voor vijf examenklassen ongeveer 275 uur per jaar kwijt bent aan het afnemen en beoordelen van de drie examens. Ook bij andere examens met open vragen kost het nakijken veel tijd. Snelle AI-feedback kan dan erg behulpzaam zijn.

Naast een mogelijke werkdrukverlaging door schaalvoordelen kun je ook denken aan consistentere beoordeling en kostenverlaging. Maar de vraag is of die verwachte voordelen valide zijn. Als je meer tijd hebt als leraar, is de kans groot dat je er gewoon een extra klas bij krijgt. Check het artikel ‘Minder nakijkwerk, meer risico's? De keerzijde van AI bij examinering’ waaruit blijkt dat het anders kan uitpakken dan verwacht.

Betekenisvolle menselijke tussenkomst

Nog even over die privacywetgeving. Volgens de AVG heeft een student het recht dat er geen puur computerbesluit wordt genomen als dat besluit belangrijke gevolgen kan hebben. Bij examinering kunnen die gevolgen groot zijn: een examencijfer kan bepalen of iemand een diploma ontvangt en in sommige situaties of iemand bevoegd is om een beroep uit te oefenen.

Betekenisvolle menselijke tussenkomst vanuit de onderwijsinstelling (niet door de leverancier!) is vereist. Daarbij gelden verschillende aandachtspunten. De belangrijkste:

1. Je moet als leraar een realistische mogelijkheid hebben om invloed op het cijfer uit te oefenen. Die mogelijkheid mag niet door bijvoorbeeld tijdsdruk of andere afspraken worden beïnvloed. Je moet dus echt op basis van eigen afwegingen van het AI-gegenereerde cijfer kunnen afwijken, of dat nu een hoger of lager cijfer is.
2. Als je niet kunt afwijken van het AI-gegenereerde cijfer, is er geen sprake van betekenisvolle menselijke tussenkomst. Afwijken moet dus áltijd mogelijk zijn, ook als AI een hoger cijfer voorstelt (het AI-cijfer mag niet de doorslag geven).
3. Je moet aan je studenten kunnen uitleggen waarom een bepaald cijfer is gegeven, ook als AI heeft meegedacht.
4. Als je stelselmatig AI-cijfers overneemt als eindcijfer, neem je juridisch gezien nog steeds een besluit dat automatisch, dus zonder die betekenisvolle menselijke tussenkomst, is gegenereerd.
5. Ook goed om te weten: uit onderzoek blijkt dat je als leraar systematisch minder kritisch bent op lage cijfers als die door AI zijn gegenereerd (we nemen aan dat AI meer consistent is, terwijl er zorgen zijn over bias, hallucinaties als het om complexe studentantwoorden gaat). Leraren zijn wel geneigd hogere (te vriendelijke) cijfers te corrigeren.

AI-cijfer als advies

Als je het AI-gegenereerde cijfer een 'advies' noemt en zegt dat de leraar het cijfer daadwerkelijk toekent, is het probleem van betekenisvolle tussenkomst dan opgelost? Waarschijnlijk niet. Als de leraar het cijfer van de AI standaard overneemt zonder zelf tot een cijfer te komen of als je de AI een “echte” beoordelaarsfunctie geeft in plaats van alleen als hulpmiddel inzet is dat problematisch. In het mbo handelt de leraar als examinator, onder toezicht van de examencommissie (die de eisen stelt) en is op deze manier bevoegd een cijfer toe te kennen. Kan een AI-model in die zin als examinator bevoegd zijn? 

Waar moet ik op letten?

• Het bestuur van de organisatie moet op de hoogte zijn van de plannen rondom een ingrijpende wijziging in een werkproces, o.a. vanwege strategie van de organisatie en aansprakelijkheid. Dat geldt zeker voor het inzetten van AI bij het afnemen en beoordelen van examens.
• Zorg altijd voor checks op eisen vanuit onderwijswetgeving, de eisen accountant in relatie tot bekostiging, examenreglementen en overige interne regelgeving en beleidsafspraken. 
• Voer een DPIA uit en neem maatregelen om geconstateerde hoge risico’s te verlagen. Betrek je doelgroep hierbij (studenten, studentenraad). Let op, het gaat hier om een eigen DPIA, niet die van de leverancier of aanbieder. Die kun je wel als input gebruiken.
• Betrek de OR bij de beoogde wijzigingen in het werkproces. Het kan van grote impact zijn op het werk van de leraar.
• AI zet je in als hulpmiddel. De mens, de leraar moet het definitieve cijfer bepalen op basis van eigen overwegingen. 
• Het inzagerecht (AVG) vervalt niet ook al is de bezwaartermijn volgens het examenreglement verstreken. Dus zolang de bewaartermijn van de persoonsgegevens geldt, is ook het inzagerecht van toepassing. 
• Je moet helder kunnen uitleggen hoe het examencijfer tot stand is gekomen, ook als daarbij AI is gebruikt. 
• Je moet ook snappen en kunnen uitleggen hoe het AI-model werkt. Dat kan ingewikkeld zijn. Het ene AI-model is het andere niet en afhankelijk van prompting, gebruikte rubrics en voorbeelden en datasets is correlatie tussen uitkomst van het model en de leraar lager of hoger. Werkt een systeem adaptief, dan is het meestal niet mogelijk om (verschillen in) de totstandkoming van het cijfer uit te leggen.
• Als een AI-model verder moet worden getraind (op zich wenselijk, want het is in ieders belang dat het goed werkt), bedenk dan dat het om spraakopnames kan gaan. De vraag is in hoeverre dat trainen kan gebeuren op basis van geanonimiseerde gegevens. Bijvoorbeeld audio-opnames kun je anonimiseren, maar dat vergt wel speciale technieken. Zet de aanbieder die wel in? Dit moet je goed controleren. 

Wie examineert?

Er zijn aanbieders die standaard geen inzage in de examens toestaan, omdat ze hun product willen beschermen. Dat heeft twee ongewenste gevolgen: je kunt vanuit de eigen organisatie niet de vereiste menselijke tussenkomst realiseren en je raakt als organisatie je je grip kwijt op de inhoud en beoordeling van het examen (je geeft het examenproces voor dat vak feitelijk uit handen). Het is niet voldoende dat een assessor van de leverancier aangeeft op welke punten verbetering nodig is. De instelling moet dat namelijk zelf doen. Je accrediteert dan alleen nog maar. Het is de vraag of dat is toegestaan. 

Ken je student

Om af te sluiten een persoonlijke noot. Vanuit het oogpunt van de leraar in relatie tot pedagogiek en didactiek pleit ik ervoor om AI niet alleen voor summatieve, maar ook voor formatieve toetsen echt alleen als hulpmiddel in te zetten. Ik spreek uit eigen ervaring als ik zeg dat nakijken een belangrijk en mooi onderdeel is van je taak als leraar, ook al is het tijdrovend. Het hele proces van nakijken en beoordelen is in mijn beleving onontbeerlijk in het vak. 

Als je geen materiaal meer inhoudelijk ziet en beoordeelt van je student maar alleen checkt aan de hand van AI, dan mis je veel informatie uit de antwoorden die de studenten geeft. Je krijgt minder informatie over het denkproces van de student en daardoor weet je minder goed wie de student is, hoe het brein van die persoon werkt, hoe je iemand kunt helpen, wat voor die ene persoon goed werkt of hoe jij je lessen inhoudelijk kunt bijstellen/verbeteren, etc. De antwoorden geven daar veel informatie over, meer dan alleen de contactmomenten in de fysieke les. Als je dit mist creëren we juist een nieuw probleem met z'n allen.

Interessante links

• Otto Koppius: Nakijken met AI: controverse of kans? ‘Het’ studentperspectief.
• Researchgate.net – Agreement Between Large Language Models and Human Raters in Essay Scoring - A Research Synthesis
• PMC NCBI Why do experts miss AI’s errors? Evidence from a randomized labeling experiment
• EU AI Act for education