Nakijken met AI? Het kan!

De Aanleiding

Vraag je docenten wat ze het minst leuk vinden aan hun werk, dan komt één antwoord telkens terug: nakijken. En dat is niet verrassend. Nakijkwerk is repetitief, tijdrovend en niet altijd effectief. Leerlingen zijn vooral benieuwd naar hun cijfer, en zodra dat boven de magische grens van 5,5 ligt, verdwijnt de uitgebreide feedback vaak ongezien in de prullenbak. Daarnaast kost nakijken serieus veel tijd. Alleen al in het Nederlandse voortgezet onderwijs wordt er jaarlijks 17.000.000 uur aan corrigeren besteed! Inderdaad, dat zijn punten en geen komma’s, het gaat hier om 17 miljoen uur nakijken. Als je dat in je eentje moet doen ben je daar bijna 2000 jaar mee bezig. 

Ook wij liepen hier tegenaan.
Toen Kars voor de klas stond, merkte hij hoe hoog de werkdruk was. Lange dagen en stapels toetsen maakten het vrijwel onmogelijk om alle leerlingen van goede, persoonlijke feedback te voorzien. Bas zag hetzelfde gebeuren bij zijn huisgenoten, die in het onderwijs werkten. De nakijkstress liep zo hoog op dat Bas uiteindelijk zelf werd betaald om toetsen voor hen na te kijken!

Dat moet beter kunnen, vinden wij.
Met de inzet van AI kan nakijkwerk niet alleen sneller en efficiënter, maar ontstaat er ook ruimte voor meer waardevolle feedback. Minder werkdruk voor de docent en een beter resultaat voor de leerling dus!

Hoe?

Samen begonnen we onze reis van automatisch nakijken begin dit jaar. Tijdens de cursus Science Based Entrepreneurship aan de UU begonnen we met de probleemobservatie. Nakijken bleef maar terugkeren als een arbeidsintensief onderdeel van de docentenbaan. Zo is ToetsTester geboren.

ToetsTester verlaagt de werkdruk door toetsen gedeeltelijk automatisch na te kijken. Dit werkt voor digitale én handgeschreven toetsen. In tegenstelling tot bestaande systemen die zich beperken tot meerkeuzevragen, gebruikt ToetsTester kunstmatige intelligentie om ook complexe open antwoorden te analyseren. Met de vernieuwende technologie lukt het ons het handgeschreven antwoorden te herkennen, te lezen en deze vervolgens te vergelijken met het modelantwoord. Zo helpen we docenten tijd te besparen.

Voordelen

Wij geloven dat er, grofweg, drie redenen zijn om te toetsen: om te beoordelen, om te leren en om te differentiëren. ToetsTester ondersteunt alle drie deze pijlers

Beoordeling. Met ToetsTester hopen we die 17.000.000 uur aan beoordeling tenminste te halveren. Zo winnen we veel tijd, die besteed kan worden aan wat echt belangrijk is: goed onderwijs geven. Dit komt de docent en de leerling ten goede. Docenten houden meer tijd over en leerlingen ontvangen eerder hun beoordeling.

Leren. Daarnaast geeft ToetsTester uitgebreide, gepersonaliseerde, feedback. Waar de feedback op een normale toets vaak beperkt blijft tot een enkele zin en wat krulletjes en vinkjes, geeft ToetsTester uitgebreide feedback.  Zo leren leerlingen efficiënter én doelgerichter!

Differentiëren. Toetsen zijn ook bedoeld om te onderscheiden. Wat kan de klas al wel? En wat kunnen ze nog niet? Met behulp van AI genereert ToetsTester overzichtelijke rapportages die duidelijk maken welke onderwerpen al goed beheerst worden en welke onderdelen extra aandacht verdienen. Zo krijgen docenten praktische handvatten om hun lessen beter af te stemmen op de leerbehoeften van hun leerlingen.

Maar... Privacy?

Veel docenten vragen zich (terecht) af hoe het dan zit met privacy. Toetsen kunnen gevoelige data bevatten. Logischerwijs wil je liever niet dat deze data gebruikt wordt om AI modellen te trainen.

Daarnaast zijn er twijfels over de AI-Act. De AI-Act is nieuwe Europese wetgeving die komende jaren geïmplementeerd zal worden. Binnen deze wetgeving worden AI-systemen ingedeeld in verschillende categorieën van risico: onacceptabel, hoog, gelimiteerd en minimaal. AI in het onderwijs wordt aangemerkt als ‘hoog risico’, met als gevolg dat je aan strenge eisen moet voldoen.

Natuurlijk is het gooien van toetsen in ChatGPT en op een cijfer wachten om dit vervolgens direct te uploaden op Magister gevaarlijk en niet ethisch verantwoord. Echter, wanneer de AI ondersteunend werkt, zoals omschreven in ‘Overweging 53’ van de AI-act, dan is dit een veel minder groot risico. De ‘human-in-the-loop’ houden (lees: er moet een mens naar blijven kijken) is hier van belang. Net zoals we dat zien bij studenten, zullen ook docenten kritisch moeten blijven op het resultaat. Docenten moeten niet klakkeloos de scores van het model overnemen, maar ook de antwoorden controleren. Zo blijft de mens eindverantwoordelijk. 

AI kan hierin dus functioneren in een ondersteunende rol. Daarnaast wordt de toetsdata goed afgeschermd opgeslagen (in Europa) en blijft deze in handen van de docent, geheel in lijn met de privacy wetgeving. 

Wanneer voldaan wordt aan deze eisen, kan automatisch ondersteund nakijken een enorme bijdrage leveren aan het onderwijs. Het is zonde om de mogelijkheid links te laten liggen.

Pilots

"Holy shit" was de eerlijke reactie van één van de eerste ToetsTesters. De eerste mensen zijn dus erg blij met ToetsTester, wat super leuk is om te horen.

Momenteel zijn we op verschillende scholen in Nederland onze software aan het testen. Dagelijks wordt ons platform gebruikt om leerlingen in Nederland steeds een beetje sneller en beter feedback te geven.

Al deze docenten geven ons onwijs nuttige feedback en veel belangrijke inzichten. Zo wordt niet alleen het nakijkproces, maar ook ToetsTester dagelijks beter!

We zijn altijd op zoek naar enthousiaste mensen uit het onderwijs die met ons in gesprek willen. Lijkt het je dus tof om een keer ToetsTester uit te proberen? Of heb je een andere leuke samenwerking? Neem vooral contact met ons op via karstenbergeo@gmail.com!