Op deze inspiratiedag - georganiseerd door de SURF-Community Digitaal Toetsen en het Netwerk Toetsbekwaamheid waren er 2 plenaire sessies en 12 workshops. De presentaties en nog meer interessante tools en websites vind je in de Goodybag AI en Toetsen.
Presentatie over ‘AI enhanced assessment’
Marcus Specht, hoogleraar Digitale Educatie aan de TU Delft, opende de dag met een presentatie over ‘AI enhanced assessment’. Hij begon met de deelnemers te vragen of ze AI al inzetten voor toetsen en welke zorgen ze erover hebben.
Zorgen over overmatige vertrouwen op technologie
AI wordt al volop gebruikt, zo bleek: ter inspiratie, als schrijfhulp, om na te kijken, om feedback te vragen, formatief te toetsen, om feedback en toetsvragen te generen, en voor het construeren en beoordelen van examens. Zorgen zijn er ook. Bijvoorbeeld over: fraude, de authenticiteit van antwoorden en schrijftoetsen, validiteit, bias, privacy, het risico van overmatig vertrouwen op technologie; en over dat docenten nog onvoldoende kennis hebben van AI en van toetsing.
AI-Leeranalyses ‘gamechanger’ voor leren en toetsen
Volgens Specht kan AI vooral veel betekenen voor adaptief leren. Hij ziet AI-learning analytics als een “gamechanger voor assessments”. “De belangrijkste vraag is wat je op het learning analytics dashboard zet als je de student zelf het leerproces wilt laten sturen. Wat je erop zet, leidt tot gedragsverandering.” Volgens Specht is het verder van belang om goed te kijken welke keuzes de student heeft in het gebruik van het dashboard en of de student het op de juiste manier gebruikt.
AI-intelligent feedback
Het inzetten van “AI intelligent feedback and prompting” verandert ook hoe je lesgeeft, aldus Specht. “Je kunt een LLM (Large Language Model) een teacher report laten maken. Je kunt studenten bijvoorbeeld een schrijfopdracht geven, en met AI-feedback volgen wat ze wel en niet goed doen. In je les behandel je dan de meest gemaakte fouten. En je geeft bijvoorbeeld niet alleen feedback aan het eind van de bachelorscriptie maar met hulp van AI ook voor een aantal criteria tijdens het schrijven. Verder kun je de feedback clusteren in groepen van studenten die dezelfde fouten maken, waardoor de feedback persoonlijker wordt.”
Toetsing opschalen en personaliseren met AI
Volgens Specht biedt AI bij toetsing vooral mogelijkheden om op te schalen en toetsing te personaliseren. Je moet wel ook de toetsopdrachten veranderen, benadrukte hij. En AI-bots zijn heel goed in het modereren van groepsleren, aldus Specht. Tot slot deelde hij zijn zorgen rond toetsing met AI, onder meer over de veiligheid en privacy van data en de enorme hoeveelheid energie die AI opslurpt. Voor zijn onderzoek gebruikt hij alleen lokale, beveiligde LLMs, zodat de data veilig zijn.
Stellingen en panelgesprek
De dag werd afgesloten met het voorleggen van stellingen aan de deelnemers in de zaal. Daarbij gaven ook vier panelleden hun visie op de stellingen. De panelleden waren: Marcus Specht, Joost Kruis (CITO), Erdinç Saçan (Fontys Hogeschool), Joyce den Heijer (Haagse Hogeschool, HHS).
Stelling: ‘Instellingen hebben de taak om docenten te stimuleren om AI te gebruiken bij toetsconstructie’
Den Heijer gaf aan dat haar hogeschool docenten wel aanmoedigt om AI te gebruiken, maar dat er meer faciliteiten en ondersteuning nodig zijn: “Als je AI aanmoedigt moet je wel goede AI-systemen bieden en zorgen voor AI-geletterdheid.” Saçan sloot zich hierbij aan: “Docenten weten nog veel te weinig van AI en de gevolgen.” Kruis waarschuwde voor de hoge ‘face validity’ die hij ziet. “Op het eerste gezicht zien door GenAI gemaakte multiple choice vragen er goed uit, maar als je beter kijkt zie je veel beginnersfouten. Als je docenten toetsen laat maken met AI moeten ze wel toetsbekwaam zijn.”
Specht bevestigde dat: “AI helpt om sneller toetsvragen te genereren maar de docent moet wel kritisch kijken naar de vragen die AI geneert. Docenten moeten ermee gaan experimenteren om het te leren.” Vanuit de zaal werd beaamd dat er eerst gewerkt moet worden aan AI-geletterdheid, en zelfs eerst nog aan digitale vaardigheden bij docenten.
Stelling: ‘AI mag bij nakijken alleen als tweede beoordelaar ingezet worden’
Saçan: “Dankzij AI geef ik nu betere feedback maar ik waak ervoor om AI te gebruiken om te beoordelen. AI geeft namelijk elke keer een andere beoordeling. Bovendien mag je het werk van studenten niet zomaar uploaden naar een LLM. Kruis reageerde daarop: “AI geeft verschillende oordelen. Dat klopt maar mensen geven ook verschillende oordelen.”
Kruis deed vergelijkend onderzoek naar beoordelingen van eindexamens door mensen respectievelijk AI. Hij ziet dat de beoordeling van AI goed is. Hij denkt dat we AI onder voorwaarden kunnen inzetten voor beoordelingen. “Je zou alle door AI als goed beoordeelde antwoorden goed kunnen rekenen maar zou wel de negatieve beoordelingen nog goed op juistheid moeten checken.” Den Heijer benadrukte dat volgens de wet je AI nog niet mag inzetten voor beoordelen.
Kruis wees er op dat GenAI wel getraind is op westerse, witte mannen en dus niet voor iedereen de juiste feedback geeft. Volgens Specht kun je dat wel tegengaan met goede prompts per doelgroep. “Je kunt een algoritme inbouwen dat bias tegengaat.”
Stelling: ‘Het curriculum en de toetsing moeten aangepast worden voor AI-geletterdheid’
Den Heijer zei dat we niet om AI heen kunnen. “AI heeft al een belangrijke plek in de beroepspraktijk en daar moeten we studenten op voorbereiden.” Specht vraagt zich af hoe dat curriculum voor AI-geletterdheid er dan uit zou moeten zien…” Kruis beaamt dat dit lastig is: “We are shooting at a moving target!”
Conclusies
Voor een verantwoorde inzet van AI bij toetsen is het essentieel dat onderwijsinstellingen AI-geletterdheid bij docenten bevorderen en zorgen voor betrouwbare systemen. Docenten moeten bovendien altijd kritisch kijken naar de uitkomsten van AI en voldoende ondersteuning krijgen om AI effectief en ethisch in te zetten.
Check de Goodybag
Goodybag AI en Toetsen: hierin vind je de PowerPointpresentaties van alle workshops en ook twee verslagen van workshops.
Lees ook het artikel: 'AI en toetsen: check je toetsen met de 'Toolkit AI in je toetsontwerp’
Volg de Community Digitaal Toetsen op LinkedIn
Organisatie Inspiratiedag AI en toetsen
De Inspiratiedag AI en toetsen werd georganiseerd door de SURF community Digitaal Toetsen en het Netwerk Toetsbekwaamheid.
0 Praat mee