In de workshop ‘Toetsing in tijden van generatieve AI’ (Inspiratiedag Toetsing en AI, 6 november 2024) vroegen Laura en Steven de deelnemers mee te denken over hoe je het maken van zo’n plan het best aanpakt. Wie moet je betrekken en welke vragen moet je stellen? Ze deelden hun inzichten en nodigden de deelnemers uit om hierover van gedachten te wisselen.
Dekken de toetsen de eindtermen nog?
Door de opkomst van AI is er een validiteitsprobleem, constateren Laura en Steven. Ze vragen zich af: “Wat laat een toets nu nog zien in termen van vakkennis, vaardigheden en attitude?” Volgens Laura en Steven moeten opleidingen nu heel goed kijken naar de eindtermen van de opleidingen. De vraag is of die nu nog wel gedekt zijn door de toetsen die je door de jaren heen afneemt.
Verschillende perspectieven en ‘niveaus’ om naar toetsen te kijken
Volgens Laura en Steven kunnen we naar toetsing kijken vanuit verschillende perspec-tieven en vier niveaus.
- Instellingsniveau (instellingsbestuur)
- Faculteitsniveau (decaan/directeur)
- Opleidingsniveau (opleidingsdirecteur)
- Niveau onderwijseenheid docent (coördinator)
Elk niveau een eigen verantwoordelijkheid
Laura: “Elk niveau draagt een eigen verantwoordelijkheid. De examencommissie is overkoepelend en is de interne toezichthouder op de kwaliteit van de tentaminering en examinering. Iedereen zal AI-geletterdheid moeten gaan opnemen in de eindtermen.” Steven: “Onderwijsdirecteuren vragen aan docenten aan welke eindtermen hun cursus(sen) en toets(en) bijdragen. En welke leerdoelen dragen bij aan welke eindtermen? Nu studenten AI kunnen gebruiken weet je als opleiding niet meer zeker of alle eindtermen nog gedekt worden door de toetsen. Het is dus zaak te onderzoeken waar er wijzigingen aangebracht moeten worden.” Steven ziet dat het veel werk is om voor een opleiding een overzicht te maken van leerdoelen, toetsen en eindtermen.
Stelling: ‘Het is niet nodig om alle toetsen van alle vakken ‘AI-proof’ te maken’
Na hun inleiding poneerden Laura en Steven de volgende stelling.
“Het is niet nodig om alle toetsen van alle vakken ‘AI-proof’ te maken. Je kunt keuzes maken op opleidingsniveau.” Volgens hen zijn daarvoor twee dingen nodig.
- Een overzicht van welke eindtermen [door de komst van AI, red] het kwetsbaarst zijn.
- Keuzes maken en visie ontwikkelen: welke eindtermen zijn het belangrijkst.
Ethische en filosofische vraagstukken
Bij het maken van keuzes en een visie ontwikkelen, draait het om de vraag welke vaardigheden je vindt dat studenten nog moeten beheersen zonder hulp van AI. Dit raakt aan ethische, filosofische en normatieve vraagstukken. Het gaat bijvoorbeeld om vragen als: “Hoeveel kennis van een vak of onderwerp moet je bezitten om de uitkomsten van GenAI kritisch te kunnen beoordelen. En hebben studenten door de komst van AI nieuwe vaardigheden nodig? Moet er bijvoorbeeld meer aandacht komen voor de vaardigheid kritisch denken?” Steven merkt dat dit soort discussies leiden tot een her-waardering van kennis. Er lijkt weer meer waarde gehecht te worden aan basiskennis.
Waartoe leiden we op?
Laura ziet dat veel instellingen nu veel verantwoordelijkheid leggen bij de docent als examinator. “Maar”, zegt ze, “door AI zal het toetsproces moeten veranderen. Nu is het soms zo dat er cursussen zijn waarbij een docent te veel studenten begeleidt om het leerproces goed in de gaten te kunnen houden. Eerder beoordeelden we op basis van een afsluitend essay af wat ongeveer het kritisch denkvermogen van een student is en werd daar het cijfer op gebaseerd. Dit is niet meer houdbaar. Het wordt daarom steeds belangrijker dat de docent het leerproces van de student kan volgen. De trend is dat er minder schrijftoetsen komen en bijvoorbeeld meer mondelinge examens en authentieke beoordelingen. Dit kan uiteraard niet bij alle vakken.”
Laura en Steven pleiten daarom voor meer regie vanuit het niveau van de opleiding(directeur). Laura: “De kernvraag is: is een vaardigheid nog steeds belangrijk om te leren als AI het ook kan? Welke vaardigheden vinden we dat studenten nog zelf moeten beheersen zonder AI te kunnen gebruiken? Dat leidt tot de vraag: waartoe leiden we op?”
Kijken naar het toekomstig beroep
Enkele workshopnemers brachten in dat het belangrijk is om te kijken naar het toekomstig beroep. Laura en Steven beamen dat het belangrijk is te kijken hoe AI al gebruikt wordt in de beroepspraktijk, en welke AI-vaardigheden studenten dus moeten hebben om op hun toekomstige beroep voorbereid te zijn. Laura: “Het is wel erg lastig hier zicht op te krijgen. Het werkveld weet al nauwelijks waar het naartoe gaat. Hoe moeten wij bij universiteiten en hogescholen het dan weten?”
Spreken met opleidingsdirecteuren, examen- en curriculumcommissies
In 2025 gaan Laura en Steven in gesprek met acht opleidingsdirecteuren. Daarnaast willen ze spreken met de examen- en curriculumcommissies van de acht opleidingen. Dit moet voor elk van de acht opleidingen resulteren in een projectplan om aan de slag te gaan met het AI-proof maken van het toetsplan. Uit elke faculteit doet minimaal een opleiding mee.
Geanimeerde discussies
De worskhopdeelnemers konden zich vinden in de aanpak om het maken van zo’n toetsplan op opleidingsniveau met de opleidingsdirecteur te bespreken. Ze benadrukten wel het belangrijk te vinden dat ook andere stakeholders vanuit de opleiding bij zo’n gesprek betrokken worden. De vraag welke vaardigheden studenten nog steeds moeten beheersen, nu AI dit kan doen, leidde tot geanimeerde discussies.
Inspiratiedag AI en Toetsen
Deze workshop werd gegeven op de Inspiratiedag AI en Toetsen, georganiseerd door de SURF-Community Digitaal Toetsen en het Netwerk Toetsbekwaamheid. Er waren 2 plenaire sessies en 12 workshops. De PowerPoint-presentaties vind je in de Goodybag AI en Toetsen.
Lees ook het verslag van de plenaire sessies
Lees ook het artikel: 'AI en toetsen: check je toetsen met de 'Toolkit AI in je toetsontwerp’
0 Praat mee