‘ICT en AI kunnen toetsen efficiënter maken en het leerproces verbeteren!’

Wie? Silvester Draaijer, Programmamanager VU Onderwijswerkplaats bij de Vrije Universiteit Amsterdam.
Opleiding? PhD, Education and Assessment, VU Amsterdam & Master Industrieel Ontwerpen, TU Delft.
Wie is je grote voorbeeld? Lambert Schuwirth, hoogleraar medisch onderwijs aan Flinders University (Australië). Hij is super inspirerend en samen met emeritus hoogleraar Onderwijs Cees van der Vleuten de grondlegger van het concept programmatisch toetsen.

Wat doe je als Programmamanager van de VU Onderwijswerkplaats?
‘Ik ben verantwoordelijk voor het creëren van een positieve onderwijscultuur. We organiseren evenementen, zoals de jaarlijkse VU Onderwijsdag en de VU EdTech-dag, en we communiceren heel veel over didactiek. Verder bieden we advies en hands-on support voor docenten en onderwijsondersteuners en we werken aan onderwijsinnovatie met ICT. We kijken welke nieuwe technologieën er zijn om de didactiek te ondersteunen en welke vragen opleidingen en docenten hebben - en proberen die twee te verbinden. En we brengen in kaart wat ICT-innovaties betekenen voor de financiën, privacy en security. Ik houd mezelf vanuit deze positie ook bezig met advies rondom ontwikkelingen bij digitaal toetsen. Van tentamineren via laptops tot en met formatief evalueren, feedback verzamelen, peer feedback geven, en beoordelen.’

Waarom zet jij je in voor digitaal toetsen?
‘In de jaren negentig doceerde ik aan de Haagse Hogeschool. Het nakijken van de honderden tentamens kostte vreselijk veel tijd. Ik wilde dit makkelijker maken voor docenten door het te automatiseren. Dat was toen een grote uitdaging, want er waren nog nauwelijks computers. Bovendien heeft hoe je toetst en evalueert grote invloed op hoe studenten leren. Tijdens mijn eigen studie kregen we vooral multiple choice examens en dat voelde vaak als een tombola. Als docent zag ik, en dat zie ik ook nu bij de VU, dat toetsen vooral snel moet en inzicht moet geven in of de student “voldoet” of “niet voldoet”; de toetsing moet valide en betrouwbaar zijn.’

Wat wil je bereiken; waarom zit je in het Kernteam Digitaal Toetsen?
‘Ik ben lid van het Kernteam van de SURF-Community Digitaal Toetsen, omdat zowel de vorm en de aard van de toetsen (bijvoorbeeld formatief of summatief) als de planning in het onderwijsprogramma een enorm effect hebben op hoe studenten leren. Als lid van het Kernteam blijf ik goed op de hoogte van de ontwikkelingen en kan ik landelijk en binnen de VU invloed uitoefenen. Voor mijn promotie onderzocht ik hoe docenten tentamenvragen ontwikkelen en hoe ik daarbij kan ondersteunen. Vanuit mijn achtergrond als industrieel ontwerper keek ik naar het ontwerpproces: hoe kom je tot goede toetsvragen? Je kunt dat proces goed modelleren.’

Hoe zet je je bij de VU in voor toetsen?
‘Ik was zo’n twintig jaar onderwijskundig adviseur bij de VU en heb bij het ontwikkelen en implementeren van digitale technologie altijd de didactische kant onder de aandacht gebracht. Ik heb handleidingen gemaakt over hoe je goede toetsen en toetsvragen maakt en processen verbetert met technologie. Bij universiteiten zijn medewerkers op de eerste plaats onderzoeker en daarnaast docent. Tegenwoordig zijn er verplichte onderwijskwalificatie-trainingen, waarin toetsen wordt aangestipt… Maar om echt goed te kunnen toetsen moet je heel veel vlieguren maken! Ik kijk altijd waar we iets kunnen doen om het toetsen te verbeteren.’

Waar ben je trots op?
‘Zowel landelijk als bij de VU was ik een belangrijke motor achter het mogelijk maken van digitaal toetsen. De digitale toetsfaciliteiten die we nu hebben waren tien jaar geleden echt niet normaal! En ik ben er trots op dat de Community Digitaal Toetsen al meer dan tien jaar met veel succes draait. Dat is veel waard. Dit blijft helaas nog een beetje onder de radar bij bestuurders, terwijl toetsen een enorme impact heeft op leren.’

Hoe zijn jullie bij de VU nu bezig met digitaal toetsen?
‘De VU start binnenkort een aanbesteding voor nieuwe toetssoftware. Ik ben heel blij dat we vanuit de SURF Community Digitaal Toetsen gestart zijn met de “aanbestedingscommunity toetssoftware”. We werken samen met meerdere instellingen uit het hoger onderwijs aan het opstellen van gunningscriteria en een programma van functionele eisen.’

Experimenteren jullie bij de VU met AI en toetsen?
‘Ja, ik ben erg benieuwd naar hoe we AI kunnen inzetten voor toetsen. We doen nu bijvoorbeeld samen met een docent een pilot waarbij generatieve AI feedback geeft op rapporten van studenten (een formatieve toets). We geven een prompt met een nakijkvoorschrift met een rubric. De docent gaat kijken of hij de AI-feedback valide vindt. Mijn hoop is dat AI het toetsproces zal versnellen. En als de AI-feedback valide genoeg is, kunnen studenten straks zichzelf gaan testen en zo leren. Een docent van de Rijksuniversiteit Groningen heeft al een chatbot ontwikkeld, waarmee studenten zichzelf per hoofdstuk van een boek kunnen overhoren. Ik kijk ook naar wat AI betekent voor privacy, informatieveiligheid en naar AI-bias (de systematische en oneerlijke vooroordelen die kunnen ontstaan in AI-systemen).’

‘Verder ben ik als lid van de VU-werkgroep “AI in het onderwijs” betrokken bij het in kaart brengen van de impact van AI op toetsing. Tot voor kort kon je aan de hand van schriftelijke werkstukken redelijk bepalen wat studenten hadden geleerd en beoordelen hoe ze denken. Door AI verandert dit ingrijpend. Hoe kunnen we nu nog meten wat studenten weten? Misschien moeten we de student en de medewerker van de toekomst zien als een symbiose van de persoon en de beschikbare techniek, en dat integraal beoordelen. En we moeten uitvinden hoe we studenten verantwoorde AI-vaardigheden leren.’

Toetst de VU met instellingsdevices of met BYOD?
‘De VU heeft gekozen voor instellingsdevices: Chromebooks. We hebben enkele kleine toetszalen en gebruiken ook onze sporthallen. Omdat de vraag naar digitaal toetsen blijft groeien, wordt er soms toch weer gedacht over toetsen met BYOD. Maar er zijn veel zorgen: wat als de stroom of wifi uitvalt, hoe regel je de veiligheid…  Om goed te kunnen toetsen met BYOD moet je beleid ontwikkelen, waarin bijvoorbeeld staat welke capaciteit de laptops van studenten moeten hebben. De VU is daar net zoals veel andere instellingen voortdurend mee bezig.’

Welke knelpunten zie jij voor digitaal toetsen de komende jaren?
‘De vraag naar digitaal toetsten stijgt en dit opschalen is kostbaar, terwijl het hoger onderwijs moet bezuinigen…’

Waaraan hebben de opleidingsdirecteuren en docenten behoefte?
‘Ze willen dat digitaal toetsen gebruiksvriendelijk is en dat het inzichtelijk is welke toetssoftware je waarvoor moet inzetten, en dat systemen koppelbaar zijn. De VU heeft sinds twee jaar een toetsvisie met als uitgangspunt dat toetsen moet bijdragen aan het leerproces. Toch wordt er nog veel klassiek, summatief getoetst, omdat dit snel inzicht geeft in of de student wel of niet voldoet en nu eenmaal een gewoonte is die je niet snel verandert. Persoonlijk vind ik dat beide, summatief en formatief toetsen, waarde hebben en dat je moet kijken wat past bij de discipline.’

Heb je een vraag aan de Community?
‘Ja. Hoe erkennen we beter dat er disciplinaire verschillen zijn. En hoe ondersteun je opleidingen met voor hun vakgebied specifieke behoeften voor toetsen?’

Waarvoor mogen Community-leden jouw hulp vragen?
‘Dat mag van alles zijn. Van groot tot klein. Als voorbeeld van iets kleins: een examencommissie heeft besloten dat studenten die op fraude betrapt zijn, verplicht een toets moeten maken over correct citeren. Ik vind het erg leuk om na te denken hoe je daarvoor op een simpele manier een digitale toets maakt.’
 

Geschreven door: Anneke de Maat