De toekomst van leren en beoordelen | Highlights uit het webinar van 21 april

Ontwikkeling visie op digitaal toetsen bij Tilburg University

Ingmar Hallie is projectmanager Cijferregistratie en Digitaal Toetsen bij Tilburg University (TiU). Hij vertelt over het proces van een visie op digitaal toetsen ontwikkelen, en waar de universiteit nu staat in dat proces. Het doel is om een visie te ontwikkelen die integraal onderdeel wordt van de visie op onderwijs. De visie op digitaal toetsen bij TiU moet ook leiden tot een heldere visie op ondersteuning (personeel en ICT) en moet uiteindelijk aan een aantal aspecten voldoen. Zo moet de visie:

• aansluiten op formatief en summatief toetsen, flexibel en gefixeerd, en cursus- en programmagericht zijn;
• rekening houden met de dagelijkse praktijk (de visie moet daar niet los van staan);
• aansluiten op het bestaande toetsbeleid, met specifiek aandacht voor kwaliteitscriteria;
• rekening houden met recente ontwikkelingen in het kader van artificial intelligence.

Om niet zelf opnieuw het wiel uit te vinden, heeft men er bij Tilburg University voor gekozen om het Toekomstperspectief op (digitaal) toetsen en beoordelen van SURF als leidraad te gebruiken. Juist het eigenaarschap van de schools (waaronder de verschillende opleidingen vallen) is heel belangrijk gebleken. Een van bovenaf opgelegde visie werkt niet, geeft Ingmar aan. Per dimensie van het Toekomstperspectief worden er werkgroepen samengesteld met afgevaardigden uit elke faculteit. Op die manier is eigenaarschap vanuit de faculteiten.

Het Toekomstperspectief op (digitaal) toetsen en beoordelen

Annette Peet is projectmanager bij SURF en vertelt over het ontwikkelde Toekomstperspectief. Door de coronapandemie kwam er veel aandacht voor digitaal toetsen en toetsen op afstand; er was grote behoefte aan meer kennis en ervaring op dat gebied. Ook laaide in deze periode de discussie op over de hoeveelheid formatieve en summatieve toetsen: werd er niet te veel getoetst? De werkgroep Toetsen op afstand van het Versnellingsplan werd opgericht en ging met deze en andere vragen aan de slag. Eerder organiseerde de werkgroep onder andere een Vraagbaak-webinar over online proctoring.

Annette vertelt dat binnen veel onderwijsinstellingen het proces van toetsen en beoordelen sterk aan het veranderen is. Om een beeld te krijgen van de toekomst ontwikkelde de werkgroep Toetsen op afstand van het Versnellingsplan het Toekomstperspectief op (digitaal) toetsen en beoordelen. Ze werkten hiervoor samen met SURF, bureau Turner en vijftig experts uit verschillende instellingen en organisaties.

Er bleek veel diversiteit binnen instellingen en sectoren te zijn; niemand wilde zich op één toekomstperspectief vastpinnen. Wel zijn er duidelijk een aantal ontwikkelingen te zien en deze zijn ondergebracht in de vijf dimensies van het toekomstperspectief. Een van die ontwikkelingen is bijvoorbeeld de toenemende belangstelling voor formatief toetsen, die je terugziet in dimensie 1. Tegelijkertijd houden bepaalde opleidingen hard vast aan de summatieve functie van toetsen, en vaak ook met een goede reden.

Dimensie 2 gaat over de ontwikkeling richting programmatisch toetsen: een holistische aanpak waarbij toetsen en leren meer geïntegreerd zijn. Deze dimensie gaat ook over flexibilisering en de behoefte om kleinere eenheden (modules van bijvoorbeeld 15 EC) een credential te geven. De derde dimensie gaat over de nieuwe mogelijkheden van technologie, maar ook over de toegenomen aandacht voor vragen als: doet de toets recht aan de praktijk waarin de student straks terechtkomt? Dimensie 4 spreekt voor zich; tijd en plaatsonafhankelijk toetsen wordt steeds belangrijker. De vijfde dimensie gaat over meer samenhang tussen het toetsproces en alle systemen. Denk hierbij ook aan (instellingsoverstijgende) samenwerking om toetsen mogelijk te maken, bijvoorbeeld door itembanken breder beschikbaar te maken.

Aan de slag met de Visietool binnen jouw instelling

Sharon Klinkenberg is senior lecturer aan de Universiteit van Amsterdam (UvA) en voorzitter van de Special Interest Group (SIG) Digitaal toetsen van SURF. Sharon ontwikkelde mede de Visietool, om daarmee makkelijker in gesprek te gaan over de herziening van het kader toetsbeleid binnen de UvA. De UvA is een decentraal georganiseerde universiteit; op centraal niveau is er minimaal toetsbeleid vastegsteld, maar er zijn wel veel kaders waar alle faculteiten hun eigen invulling aangeven, zo licht Sharon toe. Het vorige kader werd te strikt bevonden en bood weinig ruimte voor andere mogelijkheden en toetsvormen. Dat is nu veranderd. Waar het voorheen vooral ging over validiteit en betrouwbaarheid, is er nu ruimte voor discussie over formatief en summatief toetsen.

Sharon gidst de aanwezigen vervolgens live door de Visietool (digitaal) toetsen en beoordelen. Je vindt deze op de website van het Versnellingsplan. Je kunt de tool op verschillende niveaus gebruiken: op instellings-, opleidings- of cursusniveau enzovoorts. De tool bevat een stappenplan en heldere instructies. Het idee is dat een interdisciplinair team (voorbereid!) samenkomt in een bijeenkomst van 2-3 uur, waarin het samen de stappen doorloopt en aan de slag gaat met de dimensies uit het toekomstperspectief. Daartoe is een handig template in Mentimeter ontwikkeld dat je naar je eigen (instellings)account kunt kopiëren. Per dimensie zijn er stellingen waarop de aanwezigen kunnen reageren en met elkaar in discussie kunnen.

Aan het einde van het webinar komt er een vraag van een deelnemer die voor velen herkenbaar is: Hoe stimuleer je serieuze deelname van studenten aan formatieve toetsen? Sharon beantwoordt de vraag vanuit zijn eigen onderwijspraktijk. Volgens hem loont het niet om studenten te vertellen dat de toetsen meetellen in het cijfer. Hij kiest ervoor om inzet te belonen; studenten mogen geen antwoorden leeglaten en er is een malusregeling. Studenten moeten bovendien reflecteren op de toetsen en Sharon benoemt expliciet dat fouten onderdeel is van het leerproces. De malusregeling houdt in dat één keer een toets niet maken is toegestaan, maar twee keer niet maken consequenties heeft: bijvoorbeeld 0,15 punt van het eindcijfer af. Sharon refereert hierbij aan het onderzoek naar malus boven bonus door Tversky en Kahneman.

Het webinar eindigt met de oproep van Annette Peet om je aan te sluiten bij de community van visieontwikkelaars. Zie hieronder voor meer informatie.