Workflow digitaal toetsen: hoe kan het digitale toetsproces duurzaam en efficiënt worden ingericht?

Sharon Klinkenberg is co-director van de TLC van de faculteit Maatschappij en Gedrag van de UvA, evenals voorzitter van de Special Interest Group (SIG) Digitaal Toetsen van SURF. Deze SIG is al jaren bezig om digitaal toetsen op de agenda te zetten. Vanuit de SIG bestaat al langer de wens om een sessie te organiseren omtrent het digitale toetsproces. Hoe richt je het tentamineringsproces duurzaam, maar tegelijkertijd efficiënt in? 

Problemen in de workflow 

Sinds het begin van de uitrol van digitaal toetsen is de focus vooral gelegd op het beschikbaar maken van zalen en ondersteuning. Er is echter weinig stilgestaan bij de manier waarop het logistieke proces goed ingericht kan worden. Afdelingen zagen digitaal toetsen vaak als een onderwerp voor de afdeling ICTO (ICT in Onderwijs), waardoor er weinig aandacht aan werd besteed. Het uitbreken van Covid-19 dwingt opleidingen ertoe om het digitaal toetsen goed aan te pakken, wat dit een uitstekend moment maakt om te bespreken hoe het proces omtrent digitaal toetsen optimaal ingericht kan worden. 

Van papier naar digitaal 

Sharon is een ‘early adopter’ van digital toetsen. Sinds 2003 doceert hij op de UvA, waar hij zelf heeft meegemaakt dat bij de faculteit Psychologie het papieren toetsproces strak was geregeld. Als lid van het ICTO-team heeft hij op een gegeven moment de transitite gemaakt naar digitaal toetsen. Hierin werd onderzocht hoe de bestaande, goed uitgewerkte, ‘papieren’ processen konden worden vertaald naar een digitale situatie. Sharon deelt in deze sessie zijn ervaringen hierin. 

Pre-exam workflow 

Het toetsproces is gedefinieerd in twee stappen: het proces vóór de afname van de toets en het proces ná de afname van de toets. Onderstaand schema schetst dit toetsproces: sommige onderdelen zijn hierna enigszins gewijzigd, maar veel onderdelen zijn nog zeer relevant. 

Van links naar rechts is gedefinieerd wat er moet gebeuren om digitaal te kunnen toetsen. Aangezien dit schema uit het pre-coronatijdperk komt, werd er eerst gekeken naar de inroostering van de toets ‘scheduler’. Als er geen zaal beschikbaar is, kan er immers niet getoetst worden. Hiervan wordt bij digitaal toetsen op afstand uitgeweken: studenten maken de toets thuis in plaats van de zaal. 

Na het vaststellen van de tijd en locatie van de digitale toets bij de Bureau Onderwijslogistiek (BOL) wordt dit doorgegeven aan de Student Service Desk (SSD) en de ICTO van de faculteit. ICTO regelt de applicatiebeheer en het digitale proces omtrent de toets. De Assessment Coordinator (AC) wordt ook ingelicht over de toets. Deze toetscoördinator geeft door aan ICTO dat er een account voor de docent aangemaakt kan worden, en dat een itembank voor de toets moet worden aangemaakt. ICTO nodigt naderhand de docent uit voor een training om de applicatie onder de knie te krijgen. De toetscoördinator licht de docent in dat de items voor de itembank aangemaakt kunnen worden. Nadat de docent aangeeft dat de items klaarstaan in de itembank, stelt de toetscoördinator alle instellingen op de correcte manier in, en geeft het door aan de SSD dat het tentamen klaarstaat. De SSD geeft dan van tevoren door aan de studenten dat het tentamen klaarstaat. Tenslotte licht de Werkplekondersteuning (WPO) ICTO in of er ook andere software moet worden gebruikt tijdens het tentamen. 

Tussen afdelingen bestaan grote verschillen in hoe deze taken verdeeld worden tussen de betrokken partijen. Niet altijd worden studenten van tevoren geïnformeerd dat het tentamen klaarstaat. Dit is ook niet in elke situatie altijd nuttig; of het nuttig is hangt van de grootte van de studie af en in welke mate het proces is geautomatiseerd. 

Post-exam workflow 

Het tweede deel van het proces vindt na de afname van de toets plaats. ICTO stelt vast dat het tentamen goed is verlopen, en geeft aan de corrector door dat het tentamen kan worden nagekeken. Bovendien kunnen van de gesloten vragen al de voorlopige scores worden doorgegeven. Dit verschilt per afdeling en per vak of dit ook daadwerkelijk inzichtelijk wordt gemaakt voor studenten. 

De toetscoördinator krijgt een automatisch rapport te zien met een analyse van de resultaten van de gesloten vragen. Op basis hierop kan een advies omtrent eventuele cijfercorrecties doorgegeven worden aan de docent. Vervolgens kan de scoretransformatie voor het eindcijfer plaatsvinden. Dit deel van het proces is belangrijk om de kwaliteit van het beoordelingsproces te waarborgen.

De SSD ontvangt van de toetscoördinator de cijfercorrecties van de gesloten vragen, en van de corrector de beoordeling van de open vragen, waarna de definitieve cijfers doorgegeven ingevoerd kunnen worden aan het Student Information System (SiS), en de cijfers inzichtelijk worden voor de studenten. 

Schema’s zoals deze zorgen voor extra grip op het toets- en beoordelingsproces, en maakt het makkelijker om mensen af te vangen die dit proces uitvoeren. 

Online proctoring in de workflow 

Indien er surveillance ingezet wordt tijdens een toets, heeft dit niet alleen implicaties tijdens de toetsafname, maar ook voor het proces na de afname. In dit geval is dus een aanvulling op bovenstaande schema’s noodzakelijk. Welke rollen en processen precies worden toegevoegd verschilt per afdeling, maar in het algemeen betekent de inzet van online proctoring dat er zelfs na het doorgeven van de definitieve cijfers potentiële fraudegevallen onderzocht moeten worden, met een oordeel van de examencommissie. 

De faculteit Economie en Bedrijfskunde van de UvA ondersteunt online proctoring voor alle toetsen sinds de uitbraak van het coronavirus. De BOL van de faculteit stelt voor elk tentamen na afloop binnen 24 uur een rapport op over het verloop van het tentamen, waarna een reviewer met de Proctorio-beelden moet bekijken of er vermoedens zijn van fraude. Bij een vermoeden kijkt de faculteit weer of ze het ermee eens zijn. Indien dit het geval is, wordt er een uitgebreid proces-verbaal opgesteld, welke door de examencommissie bestudeerd en beoordeeld wordt. In feite komen er dus drie actoren in de post-exam workflow erbij: de BOL, de tussenpersoon in de faculteit, en de examencommissie. Vaak wordt er ook gewacht met het definitief beschikbaar maken van de cijfers totdat alle potentiële fraudegevallen beoordeeld zijn. 

Inzet toetscoördinator 

Niet alle faculteiten van de UvA hebben een toetscoördinator die de inhoud van de vragen beoordeelt. Vaak worden deze alleen ingezet bij studies met grote groepen studenten. Bij kleinere studies wordt de docent vaak meer autonomie gegund in het opstellen van de vragen. Vaak is er wel ondersteuning beschikbaar voor het correct invoeren van de toets in de applicatie. Over het algemeen is de belangrijkste voorwaarde dat niet het hele digitale toetsingsproces ‘over de schutting’ wordt gegooid naar ICTO, maar dat er echt goed nagedacht wordt over dit proces, vergelijkbaar met het papieren toetsingsproces. Iedereen die bij het papieren toetsingsproces betrokken was, moet ook bij het digitale toetsingsproces betrokken worden. 

Zelf een workflow maken

De bovenstaande workflows zijn gemaak in Rstudio met het DiagrammeR-package. Bekijk hier de GitHub-repository. Deze kan geforkt worden waarna de .mmd bestanden kunnen worden aangepast naar de lokale situatie.