Terugblik Online proctoring 17 april

Technische Universiteit Eindhoven: Ludo van Meeuwen

De TU/e heeft in zeer korte tijd (4 weken) online proctoring voorbereid en ingeregeld om het hoofd te kunnen bieden aan een aantal toetsen waarvoor geen alternatief gevonden kon worden. Daarvoor wordt gewerkt met Proctorio in combinatie met de verschillende toetssoftware die de TU/e in gebruik heeft (Cirrus Assessment, ANS Delft en OnCourse).

Gedurende de huidige toetsperiode gaat TU/e 95 toetsen via online proctoring afnemen. De grootste groep is tot dusver 500. Een belangrijke ingreep is dat toetsen zijn ‘opgeknipt’ in twee blokken van 90 minuten (om bijv. toiletbezoek mogelijk te maken).

Hooguit 5% van de studenten ervaart technische problemen met online proctoring (meestal een probleem met de internetverbinding). Er zijn leenlaptops beschikbaar, hoewel daar vrijwel geen gebruik van wordt gemaakt. Belangrijk gegeven is dat de studenten aan het begin van de lockdown dringend geadviseerd is om ‘niet ver weg te gaan’ – waardoor er minder problemen zijn met slechte internetverbindingen in het buitenland.

Voor de 5% studenten waarbij online proctoring niet werkt kan de docent zelf een oplossing aanbieden, bijv. een mondeling, mits kleine aantallen. Als het grotere aantallen zijn wordt een retake georganiseerd die in beginsel ook geproctord wordt.

Andere technische problemen hadden te maken met:

• performance bij Proctorio, dit is inmiddels opgelost
• de ‘roomscan’ werkt niet en is daarom uitgezet en de eerste vraag in de toets aan de student was om een roomscan te maken
• upload-vragen bij grote aantallen blijkt niet goed te gaan, daar is een workaround voor: de student laat het document zien via proctoring en regelt het uploaden vervolgens via Canvas.
• de beelden tijdens het reviewproces komen erg traag binnen, daar wordt nu aan gewerkt.

TU/e benadrukt het belang om goed met studenten te communiceren over online proctoring. Zo hebben zij bijvoorbeeld deze FAQ opgesteld. Aandachtpunt: Proctorio installeert een app op de pc van de student. Studenten kunnen die na de toetsweek weer de-installeren, zodat er niet onbedoeld gegevens worden uitgewisseld.  

Vrije Universiteit: Silvester Draaijer

De VU werkt met ProctorExam. Dat gaat steeds beter, ook tot aantallen van 150 studenten tegelijk. Wel is het zaak de studenten goed voor te bereiden.

Privacy-aspecten van proctoring spelen steeds hoger op, en het is een uitdaging om dit het hoofd te bieden. Ook zijn er zorgen over de ‘kansenongelijkheid’ tussen studenten met een goede laptop en internetverbinding, een rustige kamer en andere die dat niet hebben. Om daar het hoofd aan te bieden overweegt de VU een oplossing op de campus aan te bieden, al is dat nog wel een puzzel. Want je wilt voorkomen dat er te veel mensen naar de campus komen. Daarom overweegt VU om verzoeken via de studieadviseurs/studentendecanen te laten verlopen.
De online surveillance wordt uitgevoerd door reguliere surveillanten, die daarvoor apart getraind zijn.

Tilburg University: Vincent Kalis

Tilburg University heeft een voorstel uitgewerkt om online proctoring in te kunnen voeren voor de toetsperiode die op 18 mei start. Na een verkenning is gekozen voor Proctorio, vooral vanwege de schaalbaarheid van deze oplossing. Op 14 april is er een succesvolle pilot afgenomen bij 368 studenten van de rechtenfaculteit. Vervolgens zijn de pilotresultaten gepresenteerd aan de voorzitters examencommissies en het CvB. De verwachting is dat het zij het voorstel overnemen.

TiU zal na goedkeuring gaan toetsen via Canvas, omdat er nog geen integratie gereed is met hun toetssoftware TestVision. Wellicht wordt dat na de pilot wel mogelijk, maar de focus blijft toetsafname via Canvas.

Omdat studenten nog geen ervaring hebben met online proctoring, worden oefensessies gehouden. Deze zijn nog niet verplicht, maar waarschijnlijk wordt de oefentoets verplicht. De verwachting is dat hiermee een groot deel van de technische problemen tijdens een echt online tentamen kan worden voorkomen.

Update SURF whitepaper online proctoring: Lex Sietses

De eerste versie van dit whitepaper dateert van 2016. Omdat er nu heel veel vraag naar is, wordt een nieuwe versie voorbereid. Naar verwachting wordt de update 28 april gepubliceerd (download de whitepaper hier). De whitepaper heeft als doel instellingen inzicht te geven in de vraagstukken een rol spelen bij online proctoring. In de versie van 2020 zijn opgenomen: de nieuwe privacywetgeving Algemene verordening gegevensbescherming (AVG) uit 2018, de nieuwe mogelijkheden in online proctoring, en de impact van de coronacrisis.  

De whitepaper bevat informatie en overwegingen die instellingen mee kunnen nemen bij het maken de keuze óf zij online surveilleren, en zo ja, onder welke voorwaarden. Bij de inzet van online proctoring spelen privacyoverwegingen een grote rol. De coronacrisis kan de keuze rond online proctoring beïnvloeden. Bij de privacy-afweging onder de huidige omstandigheden gaat over het ‘gerechtvaardigd belang’: als toetszalen niet beschikbaar zijn, dan is het reëel om vast te stellen dit een grondslag is om online proctoring voor nu in te inzetten. Wellicht kan dit in de te verwachten hybride situatie (een deel van de studenten keert terug naar de campus, een deel nog niet) ook zo zijn, mits er sprake is van een vrije keuze van de student.

Studentperspectief: Rik (TU/e)

Rik heeft meegedaan aan (tot dusver) één geproctorde toets, dat is heel goed gegaan en hij was blij dat dit mogelijk was – immers, anders was er geen toets. De voorbereidingen waren best ingewikkeld, ook omdat de benodigde informatie niet heel gestructureerd binnenkwam. Inmiddels zijn de instructies voor studenten bij de TU/e veel beter uitgewerkt.

Over zijn eigen privacy heeft Rik niet zoveel zorgen, hij heeft in zijn kamer wat dingen opgeruimd of afgedekt en daarom heeft hij geen probleem met de ‘roomscan’. Rik voelt zich niet beïnvloed door het feit dat hij wordt gefilmd tijdens het tentamen. Wel prettig is de pauze halverwege het tentamen.

Hierna ontstaat een korte discussie waarin Silvester aangeeft dat hij bij doorvragen wel meer problemen bij studenten vindt. Bij de VU zijn vrij strikte richtlijnen opgesteld voor de ‘thuistoetsen’; een voorbeeld is dat een toets ongeldig kan worden verklaard als er iemand door het beeld loopt. Dat zijn punten om nog eens goed naar te kijken.
Sharon schetst zijn ervaring met een niet-geproctorde online toets, waar de resultaten vrijwel gelijk waren aan de vorige toets die in de zaal met surveillanten werd afgenomen. Lex zet daar tegenover dat studenten heel goed kunnen calculeren en wellicht bewust gestuurd hebben op een realistische score. Algemene conclusie is in elk geval dat fraude altijd bestaat, dus ‘je moet zoveel mogelijk maatregelen nemen'. Ook komt nog langs hoe om te gaan met het ‘uitlekken’ van de toets als je deze online afneemt. Dit lijkt onvermijdelijk, waarbij wordt opgemerkt dat ook toetsen die op de campus met surveillance worden afgenomen in veel gevallen openbaar worden, ondanks maatregelen om dat tegen te gaan.

Hulp om aan de slag te gaan: Vincent

Ter voorbereiding op het project online proctoring bij TiU heeft Vincent uitgebreid nagedacht over zaken waar je aan kunt/moet denken. Dit heeft hij opgetekend in een spreadsheet die voor eenieder beschikbaar is.

Overige bronnen

Informatie over digitaal toetsen en online proctoring kun je ook vinden op communities.surf.nl: Zie SIG Digitaal toetsen en het thema toetsen op afstand in de Vraagbaak Online Onderwijs. Op de Vraagbaak Online Onderwijs vind je onderaan de pagina een overzicht van (andere) webinars + verslagen die we organiseren in het licht van de corona-crisis.

Tot slot: veel dank aan Michiel van Geloven voor de verslaglegging van deze sessie!