Terugblik Online proctoring 15 mei

Korte update per instelling

TU/e – Ludo van Meeuwen: TU/e is nu 8 weken bezig met online proctoring: 4 weken voorbereiding, 2 weken tentamens, nu 2 weken afronding en vervolgproject starten. De opkomst bij de online toetsen is normaal of zelf beter. Enkele procenten studenten met issues krijgen een herkansing. 17 studenten gekozen voor een opt-out. Cijfers: 94 geproctorde tentatamens, 11.000 toetsafnames 9500 studenten. Bij het vervolgproject voor einde studiejaar zijn ca 50 deelnemers betrokken: een complexe klus.

Een externe check op alle regelingen en overeenkomsten (in totaal 6 documenten: contract, verwerkersovereenkomst, DPIA, Verwerkingsregister, Privacy Statement, Regels & richtlijnen laat zien dat zij het juridisch goed op orde hebben.

VU – Silvester Draaijer: de VU werkt tot nu toe met ProctorExam en sinds kort ook met Proctorio (parallel), dat gaat verbazend goed, er zijn heel weinig klachten en problemen. Wat daarin meespeelt is dat de instellingen bij de VU ‘mild’ zijn (je mag opnieuw inloggen bijv.). Nu wordt hard gewerkt om het surveillanceproces voor Proctorio in te regelen: geheimhoudingsverklaring, liefst reviewen van de beelden op de VU in plaats van thuis en met apparatuur van de VU (uit oogpunt van privacy/security). Surveillanten (65+) worden speciaal opgeleid en doen het goed.

TiU – Vincent Kalis: TiU start as dinsdag (19 mei) 8 weken lang toetsen via Proctorio in combinatie met Canvas (150 toetsen, 40.000 toetsafnames). Ca 12% van alle toetsen wordt geproctored. In Tilburg is een stevige privacy ‘storm’ geweest. Als reactie hierop zijn veel sessies met studenten gehouden om openheid van zaken te geven, vragen te beantwoorden, ook voor docenten, dat heeft erg geholpen. Uitgangspunt is transparantie, zodat iedereen ook weet welke software-instellingen worden gebruikt en waarom. Proctorio is veel complexer dan vooraf gedacht, maar heeft als voordeel dat je instellingen heel precies kunt inregelen.

WUR – Gerard Folkerts: De WUR heeft de afgelopen weken 11.000 toetsafnames gedaan met 8.000 studenten. Ze gebruiken Remote Proctor Now (PSI). Ze hadden 5-6 weken aanlooptijd, die hebben ze  gebruikt om o.a. heel veel te communiceren vanuit het bestuur naar studenten over het waarom en hoe, privacy-aspecten, etc. Organisatie: er is een team voor de tentamens, een team voor regelgeving en communicatie en een review team. De WUR is de tentamenweek best goed doorgekomen, afgezien van wat individuele problemen. Een oefententamen blijkt heel belangrijk, dat scheelt heel veel in de ondersteuning.

UvA – Sharon Klinkenberg: Bij de UvA worden langzaamaan wat grotere pilots gedaan met online proctoring en ook is officieel besloten om met proctoring te starten. Intussen ontstaan er allerlei decentrale oplossingen, incl. de toepassing van Zoom voor surveillance – de vraag is of je dat moet willen. Eerder is al afgesproken dat proctoring alleen wordt ingezet als er geen andere opties zijn. In september zullen we nog niet terug kunnen naar ‘normaal’, in dat licht is nadere verkenning van serieuze online alternatieven nodig.

Surveillance vs authenticatie

De TU/e hanteert drie fraudeniveaus:

1. Spiekbriefjes
2. Externe informatie ophalen die niet vooraf is klaargezet
3. ID-fraude

Uitgangspunt dat niveau 1 geaccepteerd wordt (wordt gezien als een student die ‘goed voorbereid’ is). Voor een goede ID-controle is het inloggen op basis van je eigen credentials niet voldoende. Misschien wordt op termijn obv keystroke-herkenning mogelijk (TU/e start-up), maar ook de huidige proctoring-methode blijft nodig: je hebt het hele pallet nodig.

VU: De authenticatie is ‘handwerk’ voor de surveillant. Dit gaat wel snel en de controle zit ook nog een keer in Testvision. Ook hier zijn er docenten die authenticatie via Zoom doen, de vraag is of dat uit privacy-overwegingen wel wenselijk is.

Regelgeving & privacy

TiU heeft nogal onder vuur gelegen, daarom is in detail gekeken naar de instellingen van Proctorio en het waarom daarvan. In Proctorio kun je nogal wat indicatoren aan/uit zetten, dat moet je goed vastleggen in de DPIA (Data protection impact assessment, een document waarin je allerlei aspecten rond privacy uitwerkt/vastlegt, bij TiU ruim 50 pagina’s!). Dit document is ook van belang om de werkwijze goed aan de Autoriteit Persoonsgegevens (AP) uit te kunnen leggen. Vooralsnog heeft TiU de indicator ‘hoofd en oogbewegingen’ uitgezet omdat studenten aangeven dit onprettig te vinden. Sommige studenten kijken juist opzij of omhoog tijdens het nadenken en is er dus geen sprake van verdachte handeling, die wordt dus onterecht ‘geflagd’. Maar, stel dat je de AI (op hoofd/oogbeweging) niet inzet, dan zul je veel meer live moeten kijken, terwijl AI ervoor zorgt dat dat veel minder nodig is. Er zal worden bekeken of deze functionaliteit toch aan moet, bijvoorbeeld wanneer veel fraude geconstateerd wordt en deze indicator een bijdrage kan leveren bij de detectie.

TiU heeft een onderzoek gedaan naar proctoring. Bij de rechtenfaculteit gaf 12% van de studenten aan forse privacybezwaren te hebben. Vandaar dat de TiU studenten ook goed heeft geïnformeerd via live Q&A-sessies.

Ook in TU/e was privacy vertragende factor. De TU/e gebruikt als uitgangspunt in de discussie de balans tussen diplomawaarde, privacy en uitvoerbaarheid. Groepsgrootte is doorslaggevend bij de keuze voor proctoring (uitvoerbaarheid). Zonder fraudepreventie wordt er ook geklaagd door studenten (ivm diplomawaarde). Roomscan is ‘een ding’ maar ook vinden studenten die juist wel fijn omdat ze daarmee kunnen aantonen niet te frauderen. Andere toetsvormen zijn nog steeds gewenst. De AP geeft ook aan dat je regelingen goed met MR moet hebben afgetikt.

Tip: attendeer studenten erop dat je alle alternatieven hebt onderzocht en niet geschikt bevonden.

Vraag: wie bepaalt of proctoring aan de orde is? Dat is de Examencommissie.

Er is een model dpia vanuit een Europees project beschikbaar. Er is ook een 2e versie van de Surf quick scan beschikbaar, waarin een eerste inventarisatie is gemaakt op basis van openbaar beschikbare informatie van drie proctor-aanbieders.

Communicatie

Bij de WUR waren nog maar 50 van de 207 tentamens digitaal voor deze periode, dit hebben ze docenten uit handen genomen. Effect is dat docent op afstand van toetsproces komt te staan. Daarom is de ‘eerstehulpinstructie’ voor studenten ook met de docenten gedeeld.

Hoe kan student communiceren met de instelling communiceren als hij/zij support nodig heeft?

De WUR heeft een team bij de telefoon (noodnummer). Ook examinatoren moeten bereikbaar zijn (voor supportteam). Student kan (nog) niet via chat. Een opname wordt meteen gevlagd zodra student gaat bellen, dat kun je weer koppelen met het logboek helpdesk om na te gaan of dat rechtmatig was.

Bij de VU is alleen de chat met Proctorio beschikbaar (en dat werkt heel goed). Inhoudelijke problemen worden achteraf naar de docent gestuurd ter beoordeling. Realtime ondersteuning vraagt teveel van de organisatie. Het blijkt goed te werken.

Bij de TiU is er nog een escape: de IT-servicedesk, die kunnen studenten bellen en mailen indien Proctorio geen oplossing heeft kunnen bieden.

UvA: je moet wel iets achter de hand hebben voor het geval er (grote) technische problemen zijn.

RadboudU heeft zelf een chatfunctie ingeregeld.

Proctored inzage

De vraag hierachter is: zou je de inzage in toetsen ook online moeten proctoren. De VU is hier niet mee bezig. TU/e doet het (na discussie) niet, biedt wel feedback aan in. De WUR discussieert hierover, denkt eerder aan plenaire nabespreking.

Toekomst

Online toetsen zal voorlopig belangrijk blijven en moet je goed inrichten, omdat zalen veel minder capaciteit zullen hebben. De SIG Digitaal Toetsen verkent ook de mogelijkheid om een virtuele toetsdesktop aan te bieden met toetssoftware inclusief tools als Excel of SPSS.

Meer informatie

Informatie over digitaal toetsen en online proctoring kun je ook vinden op communities.surf.nl: Zie SIG Digitaal toetsen en het thema toetsen op afstand in de Vraagbaak Online Onderwijs. Op de Vraagbaak Online Onderwijs vind je onderaan de pagina een overzicht van (andere) webinars + verslagen die we organiseren in het licht van de corona-crisis.

Met dank aan Michiel van Geloven voor de verslaglegging!