Terugblik: Online proctoring: 27 maart

Introductie

Nu al het onderwijs online moet plaatsvinden komt daarbij natuurlijk ook de vraag op hoe het toetsen op afstand kan plaatsvinden. Online proctoring lijkt op dit moment één van de manieren om grootschalig summatief toetsen op afstand mogelijk te maken. Alternatieve vormen van toetsen en tentamineren zijn natuurlijk ook van belang en relevant. Zo illustreert dagvoorzitter Silvester Draaijer aan de hand van deze uitspraak: “Bij de VU is onze eerste boodschap: ‘Zorg dat je een andere toetsvorm vindt dan de klassieke eindtoets. Als het echt niet anders kan, dan komt de klassieke eindtoets wellicht in aanmerking voor online proctoring.’”

Op de alternatieve vormen van toetsafname gaan we in deze sessie niet in. We focussen in deze sessie vooral op het online-proctoring-gedeelte en de vraag is vooral: “Hoe realistisch is het om tussen nu en de komende weken tot een substantiële omvang te komen van tentamineren met online proctoring?”

Daarom hebben we een aantal instellingen, waaronder VU, TUe, WUR en Nyenrode – die op dit moment pilots uitvoeren of opschalen - uitgenodigd om met ons te delen welke globale aanpak zij volgen. Daarbij gaan we onder andere in op vragen rond fraudebestendigheid, risico’s, stabiliteit en omvang. Maar ook kijken we naar wat je allemaal in gang moet zetten om dit te regelen, wat het kost en of hoe je dit juridisch goed regelt.

Vrije Universiteit

De VU is gestart met ProctorExam. Het wordt ingezet voor groepen niet groter dan 130 studenten, omdat het inloggen heel nauw luistert. Studenten moeten precies weten wanneer ze moeten inloggen en op welke knoppen ze in moeten drukken. Op de back-office zitten twee mensen die normaal gesproken digitale toetsen begeleiden. Die proberen alle chats die binnenkomen van studenten met inlogproblemen af te vangen. Elk kwartier starten er 50 studenten, want dat is zo’n beetje het maximum wat zij gezamenlijk kunnen afvangen. Grotere toetsen moeten daarom in stukjes worden opgeknipt.

De VU maakt gebruik van de “Record en Review”-functionaliteit. Daarbij bekijken medewerkers van ProctorExam achteraf de beelden op verdacht gedrag. Vervolgens gaan de reguliere surveillanten naar de beelden kijken voordat daarvan officiële procesverbalen worden gemaakt. De toetsen worden afgenomen via de toetsapplicatie TestVision. De proctor-omgeving staat los van deze toetsomgeving. Dat vereist dus een gespiegelde studentenadministratie en gespiegelde toetscondities. De VU is vanwege de coronacrisis nu volop bezig om te kijken hoe ze de schaalbaarheid, gebruiksvriendelijkheid en integratie met hun toetsapplicatie kunnen verbeteren.

TU/e

De TU/e heeft in een razend tempo Proctorio geïmplementeerd, en zelfs een API-koppeling weten te realiseren met Cirrus en ANS. Met een simpel vinkje kan in die toetsapplicaties worden aangegeven dat het om een online geproctorde toets betreft. Qua security settings in Proctorio zijn bij ANS-Delft per tentamen instellingen te maken. In Cirrus moet dit op instellingsniveau gebeuren (alle toetsen moeten gebruik maken van de zelfde instellingen). In tegenstelling tot ProctorExam detecteert Proctorio automatisch fraude op basis van een intelligent systeem. De TU/e heeft diverse tests uitgevoerd waarbij studenten bewust hebben gefraudeerd om te bekijken hoe goed het systeem in staat is om fraude te detecteren. Zo’n 90% van de fraude leverde zogenoemde ‘vlag’ op. Het beeldscherm, video, internetverkeer, toetsenbordaanslag en microfoon worden opgenomen en op basis van een analyse wordt potentiële fraude ‘gevlagd’ in de tijdlijn; vervolgens kun je alles achteraf terugkijken. Als onderwijsinstelling zal je volgens de TU/e altijd nog verdacht gedrag moeten scheiden van gewoon gedrag. Het drinken uit een flesje water kan bijvoorbeeld gedetecteerd worden als verdacht.

Een kleine 5% van de studenten liep tijdens de pilotfase tegen technische issues aan. Het is vooral belangrijk studenten goed te instrueren, een geproctorde oefentoets te laten maken en natuurlijk technische issues voor te zijn. Daarom bieden ze ook aan de voorkant een mogelijkheid voor studenten om te oefenen met proctorafname. Ze houden doorlopend bij hoeveel vertrouwen er is in het systeem. Alle gremia zijn erbij betrokken waaronder de universiteitsraad, opleidingsdirecteuren, onderwijsbestuur, decanen en voorzitters van examencommissies. Het College van Bestuur moet er nog een goedkeuring aangeven (red: is inmiddels gebeurd).

Wageningen Universiteit

De WUR heeft een hoop ervaring met online proctoring. Zij toetsen namelijk al zo’n vijf jaar een volledige masteropleiding met het programma PSI. Dat betekent voor de WUR kleine aantallen, en daardoor is het technisch en procesmatig goed behapbaar. De groepsgrootte is tot nu toe maximaal 85 kandidaten, maar ook zij ontkomen er niet aan om flink op te schalen. Binnenkort is dan ook de vuurdoop wanneer begin mei een nieuwe tentamenperiode start.

De WUR doet niet aan live proctoring. Voor de controle op frauduleus gedrag wordt een team ingezet dat de video’s vlagt, o.b.v. de zogenoemde ‘Record en Review’ functie.

De ervaring leert dat bij het opstarten van een geproctorde toets het aantal vragen wel meevalt van studenten. Dat waren echter wel bij kleinere aantallen. De WUR bereidt de supportdesk dan ook voor op de tentamenweken die eraan zitten te komen. Wat de studenten betreft,... vanaf volgende week kunnen die het oefententamen maken zo vaak ze willen.

Nyenrode

Naast de TU/e, maakt ook Nyenrode gebruik van Proctorio. Dat doen zij samen met Cirrus. Qua schaalbaarheid zijn er geen problemen, zowel aan de kant van Proctorio als bij Cirrus. Dat betekent dus ook uitsluitend proctoring achteraf, en op basis van vlaggetjes die automatisch door het systeem worden geplaatst.

Proctorio heeft acht verschillende instelbare parameters die de gevoeligheid bepalen waarmee de software fraudegedrag detecteert. Daar kan Nyenrode nog geen optimaal gebruik van maken, in de zin dat er voorlopig nog maar 1 profiel gekozen kan worden voor alle toetsen. De integratie met Cirrus moest namelijk nog gemaakt worden, en dat heeft wat afgedaan aan de functionaliteiten. Het grote voordeel is wel dat ze al profijt hebben van twee gekoppelde systemen en zich geen zorgen hoeven te maken over de schaalbaarheid.

De beelden blijven bewaard totdat de evaluatie helemaal is afgerond, en na drie maanden worden de gegevens verwijderd.

En meer informatie

Tijdens de sessie is heel veel informatie gedeeld, ook van een aantal andere instellingen. Deze informatie en meer details per casus kun je vinden in dit verslag, met dank aan Nyenrode Business Universiteit. 

Conclusie

De sessie maakt duidelijk dat bij de verschillende universiteiten en hogescholen nog een hoop werk aan de winkel is. Een eerste voorlopige conclusie lijkt te zijn dat instellingen die werken met Cirrus baat hebben van een directe koppeling met Proctorio. Ook ANS-delft is zeer goed te gebruiken in combinatie met Proctorio. Proctorio lijkt vooralsnog goed schaalbaar te zijn.

Koppelingen met ProctorExam komen wellicht nog beschikbaar. Uiteraard zal een en ander zich de komende weken in de praktijk moeten bewijzen. Daarnaast leeft op dit moment bij instellingen die toetsen met Remindotoets of TestVision ook de vraag hoe snel deze softwaresystemen in staat zijn een goede koppeling te maken met proctoringsoftware. Het lijkt dan ook zinvol om in de komende weken de vinger aan de pols te houden bij de ontwikkelingen rondom online proctoring. Een korte peiling onder de deelnemers maakt duidelijk dat een ruime meerderheid graag weer over een week wordt bijgepraat over de ontwikkelingen. Daar gaan we voor zorgen!

Het kernteam van de SIG Digitaal toetsen bestaat uit Sharon Klinkenberg (UvA, vz), Silvester Draaijer (VU), Eky Fioole (Avans), Vincent Kalis (Tilburg University), Michel Kao (HAN), Ludo van Meeuwen (TU/e), Annette Peet (contactpersoon vanuit SURF)

update 2 april