Droomscenario voor flexibel digitaal toetsen: dichterbij dan je denkt!

Droomscenario

De middag begint met een droomscenario geschetst door SIG DT voorzitter Sharon Klinkenberg. Klinkenberg toetst al sinds 2003 digitaal in daarvoor niet bestemde zalen. In een tijd dat er nog geen support was voor digitaal toetsen en het afsluiten van het internet al helemaal geen optie was. Waarom zal je natuurlijk denken. Omdat Klinkenberg een SPSS-cursus gaf. En die vaardigheden zou je niet op papier moeten willen toetsen. De meerwaarde zit hem in de authenticiteit van de toetsing. Dat wat je studenten aanleert zou je ook op die manier moeten toetsen. Ecologisch valide heet dat. Juist deze ecologische validiteit komt in het gedrang omdat we door het gebrek aan schaalbaarheid van grootschalige toetszalen aan het uitwijken zijn naar meer mobiele alternatieven zoals chromebooks. Die chromebooks werken prima met een web based toets applicatie in een browser maar SPSS draaien is wat problematisch.  

In juni organiseerde de SIG DT een eerste expertmeeting rond veilig toetsen op mobiele apparaten. Door het samenbrengen van de ideeën en ervaringen begint zich nu langzaam een toekomstbeeld te vormen dat mogelijkerwijs uitkomst biedt. Wat als je op een Chromebook of bootable USB-stick gewoon een desktopomgeving zou kunnen draaien die virtueel gehost word. Op de vorige meeting leerden we al dat applicaties gehost konden worden via AWS voor een prijs van 11 cent per student per toets. En als we nou het volledige toets-image zouden kunnen virtualiseren? Dan zouden we maar één image hoeven te beheren en zouden we die niet alleen naar de Chromebooks maar ook naar de al bestaande toetszalen kunnen uitrollen. En dat voor die prijs. Ecologisch valide toetsen in de cloud. Laten we dat proberen te realiseren.

De zes cases

1. TU/e Eindhoven en Ivanti (pdf) verkenden wat zij voor elkaar kunnen betekenen bij het afnemen van zogenaamde authentieke toetsen waarvoor toegang tot bepaalde software applicaties gewenst is gedurende een beveiligde toetsafname. In deze pitch werd VDI als oplossing gepresenteerd voor toegang tot extra tools bij de toetsafname. Bekijk hier de SOLUTION BRIEF: Dynamisch en Veilig Digitaal Toetsen. Zie hier voor meer informatie over Ivanti. In de discussieronde werden meerwaarde t.o.v. MS, kosten, flexibiliteit en schaalbaarheid besproken.

2. Bram Daams (Radboud Universiteit) (pdf) liet zien hoe Amazon Webservices zijn ingezet om op chromebooks per student een VM beschikbaar te maken, waarop Netbeans IDE voor summatieve toetsing beschikbaar was. In de discussieronde kwam de snelle opzet (initieel 2-3 weken), de kosten van AWS-support (100€ /mnd) en de geringe prijs per afname aan de orde.

3. Youp Horst presenteerde het Secure Test Environment Protocol (pdf) waarvan de Linux based memory stick de basis vormt, geeft op de TU/e een beveiligde toegang tot o.a. het toetsprogramma Cirrus. In Cirrus bouwt de TU/e momenteel aan een vraagtype “programmeren”. Het streven is hiermee het toetsen van programmeeropdrachten beveiligd te faciliteren. In de nabespreking werd aangegeven dat er een beperking is ten aanzien van het beveiligd gebruik van andere applicaties. De TU/e zorgt voor aanwezigheid van functioneel beheer bij afname.

4. Binnen de context van grootschalig digitaal toetsen deelde Nico Witteman (VU) (pdf) zijn inzichten op beveiliging in het algemeen en specifiek over het uitsluiten van de mogelijkheid tentamens af te leggen vanaf een andere locatie dan bedoeld. Nico ging in op de inzet van certificaten voor beveiliging.

5. Rens Henselmans en Ron Moonen van Fontys (pdf) hebben sinds 2014 ervaring met het gebruik van Windows to Go sticks om computerlokalen binnen Fontys eenvoudig om te bouwen naar digitaal beveiligde toetslokalen. Voor een belangrijk deel worden ook de laptops van studenten gebruikt, om in combinatie met Windows to Go beveiligde toetsen af te nemen. De techniek en het achterliggende proces staan toe dat een grote diversiteit aan programma’s (waaronder SPSS, Matlab, Excel en CodeSys) beschikbaar zijn via de stick, naast dat uiteraard een beveiligde verbinding met een toetssuite gemaakt kan worden. Uit de discussie kwam naar voren dat er nogal wat werk omheen zit, dat het aanleveren van en inleveren op stick divers verloopt. Dat brengt beveiligingsissues met zich mee.

6. Universiteit Twente (pdf) ging in op authentiek toetsen via Chromebooks. Ard Kosters van UT deelde zijn ervaringen rond het veilig toetsen met SPSS, Excel en Matlab, via Azure. De UT wist geparametriseerde images te realiseren waardoor het in de toekomst mogelijk zou moeten worden om als digitale toets aanvrager aan te vinken welke software beschikbaar zou moeten zijn tijdens de toets, waarna deze informatie bij het opstarten van de VM omgeving geautomatiseerd wordt meegenomen. De UT maakt nu al gebruik  van Chromebooks om in een Azure omgeving in een VM te toetsen.

Conclusies

We hebben deze dag een mooi palet aan implementatie methodes gezien, die in zekere mate ook goed te integreren zijn. Laten we vooropstellen dat het droomscenario al erg dicht in de buurt is. We zouden namelijk met de certificaten van Nico veilige verbindingen kunnen opstellen tussen de door de instelling beheerde mobile apparaten en de VM gehost op AWS van de Radboud of Azure van Twente. Duidelijk is dat deze twee laatste VM-oplossingen verreweg het goedkoopst zijn maar ook nog eens het meest flexibel en schaalbaar. Het blijkt, zoals Ivanti en UTwente lieten weten, zelfs mogelijk om images te voorzien van parameters waarmee de beschikbaarheid van specifieke applicaties en functionaliteiten per toetsafname ingesteld kan worden.

Vervolg op 24 mei 2019

Tijdens de bijeenkomst vroegen veel deelnemers naar een vervolg, omdat veel onderwerpen nog in ontwikkeling zijn: wat is de laatste stand van zaken van de aangegeven oplossingen, hoe schaal je op, wat zijn pitfalls, welke kosten zijn eraan verbonden? Daarom organiseren we op vrijdag 24 mei 2019 een vervolg expertbijeenkomst. De nadruk bij deze bijeenkomst zal minder liggen op BYOD, maar meer op de besproken virtualisatie oplossingen en mobiele apparaten. Zet deze datum alvast in je agenda!

Met dank aan ResearchGate voor de algemene afbeelding bij het artikel | Thanks ResearchGate for the main picture of this article .