Naar een inrichtingsmodel voor flexibele en veilige toetsafname

Een antwoord op de droom?

Sharon Klinkenberg, voorzitter van SIG DT, startte de bijeenkomst met een droomscenario (zie video presentatie), voortbouwend op de 2e expertbijeenkomst in november 2018. Hij schetst een verdergaand droomscenario voor een student die een authentieke toets gaat maken. Stel je voor: “Je logt op een device in als student met je instellings ID, waarna een virtuele machine opstart, met daarin alleen de applicaties en bestanden die jij nodig hebt bij jouw toets. De toets start automatisch op, je werkt met de applicatie(s), levert uiteindelijk de bestanden/resultaten in en bij het afsluiten wordt een backup gemaakt van je materialen.” Dit is nu al technisch mogelijk. Maar is het schaalbaar, is er voldoende bandbreedte? Is het flexibel in de architectuur in te passen? Is het goed en flexibel koppelbaar met andere systemen, om bestanden in te leveren? En zijn de kosten beheersbaar? De vragen en antwoorden die deze droom oproept, kwamen in deze bijeenkomst aan bod met vier demo’s en daaraan gekoppelde werksessies. Deze demo's worden verderop in dit artikel nader toegelicht.

Inrichtingsmodel

De bijeenkomst maakte duidelijk dat je te maken hebt met verschillende lagen aan oplossingsgebieden om de geschetste droom waar te maken. Wat nu als je die lagen samenvat in een overzichtelijk geheel, zodat we de droom concreet kunnen gaan maken? Klinkenberg stelde daarin tijdens de afsluiting van de bijeenkomst het volgende voor:

Draai de virtuele toets desktop in de cloud als beveiligde VM en maak deze via een beveiligde browser beschikbaar op een beveiligde machine. Dat kan een bootable USB stick een PC of een chromebook zijn en wie weet, in de toekomst een eigen device van de student. Maak gebruik van een management systeem om de VM’s met de bijbehorende beschikbaarheid van applicaties en benodigde bestanden te beheren.  

Uitgaande van dit model, lijkt het digitaal toetsen zich in ieder geval steeds meer te ontwikkelen als een werkplekbeheer-vraagstuk. Wel een specifieke werkplek, die o.a. aan veiligheidsaspecten moet voldoen, namelijk de toetswerkplek. Daarvoor zouden we, om dit model te verwezenlijken, steeds meer aansluiting bij werkplekbeheer moeten zoeken.

Infographic algemeen inrichtings model flexibel authentiek digitaal toetsen

Vier perspectieven

Op deze middag werd wederom voortgang getoond in de verschillende mogelijkheden om flexibel, (authentiek) digitaal toetsen op te schalen en in je organisatie in te bedden. Met STEP van Avans en TU/e kan je een diversiteit aan studenten laptops op grotere schaal flexibel inzetten. Met virtuele omgevingen zoals Azure van UT en TU/e is door gescripte images verschillende soorten authentiek toetsen op grotere schaal al mogelijk en een koppeling met je digitaal toetssysteem biedt de mogelijkheid het inleveren en nakijken in één systeem te houden. Met de informatie van een student kan Citrix de toetsomgeving op de persoon inrichten.    

1. Harold van Ham van Avans (presentatie deel 1 + 2, verslag werksessie) is bezig met het onderzoeken en uitvoeren van grootschalig veilig afgeschermd toetsen op laptops van studenten, o.a. omdat er binnen Avans steeds minder pc’s beschikbaar zijn. Met de Secure Test Environment Protocol (STEP)-methode, een USB-bootstick doorontwikkeld door TU/e, wordt een laptop omgezet in een veilige toetswerkplek. Nu wordt 75% van de studentenlaptops ondersteund en studenten met een niet compatibele laptop maken gebruik van Avans-laptops. De huidige STEP-versie is gericht op toetsafname met Remindo, het webbased digitaal toetssysteem van Avans, maar in de toekomst gaat STEP2 ook het streamen van applicaties voor authentiek toetsen ondersteunen met bijvoorbeeld Amazon App-stream. De huidige STEP-methode wordt organisatie-breed geïmplementeerd met borging in de lijnorganisatie en o.a. zelfstandig opererende E-surveillanten. In de werksessie vinden de deelnemers dat deze oplossing nu al heel schaalbaar en flexibel is voor webbased toetsen. Ook komt er een belangrijke voorwaarde naar voren: je rooster- en tentamenorganisatie en faciliteiten zoals stroomvoorziening moeten op orde zijn.

2. Youp Horst van TU/e (presentatie) presenteerde met twee flexibele oplossingen voor het digitaal authentiek toetsen van programmeervaardigheden op studentenlaptops. In de eerste pilot is, net als bij UT, gebruik gemaakt van Azure als virtuele omgeving, waarin studenten in een portal de applicatie konden kiezen, waarin ze konden programmeren en programma’s simuleren. Deze virtuele image met de applicatie is makkelijk in te richten en flexibel uit te breiden. Kosten voor Azure waren laag en de data-verbinding gaf geen problemen. Visuele applicaties zoals AutoCAD zullen wel meer grafische rekenkracht (=hogere kosten) vragen. Een uitdaging bij het opschalen is dat je moet beslissen of je één virtuele image per soort toets (maatwerk) maakt of uitgaat van een aantal standaard images met één of meerdere applicaties.  

In de tweede pilot konden studenten via de STEP-methode naar het (webbased) digitaal toetsprogramma Cirrus, waarin ze met het speciaal ontwikkelde Cirrus-programmeervraagtype direct konden werken aan een stukje programmeercode. Cirrus maakt hierbij een verbinding met een programmeer-server van TU/e, waarop studenten een programma kunnen starten.

De licenties van deze programmeer-server worden daarbij netjes beheerd.  Uit de discussie van de oplossing van de TU/e kwam met name naar voren dat het type “programmeervragen” zoals dat in samenwerking met Cirrus voor de TU/e is ontwikkeld, zeer tegemoetkomt aan het authentiek toetsen van programmeeronderwijs. De laagdrempeligheid door het als “item-type” beschikbaar te stellen wordt als grote meerwaarde gezien voor zowel docenten als studenten.

3. Marloes Luttikhuis van Universiteit Twente (video, presentatie deel 1 en 2, verslag werksessie) liet zien hoe de UT verder is gegaan op het ingeslagen pad om authentiek toetsen met applicaties zoals Eclipse, SPSS, Mathlab en Excel mogelijk te maken op een Chromebook, via een Azure omgeving. In de Azure-omgeving is sinds kort een koppeling gemaakt metRemindo, het digitaal toetssysteem van UT, waarin studenten materialen tijdens de toetsafname inleveren, zodat docenten in Remindo het nakijk- en analyseproces kunnen uitvoeren. De UT heeft voor Chromebooks gekozeno.a. vanwege de lage kostprijs, lage beheerslasten en langdurige accuduur (geen stroompunten). De keuze viel op Azure omdat daarover al veel expertise binnen UT was. Elk Chromebook heeft toegang tot een eigen Azureimage-omgeving en met scripting, uitgevoerd door hun IT-afdeling, kan elke image ingericht worden met de juiste (beveilings)policies en software. Zo kunnen nu een groot aantal (200) virtuele werkplekken tegelijkertijd klaargezet worden voor studenten. Studenten hebben de beschikking over (oefen)filmpjes met uitleg over het werken in de toetsomgeving. Opschaalbaarheid wordt niet beperkt door performance, die is nl. prima, maar wordt nog beperkt door het maximum aan virtuele omgevingen die via scripting mogelijk zijn. En, net als bij TU/e, is de vraag of je per specifieke toets een image script of dat je een beperkt aantal images ontwikkelt voor toetsing. De mankracht en organisatie is nu de grootste uitdaging, maar een overweging is om met Microsoft Virtual Desktop te gaan werken.

4. In navolging op een bijeenkomst waarin het bedrijf Ivanti heeft deelgenomen, is het bedrijf Citrix dit keer uitgenodigd. Chris Hasenaar gaat in op hoe zij, met hun expertise in virtualisering en samen brengen van digitale diensten kunnen aansluiten om het droomscenario te verwezenlijken, door o.a op grote schaal:

• een virtuele basislaag aan te bieden en op basis van de student extra applicaties te ontsluiten.
• binnen hun systeem kunnen meerdere soorten virtuele systemen naast elkaar gedraaid worden
• op basis van de inlog-gegevens van een student een persoonlijke portal aan te bieden, met daarin instructies, software en digitale materialen die een student op dat toetsmoment nodig heeft.

Volgend jaar verder!

In 2018 heeft de SIG Digitaal Toetsen twee drukbezochte expert- en verdiepingsbijeenkomsten georganseerd: Veilig toetsen op mobiele apparaten en ‘Droomscenario voor flexibel digitaal toetsen. Hierin toonden experts van verschillende hoger onderwijsinstellingen veelbelovende voorbeelden en snel vorderende technieken - zoals de inzet van virtuele machines zoals Azure en Amazon Webservices (AWS) - voor flexibel, veilig en authentiek digitaal toetsen. Na 3 expert-bijeenkomsten en een eerste model als resultaat, wordt het nu tijd om de voorbeelden en verschillende expertise trajecten te laten rijpen en de verschillende lagen volwassen te laten worden. Dat heeft zijn tijd nodig. We zijn natuurlijk nog niet klaar! Daarom zal de SIG DT in het voorjaar van 2020 hierover weer een bijeenkomst organiseren. We kijken dan of we met zijn allen verrast kunnen worden door aanpassingen op het model of andere ervaringen. In de tussentijd delen we natuurlijk onze ervaringen online (Twitter /LinkedIn/YouTube). We houden elkaar op de hoogte!