Expertbijeenkomst veilig toetsen op mobiele apparaten: vijf perspectieven

Introductie

Tijdens de introductie werden een aantal highlights gepresenteerd uit een vragenlijst over digitale toetsen op mobiele apparaten die aan de instellingen vooraf aan de bijeenkomst was voorgelegd. Daaruit bleek dat er nog veel verschillen tussen de instellingen zijn:
 

• beleid over Bring Your Own Device (BYOD), experimenteel of al staande organisatie
• de gebruikte mobiele apparaten (o.a. van de student zelf of van de instelling)
• type toetsen en software (kennistoetsen met toetssoftware, vaardigheidstoetsen met software gebruikt in het beroepen/werkveld)
• type technische beveiligingen

Het mag duidelijk zijn dat er erg veel aspecten komen kijken bij de inzet van mobiele apparaten bij toetsafnames en dat instellingen van elkaar veel kunnen leren.

Voor de inzet van notebooks van studenten bij digitale toetsafnames werd een presentatie door de TU/e gegeven, vanuit een juridisch perspectief. Er is veel uitgezocht en advies gegeven op juridische gebied. Een duidelijk advies is dat je juridische afdeling zeker moet betrekken voor als je BYOD in je staande organisatie bij toetsing wil gaan inzetten.

Resultaten thema teams

De deelnemers gingen in 5 groepen uiteen om vijf BYOD/instellingsbreed beheerde laptop-thema's uit te diepen, ervaringen te delen en conclusies te trekken met betrekking tot mogelijkheden en risico's.  Hieronder vind je puntsgewijs wat er in de terugkoppeling per thema werd gepresenteerd.

1. Zijn Chromebooks ‘the way to go’?

• In de groep waren collega's die Windows Surface ipv Chromebooks inzetten: uit deze groep komt de conclusie dat je met VM-omgevingen moet werken, niet met USB sticks of policies.
• Het maakt niet zoveel uit met welk apparaat je toetst, als je maar een VM-achtige oplossing hebt (VM, Citrix e.d.).
• Tegelijkertijd zijn Chromebooks wel ontzettend eenvoudig goed te beheren via de Chrome Management Console.
• Dit sluit aan bij het idee dat een toets overeenkomt met de werkplek van de toekomst.
• Er was niet gesproken over waar je de servers plaatst als met met VM-ware achtige oplossingen werkt. Dus niet of de onderliggende hardware on premise moet staan of in de Cloud (Amazon, Azure e.d.)
• Betrouwbaarheid, veiligheid en beheersbaarheid moeten uitgangspunten zijn waar je aandacht aan geeft.
• Grote uitdaging: veel toetsen werken met bestanden. Het distribueren is nu nog een probleem om b.v. een backup voorziening te hebben; TU/e heeft ervaringen met distribueren via de toetsafname software op de USB-stick.

2. Op Chromebooks/laptops ontsluiten van zware software: voor- en nadelen van oplossingen?

• B.v. desktop applicaties zoals SPSS op Chromebooks inzetten tijdens toets.
• Experimenten @ RU met Amazon Cloud services (niet hele desktop beschikbaar, maar specifieke programmeer omgeving). Hierbij is de mogelijkheid een specifieke applicatie naast een toetsafname applicatie te draaien ipv. een hele desktop aan te bieden.
• Vraag: is er iemand die VM op een Chromebook werkend heeft gekregen? Ja (TU-Delft). Citrix doet dit ook, dus weinig verschil.
• Interessant is om te onderzoeken naar mogelijkheid Citrix oplossing (on premise) combineren met Amazon of Azure (on demand), om op te kunnen schalen tijdens toetsafname en kosten te beperken (geen gebruik on demand buiten toetsperiodes).
• Voorbeeld kosten Amazon: €0,11 p/uur per student + €0,44 per maand per student.
• Vraagstuk is: hoe voer je authenticatie uit?  Bij RU is dat gekoppeld aan Amazon Cloud.
• Vraag: zijn ervaringen met WiFi netwerken met meer dan 350 toetsende studenten? Ja, twee organisaties (TU/e en RU) hebben ervaring met honderden op WiFi.

3. Gebruik Safe Exam Browsers vs Kiosk of Policies vs Combinatie: wat is verstandig? (BYOD is context)

• BYOD is lastiger te beheren; voordeel is natuurlijk capaciteit verhogend (minder kosten voor organisatie. Of is het vooral een verschuiving naar (verborgen) kosten om de toetsafname?)
• Tendens is weggaan van registry (ivm. BYOD), maar er komen daarvoor 16 verschillende oplossingen daarvoor in de plaats
• Voorstel: onderzoeken onder welke omstandigheid je welke oplossing aanbiedt.

4. Hoe veilig moet een toetsproces technisch zijn?

• BYOD = bring your own laptop, niet een andere device?
• Vaak is de vraag: wie bepaalt wat veilig genoeg is?
• Wat is nou b.v. verschil met gewoon toetsen? Je moet in control zijn van de hele beveiliging van het hele systeem -> risico-analyse tussen impact en risico mogelijk maken. Als er iets mis gaat met digitale toetsing in een algemene oplossing, dan is er een groot probleem. Dat is een extra hoge impact.
• Maak onderscheid in Low-stake vs High-stake toets bij risico-analyse.
• 100% beveiliging bestaat niet, maar je kan het steeds optimaliseren op de gebieden beveiliging, detectie (b.v. in België wordt 100% hierop gericht) en reactie.
• Beter in control door maar 1 (standaard) proces af te dwingen. Er  daarbij ook volume nodig: bij 1 persoon: niet aan beginnen, maar bij grote groep: centraliseren: 80% standaard en 20% flexibel (dus niet alleen one size fits all).

5. Logistiek en organisatie: wat mag het kosten?

• Tegen welke punten en issues je aanloopt is sterk afhankelijk van de gekozen oplossing: usb-stick (Windows2Go, Step van TU/e), Chromebooks. Echter, overall komen in ieder geval de volgende punten aan de orde:

1. Als je meer wilt flexibiliseren, dan moet je meer standaardiseren; dit is een spanningsveld
2. Op alle locaties en ketenonderdelen wil je hetzelfde kwaliteitsniveau
3. Roostering en gebouw-beheer moeten hierbij meegenomen worden

• Het invoeren van BYOD kost extra geld en menskracht. Heb je een goede business case om dit geld los te krijgen? Baten van digitaal toetsen verdwijnen heel makkelijk 'in de pocket' (decentraal niveau), zijn niet direct zichtbaar en in geld uit te drukken; maar de lasten zijn wel heel concreet en in harde euro's!
• Voorwaarden voor flexibilisering: WiFi is vaak wel geregeld, maar extra stroompunten en programma van eisen niet
• E-surveillanten nodig en dit zijn andere dan de reguliere surveillanten (andere skills nodig, Avans zet bijvoorbeeld studentassistenten in)
• Overall conclusie: het lijkt op het eerste gezicht te doen, maar als je eenmaal aan de slag wilt blijkt dat iedereen onderschat wat erbij komt kijken.

Verder vervolg na deze bijeenkomst?

De bijeenkomst had zeker nog langer mogen duren volgens veel enthousiaste deelnemers, omdat er nog genoeg expertise te delen was en vraagstukken te beantwoorden zijn. Onderstaande vragen werden daarom ook gesteld door en aan de deelnemers.

• hoe kunnen we met elkaar in contact komen/blijven hierover? Zijn subgroepen hierin mogelijk?
• doorzetten met bepaalde frequentie (vervolg hieraan) -> dit moet ook via contactpersonen SURF geregeld worden, omdat Digitale Toetsing niet meer als aandachtspunt staat op de SURF agenda.
• pionieerbegroeing vs echte boompjes planten: een goede balans hierin vinden

Deze vragen pakt de SIG Digitale toetsing op en er worden waarschijnlijk ook afzonderlijke initiatieven gestart vanuit 1 of meerdere subthema groepen.

Mede door deze vragen gaat de SIG op 13 november een vervolg hier op geven. Inhoud, vorm, kleinere of bredere setting, daarover wordt nog gediscussieerd. Zet de datum alvast in je agenda!

Met dank aan de Universiteit van Utrecht voor de algemene afbeelding bij het artikel.