Meerjarenplan SIG Digitaal Toetsen 2019-2022

Mission statement: Bevorderen van beschikbaarheid, kwaliteit en diversiteit van digitale toetsoplossingen in het Nederlands hoger onderwijs. Bevorderen van innovatie van toetsing door digitalisering. Het bij elkaar brengen van experts en belangstellenden en het uitvoeren van gezamenlijke activiteiten ter bevordering van expertiseontwikkeling op het gebied van digitale toetsing.

Dankzij de enorme inzet van SURF en de SIG in de afgelopen jaren lijkt het alsof digitaal toetsen niet meer als afzonderlijk thema in de meerjarenplannen van SURF opgenomen hoeft te worden. Digitaal toetsen lijkt mainstream. Hoewel hier gezien de enorme groei zeker sprake van lijkt te zijn, ziet de SIG DT nog talloze kansen die door middel van digitalisering benut kunnen worden.

TERUGBLIK

Het digitaal toetsen heeft zich in de afgelopen jaren genesteld in het hoger onderwijs. Waar het in ons eerste meerjarenplan in 2011 nog de bedoeling was om een community op te zetten en het digitaal toetsen aan de man te brengen, moeten we nu, 8 jaar later, gaan werken aan oplossingen die de schaalbaarheid van het digitaal toetsen moeten verbeteren. We hebben in de afgelopen jaren weten te realiseren dat vele hoger onderwijsinstellingen de overstap naar digitaal toetsen gemaakt hebben. Dat er meer gebruik wordt gemaakt van digitale feedback en peer feedback en dat er prachtige digitale toetszalen zijn gebouwd. We hebben landelijke samenwerkingen op het gebied van itembanking weten te initiëren, hebben de mogelijkheden van assessment analytics onderzocht en op het gebied van veiligheid hebben we het aardig op orde. Er zijn menig whitepapers en richtlijnen ontwikkeld en we kunnen toch wel concluderen dat digitaal toetsen nu goed op de kaart staat.

SPEERPUNTEN

Maar we zijn er nog niet. Het schaalbaarheid probleem moet nog opgelost worden en de inbedding in de onderwijslogistieke processen kan nog beter. Vandaar dit meerjarenplan, waarin we een roadmap zullen formuleren voor het opschalen van digitaal toetsen binnen instellingen en we initiatieven zullen benoemen waardoor we de inbedding en innovatie  beter kunnen dissemineren. En dit alles in aansluiting op het versnellingsplan onderwijsinnovatie met ICT.

Opschaling summatief toetsen

De omvang van summatief digitaal toetsen neemt almaar toe, maar de capaciteit van onze digitale toetszalen blijft beperkt. Met name in tentamenweken is de vraag naar digitale toetszalen vele malen groter dan het aanbod. Als antwoord zien we dat veel universiteiten de reeds bestaande zaalcapaciteit voor digitale toetsen aanvult met meer mobiele oplossingen. Zo zien we investeringen in Online Proctoring, Chromebooks, Bootable USB drives en zelfs BYOD infrastructuur.

Het probleem met al deze benaderingen is dat zo op een of andere manier afbreuk wordt gedaan aan de faciliteiten van een fysieke toetszaal. Zo heeft een Chromebook geen desktop en is de beveiliging op een eigen device een stuk lastiger te realiseren. En laten dat nou juist de punten zijn waar we de afgelopen jaren zo hard aan gewerkt hebben. Hoewel het grootste deel van de digitale toetsen browser based zijn, biedt de desktopomgeving van een PC de mogelijkheid om veel meer authentiek te toetsen. Zo kan je daar SPSS, Autocat en andere software uit de beroepspraktijk gebruiken.

Om deze afstand te overbruggen exploreert de SIG digitaal toetsen al ruim een jaar de mogelijkheden op dit vlak. Zo hebben we twee expertbijeenkomsten achter de rug die een positief beeld schetsen over de inzet van virtuele machines (VM) als toets werkplek. (Verslagen: nov 2018, mei 2019 (volgt nog)). Services als AWS en Azure zijn al met succes ingezet om een desktop omgeving op een Chromebook beschikbaar te maken. De mogelijkheden lijken veelbelovend. Men zou mogelijkerwijs de VM omgeving op allerlei devices en zelfs in de fysieke toetszaal kunnen gebruiken. “One image to rule them all”. We zullen ons als SIG DT voor de komende jaren committeren aan het vinden van een opschaalbare oplossing.

Inbedding

De toename van digitaal summatief toetsen betekent niet vanzelf dat de inrichting overal even goed verloopt. De SIG ziet afdelingen waarbij de ondersteuning voor het digitaal toetsen volledig wordt overgelaten aan de ICT- en onderwijsondersteuners, afdelingen waarbij docenten het hele toetsprocess zelf uit moeten voeren en afdelingen waarbij de verschillende deelaspecten van het digitaal toetsproces ingebed zijn in de onderwijslogistieke workflow. Dat laatste zien we als SIG natuurlijk het liefst. Niet in de laatste plaats omdat het toetsen tenslotte behoort tot het primaire proces van het hoger onderwijs.

Om te komen tot een optimale inbedding dienen er veel stappen gezet te worden. De SIG digitaal toetsen heeft die aardig op een rij, maar zou nog meer uitgedragen kunnen worden. De komende jaren willen we dan ook gebruiken om deze processen inzichtelijk en toegankelijk te maken. Waarbij extra aandacht komt voor de professionalisering van alle betrokkenen in het toetsproces.

AANDACHTSPUNTEN

Naast deze speerpunten zullen we de overige punten natuurlijk niet uit het oog verliezen. We blijven de vinger aan de pols houden op het gebied van online proctoring, veiligheid, itembanken en het delen van best practices.

Daarnaast introduceren we een nieuw thema in de meerjarenplanning. Onder de noemer digitale toets innovatie zullen we veelbelovende en noodzakelijke toetsvormen en randvoorwaarden onder de aandacht blijven brengen:

Digitale toets innovatie

Innovatie staat niet stil. En zo ook niet op het gebied van digitaal toetsen. Het is echter wel van belang om de vraagstellingen die we hebben vanuit het digitaal toetsen goed voor ogen te houden: Hoe kunnen we onderwijs en toetsing aantrekkelijker en beter maken met digitale gereedschappen, Hoe kunnen we flexibel leren en authentiek toetsen ondersteunen, Hoe kunnen we formatief toetsen beter inzetten?

Authentiek toetsen

Voor authentiek toetsen is het niet alleen relevant om gebruik te maken van specifieke software. Ook kan gedacht worden aan open boek tentamens. Daarbij rijst de vraag, hoe we digitale boeken eenvoudig beschikbaar kunnen maken tijdens een digitale toets. Toetsen waarin wiskundige berekeningen moeten worden uitgevoerd of waarbij tekeningen gemaakt moeten worden vereisen specifieke oplossingen. Daarnaast kan gedacht worden aan het uitbreiden van de vraagtypen.

Efficiënt nakijken

Op het gebied van nakijken valt er nog een hoop te verbeteren. Denk aan het geautomatiseerd nakijken van teksten met behulp van AI. Maar ook eenvoudigere hybride oplossingen zijn denkbaar waarbij delen geautomatiseerd worden nagekeken en delen handmatig worden beoordeeld.

Feedback

De geautomatiseerde feedback cyclus valt nog aanzienlijk verbeterd te worden. Hierbij valt te denken aan peer feedback processen, maar ook feedback op schrijfopdrachten. Met name de koppeling met eindtermen en het inzichtelijk maken van de progressie daarop behoeft nog veel innovatie.

Programmeer vaardigheden

Op programmeer vaardigheden goed te toetsen zouden studenten eigenlijk gewoon in een specifieke IDE (Integrated Development Environment) moeten kunnen werken tijdens een summatieve toets. Oplossingen met bijvoorbeeld Jupyter notebooks worden op dit moment nog maar weinig gebruikt en een landelijke infrastructuur hiervoor zou zeer gewenst zijn.

AI

Naast de mogelijkheden om geschreven werk na te kijken met behulp van AI, zien we ook mogelijkheden voor het automatisch genereren van toetsvragen voor zowel tekstuele en geparametriseerde vragen.

AANSLUITING SURF

Omdat de SIG digitaal toetsen geen deel meer uitmaakt van de meerjarenplanning van SURF, willen we in deze bijlage expliciet maken hoe we de aansluiting van de SIG met de Versnellingsagenda, het versnellingsplan en de meerjaren agenda van SURF zien.

Om dit te concretiseren zullen we als SIG DT proactief aansluiting zoeken bij de verschillende zones van het versnellingsplan om daar de rol van het digitaal toetsen kenbaar te maken.

Onderstaand zijn de verschillende onderdelen van de versnellingsagenda, het versnellingsplan en de SURF meerjaren agenda weergegeven en hebben we per onderdeel opgenomen hoe digitaal toetsen hier bij aansluit.

Versnellingsagenda voor onderwijsinnovatie

Aansluiting op de arbeidsmarkt verbeteren

Digitale vaardigheden. Digitaal toetsen toepassen van deze vaardigheden in digitale toetsen. ecologisch valide toetsen.
Flexibilisering van onderwijs
Adaptief toetsen, online proctoring, online afstandsonderwijs, identity management koppelen aan toetsapplicaties. Toetsresultaten als basis voor micro credentialing. Flexibele toetswerkplek. Planning en Logistiek voor adaptief toetsen
Slimmer en beter leren
Formatief digitaal toetsen, realistische, authentieke toets omgevingen. Duidelijk waar we behoefte aan hebben binnen digitaal toetsen, leveranciers die kant op bewegen. Aanbestedingen nog beter opzetten. Landelijke itembanking als voorbeeld voor open leermaterialen. Digitaal boeken beschikbaar maken voor toetsen met open boek. Uitkomsten van lopend onderzoek komen terug in de TEA. Infrastructuur voor LA assessment analytics (eerst nationale taxonomie). Urgentie voor innovatie van het toetsproces. Professionalisering van docenten op het gebied van digitaal toetsen BKE.

Versnellingsplan onderwijsinnovatie met ICT

• Zone 1: Faciliteren en professionaliseren van docenten
• Aanvullen van BKE (Basiskwalificatie Examinering) of DTK  (Digitaal toets kwalificatie), SKE, (BDB - Basiskwalificatie Didactische Bekwaamheid) professionalisering van onderwijskundigen onderwijs ondersteunend en beheers personeel OBP.
• Zone 2: Aansluiting op de arbeidsmarkt verbeteren
• Digitale vaardigheden integreren in het toetsen
• Zone 3: Flexibilisering van het onderwijs
• Adaptief, online proctoring, toetsing als bron voor micro credentialing, flexibele toetswerkplek
• Zone 4: Naar digitale (open) leermiddelen
• Itembanking, formatieve toetsen, QTI, remix en re-use in digitaal toetsen.
• Zone 5: Veilig en betrouwbaar benutten van studiedata
• Uitwisselbaarheid LA assessment analytics. nationale taxonomie
• Zone 6: Evidence-based onderwijsinnovatie met ICT
• Resultaten van TEA
• Zone 7: Samenwerking met EdTech
• Standaarden verbeteren QTI, adoptie vergroten door uitwisseling. Aanbestedingen staan innovatie in de weg. Challenge day voor toetsleveranciers
• Zone 8: Gezamenlijk koersen op versnelling
• Visie presentatie geven aan versnellingsteam

SURF meerjarenagenda 2019-2022

1. Onderwijs

1. Flexibeler onderwijs
   Adaptief toetsen, proctoring
2. Diverser leermateriaal
   Formatieve toetsing, integratie toetsen en leren, open materiaal. QTI beperkingen, Digitale boeken van uitgevers beschikbaar in digitale toetszaal.
3. Benutten van studiedata
   Assessment analytics, standaarden voor domein scores, psychometrische uitdagingen

2. Onderzoek

1. Onbegrensde toegang
   Toetsdata interessant voor nationaal en internationaal onderzoek.

3. Coöperatieve voorzieningen

1. Wereldklasse voorzieningen
   Met marktpartijen samenwerken om interoperabiliteit van digitaal toetsen te vergroten. De aanbestedingen komen ten einde. interoperabiliteit nodig voor de lange termijn.
2. On campus
   Meer SAAS oplossingen. VM geïntegreerde toets werkplek. Device onafhankelijk toetsen.
3. Veilig in een digitale wereld
   Bescherming toetsdata en adequaat kunnen reageren. White paper veilig digitaal toetsen. Crisis oefeningen. Proactief bescherming infrastructuur digitaal toetsen
4. Gebruikers centraal
   UX onder aandacht van toetsleveranciers, Plan Van Eisen aanscherpen.