Online summatief toetsen: welke keuze maak je?

Dé oplossing bestaat niet

Om maar met de eindconclusie te beginnen: dé oplossing voor het (snel omschakelen naar) online afnemen van summatieve toetsen bestaat niet. Elke oplossing, elk alternatief heeft voor- en nadelen en welke keuze de beste is, is onder andere afhankelijk van het karakter van de toets, de plaats van de toets in het toetsprogramma van de opleiding, de groepsgrootte en het belang van de beslissing die op basis van de toets moet worden genomen. In het college worden de verschillende alternatieven toegelicht en zo wordt gaandeweg een stroomdiagram opgebouwd.

Achtereenvolgens weeg je af:

• Of de toets digitaal en op afstand kan worden afgenomen;
• Of de toets kan worden vervangen door een andere toetsvorm (die op afstand kan worden afgenomen);
• Of de summatieve toets kan worden omgezet naar een formatieve toets;
• Of de toets kan vervallen;
• Of de toets kan worden uitgesteld.

Weeg mee: Betrouwbaarheid, validiteit en veiligheid

Welke keuze je ook maakt, houd altijd rekening met drie aspecten van de toets: betrouwbaarheid, validiteit en veiligheid.

1. Betrouwbaarheid: de toetsresultaten moeten een weergave vormen van de daadwerkelijke prestatie van studenten. Dat betekent dat meetfouten zoveel mogelijk voorkomen moeten worden. Meetfouten kunnen ontstaan door studentfactoren zoals stress, angst, gezondheid of motivatie of door toetsfactoren als de kwaliteit van de toetsvragen/-items, de afnameomgeving en de kwaliteit van het beoordelingsmodel. Tentamineren in de thuissituatie kan meetfouten veroorzaken, bijvoorbeeld door extra spanning omdat het een nieuwe situatie is voor de student, of omdat er geen rust is in de omgeving (er is bijvoorbeeld veel afleiding op de gang).
2. Validiteit: de informatie die door de toets wordt opgeleverd wordt gebruikt om de te nemen beslissing te verantwoorden. Dat moet dus de juiste informatie zijn.
3. Veiligheid: voor veilige toetsafname zijn weer een aantal factoren van belang:
   • Beschikbaarheid: heeft de student toegang tot de toets en alle benodigde informatie, denk ook aan studenten met een beperking en aan de infrastructuur bij studenten thuis;
   • Integriteit: is de informatie die wordt getoond wel volledig, heeft de student alles wat nodig is om de toets te maken;
   • Vertrouwelijkheid: is de toets alleen toegankelijk voor de student waar hij voor is bedoeld, maakt niet iemand anders de toets, hier wordt bv online proctoring voor ingezet;
   • Controleerbaarheid: zijn docenten in staat om te controleren hoe het proces van afname verloopt;
   • Privacy: in hoeverre voldoet de afname aan de AVG-richtlijnen.

Online digitale afname

Er zijn verschillende mogelijkheden voor een online afname van een summatieve toets.

Online proctoring

Voor een grootschalige toets is er de mogelijkheid van online proctoring, gekoppeld aan een digitaal toetssysteem. Ludo van Meeuwen en Youp Horst lichtten namens de TU/e toe hoe online proctoring daar wordt ingezet voor 90 toetsen waar geen alternatieve oplossing voor te vinden was. Belangrijke overwegingen waren:

• De beste mogelijkheid om de identiteit van de student vast te stellen;
• Geen alternatieve toetsafname mogelijk;
• Voorkomen van studievertraging.

De TU/e gebruikt proctoring software (Proctorio) die is gekoppeld aan de digitale toetssystemen die door de universiteit worden gebruikt (AnsDelft, Cirrus en onCourse). Zo’n interactie is noodzakelijk. Beelden en geluidsfragmenten worden met behulp van AI geanalyseerd en van een ‘verdachtheidsindicatie’ voorzien. Een reviewer onderzoekt vervolgens handmatig de (opgeslagen) beelden en geluidsfragmenten op daadwerkelijk vermoeden van fraude; die handmatige check is belangrijk. Het systeem bepaalt niet of er vermoeden van fraude is, dat is een menselijke beslissing.

Online proctoring is niet zaligmakend. Het vraagt veel van studenten, die naast een leeg bureau ook een laptop of PC met webcam, een goede internetverbinding en een stille ruimte nodig hebben om de toets te maken. Er is een specifiek privacy-statement dat duidelijk maakt hoe met de data wordt omgegaan die door de proctoring software worden verzameld.

De TU/e is enthousiast over de mogelijkheden maar geeft ook het advies: kies voor alternatieve vormen van toetsing als je de mogelijkheid hebt. Frauderen is ook met online proctoring niet uit te sluiten, gebruik het dus niet voor lagere-orde vaardigheden zoals reproductie van kennis. Voor kleinschalige toetsen is het bovendien zinvoller om op andere manieren ene interactie met studenten aan te gaan.

Wil je meer weten over online proctoring? Je leest er meer over in dit advies van de Special Interest Group (SIG) Digitaal Toetsen. De SIG digitaal toetsen organiseert er bovendien enkele webinars over voor onderwijsinstellingen. Meld je aan via een mail aan Annette Peet.

Alternatieve online toetsen

Je kunt ook op andere manieren een online toets afnemen. Denk daarbij bijvoorbeeld aan

• een online mondeling tentamen, met name bij kleine groepen;
• een take-home exam, daar moet je wel je toets anders voor inrichten, zodanig dat je aan de wijze en inhoud van beantwoording van studenten kunt zien of zij de leerdoelen hebben behaald – lees er in dit artikel meer over;
• een open-boek-tentamen, waarbij studenten binnen een bepaalde tijd, met behulp van alle bronnen die voorhanden zijn, een toets maken.

Bij ingeleverde toetsen en opdrachten kan een plagiaatcheck helpen om na te gaan of studenten geen werk van elkaar hebben overgenomen.

Summatieve toets formatief maken

Als een summatieve toets niet online kan worden afgenomen, of als je dat, bijvoorbeeld uit het oogpunt van betrouwbaarheid of veiligheid niet wilt, kun je overwegen de toets formatief te maken. De toets geeft je dan geen informatie om belangrijke beslissingen op te nemen, zoals het toekennen van studiepunten. Maar de toets geeft wel degelijk informatie. Aan studenten, over hoe ze ervoor staan. Over of hun kennis en vaardigheden op peil zijn. En aan de docent en zijn of haar team, die de uitkomsten van een formatieve toets kunnen gebruiken om verdere lessen vorm te geven. Je maakt met zo’n formatieve toets wel je toetsvragen openbaar, maar het is te betwijfelen of dat niet geldt voor alle vormen van toetsen op afstand.

Toets laten vervallen

Het ligt wellicht niet voor de hand, maar je kunt overwegen een toets te laten vervallen. Wellicht is er al voldoende kennis over de student om een goede beslissing te rechtvaardigen. Je weet bijvoorbeeld al op basis van andere informatie of de leerdoelen zijn behaald. Of je kunt de beslissing ook wel op een later moment nemen, bijvoorbeeld op basis van toetsen die nog komen. Stel jezelf de vraag hoe erg het is om een toets niet af te nemen? Durf ook los te laten, is het advies.

OER in crisistijd

Bovenstaande suggesties roepen (en riepen tijdens het college) direct vragen op. Hoe om te gaan met de studiepunten die op basis van de toets al dan niet worden toegekend? Mag er zomaar een toets vervallen? Het antwoord daarop ligt besloten in een artikel dat (als het goed is) in elke Onderwijs- en Examenregeling is te vinden en dat gaat over uitzonderlijke situaties. In een uitzonderlijke situatie – en je kunt betogen dat de huidige situatie uitzonderlijk is – kan van de OER worden afgeweken. Je zou bijvoorbeeld kunnen besluiten een toets van een vak (bijvoorbeeld Economie I) waar nog een tweede deel van volgt formatief te maken en beide vakken met de summatieve toets van het tweede deel (bijvoorbeeld Economie II) te toetsen. Of besluiten dat bepaalde leerdoelen in komende vakken alsnog kunnen worden getoetst. Het is hiervoor belangrijk om naar het gehele toetsprogramma van de opleiding te kijken. Betrek hierbij altijd je gehele team en de examencommissie.

Toetsen uitstellen

Als alle bovenstaande opties geen mogelijkheid vormen, kun je de toets altijd nog verzetten. Dat betekent bijvoorbeeld uitstellen naar de periode na 1 juni. Alle toetsen verschuiven is echter geen optie. De toetsdruk in de laatste periode van het jaar wordt gewoonweg te hoog voor studenten èn voor docenten. Ook bij verschuiven zul je dus keuzes moeten maken voor welke toetsen je wel en welke toetsen je niet doorgang laat vinden.

Kansen

Het college besluit met de kansen die deze uitzonderlijke periode instellingen, opleidingen en docenten biedt. Door nu keuzes te móeten maken word je gedwongen om naar het toetsprogramma van de gehele opleiding te kijken. Het biedt misschien de mogelijkheid om eindelijk eens het aantal toetsen te verminderen. Ook wordt nu – noodgedwongen – het beoordelingsmoment en de beslissing die daarvan af hangt, uit elkaar gehaald. Het beoordelingsmoment vervalt, wat de vraag oproept welke informatie je eigenlijk mist om een goede beslissing te kunnen nemen. Kortom: je krijgt als opleiding de kans om op metaniveau naar je toetsing te kijken. In het college wordt daarvoor verwezen naar programmatisch toetsen. Het online platform Leren van toetsen bevat hierover meer informatie.

Meer weten?

Bekijk het gehele college op de website over Digitale Didactiek van de OU. Je vindt daar ook diverse bronnen, protocollen en het stroomschema dat de genoemde keuzemogelijkheden verbeeldt.