Terugblik: Alternatieve toetsvormen

Terugkijken

Wil je het hele webinar terugkijken? Dat kan hier.

Sharon Klinkenberg – Universiteit van Amsterdam

We zijn met de SIG Digitaal Toetsen al een aantal weken hard bezig om aan dit onderwerp te werken. Er is een community Digitaal Toetsen waar je lid van kan worden en zelf kennis kunt delen, en je kunt je aanmelden voor de LinkedIngroep van de SIG Digitaal Toetsen.

Dan voor toetsen: Wat adviseren wij? Wijk uit naar alternatieven. Maar wat zijn die alternatieven?

1. Wijk uit naar low-tech alternatieven, als je nog geen gebruik maakt van digitaal toetsen. Als je het digitaal toetsen nog niet hebt geïntegreerd, is de overstap naar digitaal toetsen is groot en vereist training voor docenten. Denk in dat geval aan alternatieven zoals: essays, mondelingen en take-home-tentamens. Gebruik je bestaande LMS waar mogelijk. Nadeel is dat het docenten belast, de ondersteuning overuren draait en je systeem wordt belast.
2. Denk na over de mogelijkheden van bestaande infrastructuur die je in je instelling hebt. Doe dit in afstemming met ICTO en support, zodat je zeker weet dat de alternatieven uitvoerbaar zijn. Dit kan vooral bij decentraal georganiseerde instellingen een uitdaging zijn om goed op te lijnen.
3. Als er een alternatieve toetsvorm mogelijk is voor het gestelde leerdoel, wijzig dan de toetsvorm in overleg met je opleidingsdirecteur en examencommissie. Bekijk hiervoor het stappenplan van Avans om te beslissen over toetsen (Beslisboom in English), beschikbaar via de Vraagbaak Online Onderwijs.

Anne Potters – Hogeschool Rotterdam

Bij de Hogeschool Rotterdam ondersteunen we docenten in de omschakeling naar online toetsen op twee manieren:

1. Ons online magazine, toetsenopafstand.hr.nl, is een overzicht met allerlei toetsvormen die je als docent kunt gebruiken.
2. Een online platform waar informatie voor docenten centraal beschikbaar is. Dit organiseren we door iedereen die iets bij kan dragen, onafhankelijk van de afdelingen of instituten, bij te laten dragen. Daarin is wel duidelijk wie waarvoor verantwoordelijk is.

Waar lopen we tegenaan? Dat zijn voornamelijk vragen van docenten, zoals:

1. Hoe voorkom ik fraude?
2. Wat zijn alternatieve toetsvormen die ik kan gebruiken?
3. Hoe werken applicaties en hoe zet ik ze in?

Uitgangspunt bij de Hogeschool Rotterdam is om zo min mogelijk toetsen uit te stellen. Een toets is een meetinstrument om te ontdekken wat een student weet en kan. Als je andere toetsvormen wilt gebruiken, hou dan in gedachte dat:
 

1. “Eén toets is geen toets”: kijk op curriculumniveau om te beoordelen of een student een goede beroepsbeoefenaar is en slaagt voor je cursus. Elke toets is een meetmoment, en niet elke toets is even belangrijk. Wees hierin dus kritisch in wat je per se wilt afnemen.
2. Stel jezelf de vraag: “Wat is de bedoeling van de toets?” Is het doel om het leren van de student te begeleiden of is het doel het leren van de student te toetsen? Oftewel: heb je te maken met formatieve of summatieve toetsen? En wat wil je ermee bereiken? Bepaal aan de hand daarvan wat je als alternatief kunt aanbieden.
3. Stel jezelf de vraag: “Wat is de waarde van deze toets?” Gaat het hier om een toets voor het afstuderen of niet? Beoordeel ook aan de hand daarvan wat je met je toets kunt doen als alternatief.

Voorbeeld van de Hogeschool Rotterdam: De vaardighedentoets rond hartslagmeten bij verpleegkunde. Hier gaat het om twee dingen: de communicatie met de patiënt rond de procedure, én de vaardigheid om die hartslag op te meten. Normaliter wordt dit in een klaslokaal getoetst. Dat lukt niet, dus hebben ze de toets gesplitst in twee delen:

1. Communicatie-deel: de student doet dit nu met een huisgenoot de test en levert daarnaast een schriftelijke terugkoppeling in. Op deze manier kan dit onderdeel van de toets worden afgetekend.
2. Handelings-deel: dat komt later. Zodra dat gebeurd is, worden de studiepunten vrijgegeven. Zo wordt niet alles naar een later moment geschoven.

In dit voorbeeld zijn de leerdoelen zijn hetzelfde gebleven, alleen de afname is veranderd. Belangrijk is hierbij wel om te zorgen dat de formatieve oefening en beoordeling op een later stadium plaatsvindt.

Mocht je iets wijzigen in je toetsing dan is het belangrijk dat je dit altijd in overleg met je examencommissies doet. Je moet van hen goedkeuring krijgen.

Deze kernpunten zie ook op de slides van Anne staan.

Vragen aan aanleiding van Anne’s presentatie

Hoe zit het met de digitale kennistoetsen bij verpleegkunde? Anne: Daar gebruiken we digitale toetsapplicaties en die toetsen gaan door.

De beoordelingsdruk neemt toe door alternatieve toetsvormen, hoe gaan we daar mee om?

Sharon: Gebruik digitale toetsapplicaties waar mogelijk. Wij doen dat en zien ook zonder proctoring, dat de spreiding van cijfers niet afwijkt van een normale toets. Dit is het overwegen waard.  

Anne: We denken momenteel na over de mogelijkheid om digitaal te toetsen en steeksproefsgewijs achteraf met mondelingen te controleren.

Kwaliteit van afname: hoe houden docenten en examencommissies hier rekening mee? Anne: Dat hangt van de opleidingen af, en de hoeveelheid kennistoetsen daarin. Sharon: Het betekent in sommige gevallen van alternatieve toetsvormen dat je er in de kwaliteit en betrouwbaarheid iets op achteruit gaat. Bij grote toetsen kun je de betrouwbaarheid achteraf wel nog altijd meten. Kijk daarom naar andere waardevolle toetsvormen, het take-home-tentamen wordt bijvoorbeeld waardegevol geacht.

Jane Groenenrijk – Prove2Move

Prove2Move verzorgt examinering voor zorg- en welzijnsberoepen in het mbo. Ze hebben itembanken voor toetsen om te leren en het leren te bevorderen, dus niet om te examineren.

Uitgangspunt bij de itembank is: items ontwikkelen, geen toetsen ontwikkelen. Items zijn gekoppeld aan onderwerpen en instellingen kunnen putten uit de itembank. De docent kan op basis van onderwerpen daar items uit halen om een toets voor studenten klaar te zetten, of een leerpad te ontwerpen. De items worden door meerdere docenten en toetsexperts bekeken en beoordeeld. Het gaat dus om formatief toetsen, hoewel er soms ook summatief mee wordt getoetst.

Buiten dat de docent de toetsen en leerpaden kan samenstellingen, kan de student het voortouw nemen daar waar hij/zij meer ondersteuning nodig heeft.

Bij het mbo hebben we landelijke vastgestelde examendossiers, dus daarbinnen bewegen we ons. Daarom wil ik voor het hoger onderwijs meegeven: als je op deze manier gaat werken met items, bepaal vooral heel duidelijk je onderwerpen.

Jane heeft een poster gemaakt met een samenvatting.

Vragen naar aanleiding van Jane’s presentatie

Vraag: Als je de items deelt, raak je ze dan niet kwijt? Verliezen ze niet hun waarde omdat ze openbaar zijn? Jane: Het gaat om toetsen om te leren, en niet om te examineren. Wat instellingen weleens doen is eigen vragen in de bank zetten en die digitaal aanbieden. Deze vragen zijn dan van de instelling zelf en delen wij niet met de sector. We zien niet dat er veel doorgekopiëerd wordt.

Sharon: Wij zien wel dat items snel op studeersnel.nl terecht komen, maar dat is het verschil tussen formatief en summatief toetsen. Het tegenargument dat daar vaak ook voor wordt gebruikt is: als je een goede itembank hebt, en dat is beschikbaar bij studenten, dan moeten ze die allemaal uit hun hoofd leren – en daar leren ze ook van.

Jane: We kunnen het systeem zo inrichten voor de studenten dat ze steeds moeilijkere vraag krijgen, dus adaptief toetsen, maar dat gaat nog steeds echt om het leren te stimuleren. Binnen het mbo zijn veel summatieve toetsen ingericht als praktijkexamens.

Anne: We raden ook aan om de eis dat voor summatieve toetsen oude toetsvragen niet mogen worden hergebruikt, tijdelijk te laten varen zodat er snel toetsbanken kunnen worden gemaakt.

Jane: Ik zie ook docenten die hun toetsen niet willen delen met collega’s, en ik denk dan: laten we naar de samenwerking gaan, want dan kun je aanzet geven tot verbetering van de kwaliteit.

Sharon Klinkenberg – Universiteit van Amsterdam

De SIG onderzoekt momenteel online proctoring. We hebben pilots gedraaid met online proctoring en maken grote sprongen in ons leerproces. Die optie heeft enigszins grip op de afnamesituatie waarbij het scherm wordt gecontroleerd en de webcam aanstaat. Hierbij is human proctoring mogelijk, en de inzet van AI die het wegkijken registreert en waarbij de examencommissie moet beoordelen of er sprake is van fraude.  Dit staat in de kinderschoenen en wordt nog niet op grote schaal gebruikt. We vergaren veel informatie en die kun je vinden via de website van SURF.

Zelf geef ik ook onderwijs. Mijn cursus is opgebouwd uit 3 hoorcolleges – 75 studenten van de 400 zijn aanwezig in de zaal, maar ik vind dat prima! – en richt zich op statistiek. Hierbij geef ik studenten weekopdrachten waarmee we studenten door het leerproces heen loodsen. Onder andere door ze formules te laten gebruiken, kennisclips te laten bekijken, enzovoort.

Voorbeeld voor het schrijfonderwijs: via de software vragen stellen over hoe je een paper schrijft en  welke kennis je nodig hebt. Dat is een reflecterende oefening. De vragen die we stellen, zijn gekoppeld aan een leerdoel. Dus aan het eind van de formatieve opdrachten hebben we niet alleen een eindcijfer, maar kunnen zien welke onderdelen goed gaan en welke minder goed gaan en zie je waar je studenten staan in het leerproces.

Vragen naar aanleiding van Sharons presentatie

Als je je eindtoets nog niet in een proctorsessie kunt afnemen, kun je dan een combinatie van formatieve toetsen en een niet-geproctorde eindtoets inschatten waar je studenten staan? Is het dan ernstig dat je de grip iets meer loslaat?
Jane: Wij kregen de vraag van een instelling ter voorbereiding van de examens mee te kijken hoe toetsen kunnen worden aangeboden. Dat is om te kijken hoe de studenten ervoor staan en aan de hand van formatief toetsen voor te bereiden op examen dat later wordt afgenomen.

Wat vindt de examencommissie van een combinatie van formatief en summatief toetsen?
Sharon: Dat zal je moeten voorleggen aan je eigen examencommissie. Ik heb hier geen voorbeelden van. Je moet iets zeggen over de betrouwbaarheid van je formatieve toetsen, omdat die toch een rol gaan spelen. Daarnaast is het een kwestie van roeien met de riemen die je hebt. Hou in de gaten dat je studenten in het vormingsproces zitten. Als je formatief toetst en zegt: je mag fouten maken, daar leer je van. Hoe laat je dat dan meewegen in je beoordeling als je zegt: jij krijgt een lagere beoordeling, omdat je een fout hebt gemaakt?

Sharon: Een ander idee is om een onverwachts SO aan te bieden, zoals dat vroeger op de middelbare school ging. Studenten moeten dan snel inloggen en antwoord geven op multiplechoicevragen of open vragen. Daar moeten we ze antwoord op kunnen geven als je het onderwijs zo hebt aangeboden. Als je dat een aantal keer per week doen, verzamel je onder gecontroleerde omstandigheden meer informatie.

Anne: Ook examencommissies zitten in een vreemde situatie. Ik hoop dat er wordt gekeken naar de uitkomst van je toetsen en ik verwacht dat deze commissies pas met meer ervaring kunnen inschatten wat de waarde van toetsen is.

Artikel Sharon Klinkenberg

Het artikel van Sharon Klinkenberg waar in het webinar naar wordt verwezen, is hier terug te vinden.

Vragen uit de chat

Wij bieden losse cursussen waarbij aan het eind wordt getoetst, om te bepalen of iemand het bijbehorende certificaat krijgt. Uitstellen is niet mogelijk. De meeste cursussen worden puur op kennis getoetst, normaal open vragen en gesloten boek. Voor de enkele cursus die hogere-orde vaardigheden bevat, kan ik wel oplossingen bedenken (take-home toets, opdracht, evt. met mondeling), maar voor de echte pure kennistoetsen kom ik er niet uit. Heeft een van de experts suggesties of tips?

Sharon: Online proctoring zou hier een oplossing kunnen zijn.

Vinden de examencommissies zo een mondeling akkoord?

Sharon: Doorgaans wel. De applicatie die men daarvoor wil gebruiken is soms nog wel een issue.

Anne: De applicatie moet bij ons (HR) AVG proof zijn. Daarom komen we uit op MS Teams. We mogen ook Zoom gebruiken, maar niet voor toetsing. De technische dienst heeft daarom de opnamefunctie van Zoom uitgezet als je via je hogeschoolaccount inlogt.

We ervaren vooral problemen met de studenten die in een studentenhuis zitten met veel onrust.

Anne: Ja, dat kan gebeuren. Daarom is het zaak goed in contact te zijn met je studenten en in deze Corona-tijden maatwerk te bieden en naar oplossingen te zoeken. Hoe het uitpakt weten we over een aantal weken pas. Maar als je helemaal niets probeert, is er straks een grote toetsdruk, ook voor studenten.

Hoe ga je om met basisvaardigheden die je wilt toetsen? Dus kennis die makkelijk via sites te vinden is? Bijvoorbeeld calculustoets.

Sharon: Online proctoring en schriftelijke afname wellicht. 

Anne: Een ander model is tijdelijk omzetten naar formatieve toetsing en als het weer kan nog eens summatief, misschien ook als onderdeel van een toets met hogere ordevaardigheden. Dus waar je calculus voor nodig hebt om tot een goed antwoord te komen.

MC-toetsen afnemen zonder toezicht is een interessante optie waar docenten (en examencommissies) toch nog best bang voor zijn. Zijn er meer ervaringen dat toetsen voor grote cohorten zonder toezicht dezelfde resultaten geven als voorheen in de toetshal? Of juist niet?

Sharon: Hier zijn nog geen analyses op gedaan. Enkel een eyeball op de verdeling van de eindscores. Die lijken op overeen te komen (N=1).

Hebben jullie enig idee of opleidingen met veel kennistoetsen over zijn gestapt naar een andere vorm? Of juist toch blijven volhouden om dit 1-op-1 op afstand mogelijk te maken?

Sharon: Veel opleidingen kijken naar de pilots online proctoring. Uitstellen wordt ook gedaan. Vooral als de cohorten groot zijn dan is er niet echt een alternatief.

Zien jullie nu ook een verschuiving naar formatief toetsen door de coronatijd?

Sharon: Nog niet. Je moet veel werk verrichten om de overstap te maken en die tijd is er niet geweest. Ik verwacht wel dat men voor de start van het nieuwe studiejaar dit zal overwegen.

Anne: Het is nu niet het moment om uitgebreid te gaan vernieuwen. Zo’n proces gaat normaal gesproken stap voor stap en moet zorgvuldig gebeuren. Maar opleidingen die er toch al mee bezig waren of kennis van hebben voelen zich meer comfortabel bij het idee. Die grijpen nu sneller naar formatieve toetsing.

Wij adviseren met name bij het uitstellen van kennistoetsen, om formatieve opties aan te bieden. Studenten hadden het onderwijs van de derde periode al grotendeels gehad. Als je helemaal niets aanbiedt hebben ze ook geen idee waar ze staan in hun leerproces. Dat kan bijvoorbeeld met oude tentamens. Ook als je zo’n toets een half jaar later toch aanbiedt is het niet meer dan eerlijk om nog de gelegenheid te geven tot ophalen. Zeker als het gaat om pure parate (reproductieve) kennis.

Ik kreeg de vraag van een examencommissie of ik advies kan geven over het verminderen van vragen bij online toetsen met online proctoring. Voorheen waren de toetsen op papier. Ze willen de docenten ontlasten door minder vragen te laten stellen. Ik vind persoonlijk dat er geen reden is om bij een online toets minder vragen te stellen dan een multiple-choice toets op papier. Ik heb aangeboden om de vragen die de afgelopen jaren gesteld zijn in een database te zetten en op basis van de itemanalyse advies te geven over de kwaliteit van de vragen zodat ze ook al een start hebben met een itembank. Waarbij ik ook gezegd heb dat ze het leerdoel als label moeten toekennen. Heb je hier nog aanvullingen op? De vragen met itemanalyse zitten sowieso al in ons toetsrapport dus dat is niet veel moeite.

Sharon: Minder vragen kan prima. Je loopt dan alleen eerder de kans dat je betrouwbaarheid lager wordt. Maar als je goede items selecteert dan valt dat reuze mee hoor. Ik haal zelf betrouwbaarheden van tussen de .7 en .8 met 20 items.