Tussentijds formatief toetsen (met QMP)

Dit is het derde interview in de reeks “Methodieken en tools voor Blended Learning”. Voor meer informatie en het hele interview zie: https://www.surfspace.nl/sig/121-blended-learning/

In deze video vertelt Jan Carel Vierbergen, docent Onderzoeksmethodologie bij de Christelijke Hogeschool Ede (CHE), over hoe CHE de tool Questionmark Perception (QMP) heeft ingezet bij het formatief toetsen van tweedejaarsstudenten Communicatie.

Zie ook de eerder verschenen video’s in deze reeks:

• Interactieve content in je online cursus. Aan de slag met H5P https://youtu.be/XG9SSpBo_Yk
• Onderwijsontwerp met SHUFFLE en Blendy https://youtu.be/ztseSssLJ2A

De Special Interest Group (SIG) Blended Learning onderzoek welke methodieken en tools er in Nederland gebruikt worden voor blended learning. In een reeks artikelen worden verschillende methodieken en tools uitgelicht. De SIG is begonnen met een inventarisatie en deze is samengevat in een infographic: https://www.surf.nl/overzicht-methodieken-en-tools-voor-blended-onderwi… De komende maanden zal de SIG regelmatig nieuwe interviews publiceren over Methodieken en Tools voor Blended Learning.

Meer informatie: https://www.surfspace.nl/sig/121-blended-learning/

Kun je vertellen wat je hebt gedaan en welke tool je daarbij gebruikt hebt?

Voor het tweedejaars vak onderzoeksmethodologie zijn we begonnen met het inzetten van formatieve toetsen om studenten door de lesstof heen te helpen en beter voor te bereiden op de summatieve toets. We hebben in de toets –en quiztool QMP een vragenbank ontwikkeld van ongeveer 200 vragen die ingedeeld is in een aantal topics. Per test worden er at random een aantal vragen per topic geselecteerd. Studenten kunnen maximaal drie keer een formatieve toets doen. We hebben heel bewust voor drie keer gekozen omdat uit onderzoek blijkt dat mensen bij 4 keer ‘zakken’ geneigd zijn om op te geven en dan zouden de formatieve toetsen dus juist negatief werken. Uit onze data blijkt dat de meeste studenten de toets ook drie keer maken (gemiddeld 2,37 pogingen per student).

Waarom heb je voor QMP gekozen?

We hadden QMP al in huis. Omdat onze digitale leeromgeving in SharePoint is gebouwd kunnen we niet gemakkelijk automatische feedback aan toetsvragen koppelen, maar de meeste andere leeromgevingen hebben wel tools om formatief toetsen in te richten.

QuestionMark Perception is een assessment management systeem waarin je examenvragen kan ontwikkelen, organiseren per topic en examens kan afnemen. QMP ondersteunt de meest gangbare vraagtypes en voor gesloten vragen kan automatische feedback worden ingesteld. Je kan QMP gebruiken voor zowel zelftesten (formatieve assessment) als examens (summatieve assessment). De formatieve assessment tool kan in meerdere digitale leeromgevingen worden geïntegreerd.

Het maken van goede vragen en afleiders is soms een hele uitdaging, hoe heb je dat aangepakt?

Een goed uitgangspunt om te beginnen zijn de leeruitkomsten van je vak en de bijbehorende indicatoren. Die zorgen bij mij vaak voor de eerste inspiratie voor vragen. Daarnaast probeer ik om de vragen simpel te houden, zowel qua bewoording als het format. Wij gebruiken multiple choice vragen met 3 antwoordopties. Het is belangrijk om gewoon te beginnen en je niet te laten weerhouden door perfectionisme.  Door toetsanalyse uit te voeren komen de rotte appels snel genoeg bovendrijven. Je kan met de data uit QMP kijken naar het onderscheidend vermogen van een vraag (via rit-waarden) en de gemiddelde score per vraag (p-waarden). Zo kan je onduidelijk geformuleerde vragen eruit halen. Ook vragen we studenten om hun feedback. Mijn ervaring is dat de opmerkingen van studenten in de regel gegrond zijn en van fouten opsporen leren ze bovendien ook nog wat. Op deze manier maak je het ook echt een gezamenlijk project met de studenten.

Hoe heb je de formatieve toetsen in je vak ingebed?

We hebben in de colleges toelichting gegeven op het doel van de toets en vervolgens een link via de mail verspreid. We hebben benadrukt dat de formatieve toetsen kunnen helpen om door de stof heen te komen en je goed voor te bereiden op de summatieve toets.

Naast hoorcolleges en zelfstudie zijn er ook werkcolleges die meer gericht zijn op de toepassing. Onze studenten werken daar aan een onderzoeks- en adviesrapport voor een echte opdrachtgever. Het boek waar de formatieve toetsvragen over gaan geeft studenten een kennisbasis om het onderzoek goed te kunnen uitvoeren. Naast het boek zijn er ook webcolleges. Dat zijn clips van maximaal 15 minuten die studenten door de verschillende soorten analyses in SPSS leiden. Doordat we met echte opdrachtgevers werken, lopen de projecten van studenten soms niet helemaal parallel. De webcolleges en formatieve toetsen helpen studenten om in hun eigen tempo (afhankelijk van de opdracht) door de stof heen te gaan. Nu kunnen wij als docenten ook beter differentiëren in de werkcolleges.

Wat wilde je bereiken en heb je jouw doel bereikt?

Ons initiatief draagt hopelijk bij aan het creëren van een feedbackcultuur. We willen minder focus op het ‘scoren’ en meer op het ‘leren’. Het doel van de formatieve toetsen was om studenten inzicht te geven in waar ze staan zodat ze zich goed voor kunnen bereiden op de summatieve toets. Doordat beide toetsen precies hetzelfde zijn opgebouwd geven de formatieve toetsen studenten ook echt een realistisch beeld.

We hebben de toetscijfers geanalyseerd en zien een positief effect op de toetsuitslagen en op het langere termijn leereffect. Studenten die de formatieve toetsen maken scoren daadwerkelijk hoger, al is het verband statistisch gezien (nog) niet significant. Een klein nadeel van het gebruik van één database voor beide soorten toetsen is dat studenten in de summatieve toets soms een vraag krijgen die ze al eerder hebben gezien. Omdat de toets maar een deel van het eindcijfer bepaalt vinden we dit echter niet opwegen tegen de voordelen. We zien dat de geleerde kennis bijdraagt aan de kwaliteit van het onderzoek dat in hetzelfde blok wordt uitgevoerd. Uit de voorbereidingen en de reflecties op assessments later in de leerlijn ‘onderzoeksvaardigheden’ is inmiddels duidelijk geworden dat de studenten de opgedane kennis ook goed weten toe te passen.

Hoe hebben studenten de onderwijsinnovatie ervaren en hoe heb je dit gemeten?

De studenttevredenheid voor dit vak is omhoog geschoten. De toets wordt in de HBO-spiegel qua inhoud en voorbereiding met 4,6 respectievelijk 4,7 beoordeeld  (N = 37) op een vijfpuntsschaal. Enkele studenten merken er wel bij op dat het een andere benadering is waar ze aan moeten wennen. Ook geven enkele studenten aan dat deze manier van voorbereiden bij hen tot fragmentarisch studiegedrag leidt. De meeste studenten geven echter aan dat ze zich beter voorbereid voelden voor de toets en in de les merk je dat je minder vragen krijgt in de trant van ‘moeten we dit leren voor de toets’.

Wat zijn zaken die je nu nog wil verbeteren?

Ja, uiteindelijk ben je nooit klaar met een vak. We willen nu peerfeedback gaan stroomlijnen. Het idee is dat studenten op detailniveau naar elkaars schriftelijke producten gaan kijken, bijvoorbeeld naar de formulering van de onderzoeksvragen. Het kijken naar het product van iemand anders stimuleert ook de reflectie op het eigen product.

Heb je tips voor docenten die ook met formatieve toetsen aan de slag willen gaan?

Doe het niet alleen, maar doe het samen met collega’s. Want ervaringen uitwisselen werkt erg motiverend. In de ontmoeting met elkaar ontstaat al heel snel meerwaarde en je hebt een stok achter de deur om het project ook af te maken.

Jan Carel Vierbergen is docent onderzoeksmethodologie binnen de opleiding communicatie aan de Christelijke Hogeschool Ede. Hij verzorgt hogeschool breed onderzoeksmethodologische ondersteuning voor studenten, docenten en promovendi. Daarnaast houdt Jan Carel zich bezig met kwaliteitszorg en is hij functioneel beheerder voor de leeromgeving.