Voorspellende waarde van formatieve toetsen

Bij goed gebruik van formatieve toetsen zou je kunnen verwachten dat de prestaties van studenten op deze toetsen ook enigszins samenhangen met het eindcijfer dat zij halen voor het vak. Die samenhang heeft niet alleen te maken met de kwaliteit van de formatieve toetsen maar ook met allerhande randverschijnselen. Zo hingen de prestaties op het digitaal werkboek hier bij de afdeling Psychologie van de UvA in het begin sterk samen met de eindprestaties, maar nadat de itembank waarin duizenden items zaten structureel geharvest was en publiek op studeersnel.nl beschikbaar stond, was het snel gedaan met die voorspellende waarde.

Zoals in 2015 al geconstateerd tijdens het symposium fraude preventie bij digitaal toetsen, komt het motief om punten te sprokkelen vaak voort uit het meewegen van de behaalde punten voor de formatieve toetsen. Immers hoe beter je het doet hoe hoger je eindcijfer. Bij mijn eigen vak merkte ik dit fenomeen ook op. Hoewel ik uit de data kon zien dat studenten gemiddeld toch wel 2 uur aan een opdracht besteedden, was het merendeel van de antwoorden correct. Uit focusgroepgesprekken bleek dat men de opdrachten wel serieus nam, maar bij het invullen van het antwoord toch even controleerde wat het correcte antwoord had moeten zijn. Dit om maar geen punten op het eindcijfer mis te lopen.

Sinds een paar jaar zijn we dan ook overgestapt op een ander wegingsmodel. De eis is nu een maakverplichting maar hoe goed je de opdracht maakt maakt niet uit. Sterker nog, we zeggen zelfs dat het goed is om fouten te maken en dat we alleen dán kunnen zien waar je problemen mee hebt en hoe we je daar vervolgens mee kunnen helpen. Ik laat ook altijd bij aanvang van de cursus onderstaande Kahn academy video zien, omdat die zo treffend het belang van fouten in het leerproces weergeeft.

De malus regeling die we hanteren bestaat uit een staffel die aftrek op het eindcijfer ten gevolge heeft als men niet aan de verplichting voldoet. Een keer missen van een opdracht heeft zo bijvoorbeeld geen gevolgen, maar het niet maken van twee opdrachten geeft een aftrek van 0.1, drie opdrachten 0.25, oplopend tot uitsluiting van deelname. Nou kan je natuurlijk zeggen dat studenten nog steeds gebaat zijn bij het louter invullen van de opdrachten en dat klopt. Nu hanteren we wel wat maatregelen om studenten aan te spreken op hun prestaties. Zo moeten ze aan het eind van iedere formatieve opdracht reflecteren op wat goed en minder goed ging. Begeleiders bekijken deze reflectie en spreken studenten er op aan als ze de opdrachten niet serieus maken. Daarbij is natuurlijk de tijdsinvestering een aardige indicator.

Maar om te weten of men de opdrachten met aandacht maakt is natuurlijk wederom de vraag of de formatieve opdrachten nu wel samenhangen met het eindcijfer voor het vak.

Om hier achter te komen heb ik de behaalde cijfers op de 14 formatieve weekopdrachten samengevoegd en geaggregeerd tot één variabele. Door met een principale componenten analyse een onderliggende factor te extraheren was het mogelijk om de 14 opdrachten in één variabele te vatten. Vervolgens is deze gecorreleerd aan de eindcijfers van het vak. Onderstaande grafiek geeft de correlatie van bijna .3 goed weer.

Grafiek met eindcijfer vs afgeronde opdracht

Hoewel ik een correlatie van .3 niet heel erg hoog vind kunnen we toch wel constateren dat de opdrachten nu weer bijdragen aan de eindprestatie.

In het regressie model had ik ook nog de aanwezigheid tijdens de colleges in het eerste en laatste blok toegevoegd maar die bleken geen enkele voorspellende waarde te hebben. Lang leve de weblectures. Daarover een volgende keer meer.

Auteur

Reacties

Dit artikel heeft 0 reacties