Programmatisch Toetsen: Apps en Data jagen het succes aan!

Programmatisch toetsen

Ik hoor het een directeur van een grote Hogeschool zes jaar geleden nog zo zeggen. "Dat formatieve toetsen van het onderwijsproces dat jullie doen is veel te complex en zal nooit op grote schaal toegepast kunnen worden." Tegelijkertijd was er iemand bij de Hogeschool Utrecht die precies het tegenovergestelde zei. En die had het bij het rechte eind, lijkt nu. Net als wij... ;-) gelukkig. We zijn ongeveer acht jaar geleden begonnen met het concept waarbij we cijfers voor een opdracht gingen fragmenteren naar deelgebieden en competenties. Je kreeg dan één cijfer voor een opdracht dat via een weging en berekeningen resulteerde in gedetailleerde en grote hoeveelheden PKOI scores op onderliggende vaardigheden en 'soft-skills'.

Dat data ook in onderwijs een cruciale rol gaat spelen, is evident. Dat is natuurlijk een redelijk veilige voorspelling. Maar het gaat nu wel heel snel. Hoe dat komt? Enerzijds door de oprukkende onderwijs Apps, anderzijds door de praktische toegevoegde waarde van data en het visueel maken daarvan voor studenten en instellingen. Het 'opnemen' van al die data tijdens het opleidingsproces doen we steeds meer met Apps. Apps die ervoor zorgen dat de voordelen van programmatisch toetsen of programmatic assessment groter zijn dan de nadelen. Het Scorion platform, dat inmiddels bij alle toonaangevende geneeskundeopleidingen wordt gebruikt voor programmatisch toetsen, kan zo'n 30 verschillende summatieve en formatieve toets/werk vormen ondersteunen, waaronder de Peer-feedback, team-based learning (TBL) en de 'stations toetsen'.

Oprukkende onderwijs Apps

Ik plaatste enkele weken geleden een plaatje op LinkedIn. Dit plaatje met en tekstje over programmatisch toetsen enkele duizenden keren gedeeld.

Apps, zoals we deze hebben gemaakt in het Surf-project (waarin een prototype is ontwikkeld van een individuele en flexibele leeromgeving met standaarden zoals xAPI, VOOT, SAML etc.) gaan verder denk we zorgen voor het succes van Programmatisch toetsen. Gemak en bijna onmerkbare inbedding in het onderwijsproces.

Datavisualisatie

Als je nagaat dat we bij een Medische Universiteit die nu vier jaar bezig is op deze manier 600.000 ingevulde 'formulieren' hebben verzameld. En dat dit 40 miljoen onderwijskundige datapixels oplevert, dan is het niet moeilijk om te bedenken dat dit interessante data oplevert. En dat daar mooie plaatjes van te maken zijn die weer leiden tot nieuwe inzichten. De Radboud Universiteit verzamelde in 2 jaar tijd 120.000 ingevulde formulieren voor één opleiding!

Ook levert het voor Universiteiten en Hogescholen een enorme hoeveelheid onderwijsdata op die niet meer met vragenlijsten, onderzoeken of andere manieren hoeven te worden verzameld.

"Gender Neutral Grading op basis van je Gender Neutrality Score die je als docent gewoon op je dashboard ziet is binnen handbereik"

Het is relatief eenvoudig om op een dashboard van een docent bijvoorbeeld de Gender Neutrality Score (GNS) weer te geven. Namelijk of er een significant scoreverschil is tussen mannelijke en vrouwelijke studenten in het oordeel van deze docent dat niet verklaard kan worden uit het feitelijke scoreverschil dat er mogelijk bestaat.

Je kunt ook de PNS scoren. De Personal Neutrality Score. Ofte wel wat is jouw variantie score als docent voor een specifieke student die niet verklaarbaar is ten opzichte van andere scores die door docenten zijn gegeven. Een persoonlijke voorkeur voor een student wordt dan dus zichtbaar. Je kunt je vast nog wel herinneren dat je op de middelbare school een docent had 'die de pik op je had'. Dat dus.

Security

Met de komst van de nieuwe privacywetgeving die vanaf 25 mei 2018 van kracht wordt, zal privacy en security een steeds grotere rol gaan spelen. Het begrip 'persoonsgegevens' krijgt een heel nieuwe lading. Ook gegevens als IP-adres of MAC-adressen vallen onder persoonsgegevens. Dat betekent niet dat Universiteiten niks kunnen met de data. In tegendeel. Het is een uitgelezen kans om op een veilige manier de voordelen van deze medium-data analyses ten gunste van het onderwijs en studenten in het bijzonder te kunnen benutten.

De queeste naar het voorspellen studiesucces op basis van data barst in volle hevigheid los!

Voor de volledige versie van het artikel op smabers.com