Anneke de Maat
Voor de website Vraagbaak Online Onderwijs schrijf en redigeer ik artikelen… Meer over Anneke de Maat
Bij Programmatisch Toetsen is een e-portfolio noodzakelijk, zegt Bas. “Omdat studenten heel veel informatie verzamelen is overzicht nodig. De formatieve en summatieve functies van toetsen komen namelijk samen in de datapunten. Zo’n datapunt kan bijvoorbeeld een kennistoets, een beroepsproduct of een stagebeoordeling zijn.” Datapunten hebben ten eerste een formatieve functie. De student leert van docenten, medestudenten en werkplekbegeleiders die feedback geven op zo’n datapunt. Daarnaast leidt de aggregatie van alle datapunten tot een eindbeslissing, aldus Bas.
“Eén enkel datapunt kan nooit leiden tot een zak- of slaagbeslissing, want er zijn verschillende datapunten nodig om complexe leeruitkomsten aan te tonen.”
Aggregatie van datapunten
Een belangrijke uitgangspunt van Programmatisch Toetsen is dat je een duidelijke ruggengraat moet hebben van de leeruitkomsten in je curriculum. Studenten verzamelen tijdens hun opleiding namelijk veel verschillende bewijsstukken die gekoppeld zijn aan die leeruitkomsten (kwalificaties). Aggregatie van de verschillende datapunten geeft een scherper beeld van wat de student beheerst, zegt Bas. “Je kunt pas een eindbeslissing nemen als de student meerdere bewijsstukken heeft verzameld. Bij de aggregatie van die datapunten, kan de examinator vaststellen wat de student allemaal kan en weet.” De datapunten en de feedback verzamelen studenten in 10 of 20 weken of soms in een heel jaar. Bas: “Als je na zo’n periode tot een eindbeslissing wil komen, heb je een e-portfolio nodig om alle informatie op te slaan en een overzicht te houden.”
Keuze uit e-portfolio’s Portflow en Ejournal
De HU deed mee aan een SURF-aanbesteding voor e-portfolio’s waarna de HU-opleidingen de keuze kregen tussen eJournal en Portflow. De leveranciers presenteerden hun e-portfolio’s aan de opleidingen. Bas zag dat de HU-opleidingen die Programmatisch Toetsen al in hun curriculum geïmplementeerd hadden, goed wisten waar ze behoefte aan hadden. Er waren ook best veel opleidingen die tegelijk hun curriculum moesten herontwerpen, én een e-portfoliosysteem moesten kiezen. “Voor hen kwam die keuze soms te vroeg. Maar het kan ook fijn zijn als het herontwerpen van het curriculum en de keuze voor het e-portfolio parallel lopen.”
Begeleiding van e-adviseurs en toetsdeskundigen
De opleidingen krijgen begeleiding van e-adviseurs en onderwijskundigen; en nemen deel aan een leerteam. Het begeleidingstraject eindigt deze zomer. De opleidingen zijn dan nog niet klaar met het implementeren en evalueren van het e-portfolio bij programmatisch toetsen. Bas: “We denken momenteel na hoe de begeleiding kan worden gecontinueerd.”
Verschillen tussen Portflow en eJournal
Wat zwart-wit gesteld kun je zeggen dat Portflow meer student-gericht is en eJournal meer opleiding-gericht, schetst Bas. “Bij Portflow kunnen studenten in principe hun e-portfolio naar eigen inzicht inrichten en zelf bepalen of een docent of studieloopbaanbegeleider toegang krijgt.” Na anderhalf jaar merkt Bas dat opleidingen die Portflow gebruiken, behoefte hebben aan meer uniformiteit. Daarom heeft Portflow templates ontwikkeld, waarin de basis voor alle studenten hetzelfde kan worden. Opleidingen maken binnen de templates keuzes die passen bij hun behoeften.
Bij eJournal bepaalt vooral de opleiding hoe het e-portfolio wordt ingericht en wie toegang heeft. In eJournal kunnen de opleidingen bijvoorbeeld alle datapunten al klaarzetten. De ‘eJournal-opleidingen’ willen inmiddels weer wat meer flexibiliteit en openheid in het e-portfolio.
Onderzoek naar ontwerpkeuzes
In 2024 onderzocht Bas samen met anderen welke ontwerpkeuzes negentien hbo-opleidingen hadden gemaakt bij het inrichten van Programmatisch Toetsen. Dat leverde (onder meer) een overzicht van elf opleiding-specifieke ontwerpkeuzes op. Bas: “We hebben nu HU-opleidingen die in september 2023 gestart zijn met Programmatisch Toetsen uitgebreid geïnterviewd: zowel over hun ontwerpkeuzes in het curriculum als over hun inrichtingskeuzes in het e-portfolio. We gaan bij vijf opleidingen ook nog studenten interviewen.”
Uitdagingen bij implementatie
Er zijn wel wat uitdagingen, zegt Bas. “Het uitgangspunt van Programmatisch Toetsen is dat een enkel datapunt vooral gericht is op leren en feedback. Daarom was in het SURF-Programma van Eisen opgenomen dat het mogelijk moet zijn om op datapunten kwantitatieve (bijvoorbeeld ‘boven’, ‘op’ of ‘onder’ niveau) én kwalitatieve (narratieve) feedback te geven. Met Portflow zijn we in gesprek om kwantitatieve feedback ook mogelijk te maken bij een afzonderlijk datapunt, want dat kan nu slechts bij een verzameling datapunten.”
Oud denken en werkdruk
Opleidingen die eJournal gebruiken, kunnen in de verleiding komen om het e-portfolio heel opleidingsgericht te ontwerpen. Dan maken ze soms volgens Bas vanuit “oud denken” van alle summatieve toetsen die ze hadden heel veel datapunten. “Bij elk datapunt moet de student een opdracht inleveren. Docenten krijgen dan elke week een feedbackverzoek van vijftig studenten, en de werkdruk voor studenten en docenten neemt gigantisch toe. Dat ‘toets gestuurd’ leren willen we juist niet meer.”
Sommige opleidingen blijken de feedbacktijd op datapunten niet in te roosteren als onderwijstijd of laten alleen de docent feedback geven. Ook dit kan leiden tot hoge werkdruk bij docenten. Bas: “Het uitgangspunt van Programmatisch toetsen is dat de student feedback krijgt vanuit verschillende perspectieven, dus ook van medestudenten en werkplekbegeleiders. De docent zou daarom niet de enige moeten zijn die feedback geeft.”
Deze “feedbackproblemen” signaleren de onderzoekers vooral bij de opleidingen die te weinig tijd hadden om hun curriculum goed te herinrichten, weet Bas. “Soms realiseren opleidingen zich niet dat bij programmatisch toetsen een integrale curriculumherziening nodig is. Je moet zowel het onderwijs als de toetsen aanpassen, want datapunten raken beide.”
"Programmatisch toetsen zorgt voor diepgaander leren, maar vraagt om een goed herontwerp van het onderwijscurriculum en een sterke feedbackcultuur.”
AI voor analyseren feedback
Soms dreigen opleidingen te verdrinken in alle feedback. “Wij adviseren dan om bewust een paar datapunten uit te kiezen waar feedback op wordt gegeven.” Er wordt ook voorzichtig gedacht over het inzetten van AI voor het analyseren van alle feedback. “Docent Pascal Mariany van de opleiding Open ICT heeft een AI-model, de Feedback Companion ontwikkeld. De opleiding doet dit voorjaar een pilot met dit AI-model om te kijken of dit de werkdruk bij Programmatisch toetsen kan verminderen.”
De kwaliteit van feedback is essentieel voor Programmatisch Toetsen, benadrukt Bas. “Studenten en docenten moeten daarin training krijgen. Programmatisch toetsen zorgt voor diepgaander leren, maar vraagt om een goed herontwerp van het onderwijscurriculum en een sterke feedbackcultuur.”
1 Praat mee