Lotte Kips
| Onderwijskundig schrijver @ SURF | community coach @ HvA | Eigen… Meer over Lotte Kips
De sprekers van dit webinar
- Liesbeth Baartman is bijzonder lector beoordelingsvraagstukken in het hoger onderwijs aan de Hogeschool Utrecht (HU)
- Tamara van Schilt-Mol is lector eigentijds beoordelen en beslissen aan de HAN University of Applied Sciences.
- Jan Berends is docent aan de Hogeschool van Amsterdam (HvA) en is daar bezig met de implementatie van programmatisch toetsen bij de opleiding HBO-ICT.
Wat is programmatisch toetsen?
Liesbeth Baartman trapt het webinar af met een korte uitleg over wat programmatisch toetsen is, en wat het niet is. De officiële definitie van programmatisch toetsen volgens Van der Vleuten e.a. (2014): Een integrale benadering van het ontwerp van een beoordelingsprogramma dat tot doel heeft de leer- en beslisfunctie en de kwaliteit van een opleiding te optimaliseren. Om in toetstermen te blijven: leren is formatief en beslissen is summatief.
Maar wat is programmatisch toetsen dan in de praktijk? Je kunt het proces van programmatisch toetsen zien als een weg die de student aflegt richting de beoogde leerresultaten. Gedurende die weg verzamelt de student een mix aan datapunten: brokjes informatie die aangeven waar de student staat in zijn leerproces. Datapunten zijn dingen die een student maakt en doet, zoals een opdracht voor de praktijk of een presentatie.
De zes principes van programmatisch toetsen
Om programmatisch toetsen succesvol in te voeren binnen de opleiding, zijn er zes belangrijke principes.
Principe 1: De leeropbrengsten of het competentieraamwerk vormen de ruggengraat van het toetsprogramma.
Toelichting: De beoogde leerresultaten zijn uitgewerkt in een aantal niveaus (oplopend in complexiteit) en die niveaus vormen de ruggengraat van het programma.
Principe 2: Inzicht in de ontwikkeling van de student ontstaat door een mix van verschillende datapunten.
Toelichting: Bij je ontwerp ga je uit van de leeruitkomsten en welke datapunten daar zicht op geven. Welke datapunten stellen de student in staat om zich te ontwikkelen? Let ook op datapunten die de mogelijkheid bieden om op verschillende manieren aan die ontwikkeling te werken en dei aan te tonen.
Principe 3: Elk datapunt is feedbackgericht en kent geen zak/slaagbeslissingen.
Toelichting: In principe kies je de datapunten zo dat ze voor de student op dat moment rijke feedback opleveren voor zijn leerproces.
Principe 4: Er is een constante dialoog over het gebruik van feedback over zelfsturing.
Toelichting: De student verzamelt allemaal datapunten gedurende het leerproces en bewaart die in een portfolio. Belangrijk daarbij is dat gedurende dat proces zoveel mogelijk gesprek plaatsvindt over die datapunten en wat je daaruit kunt halen, zoals sterke en minder sterke punten van de student.
Principe 5: Het aantal datapunten en de zwaarte van de beslissing zijn proportioneel aan elkaar gerelateerd.
Toelichting: Hoe zwaarder de beslissing en hoe meer consequenties die heeft voor de student, des te meer datapunten heb je nodig om een valide en betrouwbare beslissing te kunnen nemen. Voor een grote beslissing (high-stakes) heb je ook een groot aantal datapunten nodig.
Principe 6: De zwaarte van de beslissing is leidend voor de benodigde hoeveelheid beoordelaarsexpertise.
Toelichting: Een zware beslissing wordt genomen door een commissie. Hoe zwaarder de beslissing, hoe meer mensen er nodig zijn in de besliscommissie.
Meer informatie over programmatisch toetsen en de zes principes vind je terug in de sheets.
Cijfers zijn niet verboden, maar…
Datapunten zijn niet een-op-een hetzelfde als toetsen, maar bijvoorbeeld een kennistoets kan wel een datapunt zijn. Datapunten zijn heel divers, denk daarbij aan beroepsproducten: een handeling in een kliniek of een presentatie voor een opdrachtgever. Belangrijk is dat aan al die datapunten een waardering hangt en dat de datapunten feedbackgericht zijn. Die waardering kan komen van de opdrachtgever, cliënt of peers.
Rijke feedback is een belangrijk uitgangspunt van programmatisch toetsen en op basis van die feedback moet een besliscommissie een beslissing nemen. Het gevaar van cijfers of een vijfpuntsschaal is dat een commissie zich dan vooral gaat richten op de numerieke informatie in plaats van de feedback. Dat maakt programmatisch toetsen dan ook wezenlijk anders dan een klassieke portfoliobeoordeling. De student verzamelt de datapunten weliswaar in een portfolio, maar een groot verschil is dat aan alle datapunten al een waardering hangt. Een besliscommissie bekijkt alle waarderingen en onderzoekt of die logisch zijn en of er bijvoorbeeld bepaalde patronen in de feedback op de student te ontdekken zijn.
“Datapunten zijn gericht op leren, zodat je later in het proces een beslissing kunt nemen.”
Liesbeth Baartman, Hogeschool Utrecht
Praktijkvoorbeeld: HBO-ICT aan de Hogeschool van Amsterdam (HvA)
Jan Berends is docent bij de opleiding HBO-ICT aan de HvA. Hij en zijn collega’s zijn in 2020 begonnen met gefaseerde implementatie van programmatisch toetsen. De aanleiding hiervoor was de grote uitval en slecht rendement van de opleiding, en tegelijkertijd de behoefte om meer samenhang in de opleiding aan te brengen en procedures te versimpelen. In 2019 is er een nieuw onderwijsconcept voor de opleiding HBO-ICT bedacht, met vijf leidende principes. Ontwikkelingsgericht toetsen en beoordelen en toetsvormen gebruiken die passen bij het beroep, zijn twee van die principes. In het onderwijs werken studenten in korte sprints aan praktijkopdrachten. Programmatisch toetsen past daar goed bij.
Binnen de opleiding HBO-ICT zijn er vier pilots gedaan met de nieuwe onderwijsopzet en programmatisch toetsen. In iedere pilot mochten de betrokken teams zelf het toetsprogramma ontwerpen. Elk programma werd aan de examencommissie voorgelegd, er werden workshops feedback geven georganiseerd en er vond intensief overleg met onderwijskundigen plaats. De pilots werden geëvalueerd, ook met de studenten, en daarna is pas het definitieve concept van programmatisch toetsen binnen de opleiding geïmplementeerd. Een van de ervaringen tot nu toe is dat er weliswaar even goed piekmomenten zijn rondom de datapunten, maar dat de hoeveelheid werk gedurende het jaar gelijkmatiger is dan voorheen.
Online leeromgeving voor programmatisch toetsen
Tamara van Schilt-Mol vertelt tenslotte over de online leeromgeving die zij, Jan Berends en Liesbeth Baartman aan het ontwikkelen zijn. Het Leernetwerk Programmatisch Toetsen gaat nu het tweede jaar in en bestaat inmiddels uit zo’n veertig opleidingen. De belangrijkste lessons learned uit het netwerk delen we hier.
- Beschouw programmatisch toetsen als een middel om je visie te realiseren, niet als een doel op zich. Het moet dan ook aansluiten op je visie op onderwijs, zoals eigenaarschap en zelfsturing van studenten, en ruimte voor ontwikkeling en langere leerlijnen.
- Omdenken is van groot belang bij de implementatie van programmatisch toetsen. Wanneer je ruimte geeft aan ontwikkeling van studenten, betekent het ook dat een datapunt bijvoorbeeld ‘onvoldoende’ kan zijn. In het ‘oude’ systeem is dat iets verkeerds, maar in het nieuwe systeem is dat OK en ga je met de student in gesprek over zijn ontwikkeling. Het vraagt ook van docenten dat zij niet meer denken in termen van hun eigen vak, maar dat ze beseffen dat ze samen verantwoordelijk zijn voor hun bijdrage aan de ontwikkeling van de student.
- Programmatisch toetsen is geen recept, maar een concept. Je moet het daarom passend maken voor je eigen onderwijsconcept.
Omdat er grote behoefte is aan kennisontwikkeling en het delen van ervaringen op dit gebied, is samen met het Versnellingsplan een online leeromgeving programmatisch toetsen opgezet. De omgeving is ingedeeld per thema en bevat bestaande en nieuwe of herziene materialen – alles is open source. De online leeromgeving is nog niet live. Volg het Netwerk toetsbekwaamheid, het Versnellingsplan of de SIG Digitaal Toetsen van SURF om op de hoogte te blijven.
Hier vind je de sheets met daarin de sneak preview van de online leeromgeving.
0 Praat mee