Van informele samenwerking naar project
De behoefte aan nieuw toetsmateriaal bestond al veel langer. In februari 2019 sloeg een aantal hogescholen de handen ineen en startte een informele samenwerking voor het -open- delen van toetsvragen. “Het onderwerp sloot naadloos aan op de projecten van de landelijke werkgroep Information Literacy, die al geruime tijd ervaring had opgedaan met het delen van open en digitale leermaterialen”, vertelt Brenda Lems, “het was dan ook een logische keuze om de toetsvragendatabank van daaruit verder op te pakken. Er werd al snel voor gekozen om de samenwerking te formaliseren tot een project. We wilden hier meerdere hogere onderwijsinstellingen bij betrekken, niet alleen hogescholen maar ook universiteiten. Uiteindelijk namen 5 hogescholen en 3 universiteiten deel, te weten Avans Hogeschool, Hanzehogeschool, Hogeschool Rotterdam, Saxion Hogeschool, NHL Stenden Hogeschool, VU Amsterdam, TU Delft en Erasmus Universiteit Rotterdam.” Drie jaar later, met enige vertraging als gevolg van corona, kwam de toetsvragendatabank beschikbaar. Het is dan juni 2022 en sindsdien stromen de aanvragen met enige regelmaat binnen, zowel van collega’s van de deelnemende organisaties als van andere hoger onderwijsbibliotheken. Elke hogere onderwijsinstelling kan van de toetsdatabank gebruik maken.
De ontwikkeling van een landelijke toetsvragendatabank sluit aan op de tendens om het onderwijs te flexibiliseren. Online toetsen is daarvoor goed in te zetten en daarvoor zijn kwalitatief goede toetsvragen nodig.
Toetsvragendatabank in de steigers
Het project had als doel om een toetsvragendatabank beschikbaar te stellen voor het delen en hergebruiken van toetsvragen op het gebied van Information Literacy (informatievaardigheden). Er zijn criteria opgesteld waar de databank aan moest voldoen. Deze hebben te maken met de mogelijkheid om data uit te wisselen en metadata toe te kennen. Vanzelfsprekend zijn er ook criteria opgesteld ten aanzien van de toetsvragen. Voor de toetsvragen zijn vakinhoudelijke (denk aan de taxonomie), didactische en taaltechnische criteria opgesteld.
Er is ook nagedacht over de scope. Brenda Lems noemt de volgende insteek:
- Het materiaal is Nederlands- en Engelstalig
- Het gaat alleen om automatisch na te kijken toetsvragen.
- Werkvormen en opdrachten vallen niet binnen de scope van dit project, maar worden opgenomen in het project Open Informatievaardighedenonderwijs waarin onderwijsmaterialen op het gebied van informatievaardigheid gepubliceerd zijn in het platform edusources.
- De vragen zijn generiek. Bij de metadata wordt waar nodig een domein toegekend.
- Het streven is om een gratis/open source platform te gebruiken
Check! Welke databank wordt het?
Brenda Lems vervolgt: “We gingen op zoek naar een gratis platform met daarin een itembank voor toetsvragen. Omdat er verschillende onderwijsinstellingen aan het project deelnamen, moest het beheer instellingsoverstijgend mogelijk zijn.” Na flink wat rondkijken kwam de projectgroep bij het platform Remindo terecht. Remindo maakt het mogelijk om de databank instellingsoverstijgend en kosteloos te beheren. Een instelling die rechtstreeks toetsen afneemt in de Remindo-omgeving van de eigen instelling betaalt wel voor het afnemen van de toetsen. Voor instellingen die Remindo niet als toetssysteem gebruiken, is het mogelijk om zonder extra kosten toetsvragen naar de eigen toetsomgeving te exporteren.
Kwalitatief en hoogwaardige toetsvragen
Het resultaat mag er zijn. De toetsvragendatabank bevat kwalitatief hoogwaardige, gemetadeerde toetsvragen en dekt het gehele vakgebied van Information Literacy, met minimaal 20 toetsvragen per onderdeel uit de Taxonomie Information Literacy. De toetsvragen zijn verzameld via de deelnemende instellingen en via het netwerk van de werkgroep, de zogenoemde buitenring. De toetsvragen zijn zoveel mogelijk automatisch geïmporteerd in de databank. Als dat niet mogelijk was, werden ze handmatig ingevoerd.
Er zijn nu ongeveer 650 goedgekeurde Engels- en Nederlandstalige meerkeuzevragen beschikbaar in de landelijke Remindo-omgeving. Bij het beoordelen is gekozen voor meerkeuzevragen omdat deze het gemakkelijkst uit te wisselen zijn met andere systemen. Voor de beoordeling en selectie van toetsvragen is een kwaliteitsmodel Toetsvragen Informatievaardigheid ontwikkeld. Dit kwaliteitsmodel is bovendien een handig hulpmiddel om toetsvragen te herzien die nog niet volledig voldoen. De gecontroleerde en goedgekeurde vragen zijn in te zetten voor formele toetsen. De overige vragen zijn te gebruiken ter inspiratie en kunnen naar eigen oordeel ingezet worden.
Voors en tegens
Het grote voordeel van Remindo is dat je er instellingsoverstijgend in kunt samenwerken en dat deze samenwerking kosteloos is. Nadeel is dat je moet betalen voor het afnemen van toetsen in Remindo en dat je voor de import van de toetsvragenbestanden afhankelijk bent van de leverancier. Daarnaast is het een aandachtspunt dat er bij de deelnemende instellingen verschillende toetssystemen worden gebruikt, wat betekent dat instellingen de vragen in hun eigen systeem moeten importeren om het te kunnen gebruiken. Nadeel hiervan is dat instellingen vaak de vragen zelf nog aanpassen naar aanleiding van feedback door studenten of collega’s en dat deze feedback niet automatisch in de landelijke Remindo-omgeving wordt verwerkt. Het up-to-date houden vraagt dus om een extra administratie en om een handmatige aanpassing.
Lessons learned
Wat zou Brenda willen meegeven aan anderen die met een toetsplatform werken of willen gaan werken? “Ik zou aanraden om te kijken of het mogelijk is om toetsen af te nemen in dezelfde omgeving als waarin je de toetsvragen beheert. Jammer genoeg kan dat niet altijd, omdat je vaak moet werken met het toetsplatform van je eigen instelling, zoals bij Information Literacy het geval is. Het zou mooi zijn als er één landelijk systeem zou komen dat voor elke student toegankelijk is. Dit zou zeker kostenbesparend kunnen werken.”
Toetsvragen ter inspiratie
Het is mooi dat de landelijke projectgroep erin geslaagd is om een instellingsoverstijgende toetsvragendatabank op te bouwen en te onderhouden. De vragenbank is in te zetten voor zowel summatief als formatief toetsen. De reacties zijn tot nu toe erg positief en de interesse neemt toe. Er komen steeds meer aanvragen. “Wij merken dat de databank vooral gebruikt worden ter inspiratie.” Brenda besluit: “We gaan het gebruik uiteraard nog verder evalueren. En we willen graag in contact komen met collega’s die ook een toetsdatabank gaan ontwikkelen. We willen graag kennis en ervaring uitwisselen en van elkaar leren.”
Meer informatie, zie Toetsvragen op de website van de werkgroep Information Literacy of neem contact op met projectleider Brenda Lems via informationliteracy.nl@gmail.com onder vermelding van Toetsvragen.
Projectdeelnemers:
- Alie Mud (NHL Stenden Hogeschool)
- Annemarie Laport (Saxion Hogeschool)
- Brenda Lems (Hogeschool Rotterdam)
- Dorien van Mulukom (Hanzehogeschool)
- Frea Haandrikman (Erasmus Universiteit Rotterdam)
- Mariëtte Vissers (Avans Hogeschool)
- Monique de Bont (TU Delft)
- Rian Kriesels (VU Amsterdam)
0 Praat mee