Verrassende resultaten in het online vak
Aan eerstejaars bachelorstudenten geef ik het vak Chemische Evenwichten. Vanwege de coronapandemie moest het vak eind april 2020 volledig online gegeven worden. Ook het examen moest online. Om dit voor elkaar te krijgen had ik het vak op veel punten moeten aanpassen. Al het onderwijsmateriaal werd aangeboden in de vorm van mini-colleges en pencasts. Contact met de studenten had ik nauwelijks. Tijdens de ingeroosterde online werkcolleges was er maar een enkele student.
Ik vreesde voor de examenresultaten. Maar bij het nakijken viel me iets op. Er zijn twee soorten vragen op het examen: rekenvragen waarbij studenten formules moeten gebruiken en open waarom-vragen. Die open vragen werden veel beter gemaakt dan in voorafgaande jaren. Studenten gebruikten hun eigen taal en legden dingen op verschillende manieren uit. Hoe kon dit? Hebben ze het beter begrepen? Is er een manier om erachter te komen of en hoe studenten online leren?
Snelle omschakeling naar blended learning
Al voor de lockdown was het de bedoeling dat om het vak Chemische Evenwichten in een blended-learning format aan te bieden. Mijn vak is namelijk, naast een eerstejaars bachelorvak, ook een vak voor een masterprogramma voor mensen uit de industrie, die naast hun werk studeren. Voor de lockdown had ik alle afleidingen (die ik voorheen op het bord maakte) via de app Explain Everything al omgezet naar zogenaamde pencasts. In deze filmpjes leg je uit wat je doet terwijl je de afleiding opschrijft. Typische tijdsduur van de pencasts is 10-20 minuten.
Het was mijn redding dat ik deze pencasts al had en er al ervaring mee had opgedaan. Zo kwam ik er tijdens het opnemen van de pencasts achter dat het erg handig is om eerst een script te maken. Dit hielp me met het ontwerp van de mini-colleges die ik in de eerste weken van de lockdown moest opnemen. Deze duren 5-15 minuten en in deze colleges wordt vaak maar één concept besproken. De mini-colleges zijn opgenomen in PowerPoint. 2022 was het eerste jaar dat ik het vak ook echt blended kon aanbieden. Het format wat ik gebruik is flipped classroom, waarbij de studenten online de pencasts en mini-colleges kijken en offline werkcolleges en discussiesessies hebben. Om meer inzicht te krijgen in het online leergedrag van studenten besloot ik om dat jaar ook gebruik te maken van learning analytics.
Aan de slag met learning analytics
Met learning analytics (LA) wordt het meten, verzamelen, analyseren en rapporteren van data bedoeld met als doel om beter te begrijpen hoe studenten leren en hoe je de leeromgeving of leermiddelen te verbeteren. Bij mijn universiteit wordt het learning management system Canvas gebruikt. In Canvas wordt van alles geregistreerd, maar je kan hier als docent niet zomaar toegang toe krijgen. Dit heeft te maken met de privacywetgeving, want interacties van personen met Canvas zijn persoonsgegevens. Om iets met deze persoonsgegevens te mogen doen moet je dan ook expliciet toestemming hebben van de studenten. Dit is even wat gedoe om te regelen, maar gelukkig had geen enkele student er bezwaar tegen dat ik toegang tot deze gegevens had.
Hoe kijken de studenten naar online onderwijsmateriaal?
Mijn Canvaspagina werd in een omgeving gebouwd waar het clickgedrag van de studenten geregistreerd kon worden. Om zo het online studiegedrag van de studenten te kunnen volgen. En er werd een learning analytics dashboard voor mij als docent gebouwd om de data die Canvas verzamelt overzichtelijk te maken. Heel fijn dat dit voor mij werd gedaan, maar het betekende ook dat ik de controle over Canvas kwijt was. Als ik iets wilde aanpassen dan moest iemand dit voor mij doen. Deze afhankelijkheid vond ik niet zo prettig.
Op mijn learning analytics dashboard kon ik onder andere de volgende dingen zien. De hoeveelheid views en de hoeveelheid unieke views, de totale duur dat er naar een video gekeken wordt en uitgesplitst naar seconde hoeveel studenten naar een video kijken. Met deze gegevens kon ik dus inschatten hoe en hoe vaak studenten naar een video of deel van een video keken.
Uit deze gegevens was af te leiden dat studenten de pencasts in een keer leken te kijken, terwijl ze in de mini-colleges terug scrolden naar dingen die hun aandacht trokken. De studenten vroegen me ook om de PowerPoint slides en gaven als reden dat ze anders zo vaak moesten terug scrollen. Als ik een formule of een grafiek uitlegde in een mini-college was de hoeveelheid views hoger. Kennelijk vonden ze dat interessant. Wat ze niet interessant vonden was de samenvatting aan het eind, zelden keken de studenten de minicolleges helemaal uit.
Welke data ik als docent graag zou willen hebben
Ik had het zelf prettig gevonden als de tijdsresolutie van de learning analytics beter zou zijn, zodat je kan zien wanneer de studenten studeren. Gebruiken ze de ingeroosterde zelfstudie-uren of studeren ze op een ander moment? Bij een betere tijdsresolutie zou ik kunnen zien of het gros van de studenten het online studiemateriaal bestudeerd heeft voordat ze naar college komen. Als dat niet het geval is dan kun je daarop inspelen. En je kunt dan ontdekken naar welke onderwerpen studenten kijken als ze het examen voorbereiden. Uit deze data zou ik kunnen afleiden wat de studenten lastig vinden. In een volgend jaar zou ik er dan meer over kunnen vertellen of gerichte extra oefenopgaven kunnen aanbieden.
Conclusie
Ik vond het heel interessant om learning analytics te gebruiken. Het heeft mij zeker een antwoord gegeven op de vraag of studenten online studeren. Verder was het leuk om te zien dat ze pencasts en minicolleges op een andere manier bekijken, namelijk dat ze de pencasts in een keer kijken en tijdens het bekijken van de minicolleges vaak terug scrollen. Het grootste nadeel vond ik dat ik mijn Canvas pagina uit handen moest geven, dat gaf mij als docent minder vrijheid.
Ook hoop ik dat het in de toekomst makkelijker wordt om learning analytics te gebruiken in online leersystemen. Ik denk zeker dat het je als docent kan helpen om te weten óf en hóe studenten studeren. Als LA op grotere schaal gebruikt worden, is het aan te raden om direct bij inschrijving van een leeronderdeel toestemming te vragen voor het gebruik van privacygevoelige gegevens. Dat zou de docent veel administratie schelen.
Meer lezen?
- Lees hier een eerder artikel van Saskia Lindhoud over peer-learning als manier om het blended onderwijs te versterken.
- Blijf op de hoogte van ontwikkelingen – volg de SURF-community Learning Analytics.
- SURF werkt aan een experimenteeromgeving Learning Analytics. Je leest er hier meer over.
Foto door phil sheldon ABIPP via Unsplash
0 Praat mee