Kunnen Learning Analytics bijdragen aan studievoortgang en sociale binding?

Tjark leidde het onderzoek. “We hebben op moduleniveau onderzocht of en in hoeverre LA studievoortgang en sociale binding kunnen bevorderen.” Alle fieldlabs vonden plaats in het gezondheidsdomein, zodat docenten makkelijk ervaringen konden uitwisselen. Tjark sprak vooraf uitvoerig met de privacy officer van Saxion over welke data wel en niet gebruikt mochten worden. “Dat kostte meer tijd dan ik vooraf had gedacht.” Daarnaast bleek dat niet alle docenten voldoende bedreven zijn in het analyseren van data. Tjark: “Het is belangrijk dat de onderzoeker en onderwijskundigen met de docent de data bespreken.”

Co-creatie docenten, onderzoekers, en onderwijskundigen

De fieldlabs werden opgezet in een co-creatie tussen docenten, onderzoekers, onderwijskundigen, privacy officers en soms ook studenten, schetst Tjark. “De wensen en behoeften van de docent stonden voorop. We brachten eerst in kaart wat de docenten wilden verbeteren, welke data daarvoor nodig zijn, welke data er al zijn, en hoe je de overige data kunt verzamelen.”

Video analytics

Bij de Universiteit Twente wilden een universitair docent en onderwijskundige beter inzicht in: hoe goed studenten zich voorbereiden en met welke onderwerpen ze worstelen. Met dit doel maakten ze kennisclips met vraagprompts. Ze analyseerden hoe lang studenten de video’s bekeken en hoe ze reageerden op de vragen. Uit de interviews die Tjark deed voor het onderzoek blijkt dat de ‘video analytics’ de docenten inzicht gaven in of studenten zich hadden voorbereid en hielpen bij het identificeren van onderwerpen om met studenten te bespreken in de lessen.

Kritisch kijken naar data

Kritisch kijken naar de data is belangrijk, benadrukt Tjark. “Als een student een video terugspoelt, betekent dit niet per se dat de student het fragment niet begreep… Het kan ook zijn dat er storende geluid was in de omgeving.” Tijdens dit fieldlab bleek volgens Tjark ook dat het voorbereiden, inrichten, verzamelen, ontsluiten en analyseren van de Learning Analytics (LA) best wat tijd kost. “De data waren daardoor niet altijd op tijd beschikbaar tijdens de cursus. Maar ze kunnen in elk geval gebruikt worden voor het herontwerp voor de cursus voor komend jaar.” Tjark ziet verder dat het voeren van het gesprek over de LA tot bewustwording en inzichten leidt.

Datapunten voor meten sociale binding

Bij Saxion onderzocht een docent in een fieldlab hoe ze LA kon inzetten voor meer sociale verbinding bij een module over leiderschap en persoonlijke ontwikkeling. Tjark: “In deze module moeten studenten die elkaar nog maar kort kennen in groepjes zes weken samen literatuuronderzoek doen. Vanwege technische uitdagingen en de privacy was het bij dit fieldlab niet mogelijk hiervoor data uit de leeromgeving te gebruiken. Daarom creëerde de docent samen met een LA-expert datapunten.”

In de module zijn er drie feedbackbijeenkomsten waarbij de studenten met de docent reflecteren op de samenwerking. De docent vroeg de studenten om voor elke bijeenkomst in MS Forms een vragenlijst in te vullen waarmee ze al hun groepsgenoten scoorden op samenwerkingsvaardigheden met "op, onder of boven" niveau. Ze vroeg ze ook om in woorden feedback en feedforward te geven. 

Sneller samenwerkingsproblemen signaleren

De docent kon alle uitkomsten inzien, studenten alleen hun eigen score. Dit hielp de docent om sneller problemen in de samenwerking te signaleren en hierop in te spelen tijdens de les. Ook het bespreken van de feedback met de studenten bleek waardevol voor docenten en studenten. De docent wil volgend jaar weer werken met de vragenlijsten en ze dan afnemen in de nieuwe digitale leeromgeving. In de oude leeromgeving (Brightspace) was het niet mogelijk de gewenste data te integreren en ook niet om de data anoniem te delen. 

Inzicht in studievoortgang en kennisbegrip

Bij een kennismodule voor fysiotherapie wilde de docent beter inzicht in de studievoortgang en in hoe goed studenten de kennis begrepen hadden. De docent creëerde met ChatGPT formatieve toetsvragen en bood de studenten wekelijks een quiz aan. Als studenten slaagden voor de quiz kregen ze een badge. 

“Bij elk fieldlab vroegen we eerst goed door naar het doel achter het doel. Waarom wil je dit, hoe ziet dat eruit, welke technische middelen hebben we, hoe krijgen we de juiste LA?"

Studenten enthousiasmeren

Een van de fieldlabs van het ROC van Twente had als doel om studenten meer te enthousiasmeren, vertelt Tiuri. “Bij elk fieldlab vroegen we eerst goed door naar het doel achter het doel. Waarom wil je dit, hoe ziet dat eruit, welke technische middelen hebben we, hoe krijgen we de juiste LA? Voor elk fieldlab werden drie tot vier LA-datapunten gedefinieerd en ingeregeld. We werkten vanuit al bestaande modules en hebben deze waar nodig aangepast, bijvoorbeeld qua structuur.”  

Beter aansluiten bij belevingswereld 

Tiuri: “Om het enthousiasme te verhogen, probeerden we met de thema’s en vorm van de opdrachten beter aan te sluiten bij de belevingswereld van de student. Een enthousiaste student gaat misschien meer in gesprek met medestudenten en met zijn familie thuis. Dat zorgt voor sociale binding.” 

Om het enthousiasme te meten, werden de studenten gevraagd om elke week feedback te geven op de opdrachten met een duimpje omhoog of omlaag. Ze konden ook een toelichting erbij zetten. Daarnaast werd gemeten hoe vaak ze het lesmateriaal op Canvas en Learnbeat openden. Tot slot werd verduidelijkt voor studenten welke keuzes ze konden maken in de verwerkingsstijl van de opdrachten en de docent kreeg meer inzicht in welke opdrachtvormen de studenten kozen. Zo konden de studenten bijvoorbeeld kiezen tussen een individuele of een groepsopdracht.

Kwalitatief betere gesprekken

De ROC Twente-docenten zijn enthousiast over de opbrengst van de fieldlabs, merkt Tiuri. “Ze zeggen dat de LA meer inzicht geven dan ze hadden gedacht. Bij het fieldlab gericht op enthousiasmeren hielpen de data volgens de docenten om een specifieker gesprek te voeren met studenten. Het leidde tot kwalitatief betere gesprekken.”

In een tweede field lab van het ROC was het doel de sociale binding tussen studenten onderling en met de docent verbeteren. De docent liet elke student eerst de Belbin-test doen [die inzicht geeft in welke teamrol bij je past] en besprak de uitkomst persoonlijk met elke student. Tiuri: “Ze konden een andere rol kiezen als ze zich niet prettig voelden bij de toegewezen rol. Het doel is om met medestudenten en de docent te onderzoeken hoe goed een rol bij je past. Studenten die dezelfde rol hadden, werden bij elkaar ingedeeld zodat ze zich met elkaar konden vergelijken.”

“Het definiëren van de LA voor sociale binding was heel lastig”

“Het definiëren van de LA voor sociale binding was heel lastig”, zegt Tiuri. “We vroegen de studenten wekelijks een zelfreflectie in te vullen, maar ze deden dit nauwelijks. Ze zeggen dat ze al zoveel vragenlijsten krijgen.” Volgens Tiuri heeft het opzetten van de module in deze vorm wel de binding verbetert. Uit de interviews kon Tjark opmaken dat voor studenten deze werkwijze had bijgedragen aan het versterken van groepsbinding. “Ze konden de taken beter afstemmen met elkaar.”

Ook groepsbinding buiten de leeromgeving

Het met LA inzichtelijk maken van sociale binding, is echt een grote uitdaging, beaamt Tjark. “Een groot deel van groepsbinding vindt natuurlijk ook plaats buiten de leeromgeving, bijvoorbeeld in Whatsapp. De vraag is of we sociale binding wel echt kunnen meten in de digitale leeromgeving. Maar het idee van dit project was ook dat LA een katalysator kunnen zijn om docenten bewuster te maken van het belang van sociale binding voor de studievoortgang. En dat is zeker gelukt!”

Coverbeeld: foto Alexander Sinn

Meer weten over dit project? Neem contact op met:
Tjark Huizinga via t.huizinga@saxion.nl / Tiuri de Jong via tdejong@rocvantwente.nl