Learning analytics dashboards, wat willen we weten en meten om het onderwijs te verbeteren?

Data verzameling

Binnen het onderwijs kun je heel veel data verzamelen, maar niet alle data zijn even relevant. Voor een goede inzet van learning analytics is het belangrijk om eerst te bepalen wat je wilt weten, zodat daarna kunt bepalen wat je moet meten en hoe je dat gaat gebruiken om het onderwijs te verbeteren. Uit recent literatuuronderzoek van Knobbout en Van der Stappen blijkt dat de meeste learning analytics studies gericht zijn op de leeruitkomst en/of het leerproces, terwijl de leeromgeving nauwelijks wordt meegenomen. Uit dit onderzoek bleek ook dat de laatste jaren geen studies  zijn gepubliceerd die zowel de leeromgeving, als ook het leerproces en de leeruitkomst meenemen. Vandaar dat de Knobbout en Van der Stappen de aanbeveling doen om een weloverwogen beslissing te nemen over de meerdere aspecten van leren om het onderwijs zo optimaal mogelijk te kunnen verbeteren met learning analytics, maar ook om onderzoeksdata beter te kunnen vergelijken.

Data visualisatie en effecten op motivatie en zelfgestuurd leergedrag

In veel learning analytics dashboards of leermanagementsystemen wordt gepersonaliseerde informatie getoond en vergeleken met het gemiddelde van een groep en dat kan een negatief effect hebben op motivatie en zelfgestuurd leergedrag. Uit verschillende modellen voor zelfgestuurd leergedrag blijkt dat motivatie, (meta)cognitie en emotie een belangrijke rol spelen in het leerproces. Een mogelijke verklaring voor het beperkte succes van student-gerichte learning analytics dashboards is dat de meeste dashboards gericht zijn op bewustwording, maar vaak de motiverende component hebben weggelaten en/of een verkeerde groepsvergelijking te maken. Een manier om motivatie te ondersteunen en zelfgestuurd leren mogelijk te maken, is door informatie te tonen die studenten helpt hun leerdoel te bereiken en een vergelijking te maken met een relevante groep; de studenten die nét iets beter zijn.  

Kennisprodukten

SURF draagt op actieve wijze bij aan kennisopbouw- en deling over learning analytics. Onder andere via een eigen learning analytics team, de versnellingszone Studiedata en de Special Interest Group Learning Analytics. Binnenkort verschijnt een rapport van SURF waarin meer dan 35 relevante learning analytics kennisproducten zijn geïdentificeerd. Ook zijn zes aandachtsgebieden geformuleerd: didactiek, effectiviteit, management&organisatie, privacy&ethiek, stakeholders, en technologie. Voor de meeste aandachtsgebieden zijn voldoende kennisproducten aanwezig. Alleen over de effectiviteit van learning analytics binnen het onderwijs is nog relatief weinig bekend.

Praktijkvoorbeelden en effectiviteit

Ondanks dat er relatief weinig bekend is over de effecten van learning analytics dashboards binnen het onderwijs, is hier de laatste tijd wel steeds meer aandacht voor. Uit recent onderzoek van La Fleur en anderen blijkt dat een student-gericht learning analytics dashboard met een sociale vergelijking leidt tot meer motivatie en betere prestaties. Een beperking van dit onderzoek was dat alleen een sociale vergelijking werd gemaakt op basis van cijfers (de leeruitkomst). Binnen het SURF project “Feedback GO”, dat wordt uitgevoerd in samenwerking met drie Nederlandse universiteiten (Universiteit van Amsterdam, Vrije Universiteit en Rijksuniversiteit Groningen) is daarom het learning analytics dashboard I Guide My Education (IguideME) ontwikkeld, dat niet alleen gericht is op de leeruitkomst, maar ook op het leerproces en de leeromgeving. De student kiest een cursusdoelcijfer dat wordt gebruikt voor een relevante groepsvergelijking en ontvangt gepersonaliseerde, real-time geautomatiseerde feedback, inclusief gepersonaliseerde berichten en voorspellende analyses. De eerste onderzoeksresultaten zijn gepresenteerd op de SURF onderwijsdagen en wijzen uit dat zelfgestuurd leren bevordert en prestaties van studenten verbetert. Omdat het dashboard niet alleen student-gericht is, maar ook docent-gericht, is het voor de docent ook mogelijk om studenten die dreigen uit te vallen snel op te sporen, maar ook het effect van leermiddelen en onderwijsmethodes te evalueren en desgewenst het cursusontwerp aan te passen.

Toekomstige ontwikkelingen

De verwachting is dat steeds meer onderwijsinstellingen voor diverse doeleinden learning analytics dashboards zullen gaan gebruiken en dat ook het onderzoek naar de effectiviteit van deze dashboards zich verder zal ontwikkelen. Op dit moment is er nog geen consensus binnen het onderwijs voor de architectuur (wat is bijvoorbeeld het normenkader voor informatiebeveiliging?), standaarden (hoe worden diverse systemen met elkaar verbonden?), data (hoe delen we data of hoe houden we ze juist afgeschermd) en technologie (het liefst platform onafhankelijk, open source, en schaalbaar). Het gebruik van Kunstmatige Intelligentie in het onderwijs neemt op dit moment een vlucht, maar de gebruikte algoritmes zijn voor de gebruiker niet inzichtelijk omdat ze verstopt zitten in systemen en programma. Het gebrek aan transparantie kan leiden tot ongewenste effecten. Steeds meer overheden en organisaties maken daarom de gebruikte algoritmes openbaar. Op dit moment wordt hard gewerkt door diverse onderwijsinstellingen en SURF om hierin stappen te maken. Een goed learning analytics dashboard begint echter bij doelstellingen. Stel je zelf daarom eerst de vraag: wat wil ik weten en meten om zo het onderwijs te verbeteren?

Heb jij behoefte om inspiratie op te doen en ervaring uit te wisselen over learning analytics? Kom dan op 20 juni naar het seminar Learning analytics in het hoger onderwijs van de SIG Learning Analytics.