[Onderzoek & Webinar] De rol van docenten bij learning analytics

Kunnen vs. willen weten
Zowel tijdens de experimenten als in de Proeftuin Learning Analytics komt naar voren dat het stellen van de goede vragen cruciaal is voor het slagen van learning analytics. Er blijken talloze mogelijke vragen, die gesteld kunnen worden. Tegelijkertijd zijn er signalen dat docenten niet altijd precies weten welke vragen ze aan de data willen stellen. En daarmee samenhangend: wanneer er antwoorden terugkomen op de vragen, welke interventies zou de docent dat willen plegen om zinvol gebruik te maken van de informatie?

Stage-onderzoek: docenten meer betrekken
Om erachter te komen welke vragen docenten willen beantwoorden met learning analytics en welke interventies ze vervolgens willen plegen met welk effect, heeft Heleen van der West (masterstudent Onderwijswetenschappen aan de Radboud Universiteit) stage gelopen bij het learning analytics team van SURF.

De resultaten van het onderzoek (lees de samenvatting hieronder) sterken ons in de opvatting dat we docenten nog meer moeten betrekken in het ontwikkelen van learning analytics infrastructuren. Zonder een concreet door docenten ervaren nut en de acceptatie van learning analytics doordocenten worden de beloftes van learning analytics namelijk niet ingelost.

> Docenten, denk met ons mee!
SURF zal in de activiteiten rondom learning analytics het docentperspectief nadrukkelijk een plek geven. Een eerste stap is de community rondom learning analytics verder uit te breiden met docenten. Ben je docent? Word dan vooral lid van de Linkedin-groep, die SURF, de SIG Learning Analytics en de zone Veilig en betrouwbaar benutten van studiedata hebben ingericht.

Ook als je het gehele onderzoeksrapport wilt ontvangen, stuur dan even een berichtje naar dit e-mailadres.

> Webinarregistratie
Op 28 april gingen we dieper in op dit onderzoek, de resultaten en een reflectie hierop vanuit verschillende invalshoeken. Bekijk de registratie van het webinar hieronder.

Samenvatting onderzoek
In dit onderzoek is er een inventarisatie gedaan naar de behoefte van docenten rondom LA. Doormiddel van een literatuur studie en semi-gestructureerde interviews is de volgende hoofdvraag onderzocht:

‘Welke vragen willen docenten beantwoord hebben door middel van learning analytics en welke interventies beogen docenten met learning analytics (LA) te ondersteunen?’

De belangrijkste resultaten en conclusies zijn onderstaand samengevat.

Resultaten literatuur studie
Er is een literatuurstudie gedaan om erachter te komen wat er al bekend is over de ervaringen van docenten met LA en tot welke interventies dit leidt. De ervaringen van docenten laten zowel positieve als negatieve ervaringen zien. LA tools blijken nog niet te voldoen aan de eisen van docenten. Maar ook blijkt dat docenten wellicht zelf nog niet klaar zijn om LA effectief toe te passen. Het wantrouwen ten opzichte van data en het gebrek aan kennis over de interpretatie van data staat in de weg om door docenten benoemde obstakels te overkomen. De belangrijkste obstakels zijn:

• Het toepassen van LA is nog te tijdrovend. LA zou juist een tijdswinst moeten opleveren
• Te weinig diepgang in resultaten om deze goed te kunnen toepassen
• LA is niet transparant genoeg.

Deze elementen zorgen er tevens voor dat er gat is tussen de analyse en het inzetten van interventies op basis van deze analyses. Dit is terug te zien in het literatuur. Er is nog weinig bekend over de keuzestrategieën voor interventies. Onderzoeken vermelden daarentegen wel regelmatig het interventietype, maar de effectiviteit van de ingezette interventies blijft onbekend.

Resultaten praktische analyse
De resultaten uit de 11 geanalyseerde interviews met docenten in het mbo, hbo en wo liepen enorm uiteen. Zo is er geen eenduidige conclusie te trekken over welke vragen docenten beantwoord willen hebben middels LA. De belangrijkste resultaten worden hieronder beschreven.

Vragen die docenten beantwoord willen hebben middels Learning analytics
In tegenstelling tot de verwachting zijn er bijna geen dubbele vragen geopperd. Soms leken de vragen erg op elkaar, maar werden ze in een andere context of met een ander doel gesteld. Daarom is ervoor gekozen om de vragen te categoriseren, zodat de behoeftes inzichtelijker worden (zie figuur 1.). De bijbehorende vragen per categorie zijn te vinden in het onderzoeksrapport.

De meeste vragen werden gesteld over de context van een student, de interactie met het leermateriaal in een digitale leeromgeving en over de vaardigheden van een student.

Welke interventies beogen docenten te ondersteunen met LA
De interventies die benoemd werden door de docenten zijn grofweg in te delen in 3 categorieën, die iets zeggen over de zichtbaarheid van de interventie voor de student en hoe zichtbaar het effect van de interventie is voor de student. (1) directe interventies, (2) semi-directe interventies en (3) indirecte interventies.

(1) Directe interventie: De directe interventies zijn het meest zichtbaar voor de student en hebben ook een direct effect of de student.

In figuur2 is te zien dat het contact zoeken daarbij het vaakst benoemd werd. Het meest genoemde doel van directe interventies was het feedback geven van studenten aan de hand van de inzichten van learning analytics. Type en doel van de interventies houden geen verband met elkaar. Een doel kon bij meerdere type interventies voorkomen.

(2) Semi-directe interventies: Semi-directe interventies zijn minder zichtbaar voor de student, maar hebben wel een direct effect op de student.

Figuur 3 laat zien dat bij semi-directe interventies de focus ligt op het type interventie aanpassen van onderwijs. Waarbij het in tegenstelling tot directe interventies ook gaat om het aanpassen van de onderwijsvorm. Het meest genoemde doel is het faciliteren van gepersonaliseerd onderwijs.

(3) indirecte interventies: Indirecte interventies zijn niet direct zichtbaar voor de student en hebben een minder direct effect op de student.

Figuur 4 laat zien dat net zoals bij de semi-directe interventies het aanpassen van het onderwijs het vaakst werd benoemd. Het vaakst benoemde doel was het verbeteren van de onderwijskwaliteit. Deze resultaten laten duidelijk zien dat de interventies verder van de student afstaan. In sommige gevallen snijdt dit de grens tussen Learning analytics en academic analytics.

Conclusie
De resultaten geven een eerste inzicht op de hoofdvraag: ‘Welke vragen docenten willen beantwoorden door middel van LA en welke interventies ze daarmee beogen te ondersteunen?’

Daarnaast weerspiegelt de verscheidenheid en diversiteit in de resultaten de complexiteit van een goede aansluiting van LA tools op de behoefte van docenten. Net zoals in de literatuur studie, kwam er tijdens de interviews ook naar voren dat de meeste docenten nog geen duidelijk beeld hebben van wat zij met Learning analytics kunnen en willen. De docenten die meer ervaring hadden met LA leken ook een concreter beeld te hebben van hun behoefte ten aanzien van LA. Dus enerzijds sluiten LA tools nog niet aan op de behoefte van docenten, anderzijds zijn veel docenten ook nog zoekende naar hun visie op LA.

Een bottum-up aanpak bij het ontwikkelen van LA tools kan een oplossing zijn voor de aansluiting van tools en de professionalisering van docenten rondom LA. Door co-creatie kan de docent de ontwikkelaar input geven, die kan bijdragen aan een betere aansluiting van een LA tool op wat docenten nodig hebben. Een nauwe betrokkenheid van docenten kan tevens bijdragen aan de kennis over LA, waardoor docenten de LA resultaten beter kunnen interpreteren. Daarnaast kan een nauwe betrokkenheid ervoor zorgen dat docenten meer inzicht krijgen in de processen en dataverzameling van LA. Hierdoor kunnen de obstakels omtrent validiteit en transparantie verminderen.