Experimenteren
Zo’n 5 jaar geleden was Learning analytics nog nieuw voor instellingen. Instellingen en docenten gaven aan dat ze het gebruik van data over studenten, het leergedrag van studenten en hun context, wilden verkennen. Maar er was nog geen aanbod vanuit de markt, dat dit verkennen en experimenteren kon faciliteren. SURF heeft toen een experimenteeromgeving opgezet, waarin instellingen ervaring konden opdoen.
Deelnemende docenten waren over het algemeen positief over deze experimenten. Maar er waren ook leerpunten, zoals: welke vragen hebben we als instelling nu echt? En als we antwoorden krijgen: wat betekenen die, welke interventies moeten we dan plegen? Na enkele rondes van experimenten wilden instellingen in ieder geval doorgaan met experimenteren.
De wereld ziet er anders uit
In 2020 zien de wereld én Learning analytics er anders uit. Covid-19 zorgt ervoor dat veel meer onderwijs online gegeven wordt. Er komt meer data beschikbaar over het gedrag van studenten, waarmee studenten beter begeleid kunnen worden of onderwijs verbeterd kan worden.
De markt heeft zich ook ontwikkeld en biedt allerlei toepassingen aan om met Learning analytics aan de slag te gaan. Instellingen zijn zelf aan de slag gegaan, ontwikkelen infrastructuur en experimenteren. Ook zijn er flinke slagen gemaakt bij instellingen om beleid te maken rondom Learning analytics. SURF heeft in 2019 ook een tool (visiecanvas/-workshop) ontwikkeld voor instellingen om daarbij te helpen.
In februari en maart organiseerde SURF twee studiereizen naar het Verenigd koninkrijk. De verschillende invalshoeken van de universiteiten waren inspirerend en boden een veelzijdig beeld van de mogelijkheden van het gebruik van studiedata.
Kansen en ontwikkelingen, maar hoe zit het met AVG
Volop ontwikkelingen en kansen dus! De andere kant van het verhaal is alleen dat meer data verzamelen ook meer zorgen met zich meebrengt.
De Algemene verordening gegevensbescherming (AVG) had verschillende instellingen en ook SURF in een soort AVG-kramp. “Wat mogen we nu nog wél?”, was vaak de vraag van instellingen. SURF ontwikkelde een 5-stappenplan met een focus op de mogelijkheden en een Leergang Learning analytics.
En hoe zit het nu met de verhouding met de markt? Wat kun je als sector (beter) aan de markt overlaten? Wat willen of moeten we als sector zelf doen of in de hand houden? Ook met dat onderwerp is SURF, samen met de instellingen, aan de slag.
Wat weten we nu?
Uit inventarisaties (deze bijvoorbeeld), visieworkshops en contacten hebben we heel wat overzicht gekregen en geleerd. Namelijk:
- Instellingen hebben verschillende doelen
De ene instelling wil big data verzamelen om succesfactoren van studenten te ontdekken. Er wordt gesproken over “van business intelligence verbreden naar Educational Intelligence”. De ander ziet het heil van Learning Analytics meer in op cursusniveau kwaliteit verbeteren of de “informatievoorziening voor studenten docenten, studentbegeleiders en het management verbeteren”. Daarnaast wil een deel van de instellingen Learning analytics inzetten om onderwijs flexibeler en effectiever te kunnen inrichten”. - Verschillende vormen en verantwoordelijken
Ook wordt Learning analytics bij verschillende instellingen anders aangevlogen. Bij de ene instelling is het een project. Bij andere instellingen blijkt er weinig zicht op wat er precies binnen de instelling gebeurt, want er zijn veel “losse experimenten van docenten, waar we geen zicht op krijgen”. Ook departementen en faculteiten nemen vaak het eigen analytics-heft in handen. En soms wordt het gedreven door ICT, soms komt de ontwikkeling vanuit onderwijs. Steeds vaker wordt wel gewerkt aan een instellingsbreed beleid. - Verschillende oplossingen
Als er verschillende doelen zijn en verschillende initiators, met uiteenlopende mate van inbedding in de instelling, is het niet verwonderlijk dat instellingen ook komen tot verschillende oplossingen. Wat opvalt is dat er vaak geen duidelijke afweging gemaakt wordt welke combinatie van hardware en software gebruikt wordt (“deze partij kwam voorbij”, of “mijn collega’s maakten een start”).
In sommige gevallen wordt gekozen voor oplossingen van commerciële aanbieders. Maar iInstellingen maken ook zelf onderdelen. Ze geven bijvoorbeeld aan: “ We hebben een eigen LRS en visualisatie-platform ontwikkeld door het departement Informatica”. Als reden om zelf software te ontwikkelen wordt bijvoorbeeld gegeven: “Eigen ontwikkeling van software biedt meer mogelijkheden tot maatwerk. Zo houden we zelf de controle op alle data. We zien mogelijkheden om de oplossing samen met andere universiteiten door te ontwikkelen”.
De data die nodig is om te komen tot analyses moet vaak uit verschillende bronnen komen: “De universiteit beschikt over een datawarehouse (Oracle), maar is op dit moment meer aan het onderzoeken welke data uit welke bronnen nodig is en mogelijk gecombineerd kan worden. Het gaat dan met name over Osiris, Canvas, Mediasite, mogelijk ook evaluatiesoftware etc.” Het gebruik van standaarden heeft daarbij de aandacht: “Tools van externe leveranciers proberen we zoveel mogelijk te vragen om xAPI te ondersteunen”.
Waar experimenten soms ad hoc worden gestart, zijn er ook instellingen bezig met architectuurprincipes: “De vraag naar steeds snellere levering van data en informatie en ook steeds specifiekere en toenemende diversiteit vraagarticulatie is het noodzakelijk geweest om onze architectuurprincipes te actualiseren. We gebruiken nu als oplossing een Canoniek Datamodel en een Enterprise Service Bus. Dit betekent grofweg loskoppeling van systemen en data, waardoor uitwisseling gegevens transparanter, betrouwbaarder en sneller kan verlopen en koppelingskennis systeemkennis is ipv kennis opgeslagen bij enkele personen. Een ander belangrijk onderdeel hiervan is dat gegevens 1-malig worden opgeslagen in bronsystemen en bedoeld zijn voor meervoudig gebruik (afnemende systemen)”.
Waar zijn de data?
Opslag van studiedata is een terugkerend thema in gesprekken met instellingen. Er zijn nu veel verschillende oplossingen in gebruik; van opslag in een LMS, LRS, on premise en cloud. In een korte inventarisatie komen de volgende uitspraken over waar de data nu eigenlijk worden opgeslagen:
- “Alle data van learning analytics zitten in onze elektronische leeromgeving Its Learning en ze blijven daar ook”.
- “Op kleine schaal eigen LRS eigen opslag”
- “Op dit moment wordt er buiten de bronsystemen en het datawarehouse geen data opgeslagen voor het project”.
- “Ons uitgangspunt was alles ‘on premisse’, de nieuwe strategie richt zich met name op opslag in de cloud via Azure cloud toepassingen”.
Voor rekencapaciteit is nog niets extra gedaan of aangeschaft, omdat dit op dit moment niet nodig blijkt.
En de algoritmen?
Algoritmen, een belangrijk onderdeel van Learning analytics, worden zowel intern bij instelling ontwikkeld als commercieel afgenomen. Hier wordt soms ook door de instellingen aangegeven dat er nog in te professionaliseren valt:
- “Algoritmes worden gemaakt en gecontroleerd door de analisten / onderzoekers die ook het LRS systeem beheren”.
- “Een paar professoren van het departement Econometrie & Operationele Research in combinatie met studenten modellen en algoritmes gaan ontwikkelen”.
- “We beginnen altijd met het (laten) vaststellen van definities in nauwe samenwerking met de ‘business’. Ditzelfde geldt ook voor de te hanteren business rules en rekenregels. Voordat we iets in productie brengen laten we de algoritmes e.d. toetsen”.
- “Q sense maakt het algoritme op basis van de kritische indicatoren die wij hebben opgesteld. Het gaat om: aantal ingeleverde opdrachten (kwantiteit) , percentage op tijd ingeleverde opdrachten, scores op de opdrachten (kwaliteit), cijfers op kennistoetsen en regelmaat van bezoek aan de online leeromgeving”.
Uitdagingen en nadelen van de gekozen aanpak
Het opschalen van de oplossingen blijkt de grootste uitdaging.
- “Nu nog te klein en te erg gericht op één departement. De oplossing zou mogelijk op moeten schalen en centraal aangeboden moeten worden”.
- “Uitdaging blijft om bij alle stappen rekening te houden met het opschalen van de modellen/data naar de hele instelling”.
- “Vergt een forse investering langs meerdere dimensies en over meerdere jaren: technologisch, organisatorisch, procesmatig, functiegebouw etc.”
- “Het vereist bestuurlijke borging en gedragenheid door de gehele organisatie. Dit maakt het een grootschalig veranderingstraject en moet uiteindelijk leiden tot continue innovatie van het informatievoorzieningslandschap. Innovatie die mee evolueert met de ontwikkeling en de behoeften van de organisatie en het bestuur”.
Hoe verder?
Hoewel opschalen gezien wordt als een grote uitdaging, denken instellingen dat de huidige oplossing voldoet voor de komende jaren. Voor andere is dat nog onduidelijk: “Het heeft veel potentie maar hangt er van af of we er voor gaan kiezen om met een eigen oplossing te gaan werken of een commerciële oplossing”.
Wat er volgens de instellingen nodig is, is divers:
- Meer onderzoek naar Learning analytics
- Delen van best practices
- Zorg voor strategie en bestuurlijke borging,
- Stel een doelarchitectuur op en werk onder architectuur,
- Zorg voor praktische vertaling wat het betekent voor de 'business' en neem ze mee in het verhaal.
- Maar vooral DOEN, ga aan de slag.
- Kleinschalig beginnen binnen een faculteit en zo ervaringen opdoen.
Lange weg met mooi (voor)uitzicht
Er gebeurt veel, op veel verschillende manieren bij verschillende instellingen. Instellingen zelf voorzien over het algemeen een lange weg als het gaat om het inbedden en opschalen van Learning analytics in het onderwijs. Ze komen vragen en uitdagingen tegen, waarvoor de oplossingen nu nog niet allemaal duidelijk zijn.
Instellingen staan open voor delen van hun oplossingen met andere instellingen en zien ook mogelijkheden tot samenwerking. Dit willen we vanuit SURF coördineren en faciliteren.
We zullen behoeften, knelpunten, ontwikkelingen en trends met elkaar verbinden om instellingen op de lange weg naar Learning analytics te gidsen en over hobbels heen helpen. Onder andere door:
- instellingen meer inzicht geven in commerciële oplossingen,
- oplossingen vanuit instellingen te delen,
- pilots te starten met enkele instellingen.
Allemaal met als doel om instellingen ook gebruik te laten maken van de oplossingen die al voor handen zijn.
Wil je bijdragen of meer weten?
- Neem contact op met germaine.poot@surf.nl
- Vul de doorlopende inventarisatie in
- Wordt lid van de LA community in Nederland via deze LinkedIn groep
- https://www.surf.nl/expertises/learning-analytics
0 Praat mee