Learning management systemen
Binnen de bevraagde onderwijsinstellingen wordt gebruik gemaakt van verschillende Learning Management Systemen. De VU Amsterdam, de Erasmus Universiteit Rotterdam en Fontys Hogeschool maken gebruik van het LMS Canvas. De Universiteit Leiden en de Hogeschool van Amsterdam gebruiken Brightspace. Op de Universiteit Utrecht wordt gebruik gemaakt van twee Learning Management Systemen; Blackboard, en op kleine schaal Moodle. De Rijksuniversiteit Groningen, de Hanzehogeschool en de Hogeschool Saxion gebruiken Blackboard. De Hogeschool Windesheim maakt nu nog gebruik gemaakt van Cumlaude, maar binnenkort wordt de overstap gemaakt naar Brightspace.
Verzameling studiedata
Niet alleen het LMS verschilt per onderwijsinstelling, ook varieert de manier van dataverzameling tussen de instellingen.
Bij de VU vindt dataverzameling plaats via de Course Analytics module van Canvas. Dit is voor de hele universiteit hetzelfde. De data is per cursus door de betreffende docenten in te zien en wordt, sinds het gebruik van Canvas, in 2017, bewaard. Aan het vaststellen en naleven van de bewaartermijnen van deze data wordt nog gewerkt.
De RUG gebruikt zo’n 2 à 2,5 jaar universiteitsbreed Blackboard om actief studiedata te verzamelen voor studenten. Voor docenten is learning analytics via Blackboard nog niet helemaal ingeschakeld. Er is voor gekozen om te starten met studenten en studieadviseurs. Dit omdat studieadviseurs dan in eerste instantie ondersteuning kunnen bieden bieden en omdat de standaard producten meer op studieadviseurs gericht zijn dan op learning analytics voor docenten. Wel heeft de RUG de ambitie om het verder uit te rollen naar docenten. Momenteel is de RUG in het proces om een nieuw LMS te kiezen. De keuze gaat tussen Brightspace, Canvas en Blackboard ultra. Uit de aanbesteding volgde Brightspace, maar learning analytics speelde hierbij geen grote rol in de overweging.
“Er wordt geëxperimenteerd met dashboards voor opleidingsdirecteuren en docenten waar erg enthousiast op gereageerd wordt.” – Jan-Willem Brijan, RUG
Bij de Universiteit Leiden wordt de data die door Brightspace wordt verzameld niet voor docenten of studenten inzichtelijk gemaakt. De intentie om dit te gaan doen is er wel, maar de kaders daarvoor worden nog ontwikkeld. Men doelt erop om in 2022 een toekomstbestendig beleid vast te stellen waarin de Universiteit Leiden kan opereren met learning analytics. De grootste drempel is het opstellen van beleid in het kader van de AVG en security. Dergelijk beleid moet het zowel intern binnen de universiteit als door studenten worden goedgekeurd, aangezien het data van studenten betreft.
"Je kan niet zomaar besluiten we gaan het doen zonder dat je daar studenten bij betrekt. Dat is een hele operatie en dat is een organisatorische drempel." - Arzu Sahin, Universiteit Leiden
De HvA is in de zomer van 2018 begonnen met kleine pilots om data te verzamelen via Brightspace. Hierbij stonden alle mogelijkheden aan in het LMS, waarmee analytics konden worden uitgevoerd. Omdat privacy-aspecten niet goed afgedekt leken, heeft de HvA de analytics-functies in Brightspace weer uitgezet. Daarna heeft de module nog lang uitgestaan, tot midden 2020.
“Het was in eerste instantie niet configureerbaar; de docenten konden alles zien, zoals IP-adressen van de studenten en ook de timestamps. Dat is wel veranderd, doorontwikkeld. Dat was wel heel een traject met leverancier van Brightspace D2L. Maar nu zijn er aanpassingen gedaan en zijn IP-adressen en timestamps niet meer te zien” - Pieter van Langen, HvA
De Hogeschool Saxion is sinds mei 2021 overgestapt op Blackboard SaaS. Via dit systeem worden ook studiedata verzameld. Er wordt momenteel door Hogeschool Saxion nog een visie gevormd op learning analytics. Er moeten dus nog keuzes gemaakt worden in welke data precies verzameld zullen gaan worden in de toekomst. Het voornemen is om ook studenten actief bij deze visievorming te betrekken. Wel zijn al user stories opgehaald om de behoeften van verschillende gebruikersgroepen in kaart te brengen. Naar verwachting is er in maart 2022 een rapportagetool ontwikkeld om de data uit Blackboard te distribueren.
“We proberen helder te krijgen wat we verstaan onder learning analytics en met welk doel we dit willen gaan inzetten (zelfstuurinformatie voor studenten, betere begeleiding, etc.) - Erik Leeuw, Hogeschool Saxion
De Erasmus Universiteit verzamelt sinds een jaar data voor docenten via Canvas. Voor studenten worden studiedata nog niet teruggekoppeld uit het LMS. Wel wordt er gewerkt aan implementatie van een module om studenten te ondersteunen in het zelfregulerend leren op basis van data uit Canvas.
“Om gedoe te besparen met studenten hebben we het meteen vanaf de aanvang uitgezet.” – Wilco Te Winkel, Erasmus Universiteit Rotterdam
Op de Universiteit Utrecht is het per cursus verschillend of er data verzameld wordt middels het LMS. Er wordt toegewerkt naar een oplossing waarbij ook data uit andere bronnen worden meegenomen (zie volgende kopje).
Bij de Hogeschool Windesheim wordt dataverzameling via Brightspace gedeeltelijk aangezet. De module class progress zal in eerste instantie niet gebruikt worden. Wel zal er op admin niveau data uit Brightspace gehaald worden. In eerste instantie is deze data voor een selecte groep beschikbaar totdat het actief wordt verwijderd. Er is nog geen duidelijkheid aan welke groepen het in de toekomst teruggekoppeld zal gaan worden. Wel wordt een traject met studenten en docenten opgetuigd om doelbinding te gaan formuleren met als doel om de mogelijkheden te verkennen om meer functionaliteiten aan te zetten.
Bij de Hanzehogeschool kunnen docenten in Blackboard basale gegevens zien, die course gebaseerd zijn. De modules om data te analyseren en te laten zien aan docenten staat bij de Hanze niet standaard aan. Docenten moet het per course aanzetten en hebben het daar vaak te druk voor. Het wordt slechts mondjesmaat gebruikt, en er zijn verschillende drempels. Zo hebben docenten soms ethische bezwaren, zijn ze sceptisch over de waarde ervan of vinden ze het nog ingewikkeld. In het hele portfolio aan activiteiten van de Hanze heeft LA geen prioriteit. Op de langere termijn wil de Hanze wel met LA aan de slag, dus ontwikkelingen worden wel gevolgd.
Bij Fontys komen er verschillende signalen binnen over learning analytics in het LMS. Aan de ene kant zijn er instituten en docenten die aangeven dat ze graag aan de slag gaan met gegevens uit de analytics module. Maar centraal gezien is de instelling terughoudend. Er is ook geen ondersteuning voor de LA schil op Canvas.
“Als iedereen voor zichzelf aan de slag gaat, dan houden we geen zicht op wat er nu precies gebeurt, welke conclusies aan de data verbonden worden etc.”- Wiegert Olof, Fontys Hogescholen.
Alle bevraagde onderwijsinstellingen zijn dus in meer of mindere mate bezig met learning analytics via het LMS. Dit varieert van oriëntatie op de ontwikkelingen, tot actieve dataverzameling en analyse. Veelal is beleid omtrent dataverzameling via het LMS nog in ontwikkeling. Wanneer actief data worden verzameld via het LMS is dit in een aantal gevallen (in eerste instantie) voor een beperkte groep.
Andere manieren van dataverzameling
Naast dataverzameling via het LMS zijn er ook andere manieren om studiedata te verzamelen.
Bij de Universiteit Utrecht worden er naast het LMS nog verschillende andere applicaties in het onderwijs ingezet. Denk bijvoorbeeld aan een videoplatform voor kennisclips en applicaties voor het volgen van complete e-modules. Afhankelijk van wát iemand wil analyseren en met welk doel, zullen de learning analytics uit het LMS dus vaak maar een deel van de benodigde dataset opleveren. Mede hierom denkt de Universiteit Utrecht eraan om, bij toekomstige inzet van learning analytics, de data uit verschillende onderwijs applicaties te verzamelen in een Learning Record Store. Bijkomend voordeel is dat je in dat geval ook niet afhankelijk bent van de learning analytics module binnen je LMS en meer vrijheid hebt om zelf te configureren welke data je wel en welke je niet verzamelt. Momenteel heeft de Universiteit Utrecht echter nog niet zo’n centraal LRS, maar er lopen wel diverse pilots binnen losse opleidingen en faculteiten. De Universiteit Utrecht heeft de ambitie om learning analytics in te zetten bij de verdere verbetering van de kwaliteit van onderwijs, studentbegeleiding en onderwijsmateriaal. “Daarvoor willen we de bijbehorende infrastructuur versterken maar ook flankerend beleid ontwikkelen rekening houdend met de AVG, privacy en ethische kaders.”
De Hogeschool Saxion heeft al enkele jaren een studievoortgangsmonitor waarmee op het niveau van leereenheden/toetsen de studievoortgang van cohorten studenten inzichtelijk gemaakt wordt. Daarnaast hebben studenten een overzicht in het studievoortgangssysteem waarin ze kunnen zien hoe veel punten ze al behaald hebben.
Bij de Erasmus Universiteit is naast het LMS en studielink op landelijk niveau, ook het studenten informatiesysteem een belangrijke bron van data. Verder zijn er ook op docentniveau vragenlijsten en evaluatiegegevens van studenten. Die data wordt echter niet in het LMS geregistreerd.
Ook de VU is al meerdere jaren bezig met Student Analytics, waarbij data van studenten uit verschillende systemen wordt samengebracht en geanalyseerd. Daarbij wordt de data van Canvas niet meegenomen.
Bij de HvA is een Onderwijsdata project gestart. Dit is een groot project om experimenten met studiedata te doen, met bijvoorbeeld een expertgroep die experimenten beoordeelt op toegevoegde waarde ten opzichte van de missie en visie van de HvA, en de privacy en security randvoorwaarden. De looptijd van dit project is drie tot vier jaar.
“We willen data samenbrengen vanuit SIS, Brightspace en andere systemen, zoals FeedbackFruits, zodat we met die data aan de slag kunnen. We willen en moeten dit natuurlijk een veilige omgeving maken, dus dat is niet zomaar klaar. Er is een hele architectuur uitgedacht om dat veilig te doen. Met PowerBI worden visualisaties gemaakt”. - Pieter van Langen, HvA
Bij de Hogeschool Saxion, de VU, de Erasmus Universiteit en de HvA worden dus naast data uit het LMS ook andere data verzameld. Bij de Universiteit Utrecht zijn er wel plannen om dit te doen. Bij de overige instellingen is niet bekend in hoeverre er ook op andere manieren data wordt verzameld.
Data gebruik
De verzamelde data uit LMS’en kan door diverse partijen op verschillende manieren gebruikt worden.
De Universiteit Utrecht noemt als voorbeeld dat studiedata mogelijk gebruikt zou kunnen worden door studiebegeleiders, om meer inzicht te krijgen in de voortgang van studenten. Voor studenten zelf kan een dashboard met daarop informatie over hun studievaardigheden met daarbij ‘actionable feedback’ een handig hulpmiddel zijn. Een dergelijke pilot bij de UU is het THERMOS project.
Bij de VU wordt het gebruik van de data uit Canvascursussen nog minimaal ingezet. Dit wordt toegeschreven aan de aard van de statistieken, waar nog weinig usecases voor zijn.
Op de Universiteit Leiden worden verzamelde data uit Brightspace niet gebruikt voor learning analytics omdat het privacy gevoelige data betreft. De universiteit is nog bezig met het opstellen van een beleid en bepalen van kaders rondom learning analytics.
Bij de RUG kunnen studenten in de cursusomgeving hun eigen prestaties vergelijken met die van hun peers, voor bewustwording. Twee belemmeringen zijn nu nog de beperkte kwaliteit van de standaardproducten in Blackboard learn en de aanpassingen van de rapporten van Blackboard die voor docenten gedaan zouden moeten worden. Verder is het lastig om Blackboard met andere systemen te koppelen, hoewel dit wel wenselijk zou zijn voor verdere data-analyse.
De Hogeschool Saxion heeft voor learning analytics middels data uit het LMS gekozen om het onderwijs te verbeteren en studenten beter te kunnen begeleiden. Er wordt echter op dit moment nog geen data teruggekoppeld. Momenteel wordt een technische oplossing ontwikkeld om studiedata in de rapportagetool te krijgen om deze veilig te ontsluiten en te distribueren.
Bij de Erasmus Universiteit wordt data uit het LMS alleen nog door docenten gebruikt. Leaning analytics gebeurt hierbij langs twee lijnen; geaggregeerde studentgegevens ter verbetering van cursusmateriaal, en individuele studentgegevens als onderdeel van de oordeelsvorming. Waar docenten inzage hebben in individuele studentgegevens is sprake van maximale transparantie. Momenteel wordt gewerkt aan implementatie van een module om studenten te ondersteunen in het zelfregulerend leren op basis van data uit Canvas.
Bij de Hogeschool Windesheim worden de mogelijkheden verkend om dataverzameling in Brightspace uit te breiden. Dit gebeurt samen met docenten, studenten en de medezeggenschapsraad. Momenteel is de class progress functie van Brightspace nog niet aangezet.
Blackboard geeft de Hanzehogeschool op een geaggregeerde manier data terug. Dat is wel beperkt, zo is de data slechts tot 180 dagen terug te zien. Een diepe analyse is niet mogelijk, want de data is geaggregeerd. Er is bijvoorbeeld wel te zien hoe vaak studenten een bepaalde inlevermodule gebruiken, maar niet in welke courses of waar het achterblijft.
Bij Fontys is er de wens om te bekijken wat er kan met Learning Analytics. Maar tegelijkertijd is er voorzichtigheid geboden. Het gaat immers om gevoelige data en die wil de instelling niet zomaar beschikbaar stellen. Daarover moeten eerst goede afspraken gemaakt worden.
De HvA heeft een externe partij gevraagd om met alle stakeholders binnen de instelling een beleidsdocument te maken om in kaart te brengen wat ze met onderwijsdata kunnen en willen. Daarbij was aansluiting bij de HvA missie en visie van groot belang, en werd de student centraal gesteld. Met dat in het vizier is de LA module na een jaar weer aangezet. Gebruik van data vindt nu alleen plaats als eerst getoetst is aan de visie en missie van de instelling en als privacy en security in orde zijn.
Bij het merendeel van de instellingen vindt learning analytics plaats door middel van data uit het LMS. De mate waarin studiedata uit het LMS worden gebruikt loopt echter sterk uiteen tussen de verschillende onderwijsinstellingen. Een aantal daarvan geeft aan dat dit gebruik slechts beperkt is. Verschillende belemmeringen worden genoemd als oorzaak, zoals beperkende DPIA’s, problemen om de data in een rapportagetool te krijgen, beperkte mogelijkheden van analyse, gevoeligheid van de data, en beperkte koppelmogelijkheden van LMS-data met data uit andere systemen. Andere instellingen zijn nog in de verkenningsfase en passen nog niet actief learning analytics toe.
Behoeften
Waar het gebruik van studiedata bij de instellingen verschilt, lopen ook de behoeftes uiteen.
Bij de Universiteit Utrecht, de Universiteit Leiden en de RUG is er behoefte aan een goede integratie van data uit andere applicaties en data uit het LMS zodat een compleet beeld ontstaat. Dat is er op dit moment nog niet. Er wordt door de Universiteit Leiden geopperd om een overkoepelend dashboard te ontwikkelen voor learning analytics, onafhankelijk van het systeem. De concrete implementatie wordt gezien als een taak voor de universiteit zelf. Daarnaast geeft de Universiteit Utrecht aan dat er met veel interesse wordt gekeken naar de ontwikkeling van het landelijk kader privacy en ethiek, dat op dit moment nog in ontwikkeling is bij het versnellingsplan van SURF.
De Universiteit Leiden heeft in eerste instantie behoefte aan universiteitsbrede kaders met betrekking tot privacy en security voor learning analytics via LMS. Verder geeft de UU aan het belangrijk te vinden dat de focus niet alleen ligt bij learning analytics uit het LMS.
Bij de VU speelt de vraag hoe om te gaan met bijvoorbeeld privacy gevoelige functionaliteiten in de New Analytics module van Canvas.
De Hogeschool Windesheim en de VU hebben behoefte aan een hogere granulariteit van het LMS, zodat er ook bepaalde losse onderdelen aan- of uitgezet kunnen worden in de verzameling.
"Het zou een uitkomst zijn als Canvas de mogelijkheid zou bieden om niet in één keer course analytics aan of uit te zetten, maar als dit per onderdeel als instelling bepaald zou kunnen worden." - Gerdien Jansen, VU
Verder speelt bij de VU, de EUR, en de RUG de sterke behoefte om te weten hoe andere instellingen omgaan met Learning Analytics. Filmpjes voor docenten waarin wordt beschreven hoe je met verschillende typen data inzichten kunt verkrijgen, kunnen hiervoor volgens respondenten van de VU een geschikt middel zijn.
"Ik ben wel benieuwd of er vanuit SURF een soort idee is hoe docenten moeten omgaan met analytics." - Erik Elings, VU
“De kennis die wij hebben zou je eigenlijk door willen geven aan de andere hogescholen en universiteiten. Dus aan de voorkant van de aanbesteding.” – Erik Bolhuis, Hogeschool Windesheim
De Hogeschool Saxion geeft aan behoefte te hebben aan soortgelijke data in het andere LMS. Verder geeft men aan voldoende informatie te hebben, maar dat verandering tijd kost.
De Erasmus Universiteit heeft behoefte aan goede beschikbaarheid van data.
“LMS data zou nadrukkelijker ter ondersteuning van het leren en het leerproces moeten zijn in plaats van het voorspellen van studiesucces” – Wilco Te Winkel, Erasmus universiteit Rotterdam
Bij de Fontys Hogeschool is er wel vraag naar Learning Analytics, maar is de vraag hoe het op de agenda te krijgen en hoe drempels weg te nemen. Verder is er veel vraag naar kennis over wat learning analytics precies is, wat het doet, en wat de meerwaarde is. De instelling wil het in eerste instantie klein houden en goed overzien wat er kan, wat werkt, en wat de consequenties zijn.
“Er is wel veel vraag, docenten willen aan de slag met LA, maar het op de agenda krijgen binnen de instelling blijkt lastig. Het is spannend, wat kun je ermee en is het wel nodig? Allemaal terechte vragen, maar je wilt niet als hogeschool de boot missen. Dat alle hogescholen aan de slag zijn met LA over een paar jaar en dat je als enige achterblijft. De vraag is dus: hoe krijgen we het op de agenda?” - Wiegert Olof, Fontys Hogescholen
Een aantal instellingen spreekt dus uit behoefte te hebben aan een goede integratie van data uit andere applicaties en data uit het LMS zodat een compleet beeld ontstaat. Daarnaast geven meerdere instellingen aan graag van elkaar te willen leren. Ze zouden graag weten hoe andere instellingen omgaan met Learning Analytics.
Rol SURF
SURF kan op verschillende manieren ondersteunen bij learning analytics met data uit het LMS. Allereerst kan SURF een belangrijke rol spelen in het agenderen van het onderwerp. Daarnaast zou SURF een gesprek kunnen faciliteren met leveranciers namens alle instellingen over feedback feeds om te komen tot standaard afspraken over learning analytics, zodat de LMS-en voldoen aan specifieke richtlijnen voor de Nederlandse markt. Hier zou ook al bij de aanbesteding van het LMS aandacht aan geschonken kunnen worden door SURF, bijvoorbeeld door lijsten te publiceren met algemene eisen en wensen die niet in een aanbesteding zouden mogen ontbreken.
Ook kan SURF instellingen adviseren en mogelijk ondersteunen bij de zoektocht naar de voorwaarden waar aan voldaan moet worden om learning analytics te laten plaatsvinden in een LMS-systeem. Dit kan bijvoorbeeld door instellingen te verenigen of stappenplannen te publiceren. Daarnaast zouden goede voorbeelden door SURF kunnen worden gedeeld zodat de meerwaarde inzichtelijk wordt. Verder kunnen handreikingen worden geboden bij een visiebepaling omtrent LA met data uit het LMS, bijvoorbeeld met betrekking tot privacy en security. Tot slot zou SURF in de implementatiefase een rol kunnen spelen bij kennisdeling het begeleiden van docenten en andere gebruikers bij data-interpretatie. Zo werken we samen aan de toekomst van learning analytics in het hoger onderwijs.
2 Praat mee