Tijdens dit webinar presenteerden we de bevindingen van het onderzoek. Maar is ook verkend met de meer dan vijftig deelnemers welke behoeftes er zijn als het gaat om het zetten van een vervolgstap naar een infrastructuur voor learning analytics. Hieronder de opnames van de presentaties. Het rapport van het onderzoek verschijnt eind deze maand.
Opzet van het onderzoek
De Open Universiteit en JISC hebben beide een infrastructuur voor learning analytics ingericht. Frank Pinxt (SURF) lichtte toe naar welke oplossingen uit deze infrastructuren gekeken is en wat het doel is van het onderzoek: bekijken in hoeverre deze bouwstenen bruikbaar zijn in de Nederlandse context. Wat is technisch mogelijk, wat zijn aandachtspunten op het gebied van privacy en security, en wat kun je eigenlijk analyseren en visualiseren?
Technische analyse
Technisch consultant Menno Grijpma presenteerde zijn bevindingen ten aanzien van het technische onderzoek naar businesslogica/visualisatiecomponenten en Learning record stores (LRS).
De meeste LRS-en die bekeken zijn, worden als SaaS-proposities aangeboden. Enkele zijn ook geschikt om op eigen infrastructuur te draaien. Het ophalen van gegevens via een API is mogelijk en technisch gezien zijn de LRS-en volwassen. Hoewel er geen marktstandaard is, heeft het LRS van Learning Locker daarvoor wel potentie. Omdat de LRS-en zijn ontworpen met de student als middelpunt is het privacy-technisch gezien een grote uitdaging om deze betrouwbaar in te richten.
Visualisatie- en businesslogicacomponenten kunnen onderdeel van een LRS zijn maar zijn ook los beschikbaar. Er zijn twee oplossingen bekeken: van JISC en van Q-Sense. De visualisatie- en businesslogica staat nog in de kinderschoenen en er is nog geen marktstandaard gevonden. Onduidelijkheid over wat men met learning analytics wil beantwoorden, is daarin ook een belangrijk element.
Privacy en security aspecten
Sebas Veeke, expert op het gebied van privacy en security keek naar de bouwstenen vanuit het privacy- en securityperspectief. Het toetsen van de veiligheid van de bouwstenen middels een audit is tijdsintensief en kostbaar.. Daarom is dit voor dit onderzoek buiten scope gebleven. Het is wel van groot belang om software en code volledig te auditen als een bouwsteen daadwerkelijk gebruikt gaat worden. Wat meer algemene observaties zijn dat visualisatiecomponenten buiten de EER staan en nog niet geschikt zijn om zelf te hosten. De techniek is neutraal als het gaat om gegevens. De waarde van learning analytics neemt toe naarmate er meer privacygevoelige informatie in het systeem komt.
Recepten – hoe zijn analyses opgebouwd?
Op welke wijze kan data vragen over het leerproces van studenten beantwoorden? En hoe kom je tot een analyse? Sanne Tonkens onderzocht hoe een vraag aan de data te beantwoorden is en uit welke elementen dan een learning analytics-recept bestaat (zie afbeelding) . Uit haar onderzoek bleek dat er geen kant-en-klaar openbaar ‘receptenboek’ is en dat recepten nog niet gevalideerd zijn. Ook kan niet elk recept worden aangesloten op elk systeem. Dat maakt de uitwisselbaarheid van recepten complex.
Welke stappen moeten we zetten voor een learning analytics-infrastructuur?
In het tweede gedeelte van het programma is in zeven groepen gesproken over de herkenbaarheid van wat er gepresenteerd is en welke behoefte er is ten aanzien van een learning analytics-infrastructuur. Enkele observaties uit de groepen:
- De door SURF onderzochte bouwstenen van de infrastructuur en de bevindingen, worden door de deelnemers herkend.
- De deelnemers ervaren knelpunten op het terrein van privacy, het gebrek aan goede voorbeelden, gevalideerde recepten, ontsluiten van data en het gebruik van standaarden, “chocola kunnen maken van resultaten uit verschillende bronnen”, wat helpt studenten en docenten nu echt? en weinig flexibiliteit in bestaande systemen.
Maar hoe kom je nu voorbij deze knelpunten? Welke activiteiten zouden daarbij helpen? De genoemde top5:
- Een kennisdeelsessie met andere instellingen over hun oplossingen
- Beschrijving van bestaande oplossingen en architecturen
- Een top 5 van recepten delen
- Kennisdeling recepten
- Een bibliotheek waar we algoritmes kunnen delen met andere instellingen
Ook zouden een experimenteeromgeving of een ontzorgende landelijke infrastructuur, een leveranciersdag, het doorontwikkelen en gebruiken van standaarden, algemene richtlijnen voor leveranciers en verder technisch onderzoek naar bouwstenen, helpen in het starten met learning analytics.
Bij SURF gaan we nu aan de slag om deze activiteiten verder uit te werken om zo drempels weg te nemen om met learning analytics aan de slag te gaan. Daarover meer in een volgend blog.
0 Praat mee