Uitgangspunten van het experiment
Learning analytics wordt vaak nog gezien door de onderwijsinstellingen als een complex proces. Veel gehoorde vragen zijn: Hoe doe ik dat nu learning analytics? Hoe kan ik nu de sporen (data) die studenten achterlaten tijdens het online leren inzetten om gerichte feedback te geven? Daarbij speelt ook vaak de vraag: Is learning analytics wel veilig? En hoe zit dat met de privacy van de studenten?
Het belangrijkste uitgangspunt van het learning analytics experiment is vooral hands-on ervaring op doen met de bovengenoemde aspecten van learning analytics. We willen met dit experiment aan de onderwijsinstellingen laten zien wat er mogelijk is met learning analytics, zodat dit toepasbaar wordt in de onderwijspraktijk. Alle opgedane kennis, de technische implementatie, de juridische randvoorwaarden, die tijdens het experiment worden opgedaan, worden vanzelfsprekend ter beschikking gesteld.
Wat levert het experiment op?
In learning analytics zijn er vijf stappen te nemen volgens Educause.
- Capture: het verzamelen van data
- Report: het rapporteren over deze data
- Predict: voorspellingen doen op basis van de rapportage
- Act: acteren en interveniëren op basis van de voorspelling
- Refine: verfijnen van dit proces en opnieuw beginnen bij stap 1.
Het experiment is gericht op “Capture” en “Report”, oftewel het verzamelen van de data en daarover rapporteren. SURFnet beoogt met dit experiment inzicht te geven in studentactiviteiten. Er wordt gemeten welke online activiteiten studenten daadwerkelijk uitvoeren. We richten ons in het experiment niet op voorspellingen doen met data en het interveniëren in het onderwijs. Wij meten en tonen de data. De deelnemende onderwijsinstellingen aan het experiment bepalen zelf aan de hand van de getoonde data of dit al dan niet geïntervenieerd moet worden in het onderwijs.
Door het uitvoeren van het experiment kunnen de onderwijsinstellingen de volgende vragen beantwoorden: Is learning analytics echt complex? Hoe past learning analytics in de onderwijsinfrastructuur? Hoe verzamel je data? Hoe visualiseer je de data? Hoe regel je toestemming van studenten? Tevens wordt transparantie geboden over het verzamelen van studentdata, op basis van welke vragen wordt dat gedaan en hoe wordt deze data geanalyseerd en gevisualiseerd.
Het experiment levert de volgende resultaten op
- Een learning analytics architectuur (zie blog Learning Analytics Experiment Architectuur & Standaarden)
- Een learning analytics testopstelling
- Dataverzameling op basis van vijf onderwijsvragen
- De xAPI recept(en) gekoppeld aan de onderwijsvragen
- Algoritmes & visualisatie
- Toestemmingsverklaring voor studenten
- Learning analytics kookboek: Aan de slag met learning analytics.
Hierbij dient wel als belangrijke opmerking gemaakt te worden dat het een experiment betreft. We pretenderen nu nog niet een volledige learning analytics opstelling te ontwikkelen.
Wie leert er van het experiment?
Learning analytics biedt de mogelijkheid om op basis van onderwijsdata studenten te ondersteunen bij het leren (zie ook whitepaper). Daarnaast biedt het docenten en onderwijsontwikkelaars een nieuwe en praktische informatiebron naast de eigen observaties en evaluaties: een goudmijn aan data over studentgedrag en leerbehoeftes. Zo kan learning analytics real-time informatie geven aan docenten over de kwaliteit van het leermateriaal en de opbouw van de cursus. Ook kan learning analytics inzicht geven in online studeergedrag, zowel voor studenten als docenten.
Meer concreet willen we met dit experiment vier “stakeholders” in het onderwijs bedienen:
- De informatiemanagers/ICTO-medewerker & overig management in de organisatie
- De ICT-ers
- De docenten en onderwijsmanagers
- De studenten
Uiteraard is SURFnet zelf ook een stakeholder in het experiment. Voor ons is het belangrijk om met dit experiment te toetsen of de ideeën over learning analytics valide zijn. De resultaten van het experiment bieden voor SURFnet input voor het ontwikkelen van een business case over learning analytics diensten voor het onderwijs.
De aanpak van het experiment
Zoals reeds aangegeven richten wij ons in dit experiment op het verzamelen en rapporteren van de data. Het verzamelen en rapporteren van data bestaat uit vier stappen weergegeven in onderstaande figuur. In deze figuur zijn de vier stappen gekoppeld aan de learning analytics architectuur. In het blog Learning Analytics Experiment Architectuur & Standaarden wordt gedetailleerd uitgelegd hoe deze testopstelling technisch werkt en welke componenten daarvoor worden ontwikkeld.
In deze paragraaf richten we ons op de beschrijving van de vier stappen.
Stap 1: Stel de vraag waar je antwoord op wilt
Het belangrijk om eerst goed na te denken welke data verzameld moet worden of beter gezegd: Welke vragen kunnen met de data beantwoord worden?
Het bepalen van deze vragen kan gedaan worden door docenten en onderwijsontwikkelaars, eventueel in samenspraak met het management. Voor inspiratie van vragen kijk dan naar het rapport “Learning analytics in het onderwijs: een onderwijskundig perspectief“. Hierin komen vragen aan bod die door Learning Analytics beantwoord kunnen worden.
Voor dit experiment heeft SURFnet samen met onderwijsinstellingen en experts een selectie van 5 vragen geformuleerd:
- Heeft de student de opdracht(en) ingeleverd en wanneer?
- Op welk moment voert de student de leeractiviteiten uit?
- Volgt de student de eigen voortgang?
- Hoe vaak doet de student een tussentijdse toets binnen een vak?
- Welk materiaal wordt vaak gebruikt?
Stap 2: Bepaal het recept bij de vraag en vul de LRS met data
Voor bovenstaande onderwijsvragen worden xAPI-recepten gemaakt. Dit is de tweede stap. Deze recepten stellen we beschikbaar en kunnen straks door docenten en onderwijsontwikkelaars gebruikt worden.
Om ook daadwerkelijk tot dataverzameling over te gaan dienen de xAPI-recepten gekoppeld te worden aan de applicaties die studenten gaan gebruiken. Dit kan gedaan worden in samenwerking met ICT-ers. Als deze zijn gekoppeld, dan kan er data worden verzameld, geanalyseerd en geordend. Het verzamelen van de data gebeurt in de Learning Records Store.
Stap 3: Vul de dataset in en analyseer de data
Na het verzamelen van de data in de learning records store vindt de ordening en analyse van de data plaats in de Learning Analytics Processor.
Stap 4: Visualiseer het resultaat
De rapportage van de data wordt getoond op een webpagina of app waar de docent de visualisatie behorende bij één van de onderwijsvragen kan bekijken en beoordelen. In het experiment wordt voor nu alleen gefocust op visualisaties voor de docent. Op basis van deze visualisaties kan de docent al dan niet besluiten om over te gaan tot het geven van feedback aan de studenten. Het daadwerkelijk geven van feedback door de docent, maakt geen deel uit van dit experiment.
Hoe nu verder?
De afgelopen periode hebben we gewerkt aan het ontwikkelen van de learning analytics architectuur. We zijn nu in de fase gekomen dat we de componenten van deze architectuur aan het ontwikkelen zijn. Dit doen we in samenwerking met Onderzoeksgroep Learn van de Vrije Universiteit, iBuildings en ICTRecht. Deze ontwikkeling loopt door tot eind augustus, zodat er na de zomer gestart kan worden met de uitvoering van het learning analytics experiment bij een tweetal onderwijsinstellingen. Richting het eind van het jaar vindt er een evaluatie van het experiment plaats.
Zoals al eerder aangegeven worden alle uitkomsten van het experiment gedeeld. Mocht dat voor u niet voldoende zijn en zou u mee willen doen met het experiment, dan kunt u dat kenbaar maken door een mail te sturen naar jocelyn.manderveld@surfnet.nl
1 Praat mee