Terugblik webinar: Hoe kun je data-analyse inzetten om Corona effecten te simuleren?

Theo Bakker, Vrije Universiteit en Zone Studiedata

De presentatie door Theo Bakker kun je hier vinden.

In dit webinar spreekt Theo Bakker, teamleider van VU Analytics en aanvoerder van de Zone Studiedata. Het team VU Analytics richt zich op zogenaamde student analytics. Zij gebruiken instellingsdata, zoals inschrijfgegevens en studieresultaten, om analyses te maken waarmee het onderwijs verbeterd kan worden.

De Zone Studiedata maakt onderdeel uit van het landelijk Versnellingsplan Onderwijsinnovatie met ICT. De zone zet zich in om het veilig en betrouwbaar benutten van studiedata door onderwijsinstellingen te versnellen door middel van verschillende projecten

In deze webinar deelt Theo onder andere het prognosemodel van de VU waarin zij de instroom van studenten van komend collegejaar simuleren, en hij licht toe waarom zij dit gebruiken en wat de logica erachter is.

Maar eerst staat hij stil bij het Data Science Wiel. Dit model is ontwikkeld door de Zone Studiedata en is gebaseerd op onderzoek uit Engeland. Bij data-analyse moet volgens hem centraal staan wat de impact is op onderwijs en beleid. Om dit te doen moet je data verzamelen, combineren en verrijken. Vervolgens analyseer je dit om ten slotte in de derdestap impact te genereren (wat weer nieuwe data oplevert). Daarbij is het belangrijk dat de governance goed is geregeld, dat de analyses betrouwbaar zijn en dat er aandacht is voor privacy en ethiek.

Ook is belangrijk te snappen welke soorten data-analyses er zijn. Bij een descriptive analyse laat je bijvoorbeeld zien hoeveel studenten er zijn met een bepaalde vooropleiding. De tweede stap van diagnostic analytics omschrijft bijvoorbeeld hoeveel studenten stoppen, uitvallen of juist nominaal hun diploma halen en of er een verband te zien is met andere factoren. Deze instroomprognose bevindt zich in de derde categorie van predictive analytics.

Prognosemodel

Theo: “De aanleiding om dit model te maken is dat de VU de afgelopen jaren veel is gegroeid. De prognose voor Q1 van komend studiejaar was dat de VU zal groeien, maar door Corona zijn er vele maatregelen genomen die dit effect kunnen beïnvloeden. Daarom werken we met scenario’s. Bijvoorbeeld wanneer je kijkt naar buitenlandse studenten, waarvan vele de beslissing om in het buitenland te studeren uitstellen. Dit weten we omdat we kijken naar landelijke effecten (gemeten door het Nuffic), door de Facebook van het international office van de VU in de gaten te houden en door de wekelijkse peiling van de VU aan hun internationale studenten (‘hoe zeker ben je dat je 1 september gaat starten?’).”

“Zo kijken we per soort instroom naar de effecten van de Coronacrisis, maar we kijken ook naar de huidige studenten. We doen de analyses op het niveau van de faculteit, want per opleiding zijn de aantallen te klein om er iets nuttigs over te zeggen. Wekelijks worden deze prognoses besproken binnen de VU. Een deel van de scenario’s is al gemaakt en we blijven nieuwe scenario’s toevoegen.”

Een aantal opvallende zaken

De VU kent met Tilburg University het grootste aantal swichters; studenten die ergens anders een studie zijn gestart en vervolgens (door bijvoorbeeld een negatief BSA) switchen naar de VU. Deze prikkel om over te stappen is er nu nauwelijks, waardoor die instroom afneemt. Daar staat tegenover dat VU studenten die normaliter een negatief BSA hadden gekregen, nu nog een jaar door kunnen studeren. Door dit effect komt het totale aantal studenten toch hoger uit.

Voor de internationale instroom houden ze de huisvestigingsaanvragen en de visa aanvragen in de gaten. Er zijn dit jaar meer aanmeldingen voor studies door internationale studenten dan vorig jaar, maar de conversie (wie er daadwerkelijk starten in september) kan lager uitvallen. Daarvoor zijn drie scenario’s uitgewerkt. Ook probeert VU Analytics iets te zeggen over het effect van het vwo-diploma zonder centraal examen. Doordat het slagingspercentage hoger ligt zal de VU zo’n 200 extra studenten verwelkomen.

Zij verwachten weinig effect te zien als je kijkt naar het tussenjaar. Enerzijds is het scenario om een jaar te werken en reizen minder aantrekkelijk geworden, anderzijds heeft studeren ook een andere vorm gekregen. Deze twee effecten zullen elkaar opheffen.

Theo legt uit: “Samen met onderzoeker Martijn Meter kijken we de komende 1,5 maand ook naar het effect van online onderwijs. Een eerste analyse laat zien dat studenten hogere cijfers halen, maar waar dit aan ligt is nog niet te zeggen. Wanneer je kijkt naar gegevens over studieresultaten in deze periode wordt al snel duidelijk dat je die niet kunt vergelijken met dezelfde periode vorig jaar. Toen was er immers geen Corona. Daarom nemen we in zo’n geval de studieresultaten van semester 1 dit jaar en gebruiken we dit om een voorspelling te doen. Indien de realiteit sterk gaat afwijken is er dan sprake van een effect door de Coronacrisis.”

Een vraag uit de chat: ”Zet de data over de studenten met een negatief BSA die nu mogen blijven de docenten of studiebegeleiders aan om deze beter te ondersteunen en om te zetten naar een positief BSA, of is dit slechts informatief?”

Theo legt uit dat de achterstand die studenten opbouwen zo laag mogelijk gehouden moet worden, anders krijg je uiteindelijk studievertraging. Daarom zijn in de zomer ook extra herkansingsmomenten ingebouwd. Daarnaast start de VU een Comenius project waarbij ze bij twee faculteiten een speciaal plan gaan opzetten voor studenten die het tweede jaar ingaan met een achterstand. Hopelijk wordt dit later uitgebouwd naar meerdere faculteiten.

Demonstratie Tableau

Theo demonstreert het dashboard in Tableau. Hierin kun je per categorie zelf wijzigingen invoeren, bijvoorbeeld een afname in internationale studenten, en direct het effect op de studentenaantallen gevisualiseerd zien. Er wordt onderscheid gemaakt tussen EER en niet-EER studenten wat een vraag oproept in de chat:

“Wij maken bij Fontys ook onderscheid tussen de Duitsers en de rest van Europa. Doen jullie iets vergelijkbaars?” Het opsplitsen in subgroepen is volgens Theo begrijpelijk, maar je moet per instelling kijken op welke manier dat relevant is.

Learning analytics

Naast het analyseren van instellingsdata zou je ook data uit online leersystemen kunnen analyseren. Daarover komt de volgende vraag binnen “Kun je om de effecten te meten van het online onderwijs de eindcijfers van opdrachten bijvoorbeeld koppelen aan data over clicks e.d. in de digitale leeromgeving?”

Theo legt uit dat dit goed zou kunnen maar dat de VU dit bewust niet doet. Om gegevens uit online onderwijs te gebruiken moet je heel goed snappen hoe dit georganiseerd is. “We willen dit op den duur wel gaan doen, maar wij starten met het maken van een Code of Practice.”

Beleid

De analyses worden gebruikt voor verschillende doeleinden, waaronder als ondersteuning voor keuzes in beleid, zowel op korte als lange termijn. Ook worden ze ingezet als hulpmiddel bij de onderwijsplanning en roostering. Momenteel moet er ook rekening gehouden worden met de beschikbaarheid van ov in het plannen van onderwijs. Ook hierin speelt VU Analytics een rol om de situatie in kaart te brengen, alvorens het wordt besproken met lokale overheden. Ten slotte worden de analyses ook gebruikt voor communicatie en marketing, huisvestiging en voor een doorrekening van het effect van Corona op de bekostiging.

Theo: “Soms zijn er ook zorgen die we hebben kunnen wegnemen. Zo waren er zorgen dat er minder studenten zouden komen door Corona en die zorgen konden we wegnemen met de instroomprognose. Mensen nemen dit vervolgens mee in hun verhaal. Nu is de volgende stap dat faculteiten deze informatie moeten gaan gebruiken.”

Wil je het webinar terugkijken? Dat kan hier.