Werkgroep voor ontwikkeling experimenteeromgeving learning analytics gaat van start

Sinds begin 2022 ontwikkelen we bij SURF een experimenteeromgeving voor instellingen waarmee zij laagdrempelig aan de slag kunnen met learning analytics. In de voorgaande blog heb ik verteld over het doel van dit project. Hoe staat het er nu voor? Wat zijn de volgende stappen? Lees het hieronder.

Afgelopen periode

Het afgelopen half jaar stond vooral in teken van het finaliseren van de projectstartarchitectuur, het kiezen van bouwstenen voor de experimenteeromgeving en het vormen van een werkgroep die use-cases gaat opstellen voor het eerste experiment. Inmiddels is de projectstartarchitectuur van de omgeving het eerste klaar, zijn de meeste bouwstenen gekozen en is er inmiddels een toegewijde werkgroep met veel enthousiasme gestart.

Over de werkgroep

Usecases voor een experiment

Wij zijn nu op zoek naar concrete, schaalbare use cases om een experiment mee te starten. Hiervoor heeft het projectteam dat zich bezighoudt met de experimenteeromgeving een de werkgroep opgericht, bestaande uit elf personen. De kick-off vond plaats op 14 september en de volgende sessies staan in november gepland. Lotte van Dijk van Avans is lid van deze werkgroep. Zij geeft aan dat ze verbinding mist tussen instellingen. Door met zo’n groep instellingen samen aan de slag te gaan hoopt ze te voorkomen dat iedereen zelf het wiel moet uitvinden. Ook het feit dat er verschillende rollen bij betrokken zijn ziet ze als een grote meerwaarde van het project. “Samenwerking loont!”.

Gemêleerde werkgroep

Waar bestaat deze werkgroep uit?

  • Mensen vanuit mbo (2), hbo (4) en wo (4)
  • O.a. docenten, data scientists, onderwijskundigen, adviseurs, projectleiders, teamhoofd, informatiemanager;

Kortom, een breed en gemêleerd gezelschap. Hier zit ook direct een uitdaging in. “Er zijn veel meningen over het onderwerp learning analytics, waardoor het vinden van een gemene deler lastig is gebleken. Kunnen we iets creëren dat voor iedereen goed (genoeg) is?”, aldus Heleen van der West van Radboud Universiteit. Toch zien wij dit vanuit SURF als een positief aspect van deze groep. Juist door vanuit verschillende rollen, instellingen en perspectieven te kijken naar het thema en samen te werken aan een oplossing, is de kans op een schaalbare use case groter.

Naar een platform voor iedereen

Deelnemers van de werkgroep hopen dat er straks een omgeving staat waar meer instellingen mee kunnen koppelen en deze samen helpen doorontwikkelen. Uiteindelijk ziet SURF het als een platform waar iedere instelling gebruik van kan maken, maar waar ook ieder een eigen draai aan kan geven door zelf experimenten te initiëren. Ook het delen van kennis en ervaringen, bijvoorbeeld door een soort receptenboek te maken, zien de deelnemers als een concrete meerwaarde. 

Inzicht in de informatiebehoeften van het onderwijs

JaapJan Vroom van Deltion college ziet het gewenste eindresultaat van de werkgroep als volgt. Allereerst hoopt hij dat de use cases een goed inzicht geven in wat het onderwijs in heel grote lijnen wil weten. Ten tweede wil hij er met de werkgroep tweede achter komen hoe we daar een generieke (experimenteer)omgeving voor kunnen ontwerpen en inrichten.

Waar gaat dit project de komende periode mee bezig?

Use cases ontwikkelen

Tijdens het traject met de werkgroep wordt de Design Thinking methode toegepast. Met deze methodiek  werk je  vanuit de doelgroep naar een concreet eindproduct. Het doel van deze werkgroep is dus om te komen tot één of meer use cases, ontwikkeld vanuit de behoefte een eindgebruiker. Hierbij kun je denken aan vragen zoals: “Als docent wil ik een overzicht van de aanwezigheid, de online activiteit en de cijfers van mijn studentenmijn studenten en daarin inzichtelijk hebben wat hun aanwezigheid en online activiteit is, en wat hun cijfer(s) zijn”.

Toewerken naar een eerste experiment

Deze use case(s) gaat het projectteam vervolgens uitwerken tot een visualisatie en/of prototype ontwikkelen dat dient als startpunt voor de inhoudelijke (door)ontwikkeling van de experimenteeromgeving. Omdat niet alle use cases realistisch zijn, bijvoorbeeld vanuit ethisch, juridisch of technisch oogpunt, zullen er voorwaarden worden gesteld op basis van verschillende kaders. Bijvoorbeeld dat het vanuit ethisch oogpunt niet wenselijk is dat er automatisch besluiten worden genomen over mensen op basis van analyses. Wanneer de use case(s) aan al deze voorwaarden voldoet en de werkgroep er met z’n allen van overtuigd is dat dit een sterk eerste experiment is, zal SURF een oproep plaatsen naar instellingen om samen met ons te een pilot te doen. Verwachting is dat de pilot in de loop van 2023 van start zal gaan.

Technische infrastructuur
Omdat het projectteam tot aan het uitvoeren van het daadwerkelijke experiment alleen met simulatiedata, wireframes, visualisaties en eventueel een prototype hebben gewerkt, moet de stap op technisch vlak nog worden gemaakt. Dit betreft een daadwerkelijke koppeling van databronnen bij instellingen met de experimenteeromgeving. JaapJan Vroom ziet het bouwen van een dergelijke omgeving waar elke instelling op aan kan sluiten als een grote uitdaging. “Elke instelling heeft haar eigen digitale infrastructuur. Fundamentele vragen over het gebruik van een Learning Record Store, datawarehouse of datalake zijn vaak nog niet gesteld binnen instellingen, laat staan beantwoord”. Dit zien wij als SURF ook als een grote uitdaging, maar we gaan het traject vol vertrouwen tegemoet.

Hieronder is de huidige high level opbouw van de experimenteeromgeving te zien. Hier publiceren wij in de in de loop van het project meer informatie over.

High level opbouw learning-analytics-infrastructuur
High level opbouw learning-analytics-infrastructuur

Proces voor opstarten van experimenten vormgeven
Omdat de stap naar een koppeling met instellingen en het gebruiken van instellingsdata veel uitdagingen met zich meebrengt, gaat het projectteam parallel hieraan aan de technische ontwikkeling onderzoek verrichten. Zo gaat het projectteam onderzoeken hoe we het proces rondom het opstarten van experimenten kunnen vormgeven. Het initiëren van experimenten met learning analytics   ligt namelijk veelal binnen een instelling. Met de omgeving beoogt SURF deze experimenten te faciliteren, zodat instellingen gericht onderzoek kunnen verrichten naar vraagstukken waarbij learning analytics hulp kan bieden. Verschillende instellingen hebben voor zulke interne experimenten al een proces opgetuigd. Wij vanuit SURF brengen dit in kaart en proberen deze kennis te delen. Daarnaast wordt ook vanuit juridisch, waaronder privacy, oogpunt meegekeken tijdens de ontwikkeling van de experimenteeromgeving.

Wat kun je van ons verwachten?
Eind 2022 of begin 2023 kun je van ons een publicatie verwachten met daarin de resultaten van de werkgroep. Wij zullen daarbij een oproep plaatsen waarop instellingen kunnen reageren en aangeven dat ze graag aan het experiment deelnemen. Waarschijnlijk is het aantal deelnemers beperkt tijdens het eerste experiment.

Meer informatie
Wil je meer weten of op de hoogte worden gehouden? Schrijf je dan in voor de nieuwsbrief of neem contact met mij op.

Telefoonnummer: +31 88 787 30 00
E-mail: pytrik.dijkstra@surf.nl

Auteur

Reacties

Dit artikel heeft 0 reacties