FLORA Project

Van ruwe data tot processen

Om te beginnen hebben we een manier nodig om de acties van een student tijdens een leertaak te volgen. We gebruiken een dataset van een project genaamd “Lighthouse” waar de onderzoekers met wie wij dit project doen aan werken (https://www.versnellingsplan.nl/Kennisbank/flora-lighthouse/). Deelnemers schrijven een essay over een onderwerp in een digitale omgeving. Binnen deze omgeving kunnen deelnemers lezen en aantekeningen maken over het onderwerp, waardoor het mogelijk wordt om al hun handelingen te observeren, inclusief plannen, lezen, schrijven en het bijhouden van de tijd. Dit geeft ons een grote stapel onbewerkte traceergegevens van elke actie die elke deelnemer onderneemt. Maar hoe gaan we van deze ruwe data naar inzichten over leerprocessen?

In onderstaande afbeelding laten we de stappen zien die nodig zijn om deze processen te vinden. Beginnend met onbewerkte gegevens zoals toetsaanslagen en muisbewegingen, is de eerste stap het vertalen van deze gegevens naar leeracties. Voorbeelden van leeracties zijn navigatie, relevante tekst lezen en schrijven. Zodra we deze reeks acties hebben, is de volgende stap het vinden van leerprocessen of patronen, zoals planning en monitoring. Als we eenmaal veel van deze gegevens hebben en leerprocessen hebben geëxtraheerd, kunnen we tenslotte een procesmodel maken dat de kans laat zien van het overgaan van het ene proces naar het andere.

De eerste stap is relatief eenvoudig, omdat dit een één-op-één functie is voor individuele acties. De tweede stap is waar het interessanter wordt, omdat hier patronen moeten worden geïdentificeerd. Dit is de stap waar we ons tijdens dit experiment op richten.

In recent werk hebben onze medewerkers bij Radboud een nieuwe pijplijn voorgesteld voor het extraheren van leerprocessen. Deze pijplijn integreert een datagestuurd perspectief, maar is nog steeds voornamelijk gebaseerd op theorie. Het datagedreven perspectief vergroot de validiteit van de geëxtraheerde processen, maar wordt niet gebruikt voor het omzetten van traceergegevens naar leeracties (stap 1) of van acties naar processen (stap 2). Daarom streven we ernaar een volledig datagestuurde pijplijn te ontwerpen die de mapping van acties naar processen doet. Dit is waar machine learning om de hoek komt kijken.

Onze input bestaat uit de volledige reeks van individuele acties uitgevoerd door elke deelnemer, samen met de bijbehorende tijdsduur van elke actie. Het onderstaande voorbeeld toont een deel van de actiereeks die door een deelnemer wordt uitgevoerd, evenals de tijd die voor elke actie nodig is. Ons doel is om sequenties uit deze data te nemen en patronen te identificeren.

Acties en reeksen leren weergeven

Het identificeren van patronen is waar machine learning modellen in uitblinken; we hebben echter geen labels om ons model mee te vergelijken. Er zijn proceslabels beschikbaar die zijn verkregen met eerdere methoden die op theorie zijn gebaseerd, maar als we ervan uitgaan dat die labels waar zijn, betekent dit dat het model de theorie gaat onthouden in plaats van objectief te leren van data. In plaats daarvan onderzoeken we unsupervised learning methodes. Dit zijn machine learning methodes die geen labels nodig hebben.

Om te beginnen hebben we een manier nodig om individuele acties en sequenties van acties op een numerieke manier weer te geven, zodat we er berekeningen mee kunnen doen. We leren deze representaties met behulp van een Long Short-Term Memory Neural Network (LSTM). LSTM's zijn een type recurrent neuraal netwerk die vooral zijn gebruikt als taalmodellen, maar effectief zijn voor het leren van sequentiële data in het algemeen. Voor onze taak om reeksen van leeracties te modelleren, trainen we de LSTM om de volgende actie in een reeks te voorspellen. Hiervoor geven we het  model steeds een reeks uit de dataset. Dit wordt hieronder geïllustreerd. Door deze taak uit te voeren, leert het model automatisch zowel acties als reeksen weer te geven met numerieke representatie.

Clusterende patronen

Nadat we de LSTM hebben getraind, kunnen we die gebruiken om reeksen acties om te zetten in numerieke waarden. Nu hebben we onze representaties! Daarop kunnen we vervolgens andere methoden toepassen. Laten we beginnen met het visualiseren van de actiereeksen, om een ​​idee te krijgen van hoe ze eruit zien. De representaties die we leren voor reeksen zijn 512-dimensionaal, wat we niet direct kunnen visualiseren. Daarom gebruiken we t-distributed Stochastic Neighbor Embedding (t-SNE) om elk van deze 512D-representaties te reduceren naar een punt in een 2D-ruimte. Dit is het resultaat:

Dit zegt op zichzelf niet veel, behalve dat er groepjes lijken te zijn. Laten we inzoomen op een van de clusters.

Het lijkt erop dat vergelijkbare reeksen inderdaad dichter bij elkaar zijn gegroepeerd; de reeksen binnen het oranje vierkant lijken meer op elkaar dan op de reeksen buiten het vierkant. Een andere manier om dit te controleren is door de cosinusafstand tussen reeksen te berekenen. We kijken naar twee voorbeelden, een van twee vergelijkbare reeksen en een van reeksen die veel verschillen.

De twee bovenstaande reeksen lijken erg op elkaar en inderdaad, de cosinusafstand is slechts 0,055. Dit betekent dat ze ook numeriek dichtbij elkaar liggen. De twee reeksen hieronder verschillen daarentegen veel meer. Dat is te zien aan de cosinusafstand, die in dit voorbeeld 0,603 is, wat betekent dat ze numeriek ver uit elkaar zijn.

Ten slotte trainen we K-means, een eenvoudig clusteralgoritme. In tegenstelling tot t-SNE vermindert K-means de dimensionaliteit van de representaties niet. Dit betekent dat we deze clusters niet direct kunnen visualiseren. Een andere uitdaging is dat we van tevoren moeten kiezen hoeveel clusters we willen. We schatten die als k=36, gebaseerd op het aantal proceslabels dat we hebben gevonden in de SRL-theorie. Het is lastig om onze K-means goed te evalueren, omdat we geen labels hebben. Om de kwaliteit van onze clusters te beoordelen, hebben we de Silhouette Score berekend. Die variëert van -1 tot 1, waarbij 1 de beste score is. De Silhouette Score van ons model is 0,301, wat duidt op redelijk goed gedefiniëerde clusters. Daarnaast kunnen we nog een paar voorbeelden bekijken en kijken of de resultaten zijn zoals verwacht. Weet je nog die twee vergelijkbare reeksen met de lage cosinusafstand? K-means heeft ze inderdaad in hetzelfde groepje gestopt!

Wat betekenen deze resultaten voor onderzoek in SRL?

In dit korte experiment hebben we onderzocht of machine learning methodes de pijplijnen kunnen ondersteunen die in dit studiegebied worden gebruikt. Er zijn beperkingen; evaluatie van de gebruikte methoden is niet eenvoudig en K-means is een vrij eenvoudige basislijn. Misschien zou een meer geavanceerd algoritme SRL-processen beter kunnen modelleren. Onze puur datagestuurde pijplijn is echter veelbelovend, omdat het patronen kan ontdekken zonder op theorie te vertrouwen. Dit suggereert dat het de moeite waard zou kunnen zijn om het gebruik van machine learning methoden in SRL-onderzoek verder te bestuderen. Gegroepeerde processen kunnen nieuwe inzichten opleveren en mogelijk verband houden met prestaties bij leertaken!