***English version can be found below***
Inleiding
In het onderwijs zijn zowel praktijkmensen als onderzoekers altijd op zoek naar manieren om de kwaliteit van het leren te verbeteren. Met de opkomst van onderwijstechnologie willen veel instellingen de gegevens die studenten genereren gebruiken om beter te begrijpen wat leren het meest effectief maakt. Dit proces, dat bekend staat als Learning Analytics (LA), omvat het verzamelen, analyseren en inzichtelijk maken van studentgegevens om onderwijsresultaten te verbeteren. Er zijn steeds meer voorbeelden van hoe instellingen LA implementeren om studenten, docenten of studieadviseurs te ondersteunen.
LA is een interdisciplinair vakgebied dat put uit gebieden als onderwijskunde, data-engineering, onderzoek en datavisualisatie. Als gevolg daarvan zijn AI-technieken, met name machine learning, al lange tijd verweven in de ontwikkelingen van LA. De opkomst van Generative AI (GenAI) in de afgelopen jaren heeft AI naar de voorgrond van het onderwijs gebracht. GenAI wordt nu zo veel gebruikt in verschillende vakgebieden dat het vaak het eerste is waar mensen aan denken als AI wordt genoemd.
Als gevolg daarvan richten veel instellingen zich meer op AI en ontwikkelen ze gerelateerd beleid en praktijken om gelijke tred te houden met de snelle ontwikkelingen op dit gebied. In deze blogpost willen we echter een stap terug doen om de overeenkomsten en verschillen tussen LA en AI te verkennen en te kijken waar deze onderwerpen elkaar kunnen versterken voor de toepassing in het onderwijs. In deze blogpost duiken we daarom in hoe LA en AI overlappen, waarbij we een aantal veelvoorkomende verwarringen ophelderen en praktische aanbevelingen doen.
De LA-cyclus
We beginnen deze post met het uitleggen van de relatie tussen LA en onderwijsontwerp op basis van de LA-cyclus, een raamwerk dat is ontworpen om onderwijs te verbeteren door middel van gegevens. Er zijn vier belangrijke stappen: Eerst is er een leercontext waarin vragen worden gesteld over ontwerp, leerprocessen, enz. Om deze vragen te beantwoorden moeten er data verzameld worden uit de leercontext. Deze gegevens worden vervolgens geanalyseerd en omgezet in zinvolle metrics die bruikbare informatie geven over waar leerlingen het moeilijk hebben. Tot slot worden de meetgegevens gebruikt bij interventies om veranderingen aan te brengen in de leeromgeving. Dit kan betekenen dat er nieuwe tools worden geïntroduceerd, zoals dashboards voor leerkrachten, of dat er extra ondersteuning wordt geboden aan leerlingen. De interventie wordt geïmplementeerd in de leercontext, wat ons terugbrengt bij de eerste stap. LA is dus niet zozeer een software tool, maar een cyclische methodologische benadering om het onderwijs te ondersteunen.
Om uit te leggen hoe LA en AI samenhangen, bekijken we nu hoe AI een rol speelt in de 4 stappen van de LA-cyclus. We belichten drie veelvoorkomende manieren waarop AI is geïntegreerd in het proces, zie afbeelding 1. Voor nog meer manieren waarop LA en AI met elkaar verbonden zijn, verwijzen we naar dit artikel.
De rollen van AI binnen de LA cyclus
1. AI als hulpmiddel bij de analyse van gegevens
AI-technieken maken al lang deel uit van de analysefase van LA om zinvolle inzichten in gegevens te verkrijgen. In de LA-cyclus betekent dit dat AI een hulpmiddel is bij de overgang van data naar metrics (figuur 1).
Bijvoorbeeld door machine learning te gebruiken om studievertraging te voorspellen en te voorkomen, zodat studieadviseurs hun ondersteuning kunnen afstemmen op de behoeften van studenten.
Zulke vormen van AI zijn dus anders dan GenAI en niet wat mensen direct associëren met de termen LA en AI. Het is echter belangrijk om op te merken dat dergelijke technieken hetzelfde zorgvuldige toezicht en beheer vereisen als nieuwe ontwikkelingen van AI. Het waarborgen van de kwaliteit van gegevens, transparantie van algoritmen en ethische vragen over mogelijke gevolgen voor studenten maken bijvoorbeeld allemaal deel uit van traditionele en nieuwe AI-technieken. Ervaringen die zijn opgedaan met het beschikbaar stellen van LA-gegevens hebben geleid tot meer kennis en bewustzijn en het opstellen van gedragscodes binnen instellingen over onderwerpen als privacy en ethische overwegingen. Deze kennis zal ongelooflijk waardevol zijn als het gaat om de zorgvuldige implementatie van AI in onderwijsomgevingen.
2. AI als onderdeel van de interventie
De tweede manier waarop LA en AI elkaar overlappen is in de stap van metrics naar interventies. In de LA-cyclus worden interventies gecreëerd op basis van inzichten uit gegevens. Die interventies kunnen AI bevatten.
Stel bijvoorbeeld dat leerkrachten merken dat de samenwerking tussen leerlingen niet zo goed verloopt als gehoopt. De LA-cyclus wordt gebruikt om te begrijpen waarom en om de samenwerking tussen leerlingen te verbeteren. Er worden data verzameld en geanalyseerd over de manier waarop leerlingen met elkaar communiceren. Het blijkt dat de studenten niet in staat zijn om de samenwerking goed te coördineren, waardoor ze vastlopen. Dit inzicht kan leiden tot een interventie waarbij de leerlingen ondersteuning krijgen tijdens het samenwerken. Dat kan door de studenten inzicht te bieden in wat er gebeurt, maar bijvoorbeeld ook met een AI-chatbot die hen aanwijzingen geeft om hun inspanningen te coördineren.
We hebben dit voorbeeld niet verzonnen - zie bijvoorbeeld hier. In dit geval wordt AI gebruikt om de LA-cyclus te sluiten door een interventie te ontwerpen en die interventie bevat AI.
3. AI als onderdeel van de leercontext.
De derde manier waarop LA en AI overlappen is gerelateerd aan de tweede. Deze doet zich voor wanneer AI deel uitmaakt van de leercontext en het object van studie wordt voor LA. Er kunnen meerdere redenen zijn om AI als hulpmiddel op te nemen in de leercontext (zie bijvoorbeeld hier); denk aan de eerder genoemde chatbot, maar ook aan andere vormen van AI, zoals een hulpmiddel dat feedback geeft op schrijfvaardigheden. Maar we kunnen deze tools niet zomaar blindelings gebruiken - we moeten hun impact op leren bestuderen. Dat is waar LA om de hoek komt kijken.
Door te analyseren hoe AI-tools worden gebruikt, kunnen we ervoor zorgen dat ze leerlingen effectief helpen. Wanneer AI-tools worden gebruikt in een leercontext, is LA dus de methode om te onderzoeken hoe AI wordt gebruikt en of het gebruik van AI moet worden aangepast. Dit maakt de LA-cyclus nog relevanter.
Een belangrijk aspect van het huidige debat is dat de AI-tools die gebruikt worden in leercontexten vragen oproepen omdat ze vaak geleverd worden door externe bedrijven wiens belangen niet noodzakelijk dezelfde zijn als die van het onderwijs. In feite zouden we ook een minicyclus van dataverwerking binnen de AI-toepassing kunnen tekenen. Waar komen de data vandaan waarop de AI wordt getraind, hoe worden de algoritmeparameters ingesteld, is er transparantie, enz. Daarom proberen veel instellingen hun eigen dataplatforms en LLMs te creëren, zodat ze deze aspecten kunnen controleren.
Conclusie
In deze blogpost hebben we gekeken naar de LA-cyclus en lieten we zien hoe AI daar volgens ons in past. LA en AI zijn op meerdere manieren met elkaar verweven: AI kan een analyse-instrument zijn, een interventie-instrument of het object van studie in de LA-cyclus. Het is cruciaal om te definiëren wat we bedoelen als we het over AI hebben, omdat verschillende toepassingen verschillende implicaties hebben voor het onderwijs. Het maakt veel verschil of het gaat om machine learning die wordt toegepast op de eigen dataset van een instelling, of dat we het hebben over het gebruik van ChatGPT door studenten.
Een andere implicatie is dat LA en AI meer gemeen hebben dan vaak wordt gedacht. Voor beide geldt dat we een voldoende niveau van datavolwassenheid in instellingen nodig hebben om adequaat om te gaan met de gegevensverwerking (bijv. algoritmen) die aan beide ten grondslag ligt. We moeten dus oppassen dat we niet de fout maken om in AI te springen zonder aandacht te besteden aan de noodzakelijke onderliggende structuren van data governance. Als we onze onderwijsgegevens niet controleren en bewaken, zullen we niet in staat zijn om de kracht van LA en AI te benutten. Immers, als wij de gegevens niet controleren, doet iemand anders het wel.
Het belangrijkste punt is dat we het belang van LA blijven benadrukken. De LA-cyclus blijft de sleutel tot het begrijpen en begeleiden van AI in het onderwijs. De enige manier om het gebruik van AI te monitoren en het voor ons te laten werken, is door zorgvuldige studie en voortdurende verbetering.
***English version***
Summary
As educational technology continues to evolve, many institutions are increasingly looking to integrate learning analytics (LA) and artificial intelligence (AI) to improve learning outcomes. However, the lines between LA and AI are often blurred, leading to confusion about how these two areas intersect and complement each other. In this post, we aim to clear up the confusion by exploring how LA and AI overlap and where they can empower each other within the context of education. We’ll break down the key differences, demonstrate how they can work together, and offer practical implications for practice.
Introduction
In education, both practitioners and researchers are always looking for ways to improve the quality of learning. With the rise of educational technology, many institutions aim to harness the data students generate to better understand what makes learning most effective. This process, known as Learning Analytics (LA), involves collecting and analyzing, and providing insights into student data to improve educational outcomes. There are an increasing number of examples of how institutions implement LA to support students, teachers, or study advisors.
LA is an interdisciplinary field, drawing from areas like educational science, data engineering, research, and data visualization. As a result, AI techniques, especially machine learning, have long been intertwined in LA developments. In recent years, the rise of Generative AI (GenAI) has brought AI to the forefront of education. GenAI is now so widely used across different fields that it’s often the first thing people think of when AI is mentioned.
As a result, many institutions are focusing more on AI and developing related policies and practices to keep up with the rapid advancements in this area. In this blog-post, however, we want to take a step back to explore the similarities and differences between LA and AI and where these topics can empower each other for the application in education. In this post, we’ll therefore dive into how Learning Analytics and AI intersect, clearing up some common confusion and offering practical recommendations for educators moving forward.
The LA cycle
We start this post by explaining the relation between LA and educational design based on the LA cycle, a framework designed to improve education through data. There are four main steps: First, there is a learning context in which questions are asked about design, learning processes, etc. To answer these questions data must be collected from the learning context. Those data are then analyzed and turned into meaningful metrics that provide actionable information about where students might be struggling. Finally, the metrics are used in interventions make changes to the learning environment This could mean introducing new tools, like dashboards for teachers, or providing extra support for students. The intervention is implemented in the learning context, which brings us back to the first step. LA is thus not so much a tool or system in itself, but a cyclical methodological approach to support education.
To explain how LA and AI are related, we now look at how AI plays a role in the 4 steps of the LA cycle. We’ll highlight three common ways AI is integrated into the process, see Figure 1. For even more ways LA and AI are interconnected, we refer to this article.
The roles of AI in the LA cycle
1.AI as a tool in the analysis of data.
AI techniques have long been a part of the analysis phase of LA to obtain meaningful insights into data. In the LA cycle, this means that AI is a tool in the transition from data to metrics (Figure 1).
For example, using machine learning to predict and prevent study delay to help study advisors tailor their support to student needs.
Such forms of AI are thus different from GenAI and not what people directly associate with the terms LA and AI. However, important to note is that such techniques require the same careful scrutiny and governance as new developments of AI do. For example, ensuring data quality, transparency of algorithms, and ethical questions about potential consequences for students, are all part of traditional and new AI techniques. Experiences gained from making LA data available have led to increased knowledge and awareness and the creation of codes of practice within institutions on topics such as privacy and ethical considerations. This knowledge will be incredibly valuable when it comes to the careful implementation of AI in educational settings.
2. AI as part of the intervention
The second way that LA and AI overlap is in the step from Metrics to Intervention. In the LA cycle, interventions are created based on insights obtained from data. The interventions can include AI.
For example, let’s say teachers notice that student collaboration is not working out as well as hoped. The LA cycle is employed to understand why and to improve student collaboration. Data is collected and analyzed about the way students communicate with each other. It turns out that the students are not able to coordinate the collaboration adequately, because of which they get stuck. Having this insight could lead to an intervention in which the students receive support while they are collaborating. That can be done by offering the students insights into what is happening, but also for example with an AI chatbot that gives them prompts to coordinate their efforts.
We were not making up this example – see for example here. In this case, AI is used to close the LA cycle by designing an intervention that includes AI.
3. AI as part of the learning context.
The third way LA and AI overlap is related to the second one. It occurs when AI is part of the learning context, and it becomes the object of study for LA. There could be many reasons to include AI as a tool in the learning context (see for example here); think of the chatbot mentioned earlier, but also of other forms of AI, such as a tool that provides feedback on writing skills. But we can’t just use these tools blindly — we need to study their impact on learning. That’s where Learning Analytics comes in.
By analyzing how AI tools are used, we can ensure that they’re helping students effectively. Thus, when AI tools are used in a learning context, LA is the method to study how AI is used and whether the use of AI needs to be adjusted. This makes the LA cycle even more relevant.
An important aspect of ongoing current debate is that the AI tools that are used in learning contexts raise questions because they are often delivered by external companies whose interests are not necessarily the same as those of education. In fact, we could draw a mini-cycle of data processing within the AI application as well. Where does the data come from that the AI is trained on, how are the algorithm parameters set, is there transparency, etc. That is why many institutions try to create their own data platforms and large language models so that they can control these aspects.
Conclusion
In this blog post we have looked at the LA cycle and showed how we see AI fits in there. LA and AI are entwined in multiple ways: AI can be a tool of analysis, a tool of intervention, or the object of study in the LA cycle. It’s crucial to define what we mean when we talk about AI, as different applications carry different implications for education. It makes a lot of difference whether it concerns machine learning that is applied to an institution’s own dataset, or whether we are talking about student use of ChatGPT.
Another implication is that LA and AI have more in common than is often thought. For both, we need a sufficient level of data maturity in institutions to adequately deal with the data processing (e.g., algorithms) that underlies them both. We thus need to be careful not to make the mistake to jump into AI without tending to the necessary underlying structures of data governance. If we do not control and monitor our educational data, we will not be able to harness the power of LA and AI. After all, if we don’t control the data, someone else will.
Most importantly, this is a shout out to the importance of LA. The LA cycle remains key to understanding and guiding AI in education. The only way to monitor the use of AI and make it work for us, is through careful study and continuous improvement.
0 Praat mee