Hoe artificial intelligence helpt om leermaterialen makkelijk vindbaar te maken

Gedeelde materialen makkelijk terugvinden…

In het project Open Leermaterialen ontwikkelen we momenteel samen met aangesloten onderwijsinstellingen een nieuwe zoekinfrastructuur, die het mogelijk maakt om gedeelde leermaterialen makkelijk terug te vinden. Deze zoekinfrastructuur zoekt in de inhoud van het leermateriaal en kan automatisch metadata toekennen. Deze aanpak zorgt voor betere zoekresultaten, maar daarnaast zullen docenten en studenten minder tijd kwijt zijn tijdens het aanleveren van leermaterialen aan het systeem: ze hoeven niet meer handmatig metadata toe te voegen.

… met artificial intelligence

Hier komt AI om de hoek kijken. Door de inzet van zelflerende algoritmes kunnen automatisch het type, onderwerp, en de daar bijbehorende (sub)domeinen worden herkend bij aanlevering van het leermateriaal. Een aanvullend voordeel is dat deze algoritmes zelfsturend zijn; hoe groter de hoeveelheid data in het platform, hoe nauwkeuriger het algoritme wordt.

Automatisch documenttype en onderwijsdomein herkennen

Binnen het Open Leermaterialen-project is al een set van leermaterialen beschikbaar, waarop we experimenten hebben uitgevoerd om automatische herkenning van leermaterialen te realiseren. Omdat de leermiddelen multimediaal zijn, hebben we gekozen om onderzoek te doen naar de toepassing van algoritmes op videomateriaal en documenten.

• Documenten: het doel hierbij was om voor documenten automatisch een eerste onderscheid te kunnen maken tussen vier documenttypen: lesmateriaal, opdrachten, referenties en toetsen.
• Videomateriaal: we hebben bekeken of video’s automatisch aan het juiste onderwijsdomein kunnen worden toegewezen (exact, expressie, maatschappij, onderwijs, taal, techniek, zorg en welzijn).

Automatische beeldherkenning

Allereerst hebben we geëxperimenteerd met automatische beeldherkenning via een neuraal netwerk. Soortgelijke technieken worden vandaag de dag al toegepast bij slimme camera’s en zelfrijdende auto’s. Het ligt voor de hand dat video’s met leermateriaal over onderwerpen gerelateerd aan zorg en welzijn een andere visuele ‘vingerafdruk’ hebben dan bijvoorbeeld video’s over taal.

Daarnaast hebben de vier documentsoorten mogelijk ieder een kenmerkende lay-out; een toets heeft waarschijnlijk meer witregels dan lesmateriaal, terwijl opdrachten weer meer afbeeldingen bevatten dan een referentie-document.

Gelabelde dataset

Om een neuraal netwerk deze visuele patronen aan te leren en te laten herkennen, is een gelabelde dataset nodig. We hebben elk document en elke video handmatig van het juiste label voorzien, zodat we de voorspellingen van het algoritme met het daadwerkelijke label kunnen vergelijken. Het mooie van neurale netwerken is dat deze zichzelf kunnen verbeteren, door een fout die door het netwerk wordt gemaakt terug te rekenen. Wanneer de voorspelling afwijkt van de waarheid past het algoritme zichzelf iets aan, en wordt op die manier steeds beter in het herkennen van patronen.

Beeldherkenningsalgoritme nog niet nauwkeurig genoeg

Wat we zagen is dat het beeldherkenningsalgoritme wel degelijk patronen herkent, met name in de documenten, maar dat dit nog niet nauwkeurig genoeg is om in praktijk toe te passen. Bottleneck daarbij is op dit moment de gelimiteerde hoeveelheid beschikbaar leermateriaal. We verwachten dat wanneer meer partijen aanhaken bij het project, en op die manier het aantal leermaterialen toeneemt, het beter lukt om zo’n algoritme toe te passen.

Automatische tekstanalyse

Naast beeldherkenning hebben we onderzoek gedaan naar de automatische analyse van tekst uit het leermateriaal. Uit patronen in de frequentie en de aanwezigheid van woorden in documenten en video-annotaties kunnen we mogelijk de categorie van het materiaal afleiden. Door relaties te leggen tussen deze specifieke woorden, en de daaraan verbonden categorie, kunnen we een voorspelling doen. Een deel van de beschikbare video’s is van ondertiteling voorzien, die op dezelfde manier kan worden verwerkt.

81% accuraat

Onze resultaten laten zien dat documenten nauwkeurig kunnen worden gelabeld via deze tekstanalyse. De hoeveelheid toetsdocumenten is op dit moment nog niet groot genoeg om in de analyse mee te nemen. Wanneer we de toetsen terzijde leggen zien we dat het algoritme in 81% van de gevallen het leermateriaal aan de juiste categorie wist toe te wijzen. Ter vergelijking, een pure gok zou een nauwkeurigheidsscore van 33% hebben opgeleverd. Dit is dus een techniek die via verdere implementatie al concreet toegevoegde waarde kan hebben voor eindgebruikers. In de toekomst kunnen we dit mogelijk op een nog gedetailleerder niveau toepassen, door automatisch op (sub)onderwerp te categoriseren.

Hoe gaan we verder?

Deze technologieverkenning toont aan dat analyse op basis van tekstuele data de meest veelbelovende resultaten oplevert. In de tweede helft van 2020 bouwt SURF voort op deze verkenning, door met een grotere dataset verder te experimenteren. Ben je enthousiast geworden over het Open Leermaterialen-project of wil je meer weten over deze technologieverkenning? Kijk dan op de informatiepagina van SURF.