UvA-studenten ontwikkelen Extended Reality-apps voor maatschappelijke problemen

Rob Belleman is docent, onderzoeker en directeur van het College of Informatics van de Universiteit van Amsterdam (UvA) dat samen met de Graduate School of Informatics zo’n 3.000 studenten opleidt. In de bachelor- en masteropleidingen krijgen de studenten onderwijs over én met XR. Het college biedt drie keuzevakken waarin studenten leren over en met VR en AR:
- Computer Graphics and Game Technology
- Scientific Visualisation and Virtual Reality
- Virtual and Augmented Reality for Good (VAR4Good).

Visualisation Lab

De onderzoekers en studenten kunnen het zeer goed geoutilleerde Visualisation Lab in het LAB42 gebouw op het Amsterdamse Science Park gebruiken. Dit lab biedt geavanceerde voorzieningen zoals ‘full-body motion capture, Vicon-systeem met 21 camera's, een FaceWare-systeem voor het vastleggen van gezichten, StretchSense handschoenen, AR/VR-headsets, krachtige graphics werkstations, interactieve aanraakschermen en 3D-scanners en 3D-printers.

Bijdragen aan een goed doel

Belleman is enthousiast over en trots op het keuzevak Virtual and Augmented Reality for Good dat in 2021 van start ging. Elk jaar volgen zo’n vijftig studenten dit vak en ontwikkelen in groepjes een VR-app met de Unity game-engine. De app die ze ontwikkelen moet maatschappelijk relevant zijn ofwel bijdragen aan een goed doel. “Het is een intensieve vierweekse bachelorcursus,” zegt Belleman, “ook niet-informaticastudenten zijn welkom, want we hebben ook bijvoorbeeld storytellers en interaction designers nodig. Je hebt geen voorkennis van VR nodig.”

Afstudeerprojecten

UvA-faculteiten, organisaties en bedrijven kunnen een aanvraag doen bij het Visualisation Lab als ze een maatschappelijk probleem hebben waarvoor ze denken dat VR een oplossing kan bieden. Sinds 2021 zijn er vanuit het keuzevak Virtual and Augmented Reality for Good al 47 ‘VR/AR for good’ apps ontwikkeld. En het mooie is, aldus Belleman, dat er elk jaar wel een paar projecten tussen zitten die zo interessant zijn dat ze de moeite waard zijn om er een afstudeerproject van te maken. “We vragen de studenten van het keuzevak dan of ze hiermee voor hun afstudeerproject verder willen gaan. En dat heeft al veel moois opgeleverd. We hebben inmiddels ruim 100 afstudeerprojecten afgerond.” Informatie over deze projecten is te vinden op: Projects – Visualisation Lab

Gebarentaal avatars

Zo wilde hoogleraar taalwetenschappen Floris Roelofsen, Professor van het Institute for Logic, Language, and Computation (ILLC) iets maken dat Nederlandse geschreven teksten kan vertalen naar gebarentaal. In het project Signing Avatars ontwikkelen informaticaonderzoekers en - studenten nu samen met het SignLab Amsterdam de technologie om tekst te vertalen naar gebarentaal met geanimeerde avatars. 

Belleman: “Met een motion capture system maken we opnames van tolken gebarentaal die woorden vertolken. We nemen heel veel woorden op en maken daarmee een database met het volledige vocabulaire van de Nederlandse gebarentaal. Machinevertalingssystemen die avatar-technologie gebruiken, kunnen zo de communicatie tussen doven en horenden ondersteunen wanneer menselijke gebarentaaltolken niet beschikbaar zijn.”

Ouder-kind interactietherapie in VR

Een tweede voorbeeld dat Belleman presenteert is het project ‘Parent-Child Interaction Therapy (PCIT)’. “PCIT is een training waarmee ouders vaardigheden leren om met storend gedrag van kinderen om te gaan. Deze therapie werd door de organisatie Levvel gegeven in een klinische setting die nogal ver afstond van de praktijksituatie thuis. Levvel vroeg ons om met VR een realistische oefenomgeving te ontwikkelen. Dat hebben we gedaan met kinderacteurs en 360-graden video’s. De PCIT-VR-softwarearchitectuur is geheel ontwikkeld door studenten onder supervisie van onze onderzoekers en is open source beschikbaar onder de naam 360Composer. Je kunt het gebruiken op je computer, met een VR-headset en ook op je mobiele telefoon.”

Behandeling van angststoornis in VR

Levvel vroeg het Visualisation Lab ook om een VR-oefenomgeving te ontwikkelen voor een therapie ter behandeling van de angststoornis selectief mutisme. “Kinderen die deze angststoornis hebben kunnen wel praten met ouders, broers en zussen maar hebben grote angst om te spreken met anderen. Dit vormt een groot probleem als ze naar school gaan. Er was al een therapie in een klinische setting. Levvel wilde graag een oefensituatie in VR die sterker de schoolomgeving benadert. In het project ‘Praten op School’ ontwikkelen we met studenten een grafische virtuele schoolomgeving met tien oefeningen.”

MiCRopVR-app voor biologieonderwijs

Een andersoortig VR-afstudeerproject was MiCRopVR. Dit is een serious game die LAB42 ontwikkelde voor biologieonderwijs in het voortgezet onderwijs. Leerlingen leren over het microbioom en de impact van fosfaten op de ontwikkeling van planten en het milieu.

VR-app Viewing Transformations

De studenten hebben in het Visualisation Lab ook de VR-app Viewing Transformations ontwikkeld die informaticastudenten helpt bij het vak computer graphics. Belleman: “Studenten vinden dit best een lastig vak. Deze VR-app ondersteunt ze bij het leren over de ‘viewing pipeline’. In de app kunnen studenten virtueel ‘viewing transformations’ toepassen om te zien wat de effecten daarvan zijn.” Belleman en zijn collega’s zien dat studenten het leuk vinden om dit te oefenen in VR. “Ze krijgen feedback en een score. Dat stimuleert en zorgt ervoor dat de kennis beter beklijft. Ik zie dat VR hier zo bijdraagt aan het leerdoel.”

Virtuele studieadviseur of therapeut

Er zijn nog veel projecten in ontwikkeling bij LAB42. Zo werkte bachelorstudent informatica Jens Dijkgraaf aan het ontwikkelen van een Virtual therapist/study advisor. Belleman legde uit wat dat inhoudt. “Als studenten naar een studieadviseur gaan, blijken ze vaak niet de informatie gelezen te hebben die te vinden is op de website. Het idee is dat ze straks eerst een afspraak maken bij een virtuele studieadviseur of therapeut. Met behulp van spraakherkenning en LLMs krijgen ze dan in een VR-omgeving al zoveel mogelijk antwoord op hun vragen. Als ze daarna nog vragen hebben of verder willen praten, kunnen ze een afspraak maken met de studieadviseur. We zitten nog midden in de ontwikkeling van deze technologie en het is nog langzaam.”

Belleman nodigt iedereen die wil laten onderzoeken of VR kan bijdragen aan het oplossen van een maatschappelijk probleem van harte uit om een aanvraag te doen. “Laat het weten, studenten gaan ermee aan de slag en wij doen de intervisie.”
 
Voor aanvragen voor Virtual and Augmented Reality for Good, kun je mailen naar: R. Belleman

Het artikel over de lezing van Tilo Hartmann volgt onder de foto...!

Tilo Hartmann: ‘Using XR in higher education: How the immersive experience could promote learning goals’ 

Bij de opening van de EduXR-inspiratiemiddag gaf Tilo Hartmann zijn visie op leren over XR en leren met XR. Als hoogleraar Virtual Reality and Communication bij Communicatiewetenschappen (VU Amsterdam) deed hij hiermee zelf ervaring op en deed ook literatuuronderzoek. 

Volgens Hartmann is een belangrijk voordeel van XR in het onderwijs dat je dingen kunt ervaren die gevaarlijk, duur of kostbaar zijn om te doen. Denk aan een bezoek aan Mars, leren hoe je een kerncentrale bedient of rondkijken in een bacterie. VR heeft ook voordelen voor trainingen, aldus Hartmann. “Je kunt leren en begrijpen hoe iets werkt op een interactieve manier. Je kunt input krijgen en feedback krijgen, gamification is mogelijk. XR maakt het mogelijk om iets veel vaker te oefenen. En studenten kunnen in een VR-omgeving ook samenwerken.”

NB Het artikel gaat verder onder de foto...!

Mensen houden van ervaringsleren

Hartmann ging ook in op de vraag in hoeverre immersive experiences het leereffect bevorderen. Volgens Hartmann houden mensen van ervaringsleren. “De levendige manier van leren met XR leidt tot betere memorisatie. Studenten zeggen ook vaak dat ze zich met XR beter kunnen concentreren doordat externe prikkels worden buitengesloten.”

Mentaal overladen

Voor veel lerenden is XR nog nieuw en dat zorgt bij velen voor het ‘wow effect’, aldus Hartmann. “Dat maakt dat XR studenten motiveert maar na een tijdje is dat effect wel weg… Een nadeel van XR kan zijn dat mensen soms ‘mentaal overladen’ worden. “Ze worden overweldigd waardoor ze minder kennis opnemen. Dat gebeurt vooral de eerste keer. Een belangrijk advies is: houd het simpel met XR!” Een ander nadeel is dat 5 procent van de mensen motion sickness ervaart.

Team up voor een goede XR-infrastructuur!

Hartmann vindt dat XR het onderwijs opwindende nieuwe mogelijkheden biedt, maar benadrukt dat je goed moet bedenken waarvoor je het inzet. “Bedenkt vooraf goed of XR echt van meerwaarde is voor je leerdoel.” Verder zei hij dat je de technologie en het ontwerpen van een goede XR-omgeving niet moet onderschatten. Hij besloot met het de opmerking dat het belangrijk is om goede infrastructuur te ontwikkelen voor XR-gebruik in het onderwijs. Dat kun je het best samen doen, dus “team up!”. 

Over EduXR Amsterdam

De EduXR Amsterdam Inspiratiemiddag werd georganiseerd door de SIG eXtended Reality (waarin , Amsterdam UMC, HvA en de VU deelnemen) en VU Library en vond plaats op 6 februari 2025. 

Naast de hierboven beschreven presentaties waren er ook nog deze twee workshops.
- ‘XR in cultural heritage and education: Case studies and insights from the 4D Research Lab’ door Chiara Piccoli & Hugo Huurdeman.
-    ‘Developing an XR environment for environmental sciences together with students’ door Andres Lot Camarena