Een van de redenen waarom de UvA het gebruik van GenAI nog niet toestaat is dat de veiligheid van de data en de privacy van gebruikers niet gegarandeerd kunnen worden. Veel GenAI-modellen worden namelijk gemaakt door Amerikaanse partijen. De privacywetgeving is in de Verenigde Staten anders en minder strikt dan in Europa.
Meerwaarde GenAI voor het onderwijs
Uijl: “Juist binnen onze faculteit, de Faculteit der Natuurwetenschappen, Wiskunde en Informatica (FNWI) is er heel veel kennis over AI. Wij realiseren ons dat AI ook op zo’n manier ingezet kan worden dat het het onderwijs ondersteunt.” Uijl werkt samen met Emma Wiersma, projectleider onderwijsinnovatie en onderwijskundig adviseur bij FNWI, aan pilots om te zien hoe GenAI op een verantwoorde, veilige, ethische en privacy vriendelijke manier is toe te passen in het hoger onderwijs. Ze onderzoeken welke meerwaarde GenAI kan bieden voor het onderwijs.
Gedurende 2024 lopen er dertien pilots, waarvan er nu zeven zijn afgerond. De pilots worden binnen allerlei verschillende studies gehouden, zoals Biomedische Wetenschappen, Scheikunde en Informatica. “Zo krijgen we met heel veel verschillende soorten studenten te maken, met verschillende AI-kennisniveaus en met verschillende invalshoeken”, legt Wiersma uit. “Sommige studenten zijn ook kritischer over privacy dan anderen.”
AI als schrijfcoach, programmeerhulp of oefenhulp
De pilots richten zich op vijf gebieden: AI als schrijfcoach, programmeerhulp, oefenhulp bij het ontwikkelen van academische en professionele vaardigheden, oefenen met andere perspectieven en het verlagen van de werkdruk voor docenten.
Zo was er bij het Amsterdam University College een pilot, waarbij studenten van het vak Data Futures Lab met vier verschillende Custom GPT’s [een chatbot die je instrueert en informatie geeft, zodat hij precies doet wat jij wilt] in debat gingen, als voorbereiding op het einddebat voor dit het vak. Iedere Custom GPT was getraind met een andere politiek ideologische overtuiging. “Op die manier konden de studenten kennismaken met tegenargumenten van verschillende partijen, dus ook met meningen van mensen van buiten hun eigen ‘bubble’.
Studenten vonden dat echt super nuttig”, aldus Wiersma. “Ze vonden het heel fijn dat ze de geleerde kennis direct konden toepassen in de praktijk. De docent zei ook dat de studenten daardoor veel meer hadden geleerd en dat hun resultaten verbeterden.”
Bekijk de video over de “AI Pilot voor debatteren”
Feedback op onderzoeksvragen
Bij een andere pilot, die uitgevoerd werd bij het vak Future Planet Studies, gaf een Custom GPT feedback op de onderzoeksvragen van studenten. “Die custom geeft nooit het goede antwoord aan studenten, maar stelt vragen en geeft constructieve feedback op bepaalde onderdelen van de onderzoeksvraag. Zo fungeerde de Custom GPT als een docent of tutor”, legt Uijl uit. “Uit deze pilot kwam heel duidelijk naar voren dat het inzetten van een Custom GPT vooral de begeleiders veel tijd scheelt. De hulp van de custom bij de eerste stap in het nadenken over een onderzoeksvraag helpt studenten echt om verder te komen.”
Bekijk de video over de AI Pilot met een Custom GPT die feedback geeft op onderzoeksvragen
Beveiligde Microsoft Azure-omgeving
De pilots laten dus het nut van GenAI in het onderwijs zien. Maar de UvA wil het gebruik alleen toestaan als het veilig en privacyvriendelijk ingezet kan worden. “Daarom gebruikt de UvA voor deze pilots met ChatGPT een beveiligde Microsoft Azure-omgeving”, vertelt Uijl. “Alle data die we er vanuit de UvA instoppen, blijft binnen deze omgeving. Er wordt dus niets in ChatGPT of op de systemen van OpenAI opgeslagen. Alles blijft binnen de muren van de UvA.”
In eerste instantie beperkte die beveiligde omgeving wel de mogelijkheden voor het doen van pilots. In de eerste versie– waarbij Microsoft Azure Playground werd gebruikt – werd namelijk ook niets lokaal opgeslagen. Daardoor konden studenten wel losse vragen stellen, maar geen echt gesprek voeren met de GenAI. De daarvoor benodigde data waren niet aanwezig. “Inmiddels kan dat wel. Data wordt nu alleen lokaal opgeslagen. Maar die zijn ook voor ons niet inzichtelijk. We kunnen dus de prompts en gesprekken van studenten niet zien, vanwege privacy.”
UvA-brede Microsoft Azure-omgeving met meer functionaliteiten
De tweede versie van het systeem, gebouwd binnen DataNose [de digitale omgeving van de UvA, red.], biedt nog extra voordelen, vertelt Wiersma. “In Azure Playground moesten we ook handmatig alle studenten en docenten toevoegen. Maar in DataNose kunnen we bij een pilot het taalmodel via Microsoft Azure direct koppelen aan een vak, waardoor de vakcoördinator en de studenten automatisch toegang krijgen. Dat scheelt heel veel administratief werk.” Ondertussen is de UvA alweer een stap verder: er is een UvA-brede omgeving gemaakt met Microsoft Azure. “Die heeft nog meer functionaliteiten. Daar kun je ook bestanden uploaden en er is een promptbank, waar je kant-en-klare goedwerkende prompts kunt vinden.”
Custom GPT’s gekoppeld aan leerdoelen
Om te voorkomen dat studenten GenAI kunnen gebruiken om bijvoorbeeld een heel essay te schrijven, worden in de pilots veel van de functies beperkt door Custom GPT’s in te zetten. “Wij bespreken van tevoren met het docententeam wat zij precies willen, wat de leerdoelen van het vak zijn en waarvoor ze GenAI willen inzetten”, zegt Wiersma. “Je kunt GenAI hele specifieke instructies meegeven. Bijvoorbeeld om nooit het antwoord te geven, maar om vervolgvragen te stellen. Daardoor is de manier waarop de bot op studenten reageert flink ingeperkt en houd je als docent de touwtjes in handen. Zo stimuleren we de digitale geletterdheid van de studenten en blijft het systeem dienend aan de leerdoelen.”
De pilots komen wel met enige beperkingen. Zo is het niet mogelijk om precies te monitoren hoe studenten GenAI in de pilots gebruiken. Verder is de groep studenten die meedoet beperkt, omdat niet alle vakken die de UvA aanbiedt deelnemen aan het project en omdat studenten kunnen weigeren om mee te doen. De pilots leveren dan ook vooral kwalitatieve resultaten op en geen kwantitatieve, benadrukken Uijl en Wiersma. Het is dus geen onderzoek dat harde cijfers oplevert over de meerwaarde van het gebruik van GenAI in het onderwijs, maar het geeft wel een indicatie van hoe studenten en docenten dit ervaren.
Focusgroeponderzoek met docenten en studenten
Resultaten over de pilots worden opgehaald via online feedbackformulieren voor de studenten en docenten tijdens en na afloop van de pilot. Daarnaast worden aan het einde van een pilot twee focusgroepen georganiseerd. Eén voor studenten en één voor docenten. “We halen dus op verschillende manieren feedback op, waarbij we vragen of de techniek goed werkte en ingaan op ethische vraagstukken, privacy en het leerproces. Heeft dit wat toegevoegd aan het vak? Heb je er meer van geleerd? We proberen zo alles aan te stippen”, zegt Wiersma.
Leerdoelen en toetsing
De komende maanden worden de laatste pilots voor 2024 afgerond. “We maken nu plannen voor hoe nu verder”, vertelt Wiersma. “Er was budget tot en met december 2024, maar ons doel is om gewoon verder te gaan met de pilots. Er is heel veel animo vanuit andere opleidingen om mee te doen en er zijn opleidingen die nog een keer mee willen doen.” De focus verschuift dan mogelijk wel iets. “We willen misschien iets meer in gaan zetten op de leerdoelen en de toetsing.” Zo kunnen er leerdoelen bedacht worden rondom het gebruik van GenAI, of die met het gebruik van GenAI bereikt worden. Ook kan de technologie ingezet worden om bijvoorbeeld te ondersteunen bij het opstellen van toetsvragen of om toetsen af te nemen.
Dergelijke zaken waren in de eerste pilots niet mogelijk. “De leerdoelen voor de vakken stonden nu allemaal al vast en het was niet verplicht voor studenten om mee te doen, dus we konden daar toch weinig aan veranderen.” In het nieuwe semester is dat mogelijk anders. “En we willen alles voortzetten in die UvA-brede omgeving, waarin alle faculteiten van de UvA werken als ze pilots doen. Dan kunnen we die samen zo optimaal mogelijk maken en onze kennis delen.”
Bekijk de video’s waarin docenten vertellen over de uitkomsten van de AI-pilots
Wil je meer lezen over de uitkomsten van de pilots? Op de website van het Teaching and Learning Centre van FNWI (UvA) vind je zes filmpjes waarin docenten van verschillende opleidingen over de bevindingen vertellen.
Meer weten over de AI-pilots van FNWI?
Neem contact op met Emma Wiersma
0 Praat mee