De PAItiëntsimulator helpt geneeskundestudenten bij het oefenen van hun communicatievaardigheden, vertelt Remco. Hij is Medical Educator en werkt als onderzoeker bij de Expertisegroep samen met docenten Medische Communicatie en Medische Informatiekunde en met onderwijsadviseurs, aan deze innovatieve tool.
Oefenen in een veilige omgeving
Studenten leren tijdens hun bachelor hoe gesprekken te voeren met patiënten. Ze moeten bijvoorbeeld leren hoe je goede, open vragen stelt. Tot nu toe kunnen ze patiëntgesprekken alleen oefenen met acteurs, vertelt Remco. “Omdat acteurs inhuren duur is, kunnen we dat maar beperkt doen. We horen van studenten dat ze graag meer willen oefenen. Ze zijn vaak ook zenuwachtig voor de oefengesprekken met de acteurs, onder andere omdat hier andere studenten bij zijn. De PAItiëntsimulator geeft eerstejaarsstudenten de kans om eerst alleen in een veilige omgeving te oefenen met een virtuele patiënt. Zo kunnen ze zich goed voorbereiden op de gesprekken met de acteurs, die we ook blijven aanbieden.”
Vragen intypen
Met de PAItiëntsimulator oefenen studenten het gesprek door hun vragen in te typen. Zo hebben ze meer tijd om goede vragen te bedenken en te reflecteren op de antwoorden. De virtuele patiënt is geprogrammeerd met een patiëntcasus, licht Remco toe. “In de casus zijn het medisch probleem, de persoonlijke achtergrond en de opvattingen van de virtuele patiënt beschreven. Verder staan er in de prompt ook aanwijzingen over hoe de virtuele patiënt zich moet gedragen. Bijvoorbeeld dat hij niet te snel te veel informatie moet weggeven. We hebben een rustige patiënt gecreëerd. In de toekomst kunnen we ook boze of gefrustreerde patiënten simuleren.”
Focus op communicatievaardigheden
De PAItiëntsimulator geeft studenten geen expliciete feedback over het gesprek. “Maar als je gesloten vragen stelt, krijg je gesloten antwoorden”, aldus Remco. Hij benadrukt dat het doel van de PAItiëntsimulator is om te oefenen met communicatie - niet met klinisch redeneren. De simulator is ontwikkeld met collega’s uit het communicatieonderwijs. Remco denkt dat het nu nog niet goed mogelijk is om de PAItiëntsimulator in te zetten om te oefenen met klinisch redenen. “Daarvoor is meer validatie nodig, zodat de antwoorden 100% feitelijk juist zijn. Generatieve AI-modellen doen voorspellingen op basis van kansberekening. Ze kunnen daardoor niet in alle gevallen 100% correcte antwoorden geven.”
Eerste testresultaten positief
De achttien studenten die meededen aan de testen met de PAItiëntsimulator waren positief. Ze vonden het fijn om met de virtuele patiënt te oefenen en zeiden deze in de toekomst te willen gebruiken. Ook de betrokken docenten, Inge Henselmans en Robert Hulsman, zijn positief over de PAItiëntsimulator. In februari 2025 gaan Remco en de betrokken collega’s de PAItiëntsimulator inzetten bij alle eerstejaars geneeskunde. Ze gaan dan ook onderzoeken wat het effect is van deze leerinterventie. Hiervoor is een casus van een vijftigjarige vrouw met diabetes geprogrammeerd. Het streven is dat gebruikers in de toekomst zelf casussen kunnen uploaden voor diverse types patiënten.
Formatieve feedback op bachelorscripties
Ook bij het ontwikkelen van de AI4feedback-tool werkt Remco samen met collega’s onder wie een docent en twee onderwijsadviseurs. Deze tool geeft formatieve feedback op bachelorscripties - in aanvulling op de feedback van de scriptiebegeleiders. Geneeskundestudenten hebben bij het Academisch Medisch Centrum Amsterdam veel vrijheid bij het kiezen van een plek om hun bachelorscriptie te schrijven. Ze kunnen kiezen uit 900 senior tutors en zo’n 4000 begeleiders binnen het Amsterdam UMC en eventueel ook daarbuiten. “Zo kunnen ze iets doen waar ze echt enthousiast voor zijn”, zegt Remco. “Uit evaluaties blijkt dat studenten die keuzevrijheid erg waarderen. Maar het nadeel is dat het voor ons lastiger is om gelijke kwaliteit van feedback te garanderen. Niet elke begeleider geeft even goede feedback.”
Hulp van ouders of tegen betaling
Daarnaast zien Remco en zijn collega’s dat sommige studenten bij hun scriptie hulp krijgen van hun hoogopgeleide ouders of betalen voor scriptiehulp. Remco: “Om studenten meer gelijke kansen te geven, ontwikkelen we de AI4feedback-tool.” De tool kan voor 36 beoordelingscriteria goede feedback geven. De criteria zijn uitgebreid gevalideerd door de expertisegroep en vier studenten op theses van verschillend niveau én vergeleken met menselijke feedback. “De tool geeft aan op welke punten je je thesis nog kunt verbeteren en geeft tips hoe dat te doen. Studenten moeten zelf hun scriptie aanpassen op basis van die tips.” De AI4feedback-tool zal eind september 2024 worden ingezet bij alle derdejaars.
Onderzoek naar AI-Scriptiebeoordeling
De Expertisegroep onderzoekt ook of generatieve AI gebruikt kan worden om scripties te beoordelen. Gekeken wordt naar: de kwaliteit van de beoordeling, hoe de beoordeling door AI zich verhoudt tot de menselijke beoordeling, en welke mogelijke biases er kunnen optreden. Het is niet de bedoeling scripties te gaan beoordelen met AI, zegt Remco. “Dit onderzoeksproject valt in de hoog-risico-categorie van de AI Act. We gaan het niet inzetten in het onderwijs.”
AI-geletterdheid en toetsvraaggenerator
In totaal werkt de Expertisegroep aan tien projecten. Er is veel aandacht voor AI-geletterdheid, zoals het kritisch beoordelen van AI-output en ethische kwesties als milieu, bias en privacy. Daarnaast gaan studenten zelf aan de slag met AI. Zo creëren studenten een AI Tutor om Gen AI te leren gebruiken voor hun eigen leerproces of ze maken samen met AI een Business Plan. Verder is er een toetsvraaggenerator ontwikkeld die toets(oefen)vragen kan genereren op basis van syllabi of leerdoelen. Deze wordt binnenkort geëvalueerd. Gekeken zal worden naar: hoe goed zijn de toetsvragen, zijn ze beter dan door mensen gemaakte vragen, en wat vinden studenten ervan?
Privacyproof
De AI-tools die de Expertisegroep ontwikkelt draaien op het taalmodel GPT4o binnen de UvA AI Chatomgeving, besluit Remco. “De servers staan in de EU dus ze voldoen aan AVG-wetgeving. Daarnaast wordt het model niet getraind op de input van de studenten.”
Bij de PAItiëntsimulator zijn vanuit het Amsterdam UMC betrokken: Inge Henselmans (Coördinator Vaardighedenonderwijs), Robert Hulsman (Stafdocent Medische communicatie), Eline Verberne (arts-docent), Remco Jongkind, en onderwijsadviseurs, Jennita Meinema en Floor van der Steijle. De ontwikkeling is deels gefinancierd door de Responsible Use of AI-beurs van de Universiteit van Amsterdam.
Bij AI4Feedback zijn vanuit het Amsterdam UMC betrokken: Floor van der Steijle, Erik Elings, Ankie Vink (onderwijsadviseur), Lisa van Klaveren en Lotte Barmentloo (Medical Educators), en Remco Jongkind. De ontwikkeling is gefinancierd door het Nationaal Regieorgaan Onderwijsonderzoek.
0 Praat mee