Met een team van collega’s en student-assistenten heeft Silvester al acht experimentele chatbots voor in het onderwijs ontwikkeld. Hij vindt ze behoorlijk goed werken, maar benadrukt dat het experimenten zijn. “Ze zijn niet perfect.” De bots zijn gemaakt met de ‘AI Engine’-plug-in van WordPress die verbonden is met een Large Language Model (LLM) chatbot. De WordPress-pagina’s zijn goed te integreren in de Canvas-leeromgeving.
Prompt-engineering kennis
Voor elke chatbot is een zorgvuldig gestructureerde prompt geschreven die de bot heel precies vertelt wat deze moet doen. Het vergt een flinke dosis kennis van prompt-engineering om iets te maken dat een goede interactie met de gebruiker oplevert, zegt Silvester. “Dit soort prompts schrijf je niet zomaar even. Het is een proces van veel trial-and-error en uitvoerig testen. Onze student-assistenten van het VU Education Lab helpen ons daar enorm bij.”
Retrieval-Augmented Generation
Alle op leren gerichte chatbots zijn gemaakt met ‘Retrieval-Augmented Generation (RAG)’. Deze methode zorgt ervoor dat de bot specifieke informatie ophaalt uit één of meer speciaal geprepareerde, legt Silvester uit. “Dit helpt de bot om contextueel relevantere en nauwkeurigere antwoorden te genereren. Hierdoor hallucineert de bot minder - 100 procent foutloos is nog niet mogelijk.”
Oefenen met Open Access boeken
Een voorbeeld is de AI Tutorbot die werkt met de Open Access tekstboeken van OpenStax. Studenten kunnen in interactie met de bot toetsen of ze de leerstof van een boek beheersen. De bot vraagt met welk OpenStax-boek je wilt oefenen en laadt dit in. Daarna toont de bot de hoofdstukken van dat boek en vraagt met welk hoofdstuk je wilt oefenen en met welk vraagtype.
Voordeel van tutorbots
Een voordeel van tutorbots is dat studenten de vrijheid hebben om te kiezen waarmee en wanneer ze willen oefenen, zegt Silvester. “Doordat de bot de student eerst een aantal keuzes laat maken [boek, hoofdstuk, type vraag], en zich volledig op een specifieke set bronnen baseert, ontstaat een doelgerichte interactie. Maar we zetten er wel nog altijd bij ‘check de juistheid’. Docenten kunnen deze tutorbot laden met de boeken van hun cursus, mits die Open Access zijn. Anders krijg je problemen met auteursrecht.”
Mastertrack-keuze
De experimentele AI bot Mastertrack-keuze kan studenten helpen bij het kiezen van een track voor de master Finance. Deze bot is ontwikkeld op verzoek van een docent, die telkens opnieuw de verschillen tussen de zeven tracks moest uitleggen. Voor deze bot werd alle informatie over de zeven mastertracks ingeladen. Daarna werd de bot met een prompt zo geïnstrueerd dat hij de gebruiker acht vragen voorlegt. Nadat je die beantwoord hebt, vertelt de bot welke tracks waarschijnlijk het best en minst goed bij je passen. Silvester: “Deze bot moet nog getest worden, maar als het principe werkt kun je het voor heel veel opleidingen toepassen.”
Nieuwsgierig en huiverig
Wat vinden docenten van dit soort bots? Silvester: “Ze zijn nieuwsgierig, maar ook huiverig en sceptisch. Ze vrezen hallucinaties of privacy issues. Maar als ik ze vertel over de RAG-methode en dat het systeem anoniem werkt, omdat het in de interacties geen persoonsgegevens gebruikt, is er meestal meer vertrouwen. Wel geldt: eerst zien, dan geloven. Voor een docent van de opleiding Psychologie ontwikkelen we nu een chatbot waaraan studenten zelf vragen kunnen stellen. Deze bot zoekt het antwoord eerst in het boek waarmee de bot gevoed is. Daarna gebruikt de bot ook nog alle achtergrondgegevens van de LLM om de responsen te genereren.”
Tijd besparen
De docent hoopt met deze chatbot vooral tijd te besparen, zegt Silvester. “Ze moest alsmaar dezelfde inhoudelijke vragen beantwoorden op een discussieforum voor studenten dat ze gebruikt in haar cursus. De docent was eerst huiverig maar is er nu van overtuigd dat de bot correcte antwoorden genereert. Door deze chatbot krijgen studenten straks sneller antwoord.” Silvester hoopt dat de bot er ook voor zorgt dat studenten zich de stof beter eigen maken en wil dat graag wetenschappelijk onderzoeken. “Er is nog maar weinig empirisch onderzoek gedaan naar de leereffecten van de huidige ChatGPT-achtige chatbots in een praktische onderwijscontext. Mogelijk gaan we dit najaar onderzoek doen.”
Studiecoah, Taaltrainer en Gesprekssimulatietrainer
Het VU Education Lab experimenteert verder nog met een AI Studiecoach, AI-taaltrainer, AI Medezeggenschaptrainer en een AI gesprekssimulatietrainer. Silvester: “Door dit soort bots kunnen studenten en medewerkers op een veilige en persoonlijke manier interactief leren. Met de gesprekssimulatietrainer kunnen studenten eerst in een veilige omgeving lastige gesprekken oefenen. Daarna kunnen ze oefenen met medestudenten of acteurs en in het echt.”
Leestip
Voor wie meer wil weten over de potentie van LLM’s in het onderwijs, ondanks de inherente risico's en beperkingen, is het artikel 'Assigning AI: Seven Approaches for Students, with Prompts', interessant leesvoer, tipt Silvester. “Het beschrijft de AI-tutor, AI-coach, AI-mentor, AI-teamgenoot, AI-tool, AI-simulator en AI-student, elk met unieke pedagogische voordelen en risico's.”
AI prompts onderwijsontwerp
Tot slot heeft VU Education Lab vijf kant-en-klare AI-prompts voor docenten gemaakt. Je kunt de bot bijvoorbeeld vragen om toetsvragen te verzinnen. In de prompt kan je als docent allerlei variabelen ofwel “probleempunten” aanvinken waar je als docent tegenaan loopt in jouw onderwijssituatie. Deze bot baseert zich niet op RAG maar op de kennis van de standaard LLM’s. Je kunt de bot ook een cursushandleiding laten schrijven of passende interactieve werkvormen laten bedenken.
‘Los mijn onderwijsprobleem op’
Bij de prompt ‘Los mijn onderwijsprobleem op’ kunnen docenten kiezen uit problemen als: ‘ik heb te veel nakijktijd’ of ‘mijn studenten zijn niet gemotiveerd’. De bot presenteert dan oplossingen. De eerste reacties zijn behoorlijk positief, maar sommige docenten vinden de antwoorden wat algemeen. Silvester probeerde de bot te voeden met specifieke informatie zoals een onderwijsvisiedocumenten of kwaliteitshandboeken maar dat was geen succes. “De bot verwerkt dan heel geforceerd de die informatie in elk antwoord!”
Wil je de bots eens uitproberen? Kijk op AI experimenten van VU Education Lab
Deel je ervaringen met AI Chatbots in het onderwijs!
Experimenteert jouw instelling ook met AI Chatbots in het onderwijs? Laat het ons weten. De Vraagbaak maakt een serie over AI chatbots in het onderwijs en toont graag praktijkvoorbeelden. Mail naar: Vraagbaak
Illustraties: alle illustraties zijn gemaakt met AI.
0 Praat mee