Nakijken met ChatGPT
Hoe goed kan ChatGPT nakijken? Een docent experimenteerde hiermee door ChatGPT in te zetten tijdens het nakijken van eindexamens. De eindexamens had hij zelf al had beoordeeld en de leerlingen hun resultaten al hadden ontvangen. Vijfentwintig leerlingen gaven toestemming om hun examens te gebruiken voor dit experiment. Helaas liep het experiment niet zoals gehoopt. ChatGPT vergat regelmatig om alle 25 leerlingen na te kijken en feedback te geven. Als de eerste 12 examens goed werden beoordeeld, werden de laatste 13 examens vaak overgeslagen. Bovendien gaf ChatGPT bij het geven van feedback vaak de antwoorden van de leerlingen onjuist weer, wat leidde tot verwarring en onnauwkeurige beoordelingen.
Best Practice
De docent van het voorbeeld hierboven had een aantal dingen kunnen veranderen om op een gewenstere uitkomst te komen:
- De instructie was misschien niet helder genoeg voor het systeem. Door anders te ‘prompten’ kan je voorkomen dat het systeem een aantal examens vergeet na te kijken.
- Houdt rekening met ethiek en wetgeving. Je kunt bijvoorbeeld de auteursrechten van je studenten schenden door hun teksten in ChatGPT in te voeren. Ook is het ethisch gezien ingewikkeld om examens na te laten kijken door ChatGPT. Zo kan er bijvoorbeeld bias in het systeem zitten waardoor sommige leerlingen anders beoordeeld zullen worden dan andere leerlingen.
Programmeren met ChatGPT
Perry et al. (2023) onderzochten wat het effect is van AI inzetten op hun studenten tijdens de les voor het schrijven van code. De resultaten toonden aan dat studenten die AI gebruikten om te programmeren, minder betrouwbare code schreven dan studenten die geen AI-assistent hadden gebruikt. Echter, de participanten die AI gebruikten en kritisch waren over de uitkomsten van AI en hun prompts bleven aanpassen, schreven juist meer betrouwbare code dan de studenten die geen AI-assistent gebruikten.
Best practice
Het onderzoek van Perry et al. (2023) laat zien dat tijdens het programmeren leerlingen die kritisch zijn op de output van de AI assistent een beter resultaat behaalden. We kunnen een aantal lessen leren uit het onderzoek hierboven. De volgende tips kan je meenemen tijdens het toepassen van AI in de les:
- Denk goed na wanneer het nuttig is om een AI-assistent in te zetten tijdens de les. Zo is de het kritisch nadenken van de output van ChatGPT voor sommige vakken minder belangrijk dan bij andere vakken. Bijvoorbeeld bij het schrijven van goede essays wel essentieel om goed stil te staan bij de output die gegenereerd word.
- Denk goed na hoe je lerende helpt kritisch te zijn om de output van ChatGPT zodat zij een beter resultaat kunnen behalen. Behandel het bijvoorbeeld in de les of help met vragen die zij kunnen stellen om ermee aan de slag te gaan.
Wat biedt de Vraagbaak AI?
In dit blog zijn voorbeelden benoemd van experimenten met AI die anders liepen dan verwacht. De Vraagbaak AI is de plek waar dit soort voorbeelden gedeeld kunnen worden en biedt de plek waar vragen gesteld kunnen worden over AI in het onderwijs aan de community maar ook aan de expertgroep die is aangehaakt bij de Vraagbaak. De vraagbaak is ook de plek waar dit potentiële use-cases met elkaar gedeeld kunnen worden om van elkaar te leren en samen best practices op te stellen. Of zelfs beter om je experimenten en vragen te delen vooraf, zodat we elkaar kunnen helpen en de experimenten nog beter kunnen maken. Experimenteren is belangrijk om innovatie te kunnen doen, dus doe mee en deel wat je doet en je leert!
Bron
Perry, N., Srivastava, M., Kumar, D., & Boneh, D. (2023). Do Users Write More Insecure Code with AI Assistants? arXiv (Cornell University). https://arxiv.org/abs/2211.03622
0 Praat mee