Transparantie van algoritmen in het onderwijs: waarom we er niet aan ontkomen

Direct inschrijven voor de bijeenkomst op 28 september kan hier!

Een algoritmeregister kan worden gezien als een overzicht van de algoritmes die onderwijsinstellingen gebruiken binnen het onderwijs en binnen ondersteunende processen van het onderwijs. Klinkt tot zo ver nog vrij simpel, maar:  wat moet er precies in komen? Wat verstaan we eigenlijk onder een algoritme? Hoe pak je het aan? Wat zijn risico's en hoe zit het met algoritmen van leveranciers? En ook de vraag: zijn er andere manieren om transparantie van algoritmen te regelen? En is een register dan wel het meest geschikt? Daarover ging het gesprek op 20 april in Utrecht.

We ontkomen er niet aan, toch?
De verkenningen naar en vagen over een algoritmeregister worden bijvoorbeeld ingegeven door aanstaande wetgeving, de wens om transparant te zijn en beter inzicht te krijgen in welke algoritmes er nu worden gebruikt. Een van de eerste opmerkingen vanuit de zaal is: “We ontkomen er toch gewoon niet aan? We moeten gebruikte algoritmen binnen het onderwijs wel openbaar maken”.

Het ministerie van OCW ziet twee relevante ontwikkelingen voor een algoritmeregister. Aan de ene kant de AI Act die grote bedrijven verplicht om algoritmen te registeren. Dat wordt ook voor leveranciers in het onderwijs verplicht. En ook de Nederlandse wetgeving zorgt voor aandacht voor transparantie van algoritmen. De overheid begint met registratie van high risk algoritmen. Daarbij kijkt OCW ook naar eventuele mogelijkheden voor onderwijs.

Waarom een algoritmeregister?
In een inventarisatie die SURF uitvoerde voorafgaand aan het gesprek is ook nagedacht over het doel van een algoritmeregister. Dat is het (al dan niet wettelijk verplicht):

• transparant zijn over het gebruik van algoritmes en
• kunnen uitleggen hoe besluiten tot stand zijn gekomen.

Hierdoor wordt het mogelijk voor stakeholders binnen en buiten de organisatie om te zien hoe algoritmes gebruikt worden en tot welk effect. Uiteindelijk helpt transparantie verantwoorde en transparante inzet van algoritmes in het onderwijs te stimuleren en kunnen we de manier waarop we met data omgaan in het onderwijs verbeteren. 

Door transparantie: 

• kunnen we fouten herkennen (algoritme/ gebruikte data meet niet wat beoogd wordt) 
• Kunnen we niet wenselijke (niet-ethische) analyses herkennen en voorkomen  
• Kunnen we wettelijk niet toegestane analyses/algoritmes identificeren en voorkomen (discriminerende bijvoorbeeld) 
• Kunnen we algoritmes verbeteren / doorontwikkelen 
• Kunnen onderwijsinstellingen van elkaar leren 
• Kunnen we individuen inzicht geven 
• Kan het vertrouwen in analyses worden gestimuleerd. Nu vertrouwen niet alle docenten de terugkoppeling in dashboard, omdat niet duidelijk is hoe ze tot stand gekomen zijn. Ook studenten kunnen vragen of bezwaren hebben bij het gebruik van studiedata als zij niet weten welke data op welke manier voor welk doel worden gebruikt). 

Als aanvulling wordt geopperd: een algoritmeregister kan helpen om te kunnen toetsen of algoritmes eerlijk zijn. Het benadrukken van de positieve kant van een algoritmeregister is ook belangrijk. “Laten we het zien als kans, bijvoorbeeld om kansengelijkheid te bevorderen. En niet als manier om risico’s te mijden”, wordt aangegeven.

Doelgroepen algoritmeregister 
Er zijn verschillende doelgroepen van een algoritmeregister voor het onderwijs denkbaar, zoals: 

• individuen, studenten, (ouders/verzorgers van) leerlingen om te snappen welke data gebruikt worden en met welk doel 
• medezeggenschapsraden, studentenraden
• onderwijsinstellingen, om te leren van elkaar (hoe komen we tot goede, ethische algoritmen, kunnen we elkaars algoritmen delen en verbeteren?)
• onderzoekers/journalisten moeten het algoritmeregister kunnen raadplegen om ongeregeldheden te kunnen signaleren 
• toezichthouders om algoritmes te controleren 

De doelgroepen en doelen leveren een mooie discussie op. Het is van belang dat je duidelijk bent in waar je je op richt en dit in het proces helder maakt. Hoe kan de doelgroep weten dat het nu eerlijk uitpakt? Niet iedereen hoeft alle code te zien, maar voor sommige doelgroepen is het pas interessant als de algoritmen, de recepten gedeeld worden. Vraag is dus: wat wil je vastleggen? Wat wil je aan wie bieden en waarom?

Veel aandachtspunten
Vraagstukken en aandachtspunten zijn er ook! In de eerdere inventarisatie kwamen er al een paar naar voren. Tijdens het gesprek wordt ook stilgestaan bij de nog niet opgeloste vraagstukken rondom een algoritmeregister voor het onderwijs.
 

• Transparant vs. begrijpen 
  “Biedt het eigenlijk wel transparantie? Wie snapt er nog iets van als alles wordt gepubliceerd?”, kwam uit de zaal. Dat een algoritme transparant gemaakt wordt, wil nog niet zeggen dat het ook begrepen wordt door de doelgroep(en). Daarvoor zullen de omschrijvingen ook getoetst moeten worden. Een voorbeeld daarvan: het UWV heeft drie algoritmes die nu gepubliceerd zijn eerst voorgelegd aan een klantpanel van ongeveer 700 mensen op transparantie en begrijpelijkheid. 

• Welke algoritmes wel en welke niet? 
  Is het streven om alle algoritmes te publiceren of bijvoorbeeld alleen de meest risicovolle? Of alleen de algoritmes die individuele personen raken? En als het alleen om de meest risicovolle algoritmes moet gaan: in hoeverre is de impact per algoritme te bepalen? En is er juist een reden om hoog risico algoritmes niet pro-actief openbaar te maken? Er zou een kader gemaakt kunnen worden om te bepalen welke algoritmes wel en niet in het register komen. 

  Het gaat om de vraag: wat wil je registreren? Er zit gelaagdheid in, wordt opgemerkt. Gaat het om een exacte beschrijving wat je met code doet? Of om een beschrijving van wat de bedoeling van het algoritme is? Of: toetsten of het doet wat het moet doen? Dat maakt uit voor wat je in een algoritmeregister opneemt.
   

• Wie is algoritmeverantwoordelijke binnen instelling? 
  Binnen instellingen is er vaak nog geen algoritmeverantwoordelijke vastgesteld. Dat moet nog gebeuren, volgens de een. Niet nodig, volgens de ander, want iedereen is verantwoordelijk voor de algoritmen die je maakt, gebruikt, inkoopt etc.

• Administratieve last vs. verwacht gebruik 
  Het verzamelen, beschrijven en publiceren van algoritmes kost vermoedelijk veel tijd. Wie pakt dit binnen de instellingen op? Bovendien is het een blijvende activiteit, omdat er steeds nieuwe algoritmes bij kunnen komen, of data wordt in de loop van de tijd net iets anders gebruikt.  Tegenover die verwachte workload staat de vraag of studenten wel geïnteresseerd zijn in het bekijken van de algoritmes. Gebruik verandert ook, dus eenmaal vastgelegd betekent niet dat je klaar bent. De vraag is dus: tuigen we niet een heel circus op voor een erg klein publiek? Is een lijst met algoritmes in Excel of een simpele website (vooralsnog) niet voldoende? 

• Risico van publiceren 
  Wat is het risico van publiceren van algoritmes? Het levert mogelijk veel vragen op van studenten, journalisten en anderen. Hoe ga je daarmee om als instelling?  Hoe maak je het iets dat voor je werkt, in plaats van tegen je?

• Voor of door de instelling gebruikte algoritmes 
  Hoe pak je het aan als je vooral producten van leveranciers gebruikt, in plaats van zelf algoritmen ontwikkelt? In een algoritmeregister wordt bijgehouden welke gegevens gebruikt worden door of voor de onderwijsinstelling. Voor algoritmes die de onderwijsinstelling zelf ontwikkelt zal relatief snel duidelijk zijn welke data precies gebruikt worden.

  Voor algoritmes die voor de onderwijsinstelling worden gebruikt kan dit heel anders liggen. Wanneer een leverancier van een LMS, toetssysteem of adaptieve leermethode algoritmes gebruikt om de student van een instelling meer gepersonaliseerd onderwijs aan te bieden of advies te geven over het studeren/leren, kan de instelling dan achterhalen welke algoritmes precies gebruikt zijn? 

  Mogelijke belemmering is dat leveranciers beperkt informatie over hun algoritmes verstrekken, omdat het hun verdienmodel is.  Welke afspraken met leveranciers zijn nodig? De vraag is: helpt het ook om leveranciers te bewegen transparant te worden over hun algoritmes? Of is dit voor leveranciers onwenselijk, omdat de algoritmes juist onderdeel zijn van hun verdienmodel?

  Het wordt door de aanwezigen gezien als van belang voor leveranciersmanagement. Het maakt het mogelijk afspraken te maken over systeemgedreven applicaties. In het bijzonder als het gaat om beoordeling (medewerkers) en toetsing (studenten). Ook is de vraag welke data er achterblijft bij leveranciers. Je wilt eigenlijk “transparantie over wat er achter de schermen gebeurt”. Als het gaat om dataverwerking en hoog risico systemen, kun je dan vertrouwen op self-assesment van leveranciers? In Inkoop zou je al willen uitvragen wat het algoritme doet, waarvoor, en wat gebeurt er met de data? Niet het hoe, maar het wat. “Je verwacht dat er geen spijkers in de schoenen zit”. In breder verband zijn gezamenlijkheid in onderwijs in uitvoeren van DPIA’s op zoom, etc. kun je een vuist maken richting leveranciers. De vraag is of het algoritmregister hierbij een hulpmiddel kan zijn.
   

• AI als black box  
  Zijn de algoritmes te omschrijven als ze zelflerend zijn, zoals bij AI het geval is? De doelen blijven overeind, maar hoe zit dat met de uitkomsten? AI gebruikt een dataset van (persoons)gegevens om het algoritme te trainen. De dataset kan bevoordeelde (discriminerende, ongewenste, niet-ethische) overtuigingen bevatten, of het gedrag of de voorkeuren van de meerderheid reflecteren.  Als dit soort datasets worden gebruikt om algoritmes te trainen kan dit leiden tot oneerlijke uitkomsten voor bepaalde mensen of groepen mensen.  

  De complexiteit van algoritmes neemt toe en daarmee wordt het steeds moeilijker om de algoritmes te begrijpen en uit te leggen. Dan is er sprake van een black box. Instellingen hebben zo geen zicht meer op wat er met gegevens gebeurt en kunnen dat ook niet transparant maken naar bijvoorbeeld studenten.  

• Verschillen tussen po, vo, wo, mbo, hbo, UMC’s ? 
  Er is volgens de deelnemers aan de bijeenkomst veel verschil tussen typen instellingen. En ook verschil tussen bijvoorbeeld universiteiten onderling. Bij de ene instelling lopen al initiatieven, bij de andere nog niet en moet nog worden gewerkt aan bewustwording. Bij de ene instelling is er veel meer sprake van eigen algoritmen (universiteiten met name) dan bij de andere instellingen, waar voornamelijk algoritmen van leveranciers worden gebruikt.

Samenwerking en kennis delen
Hoewel er verschillen tussen sectoren en instellingen worden gezien, wordt ook aangegeven dat samenwerking en kennis delen op dit gebied belangrijk is. “We moeten er allemaal iets mee, dus laten we niet overal los van elkaar opereren. Niet dat we alles precies hetzelfde hoeven te doen, maar wat wel goed is, is een basis voor de manier waarop je een algoritmeregister kwalitatief goed en met zo min mogelijk administratieve lasten en risico’s kunt vormgeven. Samen een taal en vastlegmanier vaststellen kan heel waardevol zijn”.

Inbedding en aansluiting andere processen
“Het werkt ook niet als los project, het moet worden ingebed in instellingen, en passen bij processen die al lopen binnen instellingen. De aanpak moet daarom niet te hoog gegrepen worden. Liever beginnen we behapbaar met realistische usecases en het bepalen van de overlap met een verwerkingsregister, inkoopvoorwaarden en DPIA’s bijvoorbeeld.  En dan breiden we van daaruit uit”.

Wat hierbij ook hardop wordt afgevraagd: wat verschilt een algoritmeregister van het verwerkingsregister? Zijn er al instellingen die vanuit het verwerkingsregister publiceren? Daarnaar is de groep benieuwd. Heb je hier informatie over? Laat het ons weten (zie onderaan dit artikel hoe)!

Er hoeft niet direct een tool te komen
Er hoeft niet direct een tool te ontstaan, volgens de deelnemers aan het gesprek. “Het algoritmeregister, en de gesprekken erover zijn een concrete kapstok om te komen tot bewustwording en tot verantwoorde inzet van algoritmen en AI binnen het onderwijs. De verkenning naar een tool kan helpen om deze discussie aan te gaan. Alleen al om te achterhalen wat je als instelling nu precies in huis hebt aan algoritmen is belangrijke winst”.

Het is verder hoe dan ook belangrijk om uit te gaan van het doel of de doelen die we hebben met een algoritmeregister. Het register zelf moet niet het doel worden. “Koppel het doel aan de tool. Gebruik je het voor inkoop of bijvoorbeeld als naslag voor de student. Dat vergt andere tools en ook een andere toon: droog of verhalend, smakelijk zelfs”.

En nu? Vervolgsessies

• Sessie 1 – 28 september 2023:
  doelgroepen en specifieke doelen in kaart brengen
  Om de doelen beter te duiden en beter te kunnen bepalen wat er in een algoritmeregister moet komen, willen we in een vervolggesprek ingaan op verschillende doelgroepen en de opbrengsten van een algoritmeregister voor deze specifieke doelgroepen. Want, zo bleek in het gesprek op 20 april: het maakt nogal uit of je transparantie wil bieden aan studenten, een controlerende partij, onderzoekers of technisch specialisten.

Inschrijven kan hier!

• Sessie 2 – eind oktober / begin november:
  een proces waarin een algoritme gebruikt wordt ontrafelen
  Een van de aanbevelingen die tijdens de bijeenkomst werd geopperd was: kijk naar een use-case om de invulling van een algoritmeregeister behapbaar en inzichtelijk te maken. En kijk naar wat de rol van algoritmen in een bepaald (risicovol) proces is. Denk aan algoritmen in proctoring en beeldherkenning. Ook processen rondom eindcijferberekening worden genoemd.  En ook: het numerus fixus proces bij bachelor-studenten. Waar toets je op? Er zit bias in het proces. De selectie van studenten is een hoog risico proces en heeft veel impact. Hoe ga je daarmee om en wat zijn de do’s en don’ts? In de tweede sessie willen we een of enkele van deze processen ontrafelen en bepalen hoe een algoritmeregister een rol kan spelen om transparantie te bieden in realistische risicovolle processen en wat die transparantie vervolgens oplevert.

Bijdragen?
Wil je bijdragen in een van deze bijeenkomsten? Laat het weten via studiedata@surf.nl

Vragen of wil je iets delen?
Ben je binnen je instelling bezig met transparantie van algoritmen en heb je goede voorbeelden die je wilt delen? Laat het weten aan karianne.vermaas@surf.nl