Kwestie van vertrouwen
Vertrouwen behouden of creëren. Dat blijkt een belangrijke reden om algoritmes binnen het onderwijs transparant te maken. Door transparant te zijn over welke data worden verzameld en welke algoritmes erop logelaten worden, weten bijvoorbeeld studenten dat het onderwijs zorgvuldig omgaat met verzamelde data en beslissingen op basis van die data. Mogelijk kunnen we de transparantie en het vertrouwen bereiken door algoritmes vast te leggen in een algoritmeregister.
Verkenning vanuit SURF en Npuls
Germaine Poot van SURF blikte kort terug op deze verkenning die vorig jaar is gestart vanuit SURF. Binnen het onderwijs wordt steeds meer nagedacht over en gewerkt met data analyses en AI. Tegelijkertijd zijn er ook zorgen: wat doen al die algoritmes precies? Wie heeft er zicht op welke algoritmes waar en hoe gebruikt worden? Transparantie van algoritmes die worden ingezet in het onderwijs wordt steeds meer gezien als gewenst en noodzakelijk. Maar hoe pakken we dat binnen het onderwijs aan?
Inmiddels is het Npuls-programma gestart op 1 juli, het Nationaal Groeifondsprogramma van en voor alle publieke mbo-scholen, hogescholen en universiteiten in Nederland. In het programma werken deze partijen samen om de kwaliteit van het onderwijs te verbeteren, de wendbaarheid van het onderwijs te vergroten én de digitale vaardigheden van docenten en lerenden te verbeteren. De verkenning naar hoe we vanuit het onderwijs transparantie van algoritmes voor elkaar krijgen, past daar goed in. Binnen Npuls is de verkenning naar een algoritmeregister onderdeel van de Pilothub Studiedata en AI, waarvan Dominique Campman projectleider is. Ook hij was aanwezig tijdens de sessie.
Veel vragen maken het overweldigend
Er wordt binnen de instellingen wel gekeken naar algoritmes en hoe ze transparant kunnen worden gemaakt, maar het daadwerkelijk transparant maken of publiceren van algoritmes loopt nog geen enorme vaart.
Tijdens een kennismakingsrondje bleek al snel dat er verschillende vragen leven. Wat is een algoritme precies? Mag je algoritmes gebruiken en wat is het effect op het onderwijs? Hoe vul je transparantie in? Het verwerkingsregister is nog niet op orde, en nu weer een nieuw register? En leggen we niet al uit wat we doen in een Dpia? De Autoriteit Persoonsgegevens is aangemerkt als algoritme toezichthouder; hoe werkt dat samen met een algoritmeregister? Er lijken zoveel vragen te zijn dat we binnen het onderwijs overweldigd zijn en niet in actie kunnen komen.
Overzicht en verantwoordelijkheid
Daarbij kwam verschillende keren terug dat we het idee hebben dat er al veel algoritmes en AI in gebruik is binnen de onderwijsinstellingen, zonder dat we het weten. Wie heeft het overzicht? Wie binnen de instelling is verantwoordelijk voor al die algoritmes? Dat maakt het ook lastig om een start te maken.
“De huidige situatie is niet wenselijk en houdbaar. We zijn niet bewust en niet transparant. We hebben geen zicht op welke algoritmes worden gebruikt, waar AI wordt ingezet. En daarbij of daardoor zijn we er ook niet transparant over.”
Moeten en willen. Wat levert het op?
Hoewel het lastig is, is er zeker een wens om met transparantie van algoritmes aan de slag te gaan.
"We moeten en willen uitleggen wat we doen. Aan de ene kant is het moeten; we moeten compliant zijn, ons aan de wet houden. Aan de andere kant heeft het allerlei voordelen om transparant te zijn over algoritmes".
Wat betekent het voor de instelling? De korte samenvatting:
Uiteindelijk kan transparantie van algoritmes zorgen voor efficiency, een eerlijk imago, gemoedsrust voor de betrokkenen, het vergroten van acceptatie van algoritmes in het onderwijs, vertrouwen en voor het voorkomen van fouten en onnodige algoritmes. Het register kan immers ook de vraag naar voren brengen: waarvoor zetten we het in en hoe, en is daar wel een algoritme voor nodig?
Inzicht en transparantie helpen ook bij inkoop van software voor het onderwijs. Hoe kunnen we samen optrekken om in de organisatie duidelijk te maken welke processen je moet doorlopen voordat je iets aanschaft?
Geen doel op zich
We moeten voorkomen dat het register een doel op zich wordt. Het register zelf gaat ons probleem niet oplossen. We zouden ook kunnen werken aan een kader in plaats van een algoritmeregister. Of: “wellicht is een Excel-bestand al een hele stap in de goede richting”.
“Een algoritmeregister voor het onderwijs kan voor vertrouwen zorgen, maar moet geen doel op zich worden”.
Welke vorm de transparantie van algoritmes ook krijgt, het wordt als zinvol beschouwd om samen af te spreken wat we hoe doen binnen het onderwijs. We zouden moeten komen tot een instructie om algoritmes vast te leggen. Wat wil je er allemaal over kwijt? De hele code? Of alleen een globale omschrijving van doelen en de data die verzameld zijn en gebruikt worden? Hoe doen we dat eenduidig?
Ook moeten we komen tot afspraken over hoe een eventueel algoritmeregister werkt naast het verwerkingsregister, naast Dpia’s en andere processen binnen de onderwijsinstellingen. Het inrichten van processen wordt gezien als een van de grootste uitdagingen. We moeten een manier vinden om dat op de juiste manier te organiseren.
"Ik ben en vooral op zoek naar hoe een algoritmeregister zou kunnen gaan werken, te midden van andere registers, zoals een verwerkersregister en het register van persoonsgegevens. Is het iets dat erbij komt, of zou het een uitbreiding kunnen worden op andere, bestaande registers? Daarvoor moet hoe dan ook naar voren komen welke doelen we nu eigenlijk willen dienen met een algoritmeregister".
Iedereen binnen de instelling moet bijvoorbeeld bewust worden van transparantie van algoritmes. Juist omdat het overal binnen de instelling speelt. En als je voor studenten gaat uitleggen, ook studenten meenemen. Voordat al die processen op orde zijn, gaat er veel tijd overheen.
Belang van communicatie
Communicatie is heel belangrijk, komt verschillende keren naar voren. Als je transparant wilt zijn naar een student toe, dan heb je een andere boodschap dan wanneer je dat doet voor docenten, of IT’ers, onderzoekers en journalisten bijvoorbeeld.
Hoogrisico algoritmes
De groep is het erover eens dat hoogrisico algoritmes in kaart gebracht moeten worden. Maar hoe bepaal je of iets hoog risico is? Dat is nog niet duidelijk genoeg. Als het gaat om het verwerken en analyseren van studiedata is het al snel hoogrisico. Wat maakt nu een goed startpunt? Welke algoritmes moeten we nu met de hoogste prioriteit in beeld krijgen?
Daarbij worden twee factoren aangegeven: wanneer het gaat om kwetsbare groepen en spannende processen is de kans het grootst dat er hogere risico’s zijn. Kwetsbare groepen zijn studenten en onderzoekdeelnemers. Die wil je heel goed kunnen uitleggen wat er precies gedaan wordt met de data en met welke algoritmes. Spannende processen die genoemd worden, zijn bijvoorbeeld instroom/selectie inschrijven. Die processen verdienen uitleg (welke factoren speelden een rol?). Toetsen wordt ook genoemd en daarnaast studiebegeleiding.
Rol leveranciers
Een paar keer wordt aangegeven dat veel gebruikte algoritmes waarschijnlijk liggen bij leveranciers. Het zou helpen als het onderwijs en leveranciers met elkaar in gesprek kunnen gaan over hoe we samen tot meer transparantie van algoritmes kunnen komen.
Waar beginnen?
Zoals eerder geconstateerd: het is complex en daar aan de slag te gaan zal nog veel meer complexiteit naar boven komen. Tegelijkertijd heerst een drive om wel stappen te zetten. Maar waar beginnen we? De meest complexe processen en doelgroepen wordt gezien als interessant, omdat daar de grootste winst te halen is. Maar daarmee starten is ook lastig.
En nu verder?
Hoe kunnen we nu de eerste stappen gaan zetten? Samen kwamen we tot de conclusie dat instellingen binnen hun instelling kunnen inventariseren welke algoritmes gebruikt worden. Daarvoor willen we vanuit Npuls een werkgroep opzetten.
A) Werkgroep algoritmes in kaart
Doel van de werkgroep is om in actie te komen, te ondervinden wat het inhoudt als we algoritmes transparant gaan maken. We gaan graag aan de slag met ongeveer 5 instellingen. Leden van de werkgroep:
- gaan in hun organisatie op zoek naar processen waarin (hoogrisico) algoritmes worden gebruikt
- bepalen samen welke processen en algoritmes verder worden uitgewerkt (waarom juist dit proces/algoritme, met wel doel, voor welke doelgroepen?)
- bepalen samen het format van de te beschrijven algoritmes (algoritmeregister Rijk is hierbij inspiratie; wat vinden we dat we openbaar moeten maken?)
- beschrijven dat algoritme/die algoritmes voor alle betreffende doelgroepen volgens het format
In het voorjaar van 2024 kunnen we een grotere bijeenkomst organiseren om te laten zien wat de werkgroep heeft opgeleverd en welke lessen er geleerd zijn.
Als je wilt deelnemen aan de werkgroep, stuur dan een berichtje aan Karianne Vermaas (karianne.vermaas@surf.nl). Zij is vanuit Npuls projectleider van de verkenning naar het algoritmeregister voor het onderwijs.
B) Bijeenkomst(en) met leveranciers
Graag verkennen we samen met EdTech/softwareleveranciers hoe zij hierin staan. Welke rol zien zij voor zichzelf? Kunnen we samenwerken aan het transparant maken van algoritmes (natuurlijk met begrip voor commerciële belangen)?
C) Ontwikkelingen en gesprekken stakeholders
SURF/Npuls blijft ondertussen ontwikkelingen bij bijvoorbeeld de overheid volgen. Wat zijn bijvoorbeeld ervaringen bij gemeentes? Wat levert het op en waar zitten de zere plekken? Hoewel hier al wel partijen in actie komen, leven er ook nog veel vragen en onzekerheden, die vergelijkbaar zijn als die in het onderwijs. We kunnen van elkaar leren. De Rijksoverheid stelt de code van hun algoritmeregister open source beschikbaar, zodat deze ook voor het onderwijs te gebruiken is. Wanneer dit relevant wordt, zal SURF/Npuls hier actie op ondernemen.
Vanuit de Rijksoverheid zijn verschillende handreikingen beschikbaar die ook relevant zijn voor het onderwijs, zoals:
- Implementatiekader 'Verantwoorde inzet van algoritmen’ (juni 2023)
- Handreiking algoritmeregister (juni 2023)
Ook voeren we vanuit SURF/Npuls gesprekken met ministeries, zoals OCW en BZK en praten we met de Autoriteit Persoonsgegevens over dit onderwerp.
Meedenken en -doen?
Heb je opmerkingen, aanvullingen of wil je bijdragen aan het transparant maken van algoritmes in het onderwijs? Stuur dan een berichtje aan Karianne Vermaas (karianne.vermaas@surf.nl). Zij is vanuit Npuls projectleider van de verkenning naar het algoritmeregister voor het onderwijs. Samen kunnen we dan kijken hoe je vanuit jouw mbo-, hbo- of wo-instelling of als leverancier kunt bijdragen.
0 Praat mee