Onvoorzien, onbedoeld? What's in a name...
Als we het hebben over de gevolgen van het inzetten van technologie dan kunnen die gevolgen zijn (zie ook het rapport Onvoorziene effecten van zelflerende algoritmen):
- Bedoeld en voorzien. Dit is meestal de reden dat de technologie wordt ingezet. Daarom zijn ze vaak ook positief van aard. Denk bijvoorbeeld aan een kerncentrale: verwacht én bedoeld is minder uitstoot dan een kolencentrale.
- Onbedoeld en voorzien, Dit kan worden gezien als noodzakelijk kwaad. Daarom zijn ze vaak negatief van aard. Stel dat diezelfde kerncentrale aan de kust is gebouwd en zijn koelwater loost in de zee, dan zal het zeewater een klein beetje opwarmen.
- Onbedoeld én onvoorzien. Vaker negatief dan positief van aard. De opwarming van het zeewater leidt niet alleen tot warmer zeewater, maar mogelijk ook een verstoring in of zelfs uitsterven van het ecosysteem in de nabijheid van die kerncentrale.
Hoe ontstaan onvoorziene consequenties?
In een onlangs verschenen rapport deed een adviesbureau in opdracht van de overheid onderzoek naar onvoorziene consequenties bij het gebruik van zelflerende algoritmen. Hierin wordt uiteengezet wat de grondoorzaken zijn van die onvoorziene consequenties:
- Interdependentie. Hiermee wordt bedoeld dat binnen complexe systemen, verschillende variabelen elkaar beïnvloeden. Hoe complexer het systeem, hoe meer variabelen elkaar beïnvloeden en hoe moeilijker het dus wordt om de interactie tussen deze variabelen en de consequenties van ons handelen daarop te overzien.
- Dynamiek. Een complex systeem opereert zelden puur in een statische omgeving. Een veranderende omgeving betekent weer dat de oorspronkelijke variabelen waar zo'n systeem op gebouwd is niet altijd meer kloppen, waardoor een systeem kan afwijken van het bedoelde en voorziene gedrag.
- Ondoorzichtigheid. Hoe systemen precies functioneren, is vaak onzichtbaar is voor de persoon die ze moet gebruiken. En soms, zeker bij AI, weet zelfs de ontwikkelaar niet precies hoe een systeem functioneert. Het is bijvoorbeeld niet altijd duidelijk hoe zo'n algoritme tot een bepaalde beslissing is gekomen. Dat helpt natuurlijk ook niet bij het overzien van alle mogelijke effecten van zo'n systeem
Relevantie voor onderwijs
In het onderwijs staat het beschermen van bepaalde waarden als autonomie, inclusie en privacy hoog op de agenda. Waarom is dat? Omdat het onderwijs bij uitstek een plek is om te leren. En daarbij gaat het niet alleen om vakinhoudelijke kennis, maar ook om kennis, ontwikkeling en groei binnen andere gebieden, bijvoorbeeld op sociaal vlak, wat betreft burgerschap, etc. En bij al dat leren en ontwikkelen hoort ook nadrukkelijk de mogelijkheid om binnen een veilige omgeving fouten te kunnen maken, die geen verregaande consequenties hebben waar een student mogelijk later nog last van ondervindt.
Juist dergelijke waarden staan onbedoeld en onvoorzien vaak onder druk door nieuwe technologieën, omdat het gaat om nieuwe toepassingen en de gevolgen daarvan zich pas na enige tijd ontvouwen. Het zou dus geweldig zijn als we binnen het onderwijs de vruchten van nieuwe innovatieve technologieën kunnen plukken maar daarbij ook rekening kunnen houden met waarden die binnen onze sector zo belangrijk zijn. Daarvoor moeten we stilstaan bij de onvoorziene en onbedoelde consequenties van technologie.
En nu?
Maar hoe doe je dat dan, rekening houden met iets wat je niet verwacht?
Dr. Paulan Korenhof, postdoc onderzoeker bij de Universiteit van Wageningen, benadrukt dat technologie nooit neutraal is. Waarden die belangrijk zijn (autonomie, gelijke behandeling, privacy) moeten zo vroeg mogelijk in het ontwerpproces worden meegenomen. Betrek hierbij ook juist de mensen die de technologie gaan gebruiken en de mensen die de gevolgen (gaan) ondervinden van de technologie. Ook kun je oefenen met het identificeren van mogelijke problemen die een technologie kan opleveren en valt er veel te leren van eerder gemaakte fouten.
Dr. Maaike Harbers, lector Artificial Intelligence & Society aan de Hogeschool Rotterdam, richt zich voornamelijk op ontwerpers en benadrukt dat er veel kan worden gedaan om de juiste omstandigheden te creëren waarin ontwerpers kunnen reflecteren op onvoorziene consequenties. Onderzoek doen, best practices ontwikkelen en duidelijke regelgeving zijn hierbij onmisbaar. Dit is niet alleen van belang tijdens de ontwikkelfase, maar ook juist als de technologie eenmaal in gebruik is genomen. Continu reflecteren en bij kunnen sturen is essentieel!
Hoe zit het met die regenbui?
Buienradar, wie kent en gebruikt het niet? Het is natuurlijk hartstikke handig dat je kunt zien dat je beter even 10 minuutjes kan wachten met de deur uitgaan. Maar dat betekent wel dat je een smartphone moet kopen, altijd bij je dragen en akkoord moet gaan met de privacyvoorwaarden van Buienradar. Of je maar even allerlei privégegevens wilt delen. En dat is nog niet alles: technologie zoals Buienradar kan ook relaties tussen mensen onderling beïnvloeden. Als je kletsnat binnenkomt bij iemand die net een nieuwe vloer heeft, zou je zomaar als ‘schuldige’ kunnen worden aangewezen. Je had toch kunnen zien dat het zou gaan regenen?! Zo hebben de ontwikkelaars van Buienradar het vast niet bedoeld, en zeker niet voorzien, maar de conclusie is wel: wil je de nieuwe vloer van je vrienden sparen, dan moet je al je privégegevens maar delen!
Tips
Aan het eind van de sessie gaven beide sprekers nog enkele lees- en kijktips die met dit onderwerp te maken hebben. Hieronder het overzicht:
- Documentaire “All watched over by machines of loving grace” door Adam Curtis
- Documentaire "Coded Bias", door Shalini Kantayya []
- Rapport "Onvoorziene effecten van zelflerende algoritmen", door Considerati
- Boekje “Waarom je altijd wilt winnen van je navigatiesysteem”, door techniekfilosoof Rens van der Vorst
- Een beetje humor: "Little Britain: Computer Says No", door de BBC
1 Praat mee