De AI Act in vogelvlucht!

Note: Deze blog is geschreven voor het NPuls magazine Slimmer Onderwijs met AI in de zomer van 2023. Dit betekend dat deze niet up-to-date is met de recente ontwikkelingen rondom de goedkeuring van de AI act door de EU.

Wat je hieronder leest is een verzameld inzicht over de AI Act tot nu toe, maar kan, zolang de AI Act nog niet is goedgekeurd, geen zekerheid bieden. Voor vragen raden we je aan contact op te nemen met je eigen juridische afdeling.

Een korte historie:

• April 2019: de Europese Commissie ‘High-Level Expert Group’ publiceert de richtsnoeren voor betrouwbare AI.
• April 2021: de Europese Commissie publiceert een eerste voorstel voor regulering van AI, de ‘AI act’.
• November 2022: de Europese Raad publiceert hun aangepaste versie van het eerste voorstel.
• Juni 2023: het Europese Parlement stemt in met hun versie van de AI Act, met substantiële aanpassingen.

De AI Act in het (super) kort:

• Het is een voorstel voor een regulering van AI (binnen de EU). Belangrijk doel van de regulering is het op de markt brengen en gebruiken van AI die veilig is en in overeenstemming is met de fundamentele rechten van mensen.
• Het is een geharmoniseerde regeling, wat betekent dat de lidstaten beperkt zijn in de mogelijkheden om de regulering naar eigen interpretatie in te voeren.
• Focus is op het ontwikkelen, aanbieden en toepassen van AI en niet op AI in het algemeen.
• Risico gebaseerde aanpak van de betreffende AI (laag risico, beperkt risico, hoog risico en onacceptabel risico) waarbij met name voor de hoog risico AI veel regels en verplichtingen gelden. AIle toepassingen gekwalificeerd als onacceptabel mogen simpelweg niet worden aangeboden of gebruikt.
• Sommige toepassingen van AI in het onderwijs vallen in de hoog risico en onacceptabel risico categorieën. Denk aan AI voor emotieherkenning (verboden) en AI voor toelating (hoog risico).
• Naast een risico-classificatie van AI kijkt de Act ook naar welke rol een partij speelt bij AI, dat kan zijn aanbieder (waaronder ook ontwikkelaar), distributeur, importeur of gebruiker van AI. De rol en het risico-type AI zijn bepalend voor de eisen waaraan je moet voldoen.

Wat staat er dan beschreven de AI Act?

Heel kort gezegd is de EU AI Act een wet die zorgdraagt voor veilige en verantwoordelijke AI door het beperken en beheersen van de risico’s van AI. In de basis is het een product regulering, dat wil zeggen dat het primair is ge- richt op ontwikkeling en toepassingen van AI in plaats van de technologie in z’n algemeen.

De AI Act is gebaseerd op risicoprofielen van verschillen- de AI-toepassingen, afhankelijk van de risico’s worden AI systemen gezien als onacceptabel (dan is het simpelweg verboden), hoog risico, en laag. Daarnaast is er nog een categorie toepassingen met specifieke transparantievereisten. Deze risico-classificatie bepaalt welke eisen en regels van toepassing zijn voor aanbieders (waaronder ontwikkelaars), distributeurs, importeurs of gebruikers. Als laatste zijn er de overgebleven toepassingen die als laag tot geen risico gezien worden en niet door de AI act worden gereguleerd.

Verplichtingen voor AI in het onderwijs

De AI Act spreekt ook specifiek over het onderwijs en heeft een aantal specifieke artikelen rondom de toepassing van AI in het onderwijs opgenomen. Dit volgens de EU omdat AI systemen in het onderwijs significante impact kunnen hebben op de levensloop van mensen en hun mogelijkheden om in hun eigen levensonderhoud te voorzien. Daarom zouden slecht ontworpen AI toepassingen mogelijk het recht op onderwijs en het recht op non-discriminatie kunnen schenden (beschreven in de overweging/recital 35).

Art 5 (verboden toepassingen): Een verbod op het in de markt plaatsen of gebruiken van AI om emoties te detecteren binnen onder andere de werkomgeving en onderwijsinstellingen.

Art 6 (hoog risico toepassingen):

• a) AI met de intentie om gebruikt te worden om beslissingen rondom toegang, toelating, of toewijzing van personen aan opleidingen te maken of te beïnvloeden.
• b) AI met de intentie om gebruikt te worden voor beoordeling van studenten binnen de instelling en bij de toelating; ook toetsing voor het geadviseerde niveau van onderwijs en het detecteren van verboden gedrag tijdens toetsing.

Hoe deze precies in de uiteindelijke wetgeving terecht komen is nog onduidelijk, want er zijn verschillende interpretaties beschreven in de drie verschillende concept-teksten. Maar duidelijk is dat het gebruik van AI in onderwijs door de AI Act gereguleerd gaat worden.

Wat zijn dan de verplichtingen?

De meeste regels en verplichtingen gelden voor de hoog risico categorie (beschreven in hoofdstuk 2 van de wetstekst). Bij het aanbieden en ontwikkelen moet je denken aan onder meer regels en verplichtingen rond het hebben van risico- en kwaliteitsmanagement-systemen voor AI en gedurende de levensduur van de AI, kwaliteit van data(sets), technische documentatie, transparantie over de AI, het verstrekken van informatie aan gebruikers (ook door het verstrekken van gebruiksinstructies), het (laten) uitvoeren van een conformiteitsassessment en het registreren van de AI in een EU AI product database. Deze eisen lijken sterk op de eisen die gelden voor het op de markt brengen van producten (incl. het hebben van een verklaring van conformiteit en een CE-markeringen voor bepaalde AI).

Als gebruiker van hoog risico AI (bijvoorbeeld een instelling die een systeem inkoopt ten behoeve van onderwijs of voor bedrijfsvoering) ben je verantwoordelijk voor het volgen van de instructies van de aanbieders, menselijk toezicht met voldoende expertise en autoriteit, verantwoordelijk voor de relevantie en kwaliteit van de input-data en dien je voor de AI een fundamental rights impact assessment uit te voeren. Daarnaast gelden ook voor distributeurs en importeurs bepaalde verplichtingen, al zijn deze niet zo uitgebreid.

Of al deze regels en verplichtingen in deze vorm de eindstreep halen is nog onduidelijk evenals hoe dit in de praktijk gaat werken. Wat wel duidelijk is, is dat het onderwijsinstellingen niet om de AI Act heen kunnen en dat een aantal potentieel belangrijke toepassingen worden geraakt door regels en verplichtingen voor hoog risico AI.

Het is daarnaast belangrijk te beseffen dat naast de AI Act, ook de AVG van toepassing is als de AI gebruikmaakt van persoonsgegevens (bijv. voor het trainen en ontwikkelen van een model). De AVG is bovendien van toepassing ongeacht de risico-classificatie van de AI (hoog, beperkt, of laag risico).

En nu?

De verwachting (hoop) is dat in het begin van het nieuwe jaar de definitieve tekst van de AI Act wordt goedgekeurd. Vanaf die dag geldt een periode van 2 jaar tot inwerkingtreding. Dat geeft ook instellingen een periode van 2 jaar voor het precies bepalen van de impact van de AI Act en het implementeren hiervan binnen de eigen organisatie. Onze inschatting is dat die voorbereidingstijd ook hard nodig is gelet op alle veranderingen rond met name de ontwikkeling en gebruik van hoog risico AI. Na deze 2 jaar is de AI Act van kracht en kunnen toezichthouders deze handhaven.

Relevante achtergrond informatie:

• Vind hier de drie conceptversies naast elkaar: https://www.europarl.europa.eu/cmsdata/272920/AI%20Mandates.pdf 
• De Nederlandse afvaardiging voor het onderwijs in Brussel (Neth-ER) schrijft ook over de AI act: https://neth-er.nl/onderwijs/parlement-eens-over-ai-act-dit-kan-onderwijs-en-onderzoek-verwachten 
• Het ministerie van Onderwijs, Cultuur en Wetenschap heeft een impact analyse rapport laten uitvoeren door Dialogic. Hierin wordt ook het AI act besproken (p. 15), let wel dit is niet gebaseerd op de meest recente conceptteksten. https://open.overheid.nl/documenten/ronl-7be0a6a61418a619bd633787bfa456a397c86d80/pdf 
• ICTRecht over de AI act: https://www.ictrecht.nl/blog/de-ai-act-door-het-parlementwelke-regels 
• De richtsnoeren van de high-level expert group vind je hier: https://www.europarl.europa.eu/cmsdata/196377/AI%20HLEG_Ethics%20Guidelines%20for%20Trustworthy%20AI.pdf