Risicogroepen AI-verordening

Als u AI-systemen ontwikkelt, verkoopt of gebruikt, dan is het uw eigen verantwoordelijkheid om te beoordelen in welke risicogroep dat systeem valt. Ook al is de AI-verordening nog niet van kracht, het is slim om hier nu al rekening mee te houden. Eind 2024 treedt een deel van de regels al in werking. 

Op deze pagina vindt u een beknopte en op sommige punten vereenvoudigde versie van de tekst uit de AI-verordening. De originele wettekst zal verschijnen op de website van de Europese Unie.

Systemen met een onaanvaardbaar risico: verboden AI

Systemen die een onaanvaardbaar risico met zich meebrengen worden verboden. U mag deze systemen dus niet aanbieden of gebruiken. Dit verbod gaat eind 2024 in. Hieronder vallen bijvoorbeeld systemen en toepassingen die de vrije keuze van mensen te veel beperken, die manipuleren of die discrimineren. Denk aan systemen die worden gebruikt in of voor:

• 'social scoring' op basis van van bepaald sociaal gedrag of persoonlijke kenmerken; 
• 'predictive policing' om strafbare feiten bij mensen te beoordelen of te voorspellen.
• het creëren of (via scraping) uitbreiden van databanken voor gezichtsherkenning;
• manipuleren of misleiden van mensen; 
• Het via 'scraping' creëren of uitbreiden van databanken voor gezichtsherkenning;
• emotie-herkenning in de werkomgeving en het onderwijs; 
• biometrische identificatie op afstand voor rechtshandhaving. Hier zijn wel enkele uitzonderingen van toepassing; 
• biometrische categorisering, waarbij mensen op basis van biometrische gegevens in bepaalde gevoelige categorieën worden ingedeeld.

Systemen met een hoog risico

Voor AI-systemen die vallen in de risicogroep 'hoog risico' gelden strikte verplichtingen. Wanneer u daar niet aan kunt voldoen, mag u het systeem niet in de handel brengen of gebruiken. Denk aan systemen die worden gebruikt in of voor: 

• onderwijs of beroepsopleiding, waarbij het systeem de toegang tot het onderwijs en de loop van iemands beroepsleven kan bepalen. Bijvoorbeeld het beoordelen van examens;
• werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, onder andere vanwege de aanzienlijke risico’s voor toekomstige carrièrekansen en het levensonderhoud van mensen. Bijvoorbeeld een AI-systeem dat automatisch cv’s selecteert voor de volgende ronde in een wervingsprocedure; 
• essentiële particuliere en openbare diensten. Zulke systemen kunnen grote effecten hebben op bijvoorbeeld het levensonderhoud van mensen. Bijvoorbeeld software die bepaalt wanneer iemand wel of geen uitkering of lening krijgt; 
• rechtshandhaving, omdat dit afbreuk kan doen aan de grondrechten van mensen. Bijvoorbeeld een AI-systeem dat wordt gebruikt voor de beoordeling van de betrouwbaarheid van bewijsmateriaal;
• migratie, asiel en grenzen. Bijvoorbeeld geautomatiseerde behandeling van asielaanvragen;
• rechtsbedeling en democratische processen, omdat het gebruik hiervan risico’s kent voor de democratie en de rechtsstaat. Bijvoorbeeld een AI-systeem dat ondersteunt bij rechterlijke uitspraken.

Valt het systeem dat u wilt aanbieden of inzetten in de categorie 'hoog risico?' Dan gelden er regels om deze risico's te voorkomen of te beperken tot een aanvaardbaar niveau. Bijvoorbeeld regels over risicobeheer, de kwaliteit van de gebruikte data, technische documentatie en registratie, transparantie en menselijk toezicht. Overheden of uitvoerders van publieke taken moeten bij hoogrisicosystemen een 'grondrechteneffectbeoordeling' doen.

Systemen met een beperkt risico

Voor AI-toepassingen met een beperkt risico gelden een aantal 'transparantieverplichtingen'. Het gaat om AI-systemen die bedoeld zijn om met personen in contact te komen, zoals chatbots. En AI-systemen die zelf inhoud maken, zoals teksten en beeldmateriaal. Als u deze systemen aanbiedt of gebruikt, dan moet u mensen erover informeren dat zij met AI te maken hebben.