Welke AI-praktijken zijn volgend jaar verboden?

Waarom worden er AI-praktijken verboden?

Er zijn vele nuttige toepassingen van AI, maar deze technologie kan ook misbruikt worden voor manipulatie, uitbuiting en sociale controle. De Europese AI-verordening wil dit soort praktijken verbieden om burgers te beschermen.

Wat wordt er verboden?

Dit zijn in het kort de verboden AI-praktijken:

• Manipulatieve of misleidende AI-systemen. Hoewel AI-systemen kunnen helpen bij het nemen van gerichte en weloverwogen beslissingen, is er ook een risico. AI-technieken kunnen mensen beïnvloeden om keuzes te maken die ze normaal niet zouden maken. Denk bijvoorbeeld aan het gebruik van audio-, beeld- en videomateriaal dat zij niet bewust kunnen waarnemen. Daarom zijn AI-systemen die via onderbewuste technieken en AI-systemen die gericht manipuleren of misleiden, verboden. AI-systemen die kwetsbaarheden – zoals leeftijd, handicap of een sociaaleconomische situatie – misbruiken om mensen te beïnvloeden zijn ook verboden.

• AI-systemen voor ‘social scoring’. Dit houdt in dat AI-systemen mensen beoordelen op basis van hun sociale gedrag of persoonlijke kenmerken. Dit kan voor problemen zorgen, zoals discriminatie en uitsluiting van bepaalde groepen.

• AI-gebaseerde voorspelde risicobeoordelingen voor criminaliteit. AI kan worden gebruikt om te ondersteunen bij het voorspellen van mogelijke strafbare feiten. Hierbij is het wel van belang dat het gebaseerd is op feiten die daadwerkelijk verband houden met criminele activiteiten. AI-systemen die uitsluitend op basis van profilering of beoordeling van persoonlijkheidseigenschappen en -kenmerken strafbare feiten voorspellen, zijn verboden.

• Biometrische categorisering. Systemen die individuen categoriseren op basis van biometrische gegevens (zoals gezichtsafbeeldingen en vingerafdrukken) om ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden zijn verboden. Dit verbod beschermt de privacy en grondrechten van personen. Uitzonderingen gelden alleen voor het rechtmatig labelen of filteren van rechtmatig verkregen biometrische datasets, op het gebied van rechtshandhaving.

• Het gebruik van AI-systemen voor biometrische identificatie op afstand in realtime in openbare ruimten. Dit wordt verboden, behalve als het strikt noodzakelijk is voor specifieke en afgebakende situaties. Voorbeelden hiervan zijn het zoeken naar slachtoffers van ontvoering of vermiste personen, het voorkomen van imminente dreigingen voor het leven van mensen en het opsporen van verdachten van bepaalde zeer ernstige misdrijven. De inzet hiervan dient bij nationale wetgeving voorzien te zijn van een wettelijke grondslag waarin de voorwaarden gedetailleerd zijn vastgelegd.

• Andere verboden praktijken. Andere AI-praktijken die verboden zijn vanaf februari 2025 zijn emotieherkenning op de werkplek en in het onderwijs. Ook het ongericht scrapen van gezichtsafbeeldingen van internet of camerabeelden (CCTV) om databanken voor gezichtsherkenning aan te leggen of aan te vullen zijn verboden.

Meer informatie vind je in artikel 5 van de AI-verordening op de website van EUR-Lex. De Europese Commissie komt nog met richtsnoeren voor de praktische implementatie van de verboden.

Wat betekent dit voor mijn organisatie?

Het is belangrijk dat organisaties de verboden AI-systemen die zij gebruiken identificeren, zodat zij hiermee geleidelijk kunnen stoppen. Dit moet vóór februari 2025 gebeuren. Wanneer dit niet op tijd gebeurt, kunnen toezichthouders forse boetes opleggen.

Op de Pleio-omgeving van het algoritmekader vind je een praktisch overzicht met de belangrijkste bestaande normen. Hier staan ook de maatregelen die kunnen helpen bij de inzet van algoritmes en AI. Later komen de eisen van de AI-verordening in het algoritmekader te staan.

Serie van artikelen

De AI-verordening is een uitgebreide wet met veel verschillende bepalingen en overwegingen. Hoe het zit met wél toegestane AI-systemen? De verplichtingen en nuances die hierbij komen kijken lees je binnenkort op DigitaleOverheid.nl. Dit is het tweede artikel in een serie die we de komende weken publiceren over de AI-verordening. Hierin gaan we onder andere dieper in op de hoog-risico AI-systemen en toezicht op de verordening.

Meer weten over de tijdlijn van de verordening? Ga dan naar het eerste artikel van deze serie.