De cyberveiligheidsrisico’s van AI-systemen

Nu de EU AI Act langzaam maar zeker de triloogprocedure doorloopt, is er nog steeds een onderbelicht aspect van AI-systemen, namelijk hun impact op cybersecurity. In de meest recente Threat Landscape 2023 (1), gepubliceerd in oktober, concludeerde het Europees Agentschap voor Cyberbeveiliging (ENISA) dat AI-systemen bepaalde risico's kunnen opleveren met betrekking tot de authenticatie van gebruikers of de echtheid van inhoud of informatie. Bovendien kunnen AI-systemen die directe invloed hebben op mensen, zoals een systeem dat de levering van elektriciteitsvermogen of de werkroosters van een bedrijf beheert, worden gemanipuleerd, vergiftigd (2) of oneerlijk beïnvloed door bias-ingebakken vooroordelen.

Aandachtspunten

Volgens het agentschap kunnen "al deze bedreigingen worden gekoppeld aan meerdere kwetsbaarheden, zoals gebrek aan training ten gevolge van gerichte aanvallen, slechte controle over welke informatie door het model wordt opgehaald, gebrek aan voldoende gegevens om vergiftiging te weerstaan, slecht beheer van toegangsrechten, gebruik van kwetsbare componenten en ontbrekende integratie met een bredere cyberweerbaarheidsstrategie."

Het beoordelen van de bijbehorende cybersecurityrisico's van een AI-systeem is niet alleen een best practice, maar ook een wettelijke verplichting die wordt voorzien in bestaande en aankomende wetgeving, zoals de Machinery Regulation (3), het AI-Act voorstel, het voorstel voor een Cybersecurity Resilience Act, en, voor bepaalde sectoren, de NIS2-richtlijn.

Volgens een recente studie van het JRC (4), moeten bepaalde aspecten in het bijzonder in gedachten worden gehouden:

1. De focus van de AI-wet ligt op AI-systemen.

De structuur van AI-systemen omvat verschillende interne componenten, waarvan sommige een verband met AI hebben, terwijl andere niet. Hoewel AI-modellen essentiële componenten van AI-systemen zijn, vormen ze op zichzelf geen AI-systemen. De in de AI Act vastgelegd cybersecurityvereiste is van toepassing op het AI-systeem als geheel en niet direct op de interne componenten.

2. Naleving van de AI Act vereist noodzakelijkerwijs een beoordeling van het beveiligingsrisico.

Om te waarborgen dat een hoog-risico AI-systeem aan de AI Act voldoet, voorziet artikel 9 in de implementatie van een risicobeheersysteem. Overeenkomstig artikel 15 omvat deze vereiste ook een cybersecurityrisicobeoordeling van het systeem en de componenten ervan. Risicobeoordelingen moeten vooral rekening houden met beperkingen en kwetsbaarheden van AI-modellen in de context van hun interactie met andere niet-AI-componenten van het systeem. Deze risk-based benadering is cruciaal om de details van een cybersecurityoplossing voor individuele AI-systemen te bepalen. Dit sluit aan bij de gevestigde praktijk op het gebied van cybersecurity, waar risicobeoordelingen al een belangrijke rol spelen, met name in de meest gebruikte normen voor informatieveiligheid van de ISO 27000-serie (ISO/IEC JTC 1/SC 27 2022).

3. Het beveiligen van AI-systemen vereist een integrale en consistente benadering met gevestigde methoden en AI-specifieke controles.
Dit proces moet gebruikmaken van de huidige cybersecuritypraktijken en -procedures, waarbij bestaande controles voor softwaresystemen worden gecombineerd met maatregelen die specifiek zijn voor AI-modellen. AI-systemen bestaan uit de som van al hun componenten en hun interacties. Er moet een holistische benadering gehanteerd worden die de principes van security-in-depth en security-by-default volgt om ervoor te zorgen dat AI-systemen voldoen aan de cybersecurityvereisten van de AI Act.

4. Er zijn beperkingen in de stand van de techniek voor het beveiligen van AI-modellen.

In de huidige AI-markt is er een breed scala aan AI-technologieën met verschillende niveaus van volwassenheid. Niet alle AI-technologieën staan gereed voor gebruik in AI-systemen die zijn ontworpen voor inzet in hoogrisicoscenario's, tenzij hun cybersecuritybeperkingen adequaat worden aangepakt. In sommige gevallen, met name voor opkomende AI-technologieën, zijn er inherente beperkingen die niet uitsluitend op het niveau van het AI-model kunnen worden aangepakt. In dergelijke gevallen kan naleving van de cybersecurityvereisten van de AI Act alleen worden bereikt door de eerder beschreven holistische benadering.

Conclusie

Al met al is het cruciaal om AI verantwoord en veilig in te zetten. Organisaties moeten ervoor zorgen dat hun AI-systemen transparant, verklaarbaar en controleerbaar zijn. Ze moeten ook voldoende training bieden aan hun medewerkers om cybersecurityrisico's in verband met AI-systemen te identificeren en te beperken. Een uitgebreide beoordeling van het beveiligingsrisico voor een AI-systeem vereist aandacht voor de gehele levenscyclus van de ontwikkeling en implementatie van het systeem. Een te sterke focus op het beveiligen van machine learning-modellen door middel van academische ‘adversarial machine learning’ vereenvoudigt te veel het probleem in de praktijk. Dit betekent dat we om het AI-model echt veilig te stellen, rekening moeten houden met de beveiliging van de hele toeleveringsketen en het beheer van AI-systemen.

Bronnen

1. https://www.enisa.europa.eu/publications/enisa-threat-landscape-2023;

2. https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/amp/;

3. The cybersecurity risk is recognised in Recital 25 Machinery Regulation, which requires “manufacturers to adopt proportionate measures for the protection of the safety of the product within the scope of this Regulation notwithstanding, the application of other Union legal acts specifically addressing cybersecurity aspects.”;

4. https://publications.jrc.ec.europa.eu/repository/handle/JRC134461.