DUO verzocht Algorithm Audit om vervolgonderzoek te doen op basis van gedetailleerde data die het CBS heeft verstrekt over de herkomst van meer dan 300.000 studenten in de periode 2014-2022. Deze data maakt mogelijk om de vooringenomenheid van het controleproces precies te meten. De vooringenomenheid betekent dat er een oververtegenwoordiging van studenten met een niet-Europese migratieachtergrond ontstaat als (onbedoeld) effect van de wijze waarop het controleproces is opgezet.

Het onderzoek stelt vast dat de vooringenomenheid ontstaat in verschillende stappen van het controleproces. Zowel door het gebruikte risicoprofiel als de handmatige selectie daarna werden studenten met een niet-Europese migratieachtergrond vaker geselecteerd voor controle. Ook al speelde de herkomst van studenten geen directe rol in het controleproces van DUO, er ontstaat een indirecte vooringenomenheid als gevolg van de criteria waarop werd geselecteerd.

Bepaalde kenmerken (waaronder de onderwijsvorm mbo 1-2 en een kleine afstand tot het ouderlijk adres) leidden tot een verhoogde risicoscore. En omdat deze kenmerken vaker voorkomen onder studenten met een niet-Europese migratieachtergrond, ontstond een oververtegenwoordiging van deze groep. Ook andere kenmerken speelden een rol in de beslissing of een student werd geselecteerd voor controle, waaronder inschrijving bij familie of juist in een studentenhuis. Het effect van al deze factoren was een vergrootglaseffect waardoor DUO vooral bij studenten met een niet-Europese migratieachtergrond onrechtmatigheid opspoorde. Onrechtmatig gebruik van de studiebeurs door studenten zonder migratieachtergrond bleef juist vaker buiten beeld.

Data-analyse van Algorithm Audit laat zien dat studenten met een niet-Europese migratieachtergrond 2.0x vaker als hoog risico werden gezien door het risicoprofiel dan studenten zonder migratieachtergrond. De groep werd 6.2x vaker handmatig geselecteerd voor een huisbezoek. Uiteindelijk hadden studenten met een niet-Europese migratieachtergrond een 3.0x grotere kans om onterecht een huisbezoek te krijgen dan studenten met een Nederlandse herkomst.

Uit het onderzoek treedt voor de periode 2014-2022 een consistent beeld naar voren dat de groep van studenten die in bezwaar ging tegen een besluit van DUO vooral uit studenten met een niet-Europese migratieachtergrond bestaat. Dit bevestigt het beeld uit berichtgeving van Investico en NOS in 2023, dat studenten met een migratieachtergrond vaker dan andere studenten werden beschuldigd van onrechtmatig gebruik van studiefinanciering en daarvoor in bezwaar gingen. Eerder onderzoek van PwC bracht op basis van postcodestatistieken aan het licht dat studenten die staan ingeschreven in migrantenwijken vaker door DUO werden gecontroleerd. De resultaten van het vervolgonderzoek van Algorithm Audit laten een versterkte vooringenomenheid zien ten opzichte van eerdere onderzoeken. Zowel de CBS-data en de door Algorithm Audit gebruikte onderzoeksmethoden zijn publiek toegankelijk (hieren hier te vinden).

DUO heeft het normale controleproces voor de uitwonendenbeurs momenteel stopgezet en selecteert studenten alleen willekeurig. DUO en Algorithm Audit blijven samenwerken om de resultaten van de onderzoeken samen met verschillende maatschappelijke belanghebbenden te interpreteren en na te denken over verbeteringen in een mogelijk toekomstig controleproces.

Het rapport Vooringenomenheid voorkomen (addendum) kan hier worden gevonden: https://algorithmaudit.eu/nl/algoprudence/cases/aa202402_bias-prevented_addendum/

Gerelateerd nieuws

‘Vrijheid van meningsuiting’ voor chatbots: een gevaarlijke ontwikkeling

Recent spande de moeder van een kwetsbare jongere in de Verenigde Staten een rechtszaak aan tegen Character.AI vanwege de rol die een van hun chatbots speelde in de suïcidale gedachten van hun zoon. Character.AI beroept zich op haar beurt op ‘vrijheid van meningsuiting’. Een zorgwekkend keerpunt in het debat over de verantwoordelijkheid van tech-bedrijven in het beschermen van het welzijn van zijn gebruikers. In deze blog vertelt Nastasia Griffioen, onderzoeker en coördinator van het Expertisecentrum Digitalisering en Welzijn, waarom.

Zorg & Sociaal

AI-geletterdheid in de organisatie: van strategie naar praktijk

Vanaf 2 februari 2025 moeten organisaties zorgen dat hun werknemers AI-geletterd zijn. Dit is een verplichting vanuit de AI Act. In de wet staat niet beschreven welke maatregelen er precies genomen moeten worden. De mate van kennis hangt af van de wijze waarop AI binnen de organisatie wordt toegepast. In dit artikel geeft compliance-specialist DMCC, gespecialiseerd in privacy en klantcontact, handvatten om hiermee een start te maken.

AIVD waarschuwt voor geavanceerde cyberaanvallen via 'zwakke' plekken

De Algemene Inlichtingen- en Veiligheidsdienst (AIVD) waarschuwt in haar jaarverslag over 2024 voor een toename van geavanceerde cyberdreigingen tegen Nederland. Zowel statelijke actoren als criminele netwerken vormen een groeiend risico voor de nationale veiligheid, economie en democratie.

Gebruik van AI-modellen in vastgoedsector: Kans of risico voor privacy?

Beschik jij al over de vaardigheid van ‘prompten’? In deze blog legt Alexandra Boot uit waarom ‘prompt engineering’ niet langer mag ontbreken op je cv. Ontdek hoe AI de sector transformeert en welke risico’s en kansen daarbij horen.

Omgeving