Met gebruik van big data en zelflerende algoritmes proberen gemeenten 'slimmer, veiliger en efficiënter' te worden. Zo worden bijstandsfraudeurs in Zeeland via een algoritme opgespoord. Klinkt allemaal heel modern, maar is het ook wenselijk? Nou zeker niet altijd: algoritmes zijn namelijk allesbehalve neutraal.
‘Als je data vervuild zijn, komt er dus ook troep uit’
Caroline Diepeveen
Raadslid in Middelburg
Jullie sociale dienst maakt gebruik van big data (zeer grote verzamelingen van gegevens) om mogelijke bijstandsfraude vast te stellen. Het ingezette algoritme kijkt naar honderden variabelen die een periode van 25 jaar beslaan. Wat vind je hier van?
'Ik vind het bedenkelijk en het is maar de vraag of het juridisch houdbaar is. Ik heb begrepen dat een commercieel bedrijf deze methode heeft ontwikkeld. Welke data worden er precies in gestopt?'
Waarom vind je dat een probleem?
'Het zou zomaar kunnen dat er data worden gebruikt die stigmatiserend zijn. Misschien woon je wel in een verkeerde wijk, of heb je de verkeerde etniciteit volgens het algoritme.'
Als je wel zou weten wat er in wordt gestopt, is het dan wel goed?
'Nee. Mensen moeten van tevoren toestemming geven voor het gebruik van hun data. Bij de aanscherping van de privacywetgeving is ook aangegeven dat data die voor een bepaald doel is verzameld niet zomaar voor een ander doel ingezet mag worden.'
Waarom gebeurt het dan toch in Middelburg?
'We hebben één sociale dienst voor de drie gemeenten op Walcheren. Het fraudeonderzoek is één van hun pilot projecten. De projectorganisatie stelt dat het mag, dus volgens de wethouder mag het. Maar ja: de computer rekent misschien, maar mensen bepalen welke data er in worden gestopt. Daar kunnen vooroordelen in zitten.'
Zijn raadsleden voldoende geïnformeerd over de voors en tegens van het gebruik van big data en algoritmen?
'Nee. Daarom hebben we er vragen over gesteld, maar collega raadsleden gaven aan dat ze voor het experiment begon ook wel geïnformeerd hadden willen worden. De wethouder zei trouwens dat er weliswaar mensen uit het systeem rollen met een verhoogd risico, maar die krijgen de mogelijkheid te bewijzen dat ze niks fout hebben gedaan. Dat is natuurlijk de omgekeerde wereld: dan ben je bij voorbaat al verdachte.'
Is er inhoudelijk wel genoeg kennis over dit soort technieken?
'Nee. Veel mensen denken dat het een heel exacte methode is, omdat een computer het berekent. Maar wat je er in stopt, komt er ook uit. Als je data vervuild zijn, komt er dus ook troep uit.'
‘Mensen moeten echt nog wakker worden gemaakt’
Hafid Bouteibi
Raadslid in Eindhoven
Wat vind je van het gebruik van big data voor het opsporen van bijstandsfraude?
'Ik sta er heel dubbel in. Als we bij het waterverbruik kunnen zien dat een eenpersoonshuishouden met een bijstandsuitkering voor vier personen water verbruikt, dan moet je daar op zorgvuldige wijze een gesprek over aan kunnen gaan.
Aan de andere kant: van wie is die data? Dat lijkt een simpele vraag, maar ik vind dat je daar een hele grondige discussie over moet voeren: van wie is de informatie die ik op een hoop gooi, maar ook weer terug geleid kan worden naar individuele mensen? Ik ben er niet zomaar voor, maar ook niet zomaar tegen. Ik vind het een enorm dilemma. Maar het gebeurt al dus we moeten er iets mee.'
Maar wat zeggen algoritmen nou helemaal? Als iemand zijn watergebruik hoog is, kan dat ook betekenen dat iemand lang doucht of een lekkage heeft gehad.
'Dat maakt het zo lastig. Het is nauwelijks te overzien wat de gevolgen zijn of kunnen zijn van de inzet van dit soort algoritmen. Het belangrijkste voor mij is dat de overheid betrouwbaar is, maar dat is dus niet zo op dit punt.'
In Amerika werd op basis van risicoscores berekend hoe groot de kans is dat iemand terugvalt in crimineel gedrag. Het algoritme bleek voor niet-witte mensen stelselmatig een te hoog recidiverisico te berekenen, omdat zij vaker staande worden gehouden. Zie je dit soort risico's van vooroordelen en stereotypering ook in Nederland?
'Een paar jaar geleden is er discussie geweest over de OV-chipkaart. Ik kan me nog goed herinneren dat de vraag werd gesteld of de minister kon garanderen dat de data niet voor andere doeleinden gebruikt zou worden. Maar vervolgens werd het toch gebruikt door DUO om te kijken of studenten wel direct vanaf het inschrijfadres naar school gingen. Daarmee tast je het vertrouwen in de overheid aan. Dan denken mensen: bekijk het maar, ik vertel helemaal niks meer.'
Wordt er in de raad nagedacht en gesproken over politieke implicaties van het gebruik van big data en algoritmen?
'Bij ons wel, maar er is geen sprake van een grondige discussie. Mensen moeten echt nog wakker gemaakt worden. En er is nog veel onzeker over de juridische implicaties. Waterverbruik als onderdeel van de aanpak van bijstandsfraude kan ook als disproportioneel gezien worden door de rechter. Begrijp me niet verkeerd: ik ben voor het aanpakken van bijstandsfraude, maar ik merk dat we de meest kwetsbare mensen hiermee treffen. Als zij ten onrechte worden aangemerkt als fraudeur, dan komt dit dubbel zo hard aan.'
‘Als je een uitkering krijgt, lever je kennelijk je recht op privésfeer in’
Mirko Tobias Schäfer
Universitair docent aan de Universiteit Utrecht & projectleider Utrecht Data School
Steeds meer gemeenten gebruiken data om voorspellingen te doen over gedrag van burgers. Wat vind je daar van?
'Ik vind het zorgwekkend dat het bij de voorbeelden die we langs zien komen allemaal om personen met een kleine beurs gaat. Daar heb je al discriminatie van een hele groep. Het gebruik van algoritmen wordt als een dienstverlening aan de maatschappij beschreven, maar je veronderstelt van een hele groep dat ze fraude plegen. De dataverzameling en analyse blijken hier vaak disproportioneel.’
Hoe bedoel je?
'De projecten die er zijn gaan niet over fraude in het bedrijfsleven of grote spelers die misschien veel grotere bedragen wegsluizen, maar juist over kwetsbare groepen, zoals mensen in de bijstand. Daarbij: wat doe je als die mensen onterecht door de computer van fraude beschuldigd worden? Want juist iemand in de bijstand heeft niet snel toegang tot een goede advocaat en is mondeling of schriftelijk wellicht niet vaardig genoeg om de situatie weer te wijzigen. Daar heeft de gemeente echt een verantwoordelijkheid. Het is zorgwekkend dat iedereen die een uitkering krijgt “bewaakt” wordt. Mijn waterverbruik opvragen mag niet zomaar, want ik krijg geen uitkering. Maar als je een uitkering krijgt, lever je kennelijk je recht op privésfeer in.'
Zijn er nog meer risico’s van het gebruik van dit soort data?
'Bijvoorbeeld dat je afhankelijk wordt van het systeem. Of dat je publieke taken uitbesteed aan een bedrijf of een automatisch en niet-transparant proces. Of dat je gelooft in technocratische oplossingen. Of dat je belangrijke competenties verliest, zoals datavaardigheden. Wat als je een consultant inhuurt zonder zelf te weten hoe het model van die consultant in elkaar steekt, en zonder te weten welke indicatoren er worden gebruikt?
Weer een ander risico is disproportioneel gebruik: wat is de schaal van dataverzameling, hoeveel personen betreft het, is er sprake van inbreuk op privacy? Ook de bewaartermijn van gegevens is vaak niet goed geregeld, net als de toegang tot gegevens. Wie mag er bij? Met welke instanties worden data uitgewisseld?'
Hoe komt het dat gemeenten vooral met kwetsbare groepen bezig zijn?
'Door de decentralisaties hebben gemeenten veel meer werk gekregen. Gemeenten hopen dat ze dat extra werk beter kunnen managen door de inzet van algoritmen. Competitie en menskracht om deze taken aan te kunnen ontbreken alleen vaak. Dat levert een open gat op voor bedrijven die dan hulp aan gaan bieden. Met alle risico's van dien.'
Wat kunnen politici doen?
'Denk na voor je handelt. Kijk naar juridische en ethische kaders, naar transparantie en accountability. Documenteer en leg verantwoording af. Kijk ook goed om wie het gaat en hoe je met die groepen moet communiceren. Plaats kritische vragen bij dergelijke systemen, en zorg dat er audits plaatsvinden. Een privacy impact assessment maken is onvoldoende, het ethische debat moet breder gevoerd worden. Welke publieke waarden representeert een data-project? Liberalen willen bijvoorbeeld dat mensen zelf verantwoordelijkheid dragen voor hun handelen, nationalisten zouden het liefst bepaalde groepen willen uitsluiten en de sociaal-democraten zouden het leven van de burger het liefst in detail willen regelen. Dat kan allemaal in algoritmes worden uitgedrukt. Datapraktijken zijn dus inherent politiek.'
De Utrecht Data School heeft De Ethische Data Assistent ontwikkeld om overheden te helpen vroegtijdig mogelijke ethische valkuilen in data-projecten te identificeren: https://dataschool.nl/deda/deda-booklet/
Bijschrift afbeelding: Een sociaal rechercheur loert naar binnen om te kijken of de inwoners zich wel aan de bijstandsregels houden
Afbeelding: Herman Engbers