computerbesluit Archieven

Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.

Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.

Ik kan het gewoon zien

Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?

Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.

Openmaken en bekijken

Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.

Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?

Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.

Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.

Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.

Wat we willen bereiken

Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:

We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].

Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:

de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.

De methode ontwerpen

In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.

Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.

Het maakproces geven we zo vorm:

Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties

We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.

We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.

Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?

Wat zijn de beslisregels die over de nationaliteitstoets gaan?
Op welke wetonderdelen zijn de beslisregels gebaseerd?
Hoe zijn de beslisregels geprogrammeerd?
Hoe zijn ze in de werkinstructie opgenomen?
Welke data is nodig en wat zijn bronnen?
Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?

Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?

Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?

Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?

Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?

‘Wat zit DUO gek in elkaar’

De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)

Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.

Filmpje met de ervaringen van de eerste maakdag bij DUO.

De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.

Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).

Een impressie hoe dat eruit zag:

Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.

Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.

Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!

Prototype van de werkmethode die we binnenkort met de SVB gaan testen

Twee vragen

Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.

En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.

Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!

Hoe wordt de wet omgezet in ‘het systeem’? Met veel collega’s sprak ik hier al over, maar nog niet eerder zo concreet als met Cees-Jan. Hij is bedrijfsregelanalist bij DUO en heeft meegewerkt aan het nieuwe systeem Studiefinanciering, en dus ook het vertalen van de nieuwe wet Studiefinanciering uit 2015 naar dat computersysteem.

Tot nu toe kende ik alle collega’s die ik foto-interview al. Maar Cees-Jan ontmoette ik voor het eerst aan de keukentafel, tijdens het gesprek. Via via kreeg ik zijn naam door als iemand die alles wist over bedrijfsregels en computerbesluiten.

Jurist, met ICT-kennis

Cees-Jan begon 18 jaar geleden als beleidsmedewerker bij Registers & Examens, waar ook Mirjam werkt. Daarvoor had hij Rechten gestudeerd, tijdens zijn studie onderzocht hij hoe de algemene bestuurswet toegepast werd, onder andere bij DUO. Na een paar jaar ambtenaren, ging hij voor een ICT-detacheerder werken. Toen DUO aan de slag ging met het Basisregister Onderwijs (BRON) zochten ze een jurist met ICT-kennis en kwam Cees-Jan weer terug bij DUO. Hij werd verantwoordelijk om te controleren of de wet goed toegepast werd in het systeem.

In 2006 werd de wet Inburgeren onder Rita Verdonk ingevoerd. DUO werd de uitvoering gegund. Voordat de wet in 2006 ingevoerd werd, kwam DUO een paar jaar eerder al in actie. Cees-Jan: “Er kwam een programma om het systeem te bouwen. Er was nog geen wetgeving, dat ging gelijk op met het bouwen van het systeem. Dat vond ik een van de leukste klussen bij DUO. Toen de uitvoering begon, en het systeem ‘af’ was, was het voor mij ook klaar.”

De afgelopen jaren heeft hij meegewerkt aan het nieuwe systeem van Studiefinanciering. Nu werkt hij als analist/ adviseur mee aan het Bedrijfsregel Management Systeem.

Cees Jan over zijn werk bij DUO.

Een catalogus met bedrijfsregels

“Een bedrijfsregel is de vertaling van de wet naar een regel tekst die je kunt toepassen. Het heeft een vaste zinsconstructie, bijvoorbeeld ‘een persoon heeft aanspraak op studiefinanciering indien hij aan alle volgende voorwaarden voldoet, etc etc’. Een goede bedrijfsregel is neutraal, consistent en eenduidig. Bij elke regel staat op welk stukje van de wet het gebaseerd is. Wanneer een bedrijfsregel geschreven is, wordt die afgestemd met een functioneel ontwerper, iemand van het Kennis & Leercentrum, een analist en een beleidsmedewerker.”

Cees-Jan wil van bedrijfsregels geen ICT-feest maken. “Bij goed bedrijfsregelmanagement maakt het niet uit wie met de bedrijfsregels verder gaat. Het maakt niet uit of je ze nu gaat programmeren of er een werkinstructie voor collega’s van maakt. Bedrijfsregels zijn voor alle toepassingen hetzelfde.”

Als je bedrijfsregelmanagement goed toepast, kun je sneller aanpassingen maken in je systemen. Bijvoorbeeld bij wijzigingen in het beleid. Je kunt je opdrachtgever (het ministerie) van te voren een goede uitleg geven wat er te verwachten is, bijvoorbeeld de kosten van een verandering. Je kunt beslissingen die DUO maakt goed uitleggen, op welke manier die ook genomen zijn: door een mens of een computer.

“Vaak wordt bij het maken van beleid al nagedacht over wat je kunt automatiseren. Daarom wil je dat bedrijfsregels in dialoog ontstaan. Hoe gaan we de wet implementeren en welke invloed heeft automatisering op de wet zelf? Dat is ook moreel relevant. Welke beslissingen laat je de computer doen en welke beslissingen hebben een menselijke blik nodig?”

Een menselijk besluit

Ik vertel Cees-Jan over het proefschrift van Marlies van Eck over computerbesluiten bij de overheid. Hij kent het al. Marlies noemt onder andere het verschil tussen juridische taal en computertaal. De computer kent alleen ja of nee, 1 of 0. Als dit, dan dat. De wet wordt geschreven met ruimte voor uitzonderingen in het achterhoofd. Die dubbelzinnigheid haalt Cees-Jan eruit met zijn werk door juridische taal te vertalen naar mogelijke computertaal.

“Bij DUO kun je herleiden hoe zo’n besluit genomen is. De optelsom van een besluit is bedrijfsregels, gebaseerd op de wet + toepassing in een uitvoering, bijvoorbeeld een computersysteem of een werkinstructie + de persoonlijke gegevens van de student om wie het gaat. Bijvoorbeeld: ik heb een studieschuld bij DUO (mijn gegevens) en wil een ‘jokerjaar‘ inzetten (wet). Ik regel dit via MijnDUO waar ik dit met een formulier kan aanvragen en direct feedback van het systeem krijg dat het geregeld is (toepassing op basis van de bedrijfsregels).

Soms gaat het niet zo makkelijk. Bijvoorbeeld als de gegevens niet compleet zijn, als ik als gebruiker niet goed overweg kan met het systeem en hulp nodig heb, of als de beslissing zo complex of moreel gevoelig is dat we dat niet willen overlaten aan een computer. “In het proces doen we dan een ‘uitworp’. We programmeren dat zo dat er dan een seintje komt dat deze beslissingen door een beslissingsambtenaar genomen moet worden. Meestal is dat wanneer er bewijsstukken opgestuurd moeten worden door de klant. Bijvoorbeeld bij ‘weigerachtige ouders‘. Wanneer de ambtenaar dan een beslissing genomen heeft, wordt die beslissing geregistreerd en gaat het weer ‘de fabriek’ in.”

En soms weet je het niet van te voren. Heb je iets geprogrammeerd, maar had het toch een menselijke blik nodig. Cees-Jan: “Dan gaan we ervan uit dat de klant in actie komt.”

Cees Jan over de onderdelen die tot een beslissing leiden.

De afweging tussen een ‘uitworp’ en ‘de klant in actie’ lijkt me ingewikkeld. Bij een uitworp leg je de last bij DUO neer, in het tweede geval leg je die bij de student neer. “In principe leggen we de last zoveel mogelijk bij onszelf neer. Maar je kunt het niet altijd weten.”

Mijn beeld van bezwaar maken naar de overheid was altijd vrij negatief, een welles-nietes-discussie die je toch niet wint. Cees-Jan noemt bezwaar maken juist hèt middel om in gesprek te gaan met de overheid. “Maar dat moet de ander dan wel kunnen. En dat vind ik wel erg, dat je steeds vaker hoort dat mensen dat niet kunnen bij de digitale overheid. Dat vind ik echt erg.”

Niet alleen wat, maar ook waarom vertellen

Cees-Jan zou graag een stap verder willen gaan en de bedrijfsregels toegankelijker maken voor de student. “Bedrijfsregels zijn een soort beslisboom. Er komt aan het einde een antwoord uit, bijvoorbeeld ‘je hebt geen recht op studiefinanciering’. Elke stap in de beslisboom kun je inzichtelijk maken. Dan zie je niet alleen het antwoord, maar ook waarom dat zo is. En wat je eventueel zou kunnen aanpassen in je leven om wel in aanmerking te komen. Ik vind het belangrijk dat mensen snappen waarom ze iets niet krijgen. En dat ze weten wat ze moeten doen om het eventueel wel te krijgen. Als je een grote mond hebt, lukt het wel. Maar mensen die niet goed voor zichzelf kunnen opkomen, mogen we nooit vergeten.”

Hoe ver ga je? De digitale overheid zou bij uitstek de mogelijkheid kunnen bieden om complete transparantie tussen overheid en burger te bieden. Een tijd terug las ik een essay van Bas Haring waar hij transparantie als een kleine cassetterecorder beschrijft.

“Mijn leraar aardrijkskunde op de middelbare school was een bijzonder grillig man. Zei hij dat we geen huiswerk hadden voor de volgende les, dan gaf-ie soms toch een schriftelijke overhoring. Ziedend waren we dan. Hij had nog zó gezegd dat we niks hoefden te leren. Zelfs als iedereen bij hoog en laag verklaarde dat we geen huiswerk opgekregen hadden durfde hij nog steeds te beweren dat we ons vergisten. ‘Hadden we maar een kleine cassetterecorder’, hebben we weleens gedacht, ‘dan hadden we kunnen registreren dat hij ernaast zat.’ Maar zo’n recorder hadden we niet. En dat is frustrerend. Dermate frustrerend dat ik het me nog herinner.

Transparantie gaat over deze frustratie: het gevoel hebben dat de verkeerde beslissing genomen is, maar op geen enkele manier kunnen achterhalen hoe die beslissing tot stand is gekomen. Het lijkt alsof ICT zaken ondoorzichtiger maakt: ‘Volgens de software komt u niet in aanmerking voor een vergunning, excuses!’ Maar het tegenovergestelde is eerder het geval. ICT is immers zo’n kleine cassetterecorder, of zou dat kunnen zijn.”
Bas Haring en anderen, uit: Essay Estafette, reflecties op de toekomst van de digitale overheid.

Een begripvolle ambtenaar dus?

Ik vind het heel interessant wat Cees-Jan me vertelt. Maar hij zit natuurlijk aan mijn keukentafel om te bespreken hoe ik hem als begripvolle ambtenaar ga fotograferen. “Ik zou mezelf niet per se als begripvol omschrijven.” Die opmerking verbaast me. Wat Cees-Jan mij vertelt over mensen die niet bezwaar kunnen maken, vind ik juist heel begripvol en inlevend. “Ik adviseer alleen. Ik beslis niet.” Cees-Jan koppelt begrip aan verantwoordelijkheid, hm, interessant.

Aan de andere kant snap ik ook weer wel dat Cees-Jan zichzelf zo omschrijft. Eerder deed ik een deep dive naar de nadelen van empathie, dat zijn er nogal wat. Bedrijfsregels halen die nadelen uit onze dienstverlening. Beslissingen hoeven juist niet meer gemaakt te worden op persoonlijke empathie. Dat is goed, want bedrijfsregels zijn niet willekeurig en empathie is dat wel.

Cees Jan over zijn begrip en of dat nodig is.

Cees-Jan kiest in zijn foto voor een roze achtergrond. Hij wil staan en gewoon vertellen. “Schiet maar door.” Hij kiest voor veel licht, dat staat voor openheid. Hij vertelt dat hij altijd van het goede in de ander wil uitgaan. Een mensbeeld op basis van vertrouwen.

Wanneer ik achteraf de foto’s bekijk, valt me nog iets op. Er zit veel tegenstelling in de foto. In kleur, blauw op roze. Maar ook in hem. Hij plukt aan z’n baard, kijkt bedenkend rationeel, maar vertelt juist over vertrouwen en menselijkheid. Zijn bril en zijn bloes hebben hetzelfde gestructureerde patroon, maar zijn haar is lang en los. Ik hou van al deze paradoxen. Het kan samengaan. Net als een overheid die een machine is en toch menselijk. Ik denk dat het kan.