Categories
Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

Hoe we een computerbesluit kunnen zien

Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.

Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.

Ik kan het gewoon zien

Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?

Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.

Openmaken en bekijken

Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.

Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?

Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.

Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.

Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.

Wat we willen bereiken

Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:

  • We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
  • omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
  • zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].

Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:

  • de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
  • de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
  • de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
  • de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.

De methode ontwerpen

In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.

Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.

Het maakproces geven we zo vorm:

Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties

We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.

We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.

Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?

  • Wat zijn de beslisregels die over de nationaliteitstoets gaan?
  • Op welke wetonderdelen zijn de beslisregels gebaseerd?
  • Hoe zijn de beslisregels geprogrammeerd?
  • Hoe zijn ze in de werkinstructie opgenomen?
  • Welke data is nodig en wat zijn bronnen?
  • Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
  • Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?

Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?

  • Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
  • Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
  • Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
  • Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
  • Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?

Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?

  • Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
  • Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
  • Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
  • Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?

‘Wat zit DUO gek in elkaar’

De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)

Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.

Filmpje met de ervaringen van de eerste maakdag bij DUO.

De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.

Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).

Een impressie hoe dat eruit zag:

Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.

Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.

Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!

Prototype van de werkmethode die we binnenkort met de SVB gaan testen

Twee vragen

Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.

En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.

Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!