Tag: coronamelder

Categories
Hoe doe je onderzoek? Werken met beeld

Je onderzoek goed documenteren

Kladblaadjes met aantekeningen uit het interview

Al langer wil ik schrijven over het documenteren van onderzoek. Oef, denk je nu, never mind, dat is geen sexy onderwerp. Wel belangrijk, dus in deze blog laat ik heel concreet zien hoe je onderzoeksresultaten goed kunt vastleggen. Ik werk voor de publieke zaak als ambtenaar, dus kan ik net zo goed mijn geheimen prijsgeven 🙂

Eerder schreef ik waarom goede documentatie belangrijk is. Als je open wilt werken, is het een must dat je documentatie op orde is. Bij DUO komt het elk jaar terug in onze goede research voornemens. En het is belangrijk als je als organisatie niet op onderbuikgevoelens, maar op basis van inzicht in je gebruiker beslissingen wilt maken.

Wat is goede documentatie?

Voor het vastleggen van de je onderzoek gelden dezelfde regels als voor elke informatie. Het moet:

  • toegankelijk: iedereen in je organisatie kan erbij (en als je open werkt ook iedereen daarbuiten)
  • vindbaar: de inzichten zijn doorzoekbaar en de informatie bereikt de juiste mensen
  • begrijpelijk: genoeg context voor iedere lezer, ook als je nieuw bent in het team
  • bruikbaar: heldere conclusies en aanbevelingen die je kunt inzetten en ze zijn goed onderbouwd

Het meeste onderzoek bij organisaties gaat hand in hand met ontwikkel- of beleidsteams die er vervolgens mee aan de slag gaan. Dat betekent dat je in korte iteraties werkt. Het makkelijkst is om elke stap direct te documenteren. Je onderzoeksdossier groeit vanzelf wel mee. Ik doe dat in 4 stappen:

  1. Ik begin met de onderzoeksvraag. Dit is meestal ook de aanleiding van het onderzoek.
  2. Ik schrijf en laat zien hoe ik het aangepakt heb. Wat is de methode, wie waren betrokken?
  3. Wat heb ik geleerd? Op basis waarvan?
  4. Hoe ga ik verder?

Het werkt het beste als al het onderzoek bij elkaar is en niet verspreidt over afdelingsschijven. Verschillende teams werken soms voor dezelfde gebruiker. Staat alles bij elkaar, kunnen ze makkelijk elkaars inzichten gebruiken. En als iets een eerder onderzoek tegenspreekt, zie je dat ook. Zo leer je als organisatie (zonder eindeloos te hoeven vergaderen, heuj!). Ik schreef hier eerder deze blog over: Alles wat we weten over de klant, weten we allemaal.

Van audio naar kladjes naar blog naar essay

Een voorbeeld. Bij de portretserie De begripvolle Ambtenaar pakte ik het ook zo aan. Ik begon met een interview. Dat nam ik op in audio en foto’s. Later luisterde ik alles terug en schreef ik soms 10 A4tjes vol. Ik heb hier ook weleens Happyscribe voor gebruikt, maar schrijven op papier werkt voor mij fijner. In mijn klad markeerde ik de belangrijkste punten die ik leerde. Daar zocht ik eventueel extra context bij (desk research). Ik vatte alles samen in een blog met aanbevelingen voor mezelf hoe ik verder kon gaan in het onderzoek. Na 17 interviews vatte ik alle inzichten samen in essays over De Begripvolle Ambtenaar.

Van ruwe data naar wijsheid

Wanneer ik een onderzoeksmoment documenteer vertel ik niet alleen wat ik ontdekte, ik laat het ook zien. Ik geef voorbeelden en onderbouw conclusies met quotes, in tekst of audio, en beeldmateriaal.

Je moet het niet geloven omdat ik iets schrijf, maar om het bewijs dat er bij zit.

Bij mijn interview met Henk als begripvolle ambtenaar zag dit proces er zo uit (uit de ‘achter-de-schermen-video die Aljan Scholtens maakte):

Het foto-interview met Henk en het documenteren ervan

Van Henk heb ik mijn kladjes niet meer, maar van Johan als begripvolle ambtenaar nog wel. Speciaal voor jullie ook die op de blog.

Kladblaadjes met aantekeningen uit het interview
Opzet van de blog met de belangrijkste inzichten

Nog een voorbeeld: CoronaMelder

In de zomer liep ik mee met medewerkers van de GGD in hun werk om het coronavirus te bestrijden. Ik mocht geen opnames maken, dus ik typte met elk gesprek live mee. Op mijn laptop maakte ik mapjes met een documentje per bezoek, of soms per persoon die ik sprak.

Na het bezoek ging ik daar nog eens goed doorheen. Eerst om alle typos van het snelle typen recht te zetten. Daarna om patronen te ontdekken die ik onderstreepte. Verschillende onderwerpen gaf ik een eigen kleur. Per onderwerp werkte ik het uit in een inzicht. Die inzichten, samen met de context van het onderzoek en de observaties waarop dat gebaseerd was, deelden we op Github.

Over welke thema’s gingen de interviews? Wat zag ik tijdens het meelopen? Hoe werkten medewerkers met alle systemen en met elkaar? Kwam iets regelmatig terug, hoe dan?

Bij het meeluisteren met een bron- en contactonderzoeker zag dat er bijvoorbeeld zo uit. Groen gehighlight gaat over hoe de maatregelen verteld worden, oranje hoe mensen daar op reageren, geel hoe contacten in kaart gebracht worden en blauw gaat over de systemen die gebruikt worden. Vooral groene en oranje informatie vonden we belangrijk bij het maken van de melding die CoronaMelder via je telefoon stuurt. Ter vergelijking: hier het gedocumenteerde onderzoek van die dag.

Het gaat niet alleen om wat mensen zeggen, maar ook om wat je ziet, wat mensen doen en wat er om je heen gebeurd tijdens een onderzoeksmoment. In een van mijn eerste bezoeken vertelden verschillende medewerkers dat ze steeds weer anders moeten werken. “Bij elke persconferentie wordt er weer een verandering aangekondigd en moeten wij ons werk weer anders doen.” In de gangen zag ik flip-overs met steeds de nieuwe aanpak, de oude vellen lagen op de grond in de hoek. Deze meeloopdag leidde vervolgens tot dit inzicht ‘Het proces verandert elke week‘.

In al deze documentatie kun je precies zien hoe ik van ‘wat zag ik‘ naar ‘wat weet ik nu‘ naar ‘next step‘ ga. Bij CoronaMelder zijn alle onderzoeken en inzichten gepubliceerd op Github, en doorzoekbaar in Sticktail (het programma waar de onderzoekers in werken). Op die manier is het hele onderzoeksdossier bij elkaar en groeit onze wijsheid als team en als organisatie naarmate we meer onderzoek doen ‘vanzelf’.

Wat wel en wat niet vastleggen

Er zijn natuurlijk grenzen aan welke informatie je bewaart, hoe je dat doet en hoelang. Denk hierbij aan

  • informatie over personen. Sowieso vraag je toestemming voor het onderzoek, maar je hoeft meestal niet in je documentatie te vertellen over wie het precies gaat. Soms is beeldmateriaal fijn, vraag hier dan extra toestemming voor dat het gedeeld mag worden. (Ik stuur het meestal ook op: ‘kijk, zo heb ik het gebruikt in het verslag’).
  • informatie die niet relevant is of verouderd.
  • informatie die niet gedeeld mag worden. Dit is vooral belangrijk als je open werkt. Waar ligt de knip en wat mag niet ‘naar buiten’? Overleg hierover en bespreek wie dit bepaalt en op welke voorwaarden.

En zorg ervoor dat je informatie makkelijk te vinden is. Ik gebruikt op dit blog categorieën en tags. Bij DUO werken we net als bij CoronaMelder met Sticktail die ook op basis van tags het zoeken in al je onderzoek makkelijk maakt. Geef documenten en mapjes goede namen die iedereen kan begrijpen (en niet alleen jij). Zo raak je nooit het overzicht kwijt.

Documenteren zal nooit helemaal sexy worden, maar zo kom je hopelijk een heel eind. Succes!

Categories
Een begripvolle toekomst Geen onderdeel van een categorie

Hoe ga je open?

Twee weken geleden schreef ik over de schoonheid van de achterkant van de overheid. De overheid moet open werken, dat maakt alles zoveel beter. Dat willen is één ding, maar hoe begin je? Na die blog kreeg ik een berichtje van drie dames van de Gemeente Amsterdam die met een project open wilden werken, maar niet wisten hoe ze concreet konden beginnen. Samen bedachten we een aantal stappen die je kunt nemen om ‘open te gaan’. In dit blog zet ik ze op een rij.

Stap 1: Voor wie ga je open?

Open ben je niet in je eentje. Dat doe je juist zodat de ander je kan zien en bij je kan komen. Zodat anderen je begrijpen en met je samen kunnen werken. De eerste stap die je moet nemen is bedenken wie die ander is. Met wie wil je samenwerken? Dat kan je doelgroep zijn, maar ook medewerkers van andere organisaties of kritische burgers en ondernemers.

Bijvoorbeeld, bij CoronaMelder werkten we open op verschillende manieren.

  • Alle code, designs en onderzoeken stonden op Github en werden besproken in de openbare Slackgroep Code for NL. Hier zaten vooral kritische programmeurs en ontwerpers. Sommigen kregen zelfs toegang tot onze Figma zodat ze zelf aan de slag konden gaan in onze ontwerpbestanden om hun ideeën bij te dragen.
  • In de openbare Slackgroep zaten ook belangenorganisaties (bijvoorbeeld op het gebied van privacy) en journalisten. Zij volgden het project kritisch (terecht!).
  • Burgers die de app potentieel zouden gebruiken nodigden we uit om vanuit huis of in het onderzoekslab in Amsterdam de app uit te proberen. We lieten hen de app in een vroeg stadium zien en elke wijziging testten we opnieuw tot het goed was. We nodigden allerlei burgers uit, 60+’ers, mensen die Arabisch spreken, mensen die taalarm zijn, jongeren, mensen met een visuele beperking, en meer.
  • We betrokken wekelijks medewerkers van de GGD. Door met hen mee te lopen in hun werk maar ook door de verslagen van deze bezoeken met hen te delen. Ook op bestuurlijk niveau werd regelmatig advies gevraagd en geluisterd naar de GGD.
  • Daarnaast werkten we samen met een begeleidingscommissie van gedragswetenschappers die ook toegang hadden tot dezelfde informatie als wij.

Open werken is een gesprek en dat gesprek voer je niet met jezelf.

Iemand test CoronaMelder in het Arabisch

Stap 2: Waar ga je open?

Voor wie je open gaat, bepaalt ook waar je dat doet. Welk platform kies je en voor wie moet welke informatie toegankelijk zijn? Bestuurders, programmeurs en gebruikers van je product vragen allemaal een andere taal en plek. Ik denk dat je een plek nodig hebt voor je informatie/ documentatie en een plek voor het gesprek hierover. Die plekken moeten toegankelijk zijn voor je doelgroepen, maar mogen best onhandig zijn voor wie je doelgroep niet is. Wil je bijvoorbeeld samenwerken met mensen die niet zo handig zijn met techniek, dan is een appgroep een beter idee dan Slack.

Kies de plek die past bij je doelgroep.

Bij CoronaMelder plaatsten we alle documentatie op Github, daar konden anderen ook wijzigingen voorstellen. We gebruikten de Code for NL Slack om het gesprek hierover te voeren. Dit had een kleine drempel. Je moest je aanmelden voor zowel Slack als Github. Hiervoor had je motivatie nodig maar ook een beetje inhoudelijke kennis. Later maakten communityleden een website om het meepraten over de app toegankelijker te maken. Deze drempel was ook fijn omdat een inhoudelijke discussie op Twitter soms niet te voeren was door de felheid en valse informatie.

Je hebt een veilige plek nodig om te experimenteren en een open gesprek te voeren.

Toen ik de afgelopen twee jaar aan De Begripvolle Ambtenaar werkte, deed ik dat ook open. Ik gebruikte dit blog om de voortgang te delen. Ik gebruikte sociale media (Twitter en Linkedin) om een gesprek te organiseren. Dit omdat de algoritmes van sociale media maakten dat het bereik groter werd dan mijn eigen netwerk maar ook omdat ik het belangrijk vond dat het thema van mijn onderzoek open en eerlijk besproken wordt (en niet in een semi-verborgen groep).

Stap 3: Geef context

Je kunt pas meepraten, als je weet waar het over gaat. Doe niet een code dump op Github, maar geef context bij het doel wat je wilt bereiken. Bij CoronaMelder delen we daarom ook al het onderzoek open, zowel gebruikersonderzoek als inzichten over het werk van de GGD. Die context hebt je nodig om ontwerpkeuzes te begrijpen en te kunnen bevragen.

Bij blogs die ik hier schrijf, deel ik in de inleiding ook altijd context. Bij het schrijven bedenk ik me altijd ‘Stel nu dat je voor het eerst op mijn blog bent: wat moet je dan weten om deze blog te begrijpen?’

Deel je voorkennis en context zodat je op gelijke voet staat.

Je werk wordt er altijd beter van als je het samen doet 🙂

Stap 4: Maak je documentatie op orde

Lijkt op stap 3, maar is toch anders. Maak van je kladblok heldere samenvattingen die je open kunt delen. Niet iedereen volgt automatisch je hersenspinsels of kent alle afkortingen van je organisatie. Open werken betekent dat je goed uitlegt wat je doet, wat je leerde en hoe je verder gaat.

Deel elke stap en maak de stap niet te groot.

  • Een kleine stap is makkelijker te overzien en sneller gedaan.
  • Kleine stappen zetten de ander niet buitenspel. Je kunt alleen meepraten als je toegang tot info hebt en er nog geen beslissing is genomen.
  • Het eindverslag schrijft zichzelf want elke stap is al goed gedocumenteerd.

Als je De Begripvolle Ambtenaar vanaf het begin volgde op dit blog, zal mijn eindpublicatie niet volledig nieuw zijn. Veel fragmenten uit mijn essays zijn eerder als blog hier verschenen. Soms kregen blogs later een nieuwe lading wanneer ik nieuwe inzichten op deed. Soms stuurden anderen na een blog een boekentip of een praattip waarmee ik een nieuw puzzelstukje vond.

Stap 5: Organiseer het gesprek

Niemand bedenkt op dinsdagmiddag ‘goh, eens kijken of de gemeente nog iets heeft gedeeld waar ik in mee kan denken’. Een gesprek ontstaan niet vanzelf.

Nodig mensen actief uit om mee te doen.

Dat deden we bij CoronaMelder bijvoorbeeld door deze post die ik op Linkedin deelde. Ik vroeg ontwerpers zich aan te melden voor de Code for NL community waar we het gesprek over de corona-app mochten houden. De post werd veel gedeeld en meer dan 42.000 mensen hebben hem gezien. Er kwamen zo’n 300 ontwerpers de Slack in. Nog steeds melden zich nieuwe mensen, of worden mensen juist minder actief. Dat is okè!

Om dit in goede banen te leiden, is een community manager handig. Bij CoronaMelder is dit Edo Plantinga. Onvermoeibaar betrekt hij iedereen. Stelt hij vragen en gooit hij gesprekken open. Zit hij teamleden achter de broek dat er ‘2 dagen geleden al een vraag gesteld is waar niemand nog op heeft gereageerd, wie wil dat even doen?!’

Geef iemand de rol van community manager in je open project.

Edo organiseerde regelmatig openbare videocalls waar iedereen aan mee kon doen. Elke vrijdag hadden we een inloopspreekuurtje of een teamlid deed een AMA, een Ask Me Anything. Informeel bespraken we allerlei zaken over de app met communityleden.

Organiseer laagdrempelige contactmomenten

Behind the CoronaMelder app: Open source, experts & de overheid

Edo hoeft het niet alleen te doen. Open werken betekent ook dat teamleden zelf de gesprekken voeren en de discussie aangaan. Het is juist goed als je direct met het teamlid kunt sparren als communitymember. Hèt teamlid dat zelf aan de knoppen zit waar jij juist een goede inhoudelijke vraag over hebt. Niet alles hoeft langs communitymanagers of woordvoerders te gaan, het is veel beter voor het resultaat als het rechtstreeks gaat.

Betrek het hele team erbij.

Dit is spannend want in de ambtenarij zijn we gewend om anoniem te kunnen werken. Maak je een account op Github aan onder je eigen naam? Maar dan kunnen ook alle beslissingen teruggeleid worden tot jou persoonlijk. Als ambtenaar val je onder de ministeriële verantwoordelijkheid. Dat betekent dat ambtenaren niet zelf verantwoordelijkheid hoeven af te leggen over wat ze doen, dat doet de minister.

Deze zomer adviseerde de Raad van State om deze ministeriële verantwoordelijkheid aan te passen. ‘Uitleggen wat de overheid doet en waarom is belangrijker dan ooit. Er is een transparant en correct samenspel nodig tussen Kamer, Kabinet en Ambtenaren‘ en burger, voeg ik daar zelf even aan toe *angelface*. Dit onderwerp heb ik al uitgebreid uit de doeken gedaan op debegripvolleambtenaar.nl, maar ik stip het hier toch even extra aan omdat dit een van de redenen is waarom ambtenaren weinig naar buiten treden en daardoor moeilijk open kunnen samenwerken. Dat kan anders!

Wees jezelf en ga het gesprek aan.

Stap 6: Betrek de woordvoerder

Niet alleen de woordvoerder, ook de manager, de directeur, de minister of de burgemeester. Open werken zorgt voor een andere dynamiek. Vraag je af wie verantwoordelijk en aanspreekbaar is in je organisatie, dat ben jij niet alleen. Een open gesprek voer je samen, ook binnen je organisatie. Zorg ervoor dat iedereen die een rol speelt ook weet dat je open wilt werken en hoe je dat gaat doen. En werk samen om dit goed te doen.

Ik noemde al eerder: er zitten ook belangengroepen en journalisten in de zaal. Als het open is, kunnen zij ook meelezen en meevragen. Dat betekent dat het gesprek alle kanten uitgaat, in plaats van netjes via de minister die verantwoordelijk is om de Kamer eerst te informeren. Soms staan er details op Github, en dus binnen no time in de krant, die bijvoorbeeld niet in de Kamer zijn besproken. Is dat erg?

Betrek de mensen in je organisatie die verantwoordelijk en aanspreekbaar zijn op wat je doet.

En ja, niet altijd zal alles open kunnen zijn. In juni schreef de GGD een brief naar het ministerie van VWS over de app met allerlei zorgen. Die brief kwam later pas openbaar toen de NOS een wob-verzoek deed en erover publiceerde. Had deze brief eerder openbaar kunnen zijn? Misschien wel, misschien niet. Open werken betekent niet dat elke communicatie, elke overweging openbaar hoeft te zijn. Waar de grens ligt moeten we continu ontdekken, afspreken en weer aanpassen.

Bespreek de grens van openheid met elkaar.

Open werken maakt van het klassieke trapje ‘organisatie – minister – kamer/ journalist – burger’ een twee-richtingsgesprek. In de community worden zaken besproken die leiden tot nieuwe inzichten en dus nieuwe ontwerpkeuzes. Dat gaat geleidelijk in elkaar over. Bij CoronaMelder zorgden we ervoor dat de Kamer regelmatig geïnformeerd werd over het open proces en de stand van zaken. Op debegripvolleambtenaar.nl schreef ik al eerder over deze omgekeerde dynamiek als de oplossing om onbegripvolle patronen in de overheid te doorbreken.

https://twitter.com/danielverlaan/status/1296098833114566664?s=20

Stap 7: Maak plezier

Het is heel leuk om open te werken. Je leert allerlei nieuwe mensen kennen en maakt iets veel beters dan wanneer je dat alleen met je eigen clubje had gedaan. Je ziet hoe je product in actie gebruikt wordt en je hebt zeker geen saaie kantoorbaan meer.

Sta open voor het gesprek. Dat is spannend want je stelt je kwetsbaar op. Je krijgt feedback, dat is leuk èn moeilijk. Meestal heb je echt wat aan de feedback, soms is het ongefundeerd (stap 3 en 4 maken de kans hierop veel kleiner). Soms is het ook gewoon moeilijk te verteren. Heb je zo je best gedaan, zet je het ’s avonds laat online en wordt je wakker met op sociale media ‘een dikke onvoldoende’ en zie je jouw werk met rode strepen. Ook dat hoort erbij. Neem het niet persoonlijk, en…

Ga ’s ochtends niet voordat je koffie hebt gehad op Twitter.

Ask Me Anything… hartje als toestemming dat je op de foto wil

Tot zover mijn tips hoe je kunt beginnen met open werken. Als je Ineke, Anouschka en Marieken van de Gemeente Amsterdam wilt helpen met hun open project, begin dan hier.

Hoe werk jij open? En hoe ben je begonnen?

Categories
Een begripvolle toekomst Geen onderdeel van een categorie

De schoonheid van de achterkant

De broncode van de overheid wordt vanaf volgend jaar zoveel mogelijk open. Dat schrijft de minister van Binnenlandse Zaken in de begroting over 2021. Overheden die de broncode van hun dienstverlening willen gaan delen en open source willen werken, kunnen rekenen op steun van de minister.

Super. Dat past natuurlijk helemaal in mijn straatje van een digitale overheid die open, eerlijk en samen werkt.

Alleen… ik maal er een beetje over sinds dit bericht in september naar buiten kwam. Het klinkt zo simpel, de deur opengooien en ‘open source gaan’, maar dat is het niet. Het is namelijk niet alleen een technische publicatie, open source werken raakt vooral ook de cultuur van een organisatie. Het betekent dat je de achterkant van de overheid laat zien.

In dit blog een aantal gedachten over wat er gebeurt als je de achterkant van de overheid open maakt. Waar ligt de grens voor open werken en hoe moet je daarmee omgaan?

De voor- en achterkant van Marieke Opgelders Toy Embroidery

Waarom open?

Op het Rijks ICT Dashboard kun je alle grote ICT-projecten zien die op de planning staan. Ik snuffel daar regelmatig graag doorheen. In veel zit overlap. Sowieso zit er veel overlap bij technische projecten van de overheid. Bijvoorbeeld digitaal iets aanvragen en die aanvraag vervolgens kunnen volgen zoals je ook met een besteld pakketje kunt. Of een applicatie om een financiële beslissing te nemen en die vervolgens uit te betalen aan de burger.

Iedere organisatie maakt of koopt zijn eigen applicaties. Er worden weinig tot geen applicaties open gedeeld zodat anderen hier delen van kunnen hergebruiken. Dat is onnodig duur, maar maakt ook dat de overheid voor burgers overal net een beetje anders werkt.

Posters van de Government Digital Service

‘Make things open, it makes things better‘, staat op posters van de Government Digital Service in Engeland. Beter wordt het wanneer kritische experts van buiten meedenken. Open maakt het makkelijker en goedkoper om bij te dragen aan de overheid, ook vanuit het bedrijfsleven. Open wakkert innovatie aan omdat anderen door kunnen gaan op het werk en de ideeën. En open helpt anderen de overheid te controleren. Kritische partijen in het algemeen, en journalisten en parlementsleden in het bijzonder. (En denk eens wat een tijd we overhouden van alle WOB-verzoeken als alles al open is!)

Maar waar ligt de grens van openheid?

Aan een codedump op Github heb je nog niet zoveel. Je hebt context nodig. Je wilt snappen hoe de overheid werkt. Op collectief niveau om alle redenen die ik hierboven noemde, maar ook op individueel niveau. Je wilt namelijk ook snappen hoe de overheid tot een beslissing komt, daar is uiteindelijk al die code om te doen, toch?

De context van de code

De overheid voert wetten uit. Wetten waardoor burgers iets kunnen of moeten doen. Iets moeten betalen of iets krijgen, zoals toestemming of geld. Toen ik mijn collega Cees-Jan fotografeerde als begripvolle ambtenaar bespraken we hoe ‘de computer van DUO’ tot een beslissing komt. Hij vertelde over de catalogus van beslisregels die we bij DUO hebben, waar elke wet ontleedt is tot regels tekst die samen gebruikt kunnen worden om te beslissen bijvoorbeeld over een aanvraag van een student voor studiefinanciering.

Bij DUO kun je herleiden hoe zo’n besluit genomen is. De optelsom van een besluit zijn de beslisregels, gebaseerd op de wet + toepassing in een uitvoering, bijvoorbeeld een computersysteem of een werkinstructie + de persoonlijke gegevens van de student om wie het gaat. Bijvoorbeeld: ik heb een studieschuld bij DUO (mijn gegevens) en wil een ‘jokerjaar‘ inzetten (wet). Ik regel dit via MijnDUO waar ik dit met een formulier kan aanvragen en direct feedback van het systeem krijg dat het geregeld is (toepassing op basis van de beslisregels).

Mijn gesprek met Cees-Jan in november 2019
De wet vertaalt in beslisregels + de toepassing in code of analoge werkinstructie + de gegevens van de burger = beslissing.

Open om burgers te beschermen

Marlies van Eck, assistent professor AI & Law aan de Radboud Universiteit onderzocht de rechtsbescherming van de burger in geautomatiseerde ketenbesluiten. Een van haar conclusies is dat het niet duidelijk is hoe de overheid de wet heeft geïnterpreteerd wanneer de computer beslist. Zij kon niet onderzoeken of dit goed gebeurde en welke keuzes waren gemaakt bij het maken van zo’n computerbesluit. De rechtsbescherming van de burger is in het geding, volgens Marlies van Eck.

Als we de broncode van de overheid open maken, dan gaat het hierover, als je het mij vraagt. Dan gaat het dus niet alleen over de broncode, die is eigenlijk ‘maar’ een uitwerking van hoe we de wet uitvoeren. De overheid moet open delen hoe de wet vertaald wordt naar beslisregels, die vervolgens geprogrammeerd worden. Maak de beslisregels open. En help de burger zien hoe op basis van die beslisregels over hem besloten wordt.

  • Niet alleen code, maar juist de beslisregels.
  • Help de burger te begrijpen hoe die beslisregels beslissen.

Mijn studieschuld

In 2015 deed ik onderzoek voor DUO naar het terugbetalen van je studieschuld. Voor een groep ex-studenten gold dat ze uit meerdere regelingen konden kiezen. Ik was er zelf ook zo een. Ik mocht kiezen tussen de terugbetaalregels van voor en na 2012. Doordat ik bij DUO werkte, kon ik mooi uitvissen welke regeling voor mijn situatie het beste werkte.

Ik berekende en simuleerde samen met Jasper, mijn man, hoe het precies zou gaan bij een aantal verschillende toekomstscenario’s. Oké, Jasper verloor na de eerste middag de interesse in dit avontuur, ik gelukkig niet, en samen met mijn collega’s bedacht ik een aantal rekenhulpen om studenten te helpen dit soort berekeningen ook te doen.

Simulatie hoe je je studieschuld kunt terugbetalen

Vorig jaar ging mijn collega Evalien een flinke stap verder. Elk jaar in januari bellen veel studenten over de aanvullende beurs. Die is dan opnieuw berekend en het kan dat je hierdoor een ander bedrag krijgt van DUO. Die verandering uitleggen is nog niet zo simpel, er zitten behoorlijk wat beslisregels aan. Evalien maakte van de complexe beslisboom een simpele kaartencollectie waar studenten doorheen kunnen swipen. Op basis van hun kaartenset, die ze kunnen aanpassen, zien ze hoe de regels voor hen uitvallen en wat ze vervolgens kunnen doen.

Open code > open proces

De achterkant van de overheid laten zien kan dus heel technisch voor de maatschappij in het algemeen, zodat anderen applicaties kunnen hergebruiken. En het kan heel gebruiksvriendelijk zodat burgers begrijpen waarom een beslissing van de overheid zo uitpakt voor hen.

Maar we moeten nog een stap verder. We moeten delen hoe dit alles tot stand komt.

De afgelopen twee jaar heb ik onderzocht hoe we bij DUO keuzes maken en hoe we bijdragen aan een begripvolle digitale overheid. Het leverde een galerij van begripvolle ambtenaren op. Ik ontdekte dat techniek niet neutraal is en dat het belangrijk is om te reflecteren welke bias wij in onze digitale diensten stoppen. Als we open werken, kan dat.

Deze zomer deed ik onderzoek voor CoronaMelder, de app die je waarschuwt als je bij iemand in de buurt bent geweest met corona. Bij CoronaMelder staan code, architectuur, ontwerp en onderzoek op Github. Bij elke versie is er een changelog die verklaart wat en waarom er veranderd is. Het proces is open. Elke week communiceren we in de Code for NL-community waar meer dan 1500 ontwikkelaars en ontwerpers kritisch meedenken en meehelpen. Ik zeg niet dat het altijd makkelijk is. Soms zat je een avond/nacht te zwoegen om ’s ochtends wakker te worden met een bord zeer kritische feedback voor ontbijt.

Voor CoronaMelder op bezoek bij de GGD in Utrecht

CoronaMelder is door het ministerie van Volksgezondheid gemaakt samen met de GGD, kritische burgers en belangenorganisaties. Hiervoor moest het ministerie heel open zijn. Alles delen en ook vertellen hoe je gekomen bent tot dat resultaat. Die openheid is spannend (en ja, er zitten ook journalisten in de community). Als iedereen de achterkant kan zien, dan betekent dat ook wat voor hoe je die achterkant maakt.

Ik merkte zelf bijvoorbeeld dat ik bij het publiceren van mijn onderzoek naar de GGD toch een keer extra door alle documentatie heen ging. Had ik het goed verwoord? Stonden alle observaties erin? Was mijn advies objectief en goed onderbouwd? Goed documenteren vond ik nooit echt sexy, maar is een voorwaarde om echt open te kunnen werken, heb ik ontdekt. Ik vond het zo leuk dat communityleden met mijn onderzoek verder gingen, nieuwe onderzoeksvragen bedachten en zelfs met eigen onderzoek gingen aanvullen. Dat kan alleen als je open werkt.

De achterkant is prachtig

Marieke Opgelder, een vriendin van mij, maakt prachtige kunstwerken door alledaags speelgoed en keukenapparatuur te borduren. Haar werk vind ik het mooist als je het omdraait: de achterkant van het borduurwerk is net als de achterkant van het te borduren object. In het aan- en afhechten van draad zit een schoonheid die zij niet wegmoffelt, maar juist gebruikt en tot kunst verheft. I love it. Dit zouden we ook moeten doen bij de overheid!

Marieke Opgelders Kitchenaid Embroideries

Voor mijn afstuderen gaf ze me een ingelijste Tinkerbell die ik aan beide kanten kan tentoonstellen, net waar ik zin in heb. Marieke en Tinkerbell herinneren me eraan dat de achterkant net zo mooi kan zijn als de voorkant. Maar ook dat wanneer beide kanten bekeken worden ze ook allebei begrepen moeten worden. Het vraagt een andere borduurtechniek.

Categories
(On)begrepen burgers Hoe doe je onderzoek?

Een dubbele test met de CoronaMelderapp

Je ziek melden in de app en je contacten waarschuwen kan alleen samen met een GGD-medewerker. Dit doe je door je GGD-sleutel die in de app staat aan de GGD-medewerker te geven. Die vult deze sleutel samen met je 1e ziektedag in het app-portaal in. Dan kun je je codes delen vanuit de app. De GGD zet als het ware met de sleutel de deur open zodat je codes naar de centrale server kunnen. Andere app-gebruikers kunnen de ‘besmette’ codes op de centrale server vergelijken met de codes die zij op hun telefoon ontvangen hebben. Is daar een match, dan krijgen zij een bericht dat ze in contact zijn geweest met iemand die het coronavirus heeft. 

Hallo, met de GGD. Ik bel u omdat u een test hebt gedaan. U hebt het coronavirus onder de leden. […] Heeft u de app? En wilt u anderen waarschuwen via de app? Zullen we dat samen doen?

Anja, GGD Utrecht

Deze ziek-melden-flow testten we 15 juli in een dubbeltest met een app-gebruiker en een GGD-medewerker. In dit blog de opzet van deze test en wat we leerden.

Samen door de app, in Amsterdam (links) en Utrecht (rechts)

Op 2 locaties tegelijk: hoe werkt dat?

Het klinkt simpel, de een in Amsterdam, de ander in Utrecht. Logistiek was dit voor ons nog wel even een puzzel. In Amsterdam zijn een aantal app-gebruikers die de app testen. Halverwege hun test worden ze gebeld door een GGD-medewerker die in Utrecht meedoet met de test. Samen gaan ze door het scenario heen. In Amsterdam wordt de app getest, op een GGD-locatie het app-portaal voor de GGD’s. We testen dus 2 applicaties tegelijk, en eigenlijk gaat het vooral om de interactie tussen die 2 applicaties via de GGD-medewerker en de (zogenaamde) patiënt.

Elke woensdag testen Job en Lia (onderzoekers) sowieso al de app met allerlei gebruikers in het onderzoekslab in Amsterdam. Die tijden stonden vast. Voor de GGD-test maakte ik een rooster eromheen. Maar… de GGD-medewerkers hadden wel iets meer voorbereidingstijd nodig dan de app-gebruiker. Samen met Emiel (ontwerper) gaf ik Anja, die bij de GGD Utrecht als bron- en contactonderzoeksvraagbaak werkt, eerst een uitgebreide uitleg over de app, wat ‘ie doet en hoe hij samengaat met de GGD. We gingen het app-portaal door, en beantwoordden alle vragen die Anja had.

Emiel en ik leggen Anja uit hoe de app werkt

Wij konden in Utrecht op afstand meekijken met de test in Amsterdam. Dat was een beetje vals spelen, want straks in het echt kan de GGD niet meekijken bij de patiënt thuis. Wanneer de gebruiker in Amsterdam op de helft van de test was, belden wij met ‘de uitslag van de coronatest’. En natuurlijk met de vraag of de ‘patiënt’ zich ziek wilde melden in de app om daarmee anderen te waarschuwen.

Na de lunch schoof een collega van Anja aan. Zij kreeg een korte introductie van Anja hoe alles werkte, keek een gesprek mee en nam het toen over. In het echt zijn de makers van de app er ook niet bij, en moeten medewerkers het aan elkaar uitleggen.

  • Stap 1: uitleggen wat de app doet
  • Stap 2: de GGD-sleutel doorgeven en invullen
  • Stap 3: codes delen door de app-gebruiker
  • Klaar!
Screens van versie 0.3 van het app-portaal voor Anja

5 uit 5 geslaagd

Het lukte alle vijf gebruikers in Amsterdam om samen met de GGD-medewerker zich ziek te melden in de app en daarmee anderen te waarschuwen dat ze in contact waren geweest met iemand die later corona blijkt te hebben. Anja en haar collega vonden het app-portaal soepel werken. Dat is top!

Maar er zijn ook dingen die beter kunnen. Dit is wat we leerden:

  • Het op luidspreker zetten en openen van de app verliep soms moeizaam. De GGD-medewerker kon niet zien waar iemand was in de app en had niet goed door of de telefoon wel of niet op speaker stond. In de volgende versie van het app-portaal maakten we een extra reminder voor de GGD-medewerker om de app-gebruiker hiermee te helpen.
  • Nog niet iedere app-gebruiker snapte wat hij nou precies gedaan had, toen het telefoontje klaar was. De GGD-medewerker vond het heel belangrijk (en dat is het ook) dat de patiënt goed wist waar hij toestemming voor had gegeven. Aan het eind van de dag keken we samen met de GGD terug naar de testen. Conclusie: de GGD-medewerkers willen specifieke informatie over hoe de app werkt en wat er precies gebeurt. Dan kunnen ze dit ook goed vertellen aan de patiënt.
Anja legt aan de app-gebruiker in Amsterdam uit hoe zij met de app haar contacten kan waarschuwen
  • Het ’train de trainer’-idee wat we bij Anja en haar collega van de GGD toepaste, werkte goed. Alleen… Anja had nog te weinig materiaal om haar collega goed uit te leggen wat de app deed. Nu was het vooral praktisch: meekijken. Je kon merken dat Anja veel uitgebreider wist wat ze moest doen en hoe alles werkte dan haar collega. Goede uitleg en introductiemateriaal maken is een must. Een dag later mailde Anja mij hier nog eens over (waar ik het overigens geheel mee eens ben):

Ik zat nog wat na te mijmeren over gisteren en dan met name de vraag welke scholing nodig zou zijn. Ik denk dat een goede e-learning met een website waar FAQ’s zijn opgenomen echt een heel goede optie zou zijn, mits de e-learning tot stand komt in samenwerking met medewerkers die het BCO zelf kennen/doen zodat het goed aansluit bij de werkelijkheid op de werkvloer.

Anja, GGD Utrecht

Van de dag is ook een kort filmpje gemaakt, met een glansrol voor Anja die vertelt hoe ze de test heeft ervaren:

Samenvatting van de testdag

Ben je benieuwd naar al het onderzoek en hoe we dit toepassen bij het maken van de app en het app-portaal? Alles staat openbaar op Github. De onderzoeksverslagen met alle inzichten van het app-portaal vind je hier:

Komende vrijdag (24 juli) en volgende week woensdag (29 juli) staan er weer testen op de planning bij een GGD.

Categories
Hoe doe je onderzoek?

Een corona-app die eerder en meer mensen waarschuwt

Wanneer je een bezoek brengt aan een GGD is de kans groot dat je ze ziet hangen: grote vellen papier met getekende stambomen. Bovenaan de bron van de besmetting, de eerste persoon die besmet is of het bedrijf waar iedereen aan verbonden is. Met lijntjes worden de contacten in kaart gebracht, sommigen ook met een positieve testuitslag op het coronavirus. Deze vellen papier geven overzicht. De bedoeling is natuurlijk dat de stamboom niet groeit. Dat de verspreiding van het coronavirus stopt, bij elk van die personen op de stamboom.

Sinds mei loop ik mee met het bron- en contactonderzoek van de GGD. Dit doe ik om te onderzoeken hoe een corona-app kan helpen bij de bestrijding van het coronavirus. Samen met medewerkers van de GGD kijk ik hoe hun werkprocessen in elkaar zitten. Hoe zij mensen aan de telefoon te woord staan en hoe mensen reageren. Wat betekent een app voor dit werkproces?

B: “Goedemorgen, u spreekt met B van de GGD. Komt het gelegen dat ik u even bel?” P: “Ja.” B: “Ik bel u met de uitslag van uw test. Die is positief, dat betekent dat u het coronavirus heeft.” P: “…” B: “Schrikt u daarvan?” P: “Ja, nee… nee… oh… werkelijk?”

Gesprek tussen GGD-medewerker B en patiënt

In de vorige blog schreef ik hoe we de corona-app testen met allerlei soorten gebruikers. In dit blog praat ik je bij over wat ik leerde tijdens het meelopen bij de GGD en wat dit betekent voor de corona-app.

Bron- en contactonderzoek

Ik begon te onderzoeken wat dit bron- en contactonderzoek (BCO) eigenlijk is. Wanneer iemand besmet is met het coronavirus wordt iedereen met wie hij de dagen ervoor in contact is geweest in kaart gebracht. Zij worden benaderd en gevraagd om extra op te letten en soms zelfs in quarantaine te gaan, aan de hand van hoeveel risico iemand loopt. Het RIVM heeft hiervoor landelijke richtlijnen gemaakt die de GGD’s toepassen.

Ik maakte een overzicht van de richtlijnen van het RIVM en het proces om dit uit te voeren. Communityleden van Code for NL hielpen mee en plaatsten er allemaal vragen bij die ik kon uitzoeken.

Het overzicht van de richtlijnen van het RIVM met onderzoeksvragen.

A: “Als jij die brieven voor iedereen klaar zet, gaan C en ik vast bellen. Misschien moeten we die mevrouw zo ook nog even bellen?” B: “Ja, als de mail wil dan.” B: “Ik hoop dat jullie mijn handschrift kunnen lezen, heb echt zo snel geschreven al die nummers net.”

Overleg tussen GGD-medewerkers

Ik leerde Henri ter Hofte kennen die als onderzoeker bij het Windesheim in Zwolle al sinds 2015 onderzoek deed naar apps die ingezet kunnen worden bij een pandemie. Ineens was zijn science fiction onderzoek werkelijkheid. Hij stuurde me deze video door, die goed uitlegt hoe bepaalde maatregelen effect hebben en welke rol een app kan spelen.

De simulatie van een epidemie en het effect van enkele maatregelen hierop

Maar een app staat niet op zichzelf. Die is deel van een groter geheel van alle maatregelen en moeite die we nemen. In Nederland zijn er 25 GGD’s die in hun regio de coronatesten en het speurwerk van mogelijke besmettingen in kaart brengen. Elke GGD doet dit net even anders, maar de grote lijn komt overeen.

Op bezoek bij de GGD

Bij de eerste GGD die ik bezocht, was het toevallig die dag rustig. Ik had ruim de tijd allerlei collega’s te spreken. Het was half mei, Nederland was net over de piek heen. Bij de GGD was de druk goed voelbaar. Dit is niet een gewoon onderzoek, realiseerde ik me. Alles verandert continu. In het onderzoeksverslag van die week schreef ik:

“De insteek van de meeloopdag bij de GGD is om in kaart te brengen hoe het proces van testen en bron-en contactonderzoek is. Na het tweede interview viel het me (onderzoeker) steeds meer op dat processen door elkaar heenliepen. Het verandert elke week. Dus welk proces wil je horen, vroegen medewerkers mij. Een app moet passen bij het BCO, maar van welk werkproces moeten we uitgaan bij het maken van de app?”

In de weken erna sprak ik meer testcoördinatoren en BCO-medewerkers, planners, teamleiders, artsen en informatiemanagers. De een was ervaren en vanaf het begin van de coronacrisis betrokken bij de grote opschaling, de ander was net op die dag begonnen en kreeg een training.

Ik luisterde gesprekken mee. Ik hoorde patiënten reageren op hun testuitslag, verdrietig worden en hun best doen om zich te herinneren met wie ze allemaal in contact waren geweest. De muren van de kantoren hingen vol met flip-over-vellen waar getekende stambomen op stonden, werkinstructies met het nieuwe beleid van die week en wegwijzers naar nieuw geïmproviseerde afdelingen.

In gesprek met medewerkers bij de GGD in Eindhoven

B: “Ja, maar die klanten zijn nauwe contacten. Die moeten ook allemaal in quarantaine.” A: “Haar klanten. De andere klanten zijn categorie 3. Dit moeten we met de leidinggevende bespreken, hoe we dat met die klanten gaan doen.” B: “Pff…” A: “Ik heb eigenlijk nog nooit zo’n grote casus gedaan.” B: “Ja, het is echt een speurtocht he.”

Overleg tussen GGD-medewerkers

Ik zag BCO’ers multitasken: begripvol reageren, goed doorvragen, de vragenlijst afvinken en checken of ze alles hadden, meeschrijven op een kladblok en tegelijkertijd met de muis meerdere applicaties op het scherm bedienen. Na het gesprek overlegden ze met collega’s en met de arts: in welke risicocategorie vallen deze contacten? De richtlijnen van het RIVM zijn duidelijk, maar niet altijd 1-2-3 op mensen te plakken. Bron- en contactonderzoek kost veel tijd en is maatwerk.

Alle GGD’s hebben een werkinstructie waarin stap voor stap staat wat je moet doen, zeggen, vragen en moet vastleggen. Sommige werkinstructies zijn meer dan 35 bladzijdes. Bij handmatig bron- en contactonderzoek moet je al deze stappen uit de werkinstructie 1 voor 1 nemen. De gesprekken met de patiënt duren soms lang. De patiënt wordt moe, emotioneel en wil pauze. Soms herinnert de patiënt zich niet alles. Missen er telefoonnummers van contacten, namen, of wil de patiënt iets niet vertellen. En soms neemt iemand domweg de telefoon niet op.

“Ik ben nu niet op de zaak dus ik kan niet in het systeem kijken. Kun je me over een uur terugbellen?”

Leidinggevende van patiënt bij wie de contacten bekend zijn

De doorlooptijd van het virus

Een patiënt had op zaterdag voor het eerst ziekteverschijnselen. Vanaf zondag bleef ze thuis. Donderdag was ze volgens de richtlijnen al besmettelijk, dit is altijd de eerste ziektedag min 2 dagen. Op maandag liet ze zich testen en op woensdag kwam de uitslag. Woensdagochtend startte het contactonderzoek. Daar was ik bij toen ik meeliep bij het inwerken van nieuwe BCO’ers bij een GGD.

Van de contacten die in quarantaine moesten, waren twee op donderdag in contact geweest met haar en namen hun telefoon niet op. De dag erna werden ze nog eens gebeld, maar dat is dus al een week later. Die week hadden ze eigenlijk al in quarantaine moeten zijn.

De doorlooptijd van het virus

A: “Ja, u kunt in de 2 weken klachten ontwikkelen. U moet echt alert zijn en als u klachten hebt ons bellen. En we gaan u tussendoor ook bellen. En verder… ja, overleg het ook even met uw leidinggevende. En het advies is ook om geen bezoek te ontvangen en zoveel mogelijk thuis te blijven.” K: “Wacht… ik moet het even…” A: “Ja, ik overval u een beetje he.” K: “Ja…”

Gesprek tussen GGD-medewerker en contact die in quarantaine moet

Terwijl ik elke week bij een GGD meeliep en steeds meer leerde over de uitdagingen van bron- en contactonderzoek, bracht ik samen met collega’s van het app-team in kaart hoe de app dit zou kunnen aanvullen. Let wel: de werkprocessen van de GGD’s veranderden nog steeds regelmatig. Wat we bedachten, moest dus flexibel zijn. Ook wanneer er misschien een nieuwe uitbraak komt van het virus, en weer van alles op de kop gaat.

Dat de app meer mensen zou kunnen waarschuwen, wisten we. Vooral de mensen die je niet kent of je niet meer kunt herinneren, levert winst op. De meneer in de trein, iemand op een feest waar je naast staat te dansen, degene die aan het tafeltje achter je zit in het restaurant. Maar zou de app ook kunnen helpen door deze mensen sneller te waarschuwen?

Fragment van tekeningen om de app een plek in het proces te geven

Op de tijdlijn van het virus tekenden we allerlei scenario’s hoe we de app in het proces een plek konden geven. Deze ideeën bespraken we met de GGD. De teststraat viel bijvoorbeeld af. Die moest zo efficiënt mogelijk en daar kon geen gehannes met zeg, QR-codes bij. Uiteindelijk kozen we om bij het uitslaggesprek dat de GGD-medewerker met de patiënt voert een extra stap toe te voegen. In de app kun je je dan ziek melden, maar alleen samen met iemand van de GGD.

Je ziek melden in de app

Door de app stuurt je telefoon willekeurige codes naar telefoons van andere app-gebruikers. De ander weet niet dat hij de codes van jou heeft gehad en ook niet waar dit was. Wanneer je ziekt bent, kun je jouw codes uploaden naar een centrale server. Andere app-gebruikers kunnen op die centrale server checken of daar besmette codes staan die overeen komen met codes die zij op hun telefoon hebben ontvangen. Wanneer er een match is, krijgt die app-gebruiker een bericht. In deze video wordt dit uitgelegd.

Hoe de CoronaMelder-app werkt

Die codes uploaden kan alleen als een GGD-medewerker de deur naar die centrale server voor je openzet. De sleutel voor die deur staat in je app. In het gesprek met de GGD lees je de sleutelcode op en de GGD-medewerker voert hem in in een webapplicatie. Hiermee gaat de deur open en kunnen jouw codes de server bereiken. Deel je je codes vanuit de app, maar geef je niet de sleutel aan de GGD, dan staan je codes dus voor een dichte deur en kunnen ze de centrale server niet bereiken.

De webapplicatie waarmee de GGD de deur kan openen, testen we komende woensdag in een dubbeltest: in ons onderzoekslab in Amsterdam zijn er 6 app-gebruikers die de app testen en ik ben bij een GGD om samen met BCO’ers de webapplicatie voor de GGD te testen. Ze bellen elkaar en samen gaan ze proberen of het hen lukt om de codes van de patiënt te delen met de centrale server en zo anderen te waarschuwen.

Spannend. Ik ben heel benieuwd hoe dat zal gaan. 🙂

Wil je alle inzichten uit het onderzoek teruglezen, en de adviezen die ik op basis van dit onderzoek heb gegeven? Via linkjes in deze blog kom je er ook, maar hier al mijn onderzoeken op een rij:

Categories
(On)begrepen burgers Hoe doe je onderzoek?

Een app voor Simone

“Ik zou graag willen dat ik het ook begreep.” Simone zat samen met haar collega-ervaringsdeskundigen Jolanda en Betsie aan de tafel bij MEE in Rotterdam. Ze vroeg of ik Hugo de Jonge kende en hem kon vragen om wat langzamer te praten. “De persconferentie gaat veel te snel. Hij gebruikt moeilijke woorden. Soms gaat het over mij. Toen de dagbesteding weer openging, dat gaat over mij, maar ik begrijp niet wat hij over mij zegt.”

Simone had het over ‘ons soort mensen’. Dat ze er graag bij willen horen. De regels ook willen snappen. En de app ook willen gebruiken. Want daarvoor had ik met haar afgesproken. Ze ging de corona-app testen.

Sinds half mei werk ik als onderzoeker mee aan de corona-app. Vanaf dag 1 doen we (met een researchteam van 5) elke week gebruikerstesten. Ik loop mee met het contactonderzoek van de GGD en afgelopen week testte ik de app met mensen die laaggeletterd zijn, mensen uit met een lage sociaal economische status en mensen met een licht verstandelijke beperking. Een van hen is Simone die zo vurig pleitte om gehoord te worden.

In dit blog deel ik twee voorbeelden uit het onderzoek (want dat is allemaal openbaar) en vertel ik hoe we daarmee ontwerpkeuzes maken. Want dat is zo makkelijk nog niet.

Simone en Betsie testen de app (Foto door Liesbeth van den Nieuwenhuizen)

Positief? Dat is niet positief!

Op maandag zat ik samen met Tobias van Geijn, copywriter, voor het scherm. We videobelden met 4 taalambassadeurs van Stichting ABC. Deze mensen waren vroeger laaggeletterd, maar kunnen inmiddels redelijk lezen en schrijven. We zagen ze struikelen over moeilijke woorden, anoniem bijvoorbeeld, moe worden van lange teksten en nadenken wat ze nu eigenlijk gelezen hebben en moeten doen.

Van Ab leerde ik wat struikelwoorden zijn. Dat zijn echt niet alleen moeilijke woorden, meestal meer dan 3 lettergrepen. Als je moe bent, struikel je bijvoorbeeld sneller. Hij vroeg ook waarom het eigenlijk positief is, als je corona hebt. Want dat is toch helemaal niet positief?

Screenshots uit de app versie 7.1

Goed zijn in taal is 1 ding, maar medische taal is een taal op zich. In de corona-app hebben we daar ook mee te maken. Hoeveel gezondheidsvaardigheden heeft iemand? Of hoe goed spreek je medische taal? Zeggen we covid-19, coronavirus, of ‘gewoon’ corona? Gaan we voor medisch juist of begrijpelijk? Ben je positief getest, wat bedoelen we daar dan mee? En hoe leggen we dat uit in de app? 

Volgens Pharos heeft ongeveer 1 op de 3 Nederlanders beperkte gezondsheidsvaardigheden. Zij kunnen moeilijk hun klachten uitleggen, brieven en bijsluiters lezen en medische adviezen begrijpen en toepassen. In de app kiezen we nu om te zeggen ‘U bent getest en hebt corona.’ We gaan er zoveel mogelijk vanuit dat iemand geen medische taal ‘spreekt’.

De corona-app en angst

In de Code-for-NL-slackcommunity denken en maken 300+ ontwerpers met ons mee. Een van hen is Anouschka Scholten. Zij stelde een terechte vraag:

Kan de overheid (juist ook via de app) niet meer verantwoordelijkheid nemen voor de situatie waarin mensen zich nu ook psychisch bevinden? Het coronavirus en de maatregelen van afzondering heeft veel mensen angstig gemaak. Ze zijn en blijven onzeker, het heeft een flinke knauw gegeven die nog wel even doorwerkt (en waar sceptici en kwakzalvers nu helaas op inspelen, dat maakt het nog erger). Ook veel jong volwassenen, zeker niet alleen maar mensen die bang zijn voor hun gezondheid, leven nu met angstgevoelens. Ook vind ik het eigenlijk nogal onethisch om mensen die positief zijn getest of een melding hebben gekregen, daarna alleen de instructies te geven om de test aan te vragen of om in quarantaine te gaan. Zo worden ze best wel aan hun lot overgelaten, dat kan beter toch?

Ik nam het mee naar het gesprek dat ik dinsdag had met wijkbewoners in Arnhem. Samen met Sanne van der Hagen organiseerde ik een groepstest in de Geitenkamp in Arnhem in het Buurthuis. De participanten kenden elkaar en zijn buren. Ze voelden zich de afgelopen maanden heel eenzaam. Veel waren angstig en verloren soms zelfs de zin in het leven. En dan is een app die je op elk moment kan vertellen ‘of je Corona hebt’, misschien wel lastig. 

Lidy was een van hen. Zij was bang dat ze dan de hele dag zou kijken ‘of ze al corona had’.

“Als ik nu al denk: ik moet niet luisteren (naar het nieuws) want dan word ik er helemaal naar van en psychisch zwaar. Als je dan zo’n app hebt, en je gaat het nog intensiever gebruiken, dan word ik helemaal gestoord.”

Bij het bericht dat je risico loopt, zou ze direct in paniek raken, zei ze.

Screenshots uit de app versie 7.1

Hoe kunnen we mensen als Lidy helpen? Op korte termijn wil ze graag zo min mogelijk confrontatie met het virus. Maar het virus heeft veel impact op haar leven en gemoed. Zou de app haar, in plaats van bang te maken, juist kunnen helpen om op lange termijn wat regie terug te krijgen? Hoe moet de app dan werken? Hoe moeten de teksten dan zijn?

De innovatieparadox

Na afloop van het gesprek in Arnhem vertelde Sanne me over de innovatieparadox. Innovatieve hulpmiddelen zijn het meest relevant voor de meest kwetsbare mensen. Maar juist voor die mensen is het vaak niet bruikbaar.

Een grote ontwerpuitdaging van de corona-app is daarom: hoe kunnen we de app zo maken dat Simone en Lidy hem kunnen gebruiken? En er niet bang van worden?

Een buurvrouw van Lidy vroeg trouwens of ze de test-app mocht houden. “Maar hij werkt nog niet”, zei ik. “Dat is niet erg”, zei ze. “Het is zo fijn dat alle info zo handig op een rij staat. Dat heb ik nog niet eerder zo gehad. En dat telefoonnummer voor een test werkt wel toch?” Ik knikte. “Zeker.” “Mooi”, zei ze. En ze bewaarde de Figma-link van het testprototype in haar favorieten. 🙂

Jolanda test de app (Foto door Liesbeth van den Nieuwenhuizen)

Wekelijks testen

Alles wat we maken en onderzoeken staat op Github. Maar ik hoor ook van veel mensen dat ze Github moeilijk vinden. Daarom hier ook al het onderzoek op een rij.

Het is best een lijst. We krijgen veel hulp van allerlei belangenorganisaties waardoor we dit hoge onderzoekstempo halen. Met documenteren lopen we een week achter, dus zelfs deze lijst is nog niet compleet 🙂

Wil je ook meehelpen met de app testen? We hebben een Doe Het Zelfpakket met een voorbeeldapp zodat je zelf met je oma, buur of kind het ontwerp van de app kunt testen. Woon je in Twente, dan kun je je aanmelden om de app een week lang te testen.

Categories
Een begripvolle toekomst Geen onderdeel van een categorie

Een open app

Een overheid die zichzelf laat zien… iedereen die mij kent, weet dat dat de droom is. Maar het is ook superspannend, nu het echt aan het gebeuren is.

Drie weken geleden werd ik gevraagd om het team van het ministerie van Volksgezondheid dat de Covid-19-notificatie-app maakt te versterken als onderzoeker. En dit gaan we open doen: het eindresultaat en het proces.

Over 2 weken studeer ik af met De begripvolle ambtenaar, een foto-onderzoek naar de rol van begrip bij de digitale overheid. Een van mijn belangrijkste conclusies (spoiler) is ‘Maak de overheid open en wees eerlijk over hoe je je keuzes maakt. We moeten onszelf laten zien als makers van de digitale overheid en samen met burgers ontwerpen. De afgelopen jaren deed ik steeds mijn best om open te werken, en van volledige openheid kon ik eigenlijk alleen maar dromen. In dit blog vertel ik hoe tof ik dat vind (heel!), wat de meerwaarde hiervan is, maar ook welke nieuwe vragen dit oplevert.

Over de notificatie-app

Wie het nieuws heeft gevolgd, weet er vast al wat van. De overheid bekijkt hoe digitale middelen gebruikt kunnen worden bij de bestrijding van het coronavirus. Bijvoorbeeld apps die het werk van de GGD kunnen aanvullen. In eerste instantie werken we aan een notificatie-app die je een bericht kan geven wanneer je mogelijk besmet bent. Hierdoor kun je je snel laten testen en krijgt het virus minder tijd om zich te verspreiden. Het ministerie van Volksgezondheid heeft hiervoor een eigen team samengesteld van experts binnen en buiten de overheid om hieraan te werken.

Een van de eerste prototypes van de app

Concreet: wat is open en waar staat het?

Vorige week publiceerden we op Github:

Met direct een grote disclaimer: het is allemaal nog niet af. Er mist nog van alles. Sommige dingen staan nog op onze to-do’s. En de komende tijd gaan we dus vaker delen. En kan het zijn dat wat we nu gedeeld hebben, verandert. Omdat we nieuwe inzichten hebben, of omdat iets toch niet werkt zoals we het bedacht hebben.

Wil je meepraten en meemaken, kom dan naar de Code for NL-slack. Hier delen we vragen en dilemma’s en sparren we openbaar over wat we maken. Er doen al meer dan 700 ontwerpers en programmeurs mee.

Keuzes zijn openbaar

Door dit zo openbaar te doen, kunnen anderen zien wat we maken en waar we onze keuzes op baseren. Dit soort gesprekken deed ik eerder met mijn collega’s bij DUO door hen te fotograferen als begripvolle ambtenaar. Hun verhalen deelde ik hier en het gaf een unieke inkijk in hoe we bij DUO de overheidscomputer maken. Nu staat onder andere mijn eigen werk op Github, dat voelt ook als een soort portret. Je kunt zien waar ontwerpkeuzes op gebaseerd zijn en je kunt kritische vragen en aanvullingen erbij plaatsen. Je kunt mij bevragen op hoe ik mijn werk heb gedaan.

Dat is best wel spannend.

Maar ook heel tof. Het levert ontzettend veel meerwaarde op. In de eerste week dat ik begon, deelde ik bijvoorbeeld een overzicht van het proces van de GGD van testen tot aan bron- en contactonderzoek. Ik vroeg feedback en of anderen onderzoeksvragen erbij wilde plaatsen. Dat gebeurde zeker.

Onderzoeksvragen die openbaar door anderen worden geformuleerd

In de afgelopen dagen is spontaan een deel van onze documentatie vertaald naar het Engels en het Duits. Worden er vanuit de community prototypes voorgesteld door externe ontwerpers die met onze stijlelementen aan de slag gegaan zijn. Er wordt druk gespard over vragen waar we niet 1-2-3 het antwoord op hebben. We krijgen zulke goede feedback en anderen helpen ons met oplossingen voor problemen waar wij nog uit waren. Dit is samen ontwerpen. Dit is de droom.

En ook de comments op de designs stroomden binnen

Open zijn is niet het doel, maar de tool

Nu we zo open mogen werken, roept het ook nieuwe vragen op die ik eerder nooit had. Hoe je echt in de praktijk zo open werkt en daarmee een goed product aflevert, moeten we ontdekken. Bijvoorbeeld:

  • Open zijn is niet alles of niets. Hoe deel je dingen open? Waar ligt de grens? Bijvoorbeeld bij onderzoeksresultaten. Die kunnen natuurlijk niet herleidbaar zijn naar personen en je wilt anderen ook geen overload aan info geven. Maar je wilt wel dat anderen dezelfde info hebben als wij, zodat hun voorstellen ook goed onderbouwd zijn.
  • ‘Gooi je tips op ons’ is niet constructief. We moeten gerichte vragen stellen en anderen de middelen geven om ons te helpen antwoorden te vinden. Als je naar Jelle, onze designlead, een berichtje stuurt, krijg je bijvoorbeeld toegang in onze ontwerpdocumenten. Wil je meehelpen in het testen van de ontwerpen, dan moeten we onze testscripts vrijgeven.
  • Hoe gaat deze open manier van werken samen met het politieke proces? Is het oké als dingen eerder op Github staan dan in een notie voor de Tweede Kamer? Of dat de minister niet altijd up-to-date is omdat informatie vrijelijk en in detail uitgewisseld wordt via Github en Slack (en ja, daar zitten ook tech-journalisten in). Dit zijn nieuwe vragen voor de overheid.
  • Als ambtenaar kan ik me niet meer onzichtbaar maken, mijn naam staat op Github en ik praat zelf ook mee in het gesprek. Het is daarmee heel concreet wat mijn aandeel is in dit project en waar je me dus op kunt aanspreken. Wat betekent dit voor het zijn van ambtenaar?
  • Hoe maken we het ontwerpproces echt inclusief? Github en Slack hebben nogal een drempel, maar houden daarentegen ook trollen buiten de deur. Is het genoeg om regelmatig met een diverse groep te testen en met belangenvertegenwoordigers te sparren en hun advies te vragen. Is openheid genoeg of kun je dan alsnog met oogkleppen op werken als de groep om je heen vooral je eigen netwerk is?

Er komen vast meer vragen de komende tijd. Maar voor nu nog even een paar quotes hoe bijzonder het is dus we zo open werken. Dat valt anderen namelijk ook op en dat mag best even goed gevierd worden!

https://twitter.com/Schellevis/status/1265617677265051649?s=20

Ik kan nog veel meer tweets hieronder toevoegen, maar jullie snappen m’n sentiment. Praat ook mee via Code for NL-slack!