Tag: onderzoek

Categorieën
(On)begrepen burgers De gevolgen van de gaswinning De lerende overheid Hoe doe je onderzoek?

Reconstructie van een reconstructie

Verscheurd vertrouwen. ‘Groningen moet eigen minister krijgen.’ Een twitterdraadje met de samenvatting van een 23-pagina’s tellend rapport en een digitaal magazine met Groningse verhalen in beeld. Afgelopen maandag kwam de eerste onderzoekspublicatie uit waar ik bij de Nationale ombudsman aan gewerkt heb.

In dit blog vertel ik hoe deze tot stand kwam en hoe zo’n onderzoek er achter de schermen aan toe gaat. Hoe pakten we het aan, waarom deze keuzes, en welk effect hopen we te bereiken? Uiteraard allemaal door mijn eigen bril.

Eerst wat context

Deze zomer maakten we een reconstructie van de gevolgen van de gaswinning vanuit het perspectief van bewoners in Groningen en Drenthe. We is het team Gaswinning bij de Nationale ombudsman waar ik ook bij hoor. Als vertrekpunt gebruikten we een rapport uit 2017 waar de Nationale ombudsman samen met de Kinderombudsman 6 concrete aanbevelingen gaf. Wat is daarvan terecht gekomen?

Door opnieuw met bewoners te praten, onze klachten en signalen van de laatste jaren op een rij te zetten en de (politieke) stand van zaken te onderzoeken, kwamen we tot nieuwe conclusies. Of nou ja, nieuwe… eigenlijk zijn ze nog hetzelfde.

Deze nieuwe oude conclusies presenteerden we in een digitaal magazine samen met een uitgebreide reconstructie. Ook deelden we een nieuwe webpagina waar bewoners en medewerkers van betrokken instanties onze onderzoeken en interventies kunnen volgen. 

Zo gingen we te werk.

Tijdens een rondleiding met het team Gaswinning in ’t Zandt in juni 2021. Fotograaf Hans Roggen

Voor mei

Ik begon op 6 mei bij de Nationale ombudsman. Het onderzoek was toen al gestart. Het team had een overzicht gemaakt van alle klachten en signalen die we sinds 2015 hadden gekregen van bewoners. Toen publiceerden we ons eerste rapport, over de bestuurlijke spaghetti.

En er was al overzicht van alle onderzoeks- en zaakrapporten, zorgenbrieven en nieuwsberichten die we hadden gepubliceerd tot nu toe. Ook hadden ze een aantal mensen gebeld die in de afgelopen jaren een klacht hadden ingediend bij ons. Hoe verging het hen nu?

Mei en juni

Begin juni stond een driedaags bezoek gepland aan Groningen en Drenthe met het hele team en de Nationale ombudsman zelf. We gingen langs bij een aantal instanties en bij bewoners. We mochten toen nog maar met 2 personen tegelijk bij iemand op bezoek vanwege de coronaregels, dus verdeelden we ons in duo’s en reden door prachtig Grunn. Zo konden we veel bezoeken tegelijk afleggen. 

Over dit bezoek schreef ik eerder deze blog over mijn stadse ogen. Ik kreeg onder andere een rondleiding van Francis van der Kamp en haar partner in hun omgeving. Later heeft zij deze rondleiding en haar verhaal opnieuw met ons gedeeld voor dit beeldverhaal in het digitale magazine.  

Francis van der Kamp bij haar eigen huis terwijl die flink versterkt wordt. Fotograaf Hans Roggen

Juli

Analyseren en schrijven. Wat zeg je wel, wat niet? Hoe onderbouwen we onze uitspraken? Waar zagen we dit probleem? We maakten een genuanceerde reconstructie. Er zijn ook zaken goed gegaan de laatste jaren.

Een van onze aanbevelingen was bijvoorbeeld dat het Rijk de verantwoordelijkheid voor schade en versterken naar zich toe moet trekken. Dat is gebeurd. Maar de betrokkenheid van de overheid heeft ook weer nieuwe bureaucratie toegevoegd. Stappen vooruit, en achteruit. 

We kozen de vertelvorm. Doen we een tijdlijn met álle veranderingen in het dossier als reconstructie? Boudel op Rieg van het Gasberaad geeft ook al veel info. En het Kennisplatform Leefbaar en Kansrijk Groningen bundelt jaarlijks ook alle kennis en inzichten. We maakten een keuze in een aantal onderwerpen die extra aandacht verdienen volgens ons.

We gingen terug naar de basis, wat riepen we eerder, hoe gaat het nu daarmee? We legden onze behoorlijkheidswijzer naast deze aanbevelingen en bekeken de huidige stand.

We kozen het rapport uit 2017 om op terug te vallen. Die brachten we trouwens ook uit tijdens een kabinetsformatie, nu zitten we in dezelfde fase van een nieuw te vormen kabinet. 

Een zwembadje naast het verbouwde huis en een bouwhelm voor het grijpen. Uit de serie die Francis van der Kamp met ons maakte. Fotograaf Hans Roggen

Kortom: we maakten een reconstructie van de 6 eerdere aanbevelingen. En we brengen ze dit keer zoveel mogelijk in beeld. Het standaardplaatje van Groningen is de scheur in de muur of het huis in stutten. Maar de zorgen die steeds meer toenemen is wat er tussen die muren gebeurd. Het wantrouwen, de slapeloze nachten en de ophopende bureaucratie. Kunnen we dit laten zien in persoonlijke verhalen en beeld?

Augustus

Dan de vervolgstrategie bepalen. Wat gaan we doen als het uitkomt? Wat willen we ermee bereiken de komende jaren?

Met onze onderzoeken kunnen we verschillende soorten effect hebben. Het begint met aandacht vragen voor een probleem. Maar we willen natuurlijk dat problemen voor burgers opgelost worden. Daartussen zitten allerlei stappen:

  1. Aandacht geven aan een vraagstuk
  2. Inzicht in het probleem en maatschappelijk op de kaart gezet
  3. Erkenning van het probleem door het bestuursorgaan
  4. Inspanning van het bestuursorgaan om te verbeteren
  5. Structurele verbetering van het overheidsoptreden
  6. Burger(s) ervaren het probleem niet langer
Schematische weergave van het effect dat we per aanbeveling kunnen/ willen hebben.

Onze conclusie van de reconstructie is dat de meeste aanbevelingen uit 2017 level 6 lang niet gehaald hebben. Hoe kunnen we hier de komende tijd mee omgaan en de aanbevelingen monitoren? Wat kunnen wij doen zodat ze wel level 6 halen?

De komende jaren gaan we vaker dit soort (kleinere) reconstructies maken. Er dichter op zitten en het nauwer volgen.

We besluiten een webpagina te maken waar iedereen het onderzoek kan volgen. Zo kunnen we steeds korte onderzoeksiteraties doen, daarover delen, en samen bepalen met bewoners en andere stakeholders hoe we verder moeten gaan. Hoe en waar we effect kunnen hebben om de burger op weg te helpen en de overheid te helpen leren. 

Persoonlijk intermezzo

In de zomer had ik 2 weken vrij. Ik merkte dat ik steeds meer in het onderwerp kwam. Dat heb ik natuurlijk enorm onderschat toen ik begon in mei. Pff… wat een verhalen en wat een geschiedenis.

Al sinds april, sinds ik weet dat ik in de gaswinning ga duiken, ben ik het ene na het andere boek aan het lezen. Via via kom ik in contact met mensen die hun verhaal willen delen. Ik zit in de tuin bij een stel uit Opwierde. Ik loop rondjes met mensen door het Noorderplantsoen. Ik drink koffie op een gemeentehuis. Ik volg een workshop Versterken bij de Aardbevingsacademie en zelfs op mijn eigen roeivereniging komen de verhalen naar me toe. Van bewoners en ook van medewerkers van het IMG en de NCG, van de gemeente of een andere betrokken instantie.

Iedereen heeft een knoop in z’n maag.

Snap met Iphone tijdens een van mijn tripjes in Grunn

Het doet me denken aan mijn eerdere onderzoek naar de rol van begrip voor burgers bij de digitale overheid. Ik fotografeerde collega’s bij DUO als ‘begripvolle ambtenaar’ om samen te onderzoeken hoe burgers een begripvolle relatie met ons kunnen ervaren.

Ik ontdekte: individuele ambtenaren proberen begripvol te zijn, maar als geheel is het systeem dat niet. Wat betekent dit inzicht voor hoe we onze reconstructie publiceren en wat we er daarna mee willen doen?

September

We geven de publicatie vorm. We kiezen voor meerdere vertellagen. Een uitgebreid onderzoeksrapport voor de die-hards en een bundel korte artikelen in een digitaal magazine. Met veel persoonlijke verhalen.

Aan de slag. Voor het digitale magazine werken we samen met contentburo Beklijf. Er rijdt een Groningse fotograaf naar Kantens. We doen beeldredactie. We schrijven introteksten. Selecteren vervolgartikelen. Maken de webpagina aan. We stemmen intern af. Collega’s lezen mee.

En we hebben alvast contact met andere partijen. We laten de betrokken instanties weten dat er een rapport komt. En dat we graag met hen erover willen praten. Meestal praten we met bestuurders na het uitkomen van zo’n rapport. Uiteraard horen we graag van hen. Maar dit keer willen we ook met de mensen uit de praktijk praten.

De makers van beleid, systemen, processen en communicatie. Wie zijn zij? Wat doen zij met onze inzichten en aanbevelingen? In mijn vorige baan leerde ik dat juist op dit niveau veel beslissingen gemaakt worden.

Oktober

De eindredactie is aan de beurt. Puntjes op de i, dat werk. Samen met het team en de ombudsman nemen we de laatste strategie door. We schrijven het nieuwsbericht. Brieven worden ondertekend en verstuurd. Het rapport sturen we de week voor publicatie vast naar iedereen die mee heeft gewerkt (ook bewoners) en naar de partijen waarvan we graag willen dat ze ermee aan de slag gaan. Journalisten nodigen we uit voor een interview. 

En dan komt het uit. Er komen krantenberichten. Reinier van Zutphen vertelt op de radio. Ik schreef een twitterdraadje. En reacties natuurlijk. Annemarie Heite en Kirsten de Jong reageerden in Trouw op het stuk. Het stond op de NOS en zelfs in parodie op De Speld. ‘Een eigen minister voor overheidsproblemen.’

Level 1 effect hebben we gehaald, er is aandacht. 

Maar aandacht is niet het doel. Het doel is level 6: burgers ervaren de problemen niet langer. Hoe komen we daar? Dat is taai. Problemen zijn niet gisteren ontstaan en dus ook niet vandaag opgelost. We vonden zelf niet dat we echt met nieuws kwamen. Deze reconstructie had iedereen kunnen schrijven en is eigenlijk wel bekend. Sommige burgers waren daarom ook cynisch. Wat voegt het eigenlijk toe om dit nog eens te zeggen? Ouwe hap is het.

En voor medewerkers voelen de problemen misschien overweldigend. Je doet je best, maar het is te moeilijk. De problemen te oud, te lang, te vaak herkauwt, wat kun je nog? Weer een rapport. Is het te laat en heeft het nog zin?

Ik denk aan het Chineze gezegde: ‘Wat is de beste tijd een boom te planten? 20 jaar geleden. De een na beste tijd is vandaag.’

November

In november is het team weer drie dagen naar Groningen (en Den Haag!). We gaan met medewerkers van instanties praten. Niet de bestuurders, maar de praktijk in. Wij laten onze bestuurder ook thuis.

Waar lopen deze medewerkers tegenaan, waarom lukt het niet? En hoe kan het wel? Hoe kunnen zij 1 stap maken? Om wel 1 loket te maken voor bewoners? Om wel een gelijke relatie te creëren? Om inspraak mogelijk te maken? Een crisisaanpak te hanteren? Om vertrouwen te herstellen? 

We willen zelf ook leren, bijvoorbeeld hoe onze aanbevelingen concreter kunnen. Minder hoog over zodat je er beter mee aan de slag kunt. Hoe we na deze input weer aan de poort kunnen rammelen zodat er beweging komt. Hoe kunnen wij ervoor zorgen dat dit rapport meer effect heeft dan het vorige en de reconstructie over 4 jaar anders wordt.

Wat zijn de eerste stappen om vandaag bomen te planten?

Categorieën
De lerende overheid Hoe doe je onderzoek?

Hoe je wetten maakt die mensen kunnen (en niet alleen kennen)

Op 20 mei hield de Academie voor Wetgeving een discussiebijeenkomst: hoe betrek je het doenvermogen van burgers bij het maken van wetten en regels. Jean de Koning (analist) en ik vertelden hoe we dit bij DUO aanpakten. Met Jean maakte ik in maart 2019 al de eerste schetsen hiervoor en daar schreef ik dit blog over. Dit was het begin voor de estafette van wet naar loket wat later debegripvolleambtenaar.nl werd. En Jean zit natuurlijk zelf in de Begripvolle Ambtenaren reeks.

We brachten vier vragen in en waren benieuwd naar de ervaringen van anderen hierbij. In dit blog een samenvatting van onze info en de tips, reacties en dilemma’s die we terugkregen. Voor mij zaten er ook een paar eye-openers in en ik bewaar en deel ze graag op dit blog.

Wat is de definitie van ‘burgerperspectief’?

Doenvermogen is een woord dat eigenlijk helemaal niet bestaat. Het is de tegenhanger van denkvermogen en het doel van de Wetenschappelijke Raad voor het Regeringsbeleid (die de term bedacht) is om beleidsmakers aan te sporen niet uit te gaan van excellent cognitief vermogen van burgers. Maar om ook rekening te houden met meer praktische vermogens zoals het maken van een plan, in actie komen, volhouden en omgaan met verleiding.

Naast denkvermogen is ‘doenvermogen’ minstens zo belangrijk om aan de hoge eisen van de participatiesamenleving te kunnen voldoen. De overheid verwacht van burgers steeds vaker dat ze zelfredzaam zijn op het gebied van gezondheid, persoonlijke financiën en de arbeidsmarkt. Maar weten is nog geen doen.

De WRR in Weten is nog geen doen.

Jean trapte de presentatie af door het niet alleen over doenvermogen te hebben, maar over burgerperspectief. Voor ons zijn die twee termen bijna inwisselbaar omdat je voor het perspectief van burgers niet alleen moet kijken naar wat mensen vinden, maar ook naar wat ze doen. Iemands mening staat soms haaks op gedrag. Dat zagen we bijvoorbeeld bij studenten in dit onderzoek naar lenen en schuld.

Of het briefstemmen dat afgelopen verkiezingen werd geïntroduceerd. Veel oudere stemmers dachten dat ze goed stemden, maar bleken fouten te maken bij het terugsturen van hun stembiljet. Veel stemmen waren ongeldig, schreef de NOS. Hoe had dit voorkomen kunnen worden? Door bij het maken van zo’n proces en het aanpassen van de kieswet al het burgerperspectief te betrekken, bijvoorbeeld door:

  • een klantreis te maken (overzicht van het proces vanuit het perspectief en context van de stemmer)
  • de hele gang van zaken te prototypen (uitproberen)

Hoe zien anderen het burgerperspectief?

  • Iemand van EZK vertelde over de MKB-toets. Ondernemers in een panel geven aan of nieuwe wetten en regels werkbaar zijn. En ze kijken of nieuwe wetten niet leiden tot nieuwe problemen.
  • Iemand van SZW noemde het moeilijk om samen met burgers voorspellend naar regelgeving te kijken. Je moet dan (als burger of beleidsmaker) iets zeggen over hoe je het in de toekomst ervaart. Eigenlijk wil je het gewoon experimenteren, maar je kunt moeilijk voor een kleine groep alvast een wet in laten gaan.
  • Vanuit BZK reageerde iemand dat juist bij de kieswet dat regelmatig gebeurd. Het nieuwe stembiljet voor stemmers in het buitenland is uitvoerig getest via de Tijdelijke Verkiezingswet. Welk biljet werkt het beste en wat leren we van dit proces? Maar zoiets kost tijd…
  • Zo’n experimentenwet is nog niet zo simpel, reageerde een ander. Hij wees op het kritische advies van de Raad van State op de Experimentenwet Rechtspleging in 2019.
  • Weer een ander: als iets politiek actueel wordt, heb je zoveel tijd trouwens niet. Dan moet het nu direct opgelost worden en is er geen ruimte voor eerst een onderzoek of experiment.

Over die laatste opmerking dacht ik ’s avonds nog wat na. In het verleden hoopte ik weleens dat mijn onderzoeken politiek relevant zouden worden, dan krijgt het vast momentum, dacht ik. Maar misschien bereik je juist meer als je onder de radar extra tijd en moeite in iets kunt stoppen, het daardoor meer aandacht kunt geven dan wanneer het snel moet, en je oplossing dan beter wordt. Dan heb je meer ruimte om op lange termijn te investeren in een groep burgers en een oplossing.

Wanneer betrek je burgers en hun perspectief?

Ik leidde deze vraag in met de estafette van wet naar loket, uit De Begripvolle Ambtenaar. Waar in deze estafette betrek je het burgerperspectief? Wie in je organisatie moet dit doen? Nou, kort antwoord: in elke stap en iedereen. Maar dat ziet er elke keer anders uit. En hoe doe je dat dan?

De estafette van wet naar loket uit De Begripvolle Ambtenaar

Ik gaf twee voorbeelden. In de zomer van 2019 deed ik een doenvermogentoets voor de nieuwe Wet Inburgering. Bij elke wet wordt uitvoerende organisaties gevraagd om een uitvoeringstoets: welke effecten heeft de nieuwe wet op systemen en processen? In deze toets werd expliciet gevraagd om ook te kijken naar het doenvermogen van inburgeraars. We hadden amper 6 weken en gelukkig had ik 2 jaar eerder onderzoek gedaan met vluchtelingen en alles waar ze mee te maken krijgen bij hun inburgering. Dat onderzoek kon ik mooi gebruiken. Lag dat niet op de plank, dan was het lastig geweest.

Bij de nieuwe wet Meer ruimte voor nieuwe scholen pakten we het anders aan. Al ver voor de uitvoeringstoets werkten we samen met beleidsmedewerkers van het ministerie van OCW om ideeën uit de wet te prototypen en te testen met initiatiefnemers van een nieuw schoolconcept. We ontdekten dat een onze aannames niet overeen kwamen met het beeld dat initiatiefnemers van zichzelf hadden. Wij dachten dat ze als privé-persoon begonnen met het idee voor een school en veel later in het proces zakelijk aan de slag gingen. In de memorie van toelichting stond daarom dat ze eerst via hun persoonlijke DigiD met DUO een start konden maken om later een zakelijk bestuursaccount met kvk-inschrijving te gebruiken. We maakten een dummy versie van dit hele proces inclusief alle brieven die je tussentijds zou krijgen.

De initiatiefnemers wilden helemaal niet hun persoonlijke DigiD gebruiken, ben je mal! Die omschakeling kon uit de wet en hoefden we niet te bouwen. In de estafette van wet naar loket zat ik als gebruikersonderzoeker relatief op het eind. Maar bij deze wet werd ik aan het begin gevraagd om mijn werk te doen. Super! Zo maak je de cirkel rond. Dat zouden we veel vaker moeten doen.

Wat vonden de anderen?

  • Een wet heeft voor burgers de vorm van een brief die je thuis op de mat krijgt. Of een website die je bezoekt. Daarom is dat een perfecte manier om je wet al uit te testen, begon iemand direct.
  • Een ander vulde aan dat het niet alleen eenmalig moet gebeuren, maar dat we 1 jaar na de invoering nog eens moeten kijken hoe burgers zo’n proces ervaren. Is het waar wat we toen dachten bij het maken van de wet?
  • Iemand van het UWV vertelde hoe ze soms 3 beleidsvarianten opstellen en vergelijken qua lasten voor burgers. Dan kunnen ze beter onderbouwen waarvoor ze kiezen op het eind. En zij ging nog even door: niet alleen een uitvoeringstoets, maar ook een invoeringstoets.

Zo ontstaat al snel een loop. Continu onderzoeken wat het perspectief van burgers is, iets bedenken, dat testen, het verder maken, bijstellen, weer onderzoeken. Dit is de bekende feedbackloop en die kan op meerdere momenten in de estafette van wet naar loket. Hij ziet er misschien net wat anders uit op een andere plek in het proces, maar dat is prima.

De estafette van wet naar loket met feedbackloop

Zo zou je ook bij nieuwe wetgeving de signalen over de bestaande wet mee kunnen nemen. Of de signalen van de huidige wet de aanleiding laten zijn om wetgeving aan te passen. Dan heb je de feedloop helemaal rond.

  • Hoe doe je dat? Om 1 casus, ga je niet een wet veranderen. Het is lastig om een signaal op waarde te schatten. Is dit 1 probleem of iets structureels?
  • Van belangenorganisaties krijg je ook vaak signalen, maar gaan die ook over het doenvermogen van burgers, of zijn die politiek? Hoe schat je dat in?

Dat is een mooie brug naar de derde vraag die Jean weer inleidde:

Vertegenwoordigen belangenorganisaties het burgerperspectief?

De Landelijke Studentenvakbond, het Interstedelijk Studenten Overleg, het Laks, de Jongeren Organisatie van het Beroepsonderwijs… ze geven DUO en het ministerie van OCW regelmatig advies. En DUO heeft zelf een jongerenraad ingericht dat met eigen adviezen komt. Er zijn bestuursadviesgroepen van scholen, ketennetwerkdagen, decanenkringen, ik kan nog wel even doorgaan…

Hun input is heel waardevol, maar in hoeverre kunnen deze experts en belangengroepen goed adviseren over het doenvermogen van hun achterban? Jean maakte een verschil tussen belang en perspectief. Belang als in: visie op, waarde hechten aan, mening over. Perspectief als in: vanuit dit gezichtspunt, eigen ervaring met, context van. Beide zijn nodig als input, maar zeker niet hetzelfde.

Voorbeeld: bij het maken van een nieuw systeem voor bekostigingsinformatie zaten we jaren geleden in een zaaltje op een mbo-school met bestuurders en afgevaardigden. Zij dachten mee over de eisen aan dit nieuwe systeem en daarmee het nieuwe gedigitaliseerde proces. We wilden ook graag met de ‘echte gebruikers’ van het nieuwe systeem praten: hun medewerkers op de controlafdeling. ‘Hoezo was dat nodig? Wij zeggen nu toch hoe het moet worden?” Maar toen ik een dag meeliep op een aantal controlafdelingen was de werkelijkheid toch anders. Concreter. “Dit veldje is wel handig, die niet. Oh, ja, voor dat draak van een proces hadden ze in de praktijk een work-around bedacht met Excel.”

Wie heeft dit bedacht? – Dat is toch helemaal niet handig!

Belang en perspectief moet je combineren. Doenvermogen valt in het hokje ‘perspectief’. Dat ontdek je pas als je naast iemand gaat staan die persoonlijk te maken krijgt met een wet. Uiteraard kun je dat prima organiseren samen met een belangenorganisatie, zoals bij het maken van de CoronaMelder app.

Reacties van de groep

  • Iemand van de SVB trapte af. Hun cliëntenraad vertegenwoordigt alle cliënten, maar als persoon zijn ze niet altijd representatief. Hun eigen ervaringen als client zijn niet per se de ervaringen van iedere client en dat maakt adviezen soms troebel. Medewerkers praten alsnog zelf met andere cliënten.
  • Een ander: wanneer weet je genoeg? Wanneer heb je alle invalshoeken en alle vertegenwoordigers genoeg geborgd, en hoe doe je dat? Bijvoorbeeld als je een nieuw stelsel wilt vormgeven?
  • Het vraagt een aanvullende manier van onderzoeken, begon een ander. We moeten kijken naar gedrag en dat vervolgens breder meten, bijvoorbeeld met enquetes: wordt het probleem breder beleefd?
  • De persoon van de SVB ging verder: bij de PGB wilden we de ervaring van zorgmedewerkers meenemen op die manier, maar de respons was veel te laag. De vragenlijst heeft daardoor zo lang uit moeten staan, dat duurt veel te lang. Helemaal als je dan een acuut politiek signaal krijgt, dat maakt snel reageren ingewikkeld.
  • Iemand van SZW: het gaat om de rode draden. Je wilt signalen ophalen en patronen ontdekken. Bij de herziening van de Participatiewet wil je de hardheden in deze wet zien en het effect daarvan op mensen. Dat kun je doen met een signaleringsteam die een goede feedbackloop inricht.

Praktisch: hoe maak je het burgerperspectief een onderdeel van het werkproces?

Van de goede initiatieven moeten we standaarden maken zodat collega’s en teams hier makkelijk mee kunnen werken. De WRR heeft een handige toolkit ontwikkeld die je kunt gebruiken, maar dat moet je dan wel doen.

Bij DUO willen we dat burgeronderzoek niet toevallig gebeurt, maar structureel een plek heeft in de estafette van wet naar loket. Onze hele strategie kun je in deze blog en de bijbehorende infographic bekijken: de structuur van onderzoek.

Ik lichtte er twee dingen uit. Als eerste onze onderzoeksmethoden. Combineer verschillende methoden om steeds een vollediger antwoord op vragen te krijgen. Kwalitatieve signalen valideer je bij een grotere groep. Je kijkt niet alleen naar wat iemand zegt, (subjectief), maar ook naar wat iemand doet (objectief). Praktische voorbeelden van onderzoeksmethoden? Dit blog staat er vol mee.

De onderzoeksmethoden van DUO, uit de infographic ‘De structuur van onderzoe

En ons onderzoeksarchief. Ik werd gevraagd bij de doenvermogentoets van de Wet Inburgering omdat ik Eva, de accountmanager verantwoordelijk voor de uitvoeringstoets, de week ervoor toevallig trof in de bus naar de sportdag van OCW. Wat een mazzel.

Liever wil je dat accountmanagers en alle collega’s sowieso toegang hebben tot inzichten uit onderzoek. Daarom documenteren we burgeronderzoek gelaagd, centraal en verhalend in het onderzoeksarchief. Iedereen kan het gebruiken en iedereen kan bijdragen. In deze blog leg ik uit hoe deze manier van documenteren werkt. Zo ziet het onderzoeksarchief er uit:

Een snelle demo van het Onderzoeksarchief van DUO

De laatste reacties

  • Het ziet er goed uit, maar in de praktijk… voor je iedereen mee hebt? Nou, verzuchtte ik, dat herken ik ook wel hoor. Het vraagt een lange adem en persoon voor persoon, maar je moet gewoon beginnen.
  • Kunnen de inzichten openbaar gedeeld worden? Waarom niet? Het ministerie van AZ maakt voor het onderzoek naar life events ook al gebruik van zo’n onderzoeksarchief. Onderzoek kunnen we delen met elkaar, we werken voor veel dezelfde burgers.

’s Avonds mailde ik nog wat heen en weer met Jean hierover. Wat erop tegen is… het wordt zo snel politiek. Als ons inzicht in het doenvermogen van burgers open wordt (wat ik toejuich!), dan kan iedereen erbij. De Tweede Kamer is bijvoorbeeld ook een schakel in de feedbackloop. Stel dat zij iets opduikelen in onze onderzoeksarchieven dat ineens acuut een politiek issue wordt…

Wetgeving is sowieso een loop. Je start nooit greenfield, maar hebt altijd te maken met iets dat er al is. Stel: we zouden onze inzichten over studenten en schuld delen. Supergoed, want de politiek wil bezig met een nieuwe wet. Alleen dat betekent ook de facto kritiek op de oude wet, de uitvoering en de uitkomsten daarvan. Dan moet onze minister misschien wel in het bankje. Toch maar niet openbaar dan, terwijl er heus niet zulke schokkende dingen instaan die niet al bekend zijn. Het vraagt een constructieve houding van iedere partij in de feedbackloop om niet alleen te willen scoren of juist te risicomijdend te zijn, maar om duurzame wetgeving te maken die goed zijn voor mensen. Hoe ondersteun je dat zo goed mogelijk?

Zo op de mail ’s avonds maakten Jean en ik nog een lijstje. Van tegenpolen die elkaar afstoten en aantrekken, verschillend zijn, maar nooit zonder elkaar kunnen. Samen moeten we dansen.

BeleidUitvoering
WettekstCode
BelangPerspectief/ ervaring
MeningGedrag
WensUitkomst
TheoriePraktijk
InktWerkelijkheid
Categorieën
De lerende overheid Hoe doe je onderzoek? Werken met beeld

De structuur van onderzoek – Blogverjaardag

Deze blog bestaat vijf jaar! In 2017 begon ik met bloggen over mijn werk als onderzoeker bij DUO. Eerst heel basic, bijvoorbeeld over een test die ik deed of een bezoekje aan een ander bedrijf (in mijn eerste blog schreef ik over een test bij Blendle op kantoor haha).

De ene blog leidde tot de ander. Van onderzoeksmethoden toepassen, experimenten om gebruikers te betrekken (ook de mislukkingen!) tot aan de strategische beslissingen welke rol onderzoek hoort de spelen in de organisatie.

Een feestslinger van blogs

Naast een enorme stroom aan leuke blogjes, bouwden we vooral aan een onderzoeksstrategie voor DUO, geïnspireerd door het ResearchOps framework. Onze strategie is continu in beweging, we werken er elke dag mee.

Deze research strategie visualiseerde ik deze week in Miro. Bekijk het bord direct en struin zelf door onze strategie en ontwikkeling.

The why, what, how

Op dit bord zijn 3 cirkels, dat zijn natuurlijk die cirkels van Simon Sinek. Elke activiteit kun je herleiden naar het waarom: DUO maakt digitale diensten die goed zijn voor mensen.

Dat lukt als alle medewerkers in de estafette van wet naar loket bij DUO betrokken zijn en inzicht hebben in de ervaring van de burger of zakelijke gebruiker.

In deze visuele strategie vind je de volgende onderwerpen die ons helpen ons doel te bereiken:

  • de rol van onderzoekers en een onderzoekscultuur in je organisatie
  • hoe je onderzoek goed, veilig en schaalbaar organiseert
  • de kwaliteit, vernieuwing en standaardisering van onderzoeksmethoden
  • je onderzoeksinzichten vastleggen en delen met impact

Waar het handig is, heb ik direct ook wat uitleg bijgedaan. Bijvoorbeeld bij het stuk over onderzoek delen: hoe deel je het dan? En waarom zo?

Of bij het stuk over onderzoeksmethoden. Van de verschillende soorten onderzoek maakte ik ook direct een overzicht waarvoor een methode dient.

Laatste dan. Vorig jaar begonnen we met teams coachen in mensgericht ontwerpen. Dit betekende dat we groter moesten denken. Hoe kunnen we heel DUO helpen om te willen, weten, kunnen en doen? Hop, direct ook onze coachingsstrategie erbij.

Het gaat lukken!

Dit grote plaatje is de reden dat ik blog. Ik vind het belangrijk dat er bij de overheid iets nieuws ontstaat, namelijk dat we de burger belangrijker gaan vinden dan onszelf.

Toen ik begon met bloggen, wilde ik vooral zelf leren. Ik was nieuw bij de overheid en ik had altijd geblogd over wat me bezig hield. Wat ik leerde als onderzoeker, schreef ik op. In het begin had ik 3 bezoekers per maand. Prima, laat mij maar lekker klooien in mijn hoekje op het internet.

Nu zijn het er een stuk meer dan drie. En ik leer nog steeds zoveel. Ik maak jullie enthousiast, en jullie mij. Samen leren we hoe het kan: een overheid die luistert, die echt wel wil en het beter maakt voor de burger. Het gaat lukken, het is al bezig!

De ontwikkeling bij DUO staat zo op een rij, of nou ja, in een rondje dan. Het meest bijzondere van de afgelopen 5 jaar? Dat onderzoek mijn discipline lang en breed oversteeg. Veel collega’s bij DUO raakten enthousiast over de relatie die we met burgers hebben. Daarom is het goed dat we als onderzoeksteam de vraag voor klussen allang niet meer aankunnen. Laten we het allemaal maar samen doen. Onderzoek doen, luisteren naar de burger, daar moet iedereen van zijn.

Bedankt voor 5 jaar lezen (vooral die 3 vanaf het begin). Hartjes.

Bekijk het bord ‘De structuur van Onderzoek’ en klik er ook overzichtelijk door naar alle blogs per thema.

Categorieën
De lerende overheid Een begripvolle toekomst Hoe doe je onderzoek?

Op naar een nieuwe structuur voor maatwerk

In de krant wordt er geschreeuwd om menselijkheid: een overheid die begripvol is. Er komen zoveel verhalen los na eerst de toeslagen- en later de boodschappenaffaire.

Er moet meer maatwerk komen, lees ik telkens. Maar dat is niet de oplossing. Tenminste… niet als maatwerk betekent ‘om het systeem heen werken’. Dan is het lapwerk. Verander liever de structuur van het systeem.

In dit blog een pleidooi voor een nieuwe structuur voor maatwerk. Niet (alleen) de work-arounds door individuele lieve ambtenaren, maar juist een begripvolle overheid, in het DNA van het systeem.

Dit ga je lezen:

  • Puzzelaar Patrick, een voorbeeld
  • Buiten de scope van je organisatie denken
  • Maatwerk kan een standaard zijn
  • Soorten maatwerk: proactief en reactief
  • Een stap verder: overheidsbreed
  • Dit vraag een nieuwe structuur
  • De eerste praktische stappen

Dit blog schreef ik met hulp (en inzage van stukken over de Maatwerkplaatsen) van Maartje Kemme, senior beleidsmedewerker Maatwerk bij het Ministerie van Sociale Zaken en Maureen Hermeling, strategisch adviseur dienstverlening van de BAR-Organisatie. De tekeningen over de maatwerkplaats komen uit deze video, gemaakt door Bord & Stift.

Puzzelaar Patrick

Bij het loket Geldzaken van de Gemeente Den Haag werkt Patrick. Hij is casemanager voor inwoners die bij het loket aankloppen voor hulp bij geldzaken. In ons interview pakt hij willekeurig de bovenste case van de stapel als voorbeeld. Meneer N.

Meneer N. kreeg 3 jaar geleden gezondheidsklachten waardoor hij niet meer kon werken. Hij verloor zijn baan en klopte aan bij het UWV voor een WIA-uitkering. Dat was een stuk minder dan zijn eerdere loon en zijn huur werd steeds moeilijker op te brengen. Hij vroeg huurtoeslag aan, maar daarvoor moest hij eigenlijk eerst huurverlaging bij de Woningstichting aanvragen. Dat kan, maar je moet wel de formulieren in de juiste volgorde opsturen naar juiste organisaties.

Lang verhaal kort: na 3 jaar was meneer N. het overzicht volledig kwijt, had hij schulden en zat hij tegenover Patrick zijn geldzaken door te nemen. Patrick zocht alles voor hem uit. Belde met de Belastingdienst, regelde de huurverlaging met de Woningstichting en zorgde ervoor dat N. huurtoeslag én overzicht kreeg.

In een vorige blog bracht ik een maand uit mijn eigen leven in kaart, nu probeerden we de drie jaar voor meneer N uit te tekenen. We vroegen aan Patrick wat er nog meer speelde. Waren dit de enige overheidsloketten waar hij vanwege gezondheids- of financiële problemen iets moest regelen?

Ja, goede vraag… dat wist Patrick ook niet zo 1-2-3. Was zijn vrouw niet ook aan het inburgeren…? ‘Kijk,’ dacht ik, ‘en ik tekende een lijntje naar DUO met een – mogelijke – inburgeringsschuld van zo’n €10.000 voor taallessen.

Als je met Patrick praat, is het verleidelijk om te denken dat we meer Patricks nodig hebben. Hij is een rots in de branding voor mensen als N. en zorgt ervoor dat problemen niet uit de hand lopen. Je kunt met Patrick gewoon een afspraak maken, een kop koffie drinken en je verhaal doen. Patrick is een fijne gast, hij luistert tenminste naar je en zegt geen nee, zoals een computerscherm.

Maar zelfs Patrick heeft geen overzicht op je hele relatie met de overheid. En ook voor Patrick is het zoeken naar de juiste puzzelstukjes.

Een stukje uit het overzicht van meneer N. Met het gele stuk hielp Patrick.

Toen we die tekening zo voor ons zagen, dachten we: we hebben niet meer Patricks nodig, we moeten die puzzel aanpakken. Die puzzelstukjes buitelen over elkaar heen en als je ergens de verkeerde indrukt, trekt de hele puzzel krom. Dat moeten we aanpakken.

Buiten onze scope

Ik werk zelf als design researcher nu zo’n 7 jaar bij de overheid. Ik weet hoe we die puzzelstukjes maken. Ik maak ze ook.

Als je bij een overheidsorganisatie werkt, zelfs als je je werk probeert te doen vanuit het perspectief van de burger, hou je je toch altijd aan de grenzen van je eigen organisatie. Bij DUO deed ik bijvoorbeeld onderzoek naar inburgeren. Ik kwam bij mensen thuis en bedacht hoe wij de website voor deze doelgroep beter kunnen maken. Alleen… hoe ze vóór ons met de IND te maken hebben, of het voorinburgeringstraject in het asielzoekerscentrum? Ja… daar gaan wij niet over. Dat valt buiten onze scope. Dus hoeveel zin had het om daar onderzoek naar te doen?

Dus adviseerde ik ook alleen over ons eigen puzzelstukje. En niet over de hele puzzel. Die moest de inburgeraar zelf maar leggen. En of ons puzzelstukje paste in zijn puzzel… ja, dat kon ik ook niet zien.

Maar mijn collega’s die zo’n inburgeraar aan de telefoon spreken, krijgen wel vragen over de hele puzzel. Zij proberen die zo goed mogelijk te beantwoorden. Dat zijn de Patricks in onze organisatie. Fijne mensen die proberen om maatwerk te leveren.

Het is niet eerlijk naar meneer N. toe én het is niet eerlijk naar Patrick toe, dat we ze dwingen om die moeilijke puzzels zelf te maken. Het is namelijk helemaal niet goed om zo allerlei precedenten te scheppen. Het leidt tot oncontroleerbare willekeur en een grillige overheid. Je moet het maar net treffen, welke ambtenaar je case oppakt. Daarnaast is het voor ambtenaren ook een continue zware mentale belasting om vanuit empathie en hardheidsclausules te werk te gaan, in plaats vanuit heldere inclusieve kaders en standaarden die rekening houden met menselijkheid en uitgaan van een begripvolle relatie tussen overheid en burger.

Hier schreef ik eerder essays over. Over de rol van begrip bij de overheid en de systeem-level-bureaucratie. En over de worsteling met eigen menselijkheid als welwillende ambtenaar.

Want dat laatste kan gewoon.

Maatwerk kan een standaard zijn

Bij meer menselijkheid bij de overheid denken we vaak aan een extra balie bij de ingang, meer capaciteit bij de telefonie of dat we meer uitzonderingen kunnen maken, buiten de computer om. Maar menselijke maat kun je ook in het systeem ontwerpen. Juist in het systeem.

Als we bij het perspectief van de mens beginnen, kunnen we elk stokje van de estafette van wet naar loket samen met burgers ontwerpen. Hoe willen we dat de begripvolle verbinding is? En welke impact heeft ‘mijn stokje’ op die verbinding? 

Daarvoor hebben we een andere structuur in het systeem nodig.

K‍ijk, zo kan maatwerk schematisch eruit zien door de bril van de burger:

Verschillende niveau’s van maatwerk

Alle dienstverlening van de overheid zou de burger als maatwerk moeten ervaren. Maatwerk kan prima ‘in bulk’ worden georganiseerd. Diensten kunnen prima op maat aanvoelen, ook als dat voor iedereen gelijk is. Er zijn daarnaast aanvullende diensten die niet iedereen gebruiken die het extra op maat maken. Bijvoorbeeld bellen met iemand van een serviceloket. Als dat ook niet genoeg is voor je unieke situatie, is er specifiek maatwerk nodig. Ongelijke gevallen behandelen we in gelijke mate ongelijk.

Daar wordt het interessant.

Dit unieke maatwerk kan proactief en reactief

Proactief maatwerk is in het hier en nu, tussen 1 burger en 1 overheidsloket. Dat kan een digitaal loket zijn dat goed ontworpen is, helder uitlegt en taken gebruiksvriendelijk en op maat aanbiedt. Het kan ook een ambtenaar zijn die met jou je situatie doorneemt en een oplossing zoekt en regelt. Bijvoorbeeld Patrick. Dit is maatwerk in de dienst.

Reactief maatwerk gaat verder. Dit is het signaal uit de dienst meenemen en daarmee de dienstverlening beter maken. Dit is niet eenmalig fixen, maar ervan leren.

Komen dit soort situaties vaker voor? Wat maken anderen mee als ze een fout maken bij het aanvragen van huurtoeslag? Welke stress stapelt zich op bij mensen die door gezondheidsproblemen hun werk kwijtraken? In welke andere problemen komen zij? Wat kunnen wij als organisatie anders doen om dit te voorkomen of sneller op te lossen? Dit is maatwerk in de dienstverlening.

Overheidsorganisaties hebben een structuur nodig om dit te faciliteren.

Bij de SVB en het UWV noemen ze deze structuur een maatwerkplaats. Een afspraak om in de organisatie vanuit al die verschillende estafetterollen samen te werken en die praktijksignalen te herkennen, onderzoeken en op te volgen. Ze denken als ontwerpers en proberen te onderzoeken ‘hoe het wel kan’. Daarmee veranderen ze de standaarden in hun dienstverlening zodat het de volgende keer wél op maat is voor burgers.

Zij merken dat er minder bezwaar- en beroepsprocedures zijn. Er zijn nu ook andere manieren om als burger verandering te vragen. De organisatie luistert naar hen, zonder dat ze per se in bezwaar hoeven om gehoord te worden. En de regeldruk voor burgers wordt minder; het is makkelijker puzzelen.

Dit kan nog een stap verder

Vaak overstijgen dilemma’s de organisatie en gaat het om de hele puzzel waarbij de puzzelstukjes niet in elkaar passen. Zo’n maatwerkplaats kun je ook overheidsbreed doen. Ambtenaren uit meerdere organisaties (van de kastjes en de muren, zeg maar) kunnen als ontwerpers samen werken. Ze kunnen samen de problemen onderzoeken en oplossingen ontwerpen. Het is makkelijk om politiek-maatschappelijke aspecten te betrekken, omdat je toch al overheidsbreed werkt. Je ziet hoe het ene puzzelstukje zich tot de ander verhoudt.

In het inburgeringsonderzoek had ik zo bijvoorbeeld mijn inzichten over vertraging van taallessen en culture clashes kunnen delen met mijn collega’s van de IND en het COA. Ik had van hen kunnen leren en daardoor meer inzicht gekregen in het probleem. We hadden samen oplossingen kunnen prototypen en testen. Samen hadden we makkelijker het ministerie kunnen betrekken want onze case had gestaan als een huis. Sterker nog: beleidsmedewerkers van het ministerie hadden allang meegeholpen in onze maatwerkplaats.

Maar dat deed ik niet, want ik was maar alleen. Ondanks mijn goede bedoelingen had ik niet de structuur om zo te werken. Ik had geen idee waar ik moest beginnen. Ik kende niemand bij de IND. Zelfs binnen DUO hadden we toen niet zo’n maatwerkplaatsstructuur. Mijn opdracht was om de website beter te maken en niet om inburgeraars te helpen inburgeren.

Een infrastructuur voor menselijke maat opzetten

Ik schrijf hier natuurlijk niet over iets nieuws. Veel organisaties zijn al met allerlei initiatieven voor ‘de menselijke maat’ bezig. Bij DUO zijn we bijvoorbeeld sinds mijn inburgeringsonderzoek begonnen met kijken hoe we onderzoeksinzichten centraal kunnen delen binnen de organisatie. Overal bij de overheid poppen er clubjes op om de burger centraal te zetten, direct duidelijk te zijn, met design thinking te experimenteren en de dienstverlening te verbeteren. Allemaal belangrijk en nodig.

Maar nog nergens hebben we het zo structureel aangepakt door er een nieuwe infrastructuur van te maken. Door het DNA van het systeem te veranderen. Dat is de kern, en dat moeten we aanpakken. Anders blijven we maar puzzelstukjes schaven.

Het betekent dat we allemaal ons werk anders moeten gaan doen. Dat we moeten beginnen bij het perspectief van de burger, en niet dat van de huidige wetgeving. Die kunnen we immers veranderen.

Nog nergens zetten we samenwerkingen op die zo gestructureerd beleid en uitvoering combineren. Nog nergens zijn we echt als organisaties verantwoordelijkheid aan het nemen voor elkaars puzzelstukjes. Nog nergens is de politiek niet leidend, en wel de feedback van de burger.

Dat moeten we wel gaan doen.

Het is tijd om dit praktisch te maken

De eerste stappen die we kunnen nemen:

  1. Organisaties moeten burgeronderzoekers aannemen als ze die niet al hebben. Deze onderzoekers werken centraal in de organisatie en wisselen hun onderzoek open met andere organisaties uit. Mens Centraal is al bezig om overheidsbreed zo’n onderzoekscommunity op te zetten. Dit onderzoek moet worden aangevuld met onderzoeken van toezichthouders en wetenschappers, zoals de Nationale Ombudsman, het WRR en meer.
  2. Organisaties maken de afspraak en investeren in methodieken die medewerkers helpen om multi-disciplinair als ontwerpers te werken. Bijvoorbeeld hoe je na een signaal uit de dienst dit verder kunt onderzoeken. Hoe je vanuit nieuwe denkkaders oplossingen kunt bedenken en toetsen. Lekker praktisch.
  3. Leiders en managers geven hun medewerkers de ruimte om ‘een begripvolle ambtenaar’ te zijn. Om moreel leiderschap en initiatief te tonen om op te komen voor de burger. Dit vraagt moed en kwetsbaarheid.
  4. Organisaties richten een maatwerkplaats in. Een fijne projectmanager die goed kan organiseren en verbinden zorgt ervoor dat medewerkers elkaar weten te vinden en samen kunnen werken. Er komt geld en tijd voor dit soort samenwerkingen. In deze maatwerkplaatsen kunnen burgeronderzoekers en ontwerpers samenwerken met technici en juristen. Ook de Patricks en meneer N’s mogen actief meedoen.
  5. Organisaties leggen een archief aan met ‘casusprudentie’, casuïstiek waarvan we kunnen leren, en ook dit wordt open gedeeld met andere organisaties.
  6. Wanneer in zo’n maatwerkplaats een puzzelstukje van een andere organisatie gevonden wordt (en dat gebeurt al snel), wordt er actief contact gezocht met die organisatie. Zij hebben als het goed is ook een zo’n nieuwe structuur die dit soort samenwerking faciliteert, dus je kunt zo aanschuiven.
  7. Wanneer het nodig is, schaalt de maatwerkplaats op en wordt deze overheidsbreed. Medewerkers uit de uitvoering kunnen zo makkelijk samen met medewerkers van een verantwoordelijk ministerie aan de slag. Ze gebruiken dezelfde infrastructuur van punt 1 tot en met 6.

Maatwerk wordt zo geen maatwerk meer, maar de nieuwe structuur van het systeem.

Categorieën
Hoe doe je onderzoek? Werken met beeld

Je onderzoek goed documenteren

Kladblaadjes met aantekeningen uit het interview

Al langer wil ik schrijven over het documenteren van onderzoek. Oef, denk je nu, never mind, dat is geen sexy onderwerp. Wel belangrijk, dus in deze blog laat ik heel concreet zien hoe je onderzoeksresultaten goed kunt vastleggen. Ik werk voor de publieke zaak als ambtenaar, dus kan ik net zo goed mijn geheimen prijsgeven 🙂

Eerder schreef ik waarom goede documentatie belangrijk is. Als je open wilt werken, is het een must dat je documentatie op orde is. Bij DUO komt het elk jaar terug in onze goede research voornemens. En het is belangrijk als je als organisatie niet op onderbuikgevoelens, maar op basis van inzicht in je gebruiker beslissingen wilt maken.

Wat is goede documentatie?

Voor het vastleggen van de je onderzoek gelden dezelfde regels als voor elke informatie. Het moet:

  • toegankelijk: iedereen in je organisatie kan erbij (en als je open werkt ook iedereen daarbuiten)
  • vindbaar: de inzichten zijn doorzoekbaar en de informatie bereikt de juiste mensen
  • begrijpelijk: genoeg context voor iedere lezer, ook als je nieuw bent in het team
  • bruikbaar: heldere conclusies en aanbevelingen die je kunt inzetten en ze zijn goed onderbouwd

Het meeste onderzoek bij organisaties gaat hand in hand met ontwikkel- of beleidsteams die er vervolgens mee aan de slag gaan. Dat betekent dat je in korte iteraties werkt. Het makkelijkst is om elke stap direct te documenteren. Je onderzoeksdossier groeit vanzelf wel mee. Ik doe dat in 4 stappen:

  1. Ik begin met de onderzoeksvraag. Dit is meestal ook de aanleiding van het onderzoek.
  2. Ik schrijf en laat zien hoe ik het aangepakt heb. Wat is de methode, wie waren betrokken?
  3. Wat heb ik geleerd? Op basis waarvan?
  4. Hoe ga ik verder?

Het werkt het beste als al het onderzoek bij elkaar is en niet verspreidt over afdelingsschijven. Verschillende teams werken soms voor dezelfde gebruiker. Staat alles bij elkaar, kunnen ze makkelijk elkaars inzichten gebruiken. En als iets een eerder onderzoek tegenspreekt, zie je dat ook. Zo leer je als organisatie (zonder eindeloos te hoeven vergaderen, heuj!). Ik schreef hier eerder deze blog over: Alles wat we weten over de klant, weten we allemaal.

Van audio naar kladjes naar blog naar essay

Een voorbeeld. Bij de portretserie De begripvolle Ambtenaar pakte ik het ook zo aan. Ik begon met een interview. Dat nam ik op in audio en foto’s. Later luisterde ik alles terug en schreef ik soms 10 A4tjes vol. Ik heb hier ook weleens Happyscribe voor gebruikt, maar schrijven op papier werkt voor mij fijner. In mijn klad markeerde ik de belangrijkste punten die ik leerde. Daar zocht ik eventueel extra context bij (desk research). Ik vatte alles samen in een blog met aanbevelingen voor mezelf hoe ik verder kon gaan in het onderzoek. Na 17 interviews vatte ik alle inzichten samen in essays over De Begripvolle Ambtenaar.

Van ruwe data naar wijsheid

Wanneer ik een onderzoeksmoment documenteer vertel ik niet alleen wat ik ontdekte, ik laat het ook zien. Ik geef voorbeelden en onderbouw conclusies met quotes, in tekst of audio, en beeldmateriaal.

Je moet het niet geloven omdat ik iets schrijf, maar om het bewijs dat er bij zit.

Bij mijn interview met Henk als begripvolle ambtenaar zag dit proces er zo uit (uit de ‘achter-de-schermen-video die Aljan Scholtens maakte):

Het foto-interview met Henk en het documenteren ervan

Van Henk heb ik mijn kladjes niet meer, maar van Johan als begripvolle ambtenaar nog wel. Speciaal voor jullie ook die op de blog.

  • Kladblaadjes met aantekeningen uit het interview
  • Opzet van de blog met de belangrijkste inzichten

Nog een voorbeeld: CoronaMelder

In de zomer liep ik mee met medewerkers van de GGD in hun werk om het coronavirus te bestrijden. Ik mocht geen opnames maken, dus ik typte met elk gesprek live mee. Op mijn laptop maakte ik mapjes met een documentje per bezoek, of soms per persoon die ik sprak.

Na het bezoek ging ik daar nog eens goed doorheen. Eerst om alle typos van het snelle typen recht te zetten. Daarna om patronen te ontdekken die ik onderstreepte. Verschillende onderwerpen gaf ik een eigen kleur. Per onderwerp werkte ik het uit in een inzicht. Die inzichten, samen met de context van het onderzoek en de observaties waarop dat gebaseerd was, deelden we op Github.

Over welke thema’s gingen de interviews? Wat zag ik tijdens het meelopen? Hoe werkten medewerkers met alle systemen en met elkaar? Kwam iets regelmatig terug, hoe dan?

Bij het meeluisteren met een bron- en contactonderzoeker zag dat er bijvoorbeeld zo uit. Groen gehighlight gaat over hoe de maatregelen verteld worden, oranje hoe mensen daar op reageren, geel hoe contacten in kaart gebracht worden en blauw gaat over de systemen die gebruikt worden. Vooral groene en oranje informatie vonden we belangrijk bij het maken van de melding die CoronaMelder via je telefoon stuurt. Ter vergelijking: hier het gedocumenteerde onderzoek van die dag.

Het gaat niet alleen om wat mensen zeggen, maar ook om wat je ziet, wat mensen doen en wat er om je heen gebeurd tijdens een onderzoeksmoment. In een van mijn eerste bezoeken vertelden verschillende medewerkers dat ze steeds weer anders moeten werken. “Bij elke persconferentie wordt er weer een verandering aangekondigd en moeten wij ons werk weer anders doen.” In de gangen zag ik flip-overs met steeds de nieuwe aanpak, de oude vellen lagen op de grond in de hoek. Deze meeloopdag leidde vervolgens tot dit inzicht ‘Het proces verandert elke week‘.

In al deze documentatie kun je precies zien hoe ik van ‘wat zag ik‘ naar ‘wat weet ik nu‘ naar ‘next step‘ ga. Bij CoronaMelder zijn alle onderzoeken en inzichten gepubliceerd op Github, en doorzoekbaar in Sticktail (het programma waar de onderzoekers in werken). Op die manier is het hele onderzoeksdossier bij elkaar en groeit onze wijsheid als team en als organisatie naarmate we meer onderzoek doen ‘vanzelf’.

Wat wel en wat niet vastleggen

Er zijn natuurlijk grenzen aan welke informatie je bewaart, hoe je dat doet en hoelang. Denk hierbij aan

  • informatie over personen. Sowieso vraag je toestemming voor het onderzoek, maar je hoeft meestal niet in je documentatie te vertellen over wie het precies gaat. Soms is beeldmateriaal fijn, vraag hier dan extra toestemming voor dat het gedeeld mag worden. (Ik stuur het meestal ook op: ‘kijk, zo heb ik het gebruikt in het verslag’).
  • informatie die niet relevant is of verouderd.
  • informatie die niet gedeeld mag worden. Dit is vooral belangrijk als je open werkt. Waar ligt de knip en wat mag niet ‘naar buiten’? Overleg hierover en bespreek wie dit bepaalt en op welke voorwaarden.

En zorg ervoor dat je informatie makkelijk te vinden is. Ik gebruikt op dit blog categorieën en tags. Bij DUO werken we net als bij CoronaMelder met Sticktail die ook op basis van tags het zoeken in al je onderzoek makkelijk maakt. Geef documenten en mapjes goede namen die iedereen kan begrijpen (en niet alleen jij). Zo raak je nooit het overzicht kwijt.

Documenteren zal nooit helemaal sexy worden, maar zo kom je hopelijk een heel eind. Succes!

Categorieën
Hoe doe je onderzoek?

Een corona-app die eerder en meer mensen waarschuwt

Wanneer je een bezoek brengt aan een GGD is de kans groot dat je ze ziet hangen: grote vellen papier met getekende stambomen. Bovenaan de bron van de besmetting, de eerste persoon die besmet is of het bedrijf waar iedereen aan verbonden is. Met lijntjes worden de contacten in kaart gebracht, sommigen ook met een positieve testuitslag op het coronavirus. Deze vellen papier geven overzicht. De bedoeling is natuurlijk dat de stamboom niet groeit. Dat de verspreiding van het coronavirus stopt, bij elk van die personen op de stamboom.

Sinds mei loop ik mee met het bron- en contactonderzoek van de GGD. Dit doe ik om te onderzoeken hoe een corona-app kan helpen bij de bestrijding van het coronavirus. Samen met medewerkers van de GGD kijk ik hoe hun werkprocessen in elkaar zitten. Hoe zij mensen aan de telefoon te woord staan en hoe mensen reageren. Wat betekent een app voor dit werkproces?

B: “Goedemorgen, u spreekt met B van de GGD. Komt het gelegen dat ik u even bel?” P: “Ja.” B: “Ik bel u met de uitslag van uw test. Die is positief, dat betekent dat u het coronavirus heeft.” P: “…” B: “Schrikt u daarvan?” P: “Ja, nee… nee… oh… werkelijk?”

Gesprek tussen GGD-medewerker B en patiënt

In de vorige blog schreef ik hoe we de corona-app testen met allerlei soorten gebruikers. In dit blog praat ik je bij over wat ik leerde tijdens het meelopen bij de GGD en wat dit betekent voor de corona-app.

Bron- en contactonderzoek

Ik begon te onderzoeken wat dit bron- en contactonderzoek (BCO) eigenlijk is. Wanneer iemand besmet is met het coronavirus wordt iedereen met wie hij de dagen ervoor in contact is geweest in kaart gebracht. Zij worden benaderd en gevraagd om extra op te letten en soms zelfs in quarantaine te gaan, aan de hand van hoeveel risico iemand loopt. Het RIVM heeft hiervoor landelijke richtlijnen gemaakt die de GGD’s toepassen.

Ik maakte een overzicht van de richtlijnen van het RIVM en het proces om dit uit te voeren. Communityleden van Code for NL hielpen mee en plaatsten er allemaal vragen bij die ik kon uitzoeken.

Het overzicht van de richtlijnen van het RIVM met onderzoeksvragen.

A: “Als jij die brieven voor iedereen klaar zet, gaan C en ik vast bellen. Misschien moeten we die mevrouw zo ook nog even bellen?” B: “Ja, als de mail wil dan.” B: “Ik hoop dat jullie mijn handschrift kunnen lezen, heb echt zo snel geschreven al die nummers net.”

Overleg tussen GGD-medewerkers

Ik leerde Henri ter Hofte kennen die als onderzoeker bij het Windesheim in Zwolle al sinds 2015 onderzoek deed naar apps die ingezet kunnen worden bij een pandemie. Ineens was zijn science fiction onderzoek werkelijkheid. Hij stuurde me deze video door, die goed uitlegt hoe bepaalde maatregelen effect hebben en welke rol een app kan spelen.

De simulatie van een epidemie en het effect van enkele maatregelen hierop

Maar een app staat niet op zichzelf. Die is deel van een groter geheel van alle maatregelen en moeite die we nemen. In Nederland zijn er 25 GGD’s die in hun regio de coronatesten en het speurwerk van mogelijke besmettingen in kaart brengen. Elke GGD doet dit net even anders, maar de grote lijn komt overeen.

Op bezoek bij de GGD

Bij de eerste GGD die ik bezocht, was het toevallig die dag rustig. Ik had ruim de tijd allerlei collega’s te spreken. Het was half mei, Nederland was net over de piek heen. Bij de GGD was de druk goed voelbaar. Dit is niet een gewoon onderzoek, realiseerde ik me. Alles verandert continu. In het onderzoeksverslag van die week schreef ik:

“De insteek van de meeloopdag bij de GGD is om in kaart te brengen hoe het proces van testen en bron-en contactonderzoek is. Na het tweede interview viel het me (onderzoeker) steeds meer op dat processen door elkaar heenliepen. Het verandert elke week. Dus welk proces wil je horen, vroegen medewerkers mij. Een app moet passen bij het BCO, maar van welk werkproces moeten we uitgaan bij het maken van de app?”

In de weken erna sprak ik meer testcoördinatoren en BCO-medewerkers, planners, teamleiders, artsen en informatiemanagers. De een was ervaren en vanaf het begin van de coronacrisis betrokken bij de grote opschaling, de ander was net op die dag begonnen en kreeg een training.

Ik luisterde gesprekken mee. Ik hoorde patiënten reageren op hun testuitslag, verdrietig worden en hun best doen om zich te herinneren met wie ze allemaal in contact waren geweest. De muren van de kantoren hingen vol met flip-over-vellen waar getekende stambomen op stonden, werkinstructies met het nieuwe beleid van die week en wegwijzers naar nieuw geïmproviseerde afdelingen.

In gesprek met medewerkers bij de GGD in Eindhoven

B: “Ja, maar die klanten zijn nauwe contacten. Die moeten ook allemaal in quarantaine.” A: “Haar klanten. De andere klanten zijn categorie 3. Dit moeten we met de leidinggevende bespreken, hoe we dat met die klanten gaan doen.” B: “Pff…” A: “Ik heb eigenlijk nog nooit zo’n grote casus gedaan.” B: “Ja, het is echt een speurtocht he.”

Overleg tussen GGD-medewerkers

Ik zag BCO’ers multitasken: begripvol reageren, goed doorvragen, de vragenlijst afvinken en checken of ze alles hadden, meeschrijven op een kladblok en tegelijkertijd met de muis meerdere applicaties op het scherm bedienen. Na het gesprek overlegden ze met collega’s en met de arts: in welke risicocategorie vallen deze contacten? De richtlijnen van het RIVM zijn duidelijk, maar niet altijd 1-2-3 op mensen te plakken. Bron- en contactonderzoek kost veel tijd en is maatwerk.

Alle GGD’s hebben een werkinstructie waarin stap voor stap staat wat je moet doen, zeggen, vragen en moet vastleggen. Sommige werkinstructies zijn meer dan 35 bladzijdes. Bij handmatig bron- en contactonderzoek moet je al deze stappen uit de werkinstructie 1 voor 1 nemen. De gesprekken met de patiënt duren soms lang. De patiënt wordt moe, emotioneel en wil pauze. Soms herinnert de patiënt zich niet alles. Missen er telefoonnummers van contacten, namen, of wil de patiënt iets niet vertellen. En soms neemt iemand domweg de telefoon niet op.

“Ik ben nu niet op de zaak dus ik kan niet in het systeem kijken. Kun je me over een uur terugbellen?”

Leidinggevende van patiënt bij wie de contacten bekend zijn

De doorlooptijd van het virus

Een patiënt had op zaterdag voor het eerst ziekteverschijnselen. Vanaf zondag bleef ze thuis. Donderdag was ze volgens de richtlijnen al besmettelijk, dit is altijd de eerste ziektedag min 2 dagen. Op maandag liet ze zich testen en op woensdag kwam de uitslag. Woensdagochtend startte het contactonderzoek. Daar was ik bij toen ik meeliep bij het inwerken van nieuwe BCO’ers bij een GGD.

Van de contacten die in quarantaine moesten, waren twee op donderdag in contact geweest met haar en namen hun telefoon niet op. De dag erna werden ze nog eens gebeld, maar dat is dus al een week later. Die week hadden ze eigenlijk al in quarantaine moeten zijn.

De doorlooptijd van het virus

A: “Ja, u kunt in de 2 weken klachten ontwikkelen. U moet echt alert zijn en als u klachten hebt ons bellen. En we gaan u tussendoor ook bellen. En verder… ja, overleg het ook even met uw leidinggevende. En het advies is ook om geen bezoek te ontvangen en zoveel mogelijk thuis te blijven.” K: “Wacht… ik moet het even…” A: “Ja, ik overval u een beetje he.” K: “Ja…”

Gesprek tussen GGD-medewerker en contact die in quarantaine moet

Terwijl ik elke week bij een GGD meeliep en steeds meer leerde over de uitdagingen van bron- en contactonderzoek, bracht ik samen met collega’s van het app-team in kaart hoe de app dit zou kunnen aanvullen. Let wel: de werkprocessen van de GGD’s veranderden nog steeds regelmatig. Wat we bedachten, moest dus flexibel zijn. Ook wanneer er misschien een nieuwe uitbraak komt van het virus, en weer van alles op de kop gaat.

Dat de app meer mensen zou kunnen waarschuwen, wisten we. Vooral de mensen die je niet kent of je niet meer kunt herinneren, levert winst op. De meneer in de trein, iemand op een feest waar je naast staat te dansen, degene die aan het tafeltje achter je zit in het restaurant. Maar zou de app ook kunnen helpen door deze mensen sneller te waarschuwen?

Fragment van tekeningen om de app een plek in het proces te geven

Op de tijdlijn van het virus tekenden we allerlei scenario’s hoe we de app in het proces een plek konden geven. Deze ideeën bespraken we met de GGD. De teststraat viel bijvoorbeeld af. Die moest zo efficiënt mogelijk en daar kon geen gehannes met zeg, QR-codes bij. Uiteindelijk kozen we om bij het uitslaggesprek dat de GGD-medewerker met de patiënt voert een extra stap toe te voegen. In de app kun je je dan ziek melden, maar alleen samen met iemand van de GGD.

Je ziek melden in de app

Door de app stuurt je telefoon willekeurige codes naar telefoons van andere app-gebruikers. De ander weet niet dat hij de codes van jou heeft gehad en ook niet waar dit was. Wanneer je ziekt bent, kun je jouw codes uploaden naar een centrale server. Andere app-gebruikers kunnen op die centrale server checken of daar besmette codes staan die overeen komen met codes die zij op hun telefoon hebben ontvangen. Wanneer er een match is, krijgt die app-gebruiker een bericht. In deze video wordt dit uitgelegd.

Hoe de CoronaMelder-app werkt

Die codes uploaden kan alleen als een GGD-medewerker de deur naar die centrale server voor je openzet. De sleutel voor die deur staat in je app. In het gesprek met de GGD lees je de sleutelcode op en de GGD-medewerker voert hem in in een webapplicatie. Hiermee gaat de deur open en kunnen jouw codes de server bereiken. Deel je je codes vanuit de app, maar geef je niet de sleutel aan de GGD, dan staan je codes dus voor een dichte deur en kunnen ze de centrale server niet bereiken.

De webapplicatie waarmee de GGD de deur kan openen, testen we komende woensdag in een dubbeltest: in ons onderzoekslab in Amsterdam zijn er 6 app-gebruikers die de app testen en ik ben bij een GGD om samen met BCO’ers de webapplicatie voor de GGD te testen. Ze bellen elkaar en samen gaan ze proberen of het hen lukt om de codes van de patiënt te delen met de centrale server en zo anderen te waarschuwen.

Spannend. Ik ben heel benieuwd hoe dat zal gaan. 🙂

Wil je alle inzichten uit het onderzoek teruglezen, en de adviezen die ik op basis van dit onderzoek heb gegeven? Via linkjes in deze blog kom je er ook, maar hier al mijn onderzoeken op een rij:

Categorieën
De lerende overheid Hoe doe je onderzoek?

Onderzoek op afstand

Het is mijn life goal om overheid en burger te verbinden en dichter bij elkaar te brengen. Maar sinds een week moeten we fysiek afstand houden. Ai… Bij DUO werken we nu bijna allemaal verplicht thuis en dat betekent dat alles digitaal gaat. Maandag zat ik bij de pakken neer, dinsdag vroeg ik op LinkedIn hoe anderen dat deden en woensdag kreeg ik nieuwe energie want er stroomden veel ideeën binnen. In dit blog een voorzet hoe we het UX-research vak op afstand, maar niet afstandelijk, kunnen doen.

Wil je direct naar het overzicht met alle ideeën over onderzoek op afstand? In dit openbare Google Doc vind je ze allemaal. Vul de lijst aan met je eigen ideeën en best practices.

Tools

De meeste tips die ik kreeg gingen over tools. Mijn collega Ruth merkte op via Slack: ‘ik kan door de tools de research bijna niet zien.” Daar moest ik erg om grinniken, want ik vond het heel herkenbaar. We duiken snel op tools, maar veel interessanter is hoe die tools werken of niet werken.

Ilse Blom van Funda reageerde op LinkedIn dat ze daarom eerst een grondige dry-run deed: “zo kwamen we er bijvoorbeeld tijdig achter dat via de web-app van Teams je niet tegelijk een scherm (met prototype) en camerabeeld kan delen en we de respondent vooraf moeten vragen de applicatie te installeren. En dat diegene die de sessie opneemt geen notities kan typen omdat dat de opname van de sessie verstoort. Diegene moet dus old-school pen en papier paraat hebben :). Kleine dingen, maar als je deze van te voren uitvindt, ben ik ervan overtuigd dat het een stuk soepeler verloopt. Nu alleen nog hopen dat Teams de verbinding een beetje stabiel kan krijgen…”

Heel goed, Suus! Afstand houden 🙂

Voordat we verplicht remote moesten werken was ik geen fan van remote onderzoek doen. Ik schreef eerder deze blog over een experiment met mobiel testen op afstand dat helemaal misging. Ik kon de mensen niet zelf aankijken, lichaamstaal vervalt en er was gedoe met dingen installeren (niet heel inclusief). Maar, eerlijk gezegd, heb ik me nog niet eerder heel goed verdiept in remote onderzoek doen. Tot nu. Nu moet ik wel.

Voorbij usability onderzoek

Voor usability onderzoek is ontzettend veel te vinden. Ik schreef eerder op dit blog al over de opzet die we bij DUO gebruiken en die relatief eenvoudig op afstand uit te voeren is. De basis die we gebruiken is OBS, een recording en streaming tool die gamers ook veel gebruiken. Collega’s kunnen op afstand meekijken.

We doen bij DUO ook ander type onderzoek. Hoe je dat op afstand kunt opzetten en uitvoeren, vind ik een grotere uitdaging. Bijvoorbeeld een focusgroep, diepte-interview en generatief onderzoek. Of hoe je workshops organiseert met je team, teams coacht en bevindingen uit onderzoek overdraagt in je organisatie. Hoe vertaal je dat allemaal naar ‘remote’? Zouden we misschien zelfs een digitale meet-up kunnen organiseren bij DUO?

De komende tijd ga ik wat nieuwe dingen uitproberen. Bovenaan mijn lijst staan creatief samenwerken met Miro, meet-ups en demo’s organiseren met Hopin en al bekende onderzoekstools inzetten om een gesprek te faciliteren. Bijvoorbeeld in plaats van een fysieke discussie in een zaaltje een digitale card sort naar iedereen sturen en na afloop via Miro de resultaten delen en digitaal bespreken. Hoe dit in de praktijk gaat werken, kom ik vast nog op terug.

Rol van de researcher

Door zelf als onderzoeker niet meer fysiek aanwezig te zijn, kunnen we ook reflecteren op onze rol. In eerste instantie was ik dus nooit zo’n fan van onderzoek op afstand omdat ik dacht dat het minder persoonlijk was. Maar een collega van mij, Ruth, bewees het tegendeel. Zij heeft (toevallig!) net een onderzoek afgerond met respondenten uit Caribisch Nederland. Via Experience Fellow stuurden respondenten dagboekberichten naar haar. Via Skype interviewde ze hen. Ruth werd lid van Facebookgroepen om gesprekken te kunnen volgen en het lokale nieuws bij te houden. Dat deed ze ruim een maand en het leverde persoonlijke en authentieke inzichten op. In alle verhalen kwam ze zelf bijna niet voor, de participant des te meer.

Uit The Convivial Toolbox

In The Convivial Toolbox staat een prachtige mapping van verschillende types onderzoek. Generatieve methodes staan aan de kant van participerend onderzoek: de respondent is mede-expert in plaats van ‘slechts’ gebruiker. Nu wij als onderzoekers op afstand moeten blijven vraagt dat van ons meer vertrouwen in de respondent om ons te helpen leren. Een flinke stap naar het rechterdeel van dit spectrum. In plaats van dat ik als onderzoeker kan observeren, moet ik afgaan op wat iemand met me wilt delen en als foto bijvoorbeeld instuurt. We worden gelijkwaardiger en daarmee is het onderzoek misschien juist authentieker.

Een jaar geleden interviewde ik een student die net klaar was met haar studie en begon aan het terugbetalen van haar studieschuld. We spraken af via Facetime. Ze zat in haar studentenkamer met een kop thee op haar bed. In het echt zou ik haar daar natuurlijk nooit gesproken hebben. Ongemakkelijk. Maar nu keek ik zo haar leven in. Ruth kreeg prachtige berichten via Experience Fellow. Respondenten schreven hun zorgen van zich af via de app. Ze reageerden niet op de onderzoeker, maar op het thema wat op dat moment centraal stond in hun leven terwijl ze thuis in hun eigen omgeving waren.

Misschien is remote research wel iets heel goeds voor ons vak. Het vraagt vertrouwen van ons als onderzoekers en meer gelijkwaardigheid tussen respondent en onderzoeker. Ik ben benieuwd wat dat met ons gaat doen.

Hoe ga jij op afstand onderzoeken?

De komende tijd moeten we even schakelen. Mentaal is dat best een ding, dat mag er zijn, en het vraagt creativiteit en inventiviteit om die stap te maken. Ik ben benieuwd naar jullie aanpak en ideeën. Vul ze aan in de openbare Google doc zodat we een mooie lijst krijgen en van elkaar leren. Zet er ook je ervaringen bij.