Categorieën
Hoe doe je onderzoek? Promoklip

Open actie onderzoek

Deze maand schrijf ik over mijn nieuwe onderzoek naar overheidsdiensten die goed zijn voor mensen. Ik schreef het grote plan en de reis tot nu toe. In dit blog lees je over de aanpak en een eerste planning voor de komende jaren.

Je kunt je opgeven voor mijn nieuwsbrief. Een keer per maand krijg je een samenvatting van het onderzoek in je mailbox. Zo mis je niks en kun je makkelijk reageren en meedoen aan het onderzoek.

De aanpak kiezen

Een aantal persoonlijke overwegingen hielp me al vrij snel om te kiezen hoe ik dit onderzoek wil aanpakken. Al een aantal jaar werk ik graag overheidsbreed, vanuit het perspectief van burgers die met de hele overheid te maken hebben. Tijdens mijn master vond ik het kritisch sparren met een extern instituut heel fijn. Ik zocht daarom contact met de TUDelft om opnieuw zo’n constructie te vinden. In de vorm van een promotie-onderzoek kon ik zowel een excuus vinden om overheidsbreed te werken als samen te werken met een universiteit.

Maar… het gaat me niet om het ‘slechts’ produceren van nieuwe kennis. Nee, ik wil juist dat we in de praktijk bij de overheid vanuit de menselijke maat leren werken. Én ik heb natuurlijk mijn eigen ontwerp- en onderzoeksvaardigheden de laatste jaren in een bepaalde richting ontwikkeld, wat jullie sinds 2017 mee hebben kunnen lezen op dit blog.

Een aanpak die bij dit alles goed bij past is actie onderzoek. Voor mij is dat open actie onderzoek omdat ik over elke stap blog. Niet alleen het resultaat is open, maar juist het proces terwijl we aan de slag zijn. Jullie hebben dus alle kans om het proces bij te sturen!

Praktijk en theorie combineren

Actie onderzoek is niet het gemiddelde wetenschappelijk onderzoek. Het is een veel praktischere aanpak en daarom is mijn standplaats de komende jaren níet de universiteit, maar juist bij uitvoeringsorganisaties van de overheid zelf. Om van binnenuit in de praktijk samen met collega’s te onderzoeken.

Onderzoek dat uitgaat van de problemen die door organisatorische contexten worden gegenereerd en gericht is op verandering, vereist een radicale herwaardering van de relatie tussen kennis en actie, en van het verwante beeld van de ‘academische onderzoeker in een leunstoel’.

Van Marrewijk, A., Veenswijk, M., & Clegg, S. (2010) ‘The organizing reflexivity in designed change: The ethnoventionist approach’, Journal of Organizational Change Management, 23(3): 212‹29

Actie onderzoek heeft een aantal eigenschappen die goed bij mij en het vraagstuk passen. Actie onderzoek is namelijk:

  • in de situatie: het vraagt directe betrokkenheid bij echte en complexe problemen in de natuurlijke context
  • gebaseerd op relaties: we leren door relaties met stakeholders die allemaal verschillende inzichten hebben en op eigen manieren bijdragen aan het begrijpen en oplossen van problemen
  • gericht op verandering: samen zoeken we naar manieren om verandering te beginnen, te promoten en te beheren
  • reflexief: we beschouwen continu (in de actie) kritisch onze eigen praktijk; ik als onderzoeker en samen met alle participanten. We leren samen en er ontstaat een open en expliciet leerproces.

Uit: Giuseppe Scaratti, Mara Gorli, Laura Galuppo and Silvio Ripamonti. Action research: knowing and changing (in) organizational contexts. In: The SAGE handbook of qualitative business and management research methods: history and traditions, 2019.

Leestips

De komende tijd leer ik meer over deze manier van onderzoek doen. Tijdens mijn master leerde ik veel praktische vaardigheden en nu verdiep ik me ook in de methodologische achtergond. Naast het artikel uit de vorige paragraaf, heb ik veel aan de volgende boeken:

  • Introduction to action research, social research for social change van Davydd Greenwood en Morten Levin. Dit boek geeft een goed overzicht van de achtergrond van actie onderzoek en een aantal voorbeelden van verschillende stromingen/ aanpakken.
  • The reflective practitioner van David Schön. Deze las ik al tijdens het maken van de foto-interviews bij De begripvolle ambtenaar. Heel goed boek over reflecteren terwijl je bezig bent, over reflectie-in-actie.
  • Doing action research in your own organization van David Coghlan. In deze ben ik nu bezig. Veel komt overeen met de aanpak die ik ook bij de Begripvolle ambtenaar hanteerde, maar hij is veel uitgebreider en legt actie onderzoek fundamenteler uit.

Rol van dit blog

Als je mijn blog al langer volgt, vind je het misschien super logisch dat ik over dit onderzoek ga schrijven. Zo voelt het voor mij ook. Maar de komende tijd krijgt dit blog (en de nieuwsbrief) een belangrijke functie.

Ik begon ooit met schrijven als eigen archief, voor mezelf en de handvol collega’s die het misschien ook handig vonden. Later werd het een plek om mijn onderzoeksresultaten op te documenteren en weer later een plek om mee te kunnen praten in het maatschappelijk gesprek rond de menselijke maat.

Sinds oktober spreek ik mijn promotor Maaike Kleinsmann en begeleider Jasper van Kuijk elke maand. Het viel hen op dat ik vaak snel bepaal hoe iets geïnterpreteerd moet worden als het over de overheid gaat. “Ja, zo gaat dat gewoon bij de overheid,” zeg ik dan. Ik ben al 10 jaar ambtenaar en hoor, via dit blog, zoveel verhalen van jullie over hoe het bij jullie organisatie gaat, dat veel dingen zo vanzelfsprekend zijn voor mij. Dat is allemaal impliciete kennis waarvan ik zelf soms niet meer weet dat ik het weet.

Door te schrijven maak ik mijn eigen gedachten en keuzes expliciet. En door te delen kunnen jullie erop reageren en kennis en nieuwe vragen toevoegen. Zo reflecteren we samen in actie.

Dan de planning

Dit is een project van de lange adem. Het zal zeker een aantal jaar duren. Globaal zie ik het ongeveer zo voor me:

Jaar 1, hier zitten we middenin, is een voorbereidingsjaar. Belangrijk is:

  • het project opzetten en contact maken met jullie en andere stakeholders
  • in de literatuur duiken en een fundament maken voor de komende jaren
  • een concreet onderzoeksplan maken voor de jaren erna, inclusief afspraken met organisaties, een datamanagement plan maken, langs de ethische commissie, en vast nog meer wat ik nog niet overzie
  • aan mijn eigen skills werken, want het is nog wel andere koek zo’n promotieonderzoek

Jaar 2 en 3 ga ik in de praktijk aan de slag samen met organisaties. Ik kom bijvoorbeeld in jouw organisatie werken en samen maken we een dienst van a tot z vanuit het perspectief van de burger. Samen reflecteren we en leren we. Het komend jaar werk ik dit verder uit en zal ik ook delen aan welke criteria zo’n casus het liefste voldoet.

Jaar 4 bestaat uit afronden. Inzichten worden deelbaar en er komen mooie eindproducten. Dit wordt heel praktisch en toepasbaar voor iedereen die meegeholpen heeft en theoretisch in de vorm van een mooi proefschrift.

In de volgende blog, die binnenkort online komt, deel ik meer over het eerste jaar, en dan vooral over het duiken in de literatuur.

Categorieën
Hoe doe je onderzoek? Werken met beeld

Visueel interviewen

Ik gebruik steeds vaker schema’s, tekeningen en infographics wanneer ik iemand interview. Sinds corona interview ik vaak digitaal. Dit vond ik eerst heel onhandig en onpersoonlijk, maar ik ontdekte ook de voordelen. Juist omdat het digitaal is kun je heel makkelijk samen tekenen en informatie schematisch ordenen.

In deze blog wat voorbeelden hoe ik het visueel interviewen aanpak en wat tips om zelf aan de slag te gaan. Het lijkt me leuk om eens een workshop of meetup hierover te organiseren, dus ik hoor graag of daar animo voor is.

Samen tekenen

‘Ik kan helemaal niet tekenen’ is de eerste zin die bij veel mensen eruit rolt als ik deze werkwijze voorstel. Tot we aan de slag zijn en de geïnterviewde loskomt en steeds makkelijker vertelt en meetekent. En aan het eind: ‘nu is het voor mezelf ook veel duidelijker’.

Ik noem het visueel interviewen, samen tekenen, een schematisch gesprek, beeldpraten… bedenk een leuke naam. Het houdt in dat we terwijl we praten direct visualiseren hoe het in mekaar zit. Dat kan bijvoorbeeld door samen een mindmap te maken, een tijdlijn of een andere handige ordening. Tijdens het gesprek zet je alle informatie direct op de juiste plek en dat helpt beide gesprekspartners om tot de kern te komen en direct te zien of het verhaal compleet is.

En ja, je mag ook gewoon tekst gebruiken tijdens het tekenen.

Een paar voorbeelden

Janet Ramesar en ik maakten samen een tijdlijn. Die ging tien jaar terug tot nu. Op de tijdlijn plaatsen we haar ervaringen met de kinderopvangtoeslag. Je zag het overtijd steeds ingewikkelder worden. Door het zo op een rij te zetten zag je heel duidelijk oorzaak en gevolg. Het gaf ons houvast om in korte tijd het verhaal globaal te kunnen vastleggen. De hele tijdlijn maakten we in een zoomsessie van 1 uur. Janet vertelde, ik deelde mijn scherm en plaatste wat zij vertelde direct op de tijdlijn. Als ik het verkeerd plaatste, corrigeerde ze me: ‘nee, dat moet eerst. Die moet meer naar rechts’. Het gaf ons allebei houvast.

Een stukje uit de tijdlijn die Janet en ik samen maakten over haar ervaringen met de kinderopvangtoeslag.

De tijdlijnopzet gebruikte ik later zelf toen ik een maand uit mijn relatie met de overheid in kaart bracht. En ik paste hem toe in een project voor Werk aan Uitvoering waar ik samen met Maureen Hermeling iemand van Loket Geldzaken van de Gemeente Den Haag interviewde (op mijn blog noemde ik hem Puzzelaar Patrick). Met z’n drieën brachten we zo complexe casuïstiek rond schulden in kaart.

Een stukje uit de tijdlijn van Puzzelaar Patrick en meneer N.

Bij de Ombudsman gebruikte ik tijdens een serie interviews met collega’s niet een tijdlijn maar een tekening van de organisatie. De hamvraag was ‘hoe moeten we onze eigen activiteiten organiseren om meer effect te hebben op de overheid?’ In elk interview maakten we samen een nieuwe tekening van onze ideale organisatie. Tijdens het maken van die tekening stelde ik steeds waarom-vragen. Wat ik leerde van die gesprekken beschreef ik in de blog over een professionele luisterstandaard. Dit is de basistekening die ik gebruikte als start voor de gesprekken (dus voordat iedereen ermee begon te schuiven en een nieuwe tekening maakte):

Aan het begin van de coronacrisis mocht ik een tijdje meewerken met het team dat de corona-apps maakte bij het ministerie van Volksgezondheid. Van Jasper, mijn man had ik toen net een Ipad gekregen. Ik nam hem mee tijdens mijn bezoeken aan de GGD en schetste samen met GGD-medewerkers het bron- en contactonderzoek en de knelpunten die ze ervaarden. We maakten bijvoorbeeld dit soort schetsen:

Laatste voorbeeld, ook bij de Ombudsman. In een korte brainstorm over signalen en klachten als input voor onderzoeksonderwerpen tekenden we ze zodat je direct de omvang van de signalen kon zien en de overlap met de rest van de onderwerpen. Dit was een eerste schets die we later konden uitwerken.

Waarom het werkt

Samen tekenen werkt gewoon lekker. Ook in gesprekken op locatie heb je zo een flipover erbij gepakt: ‘zal ik het even uittekenen?’ en de spraakverwarring verdwijnt als sneeuw voor de zon.

Digitaal kan dat net zo makkelijk. Je deelt je scherm, je tekent hoe je het voor je ziet en de ander kan direct reageren: ‘nee, je hebt het helemaal verkeerd, het moet juist zo’.

Samen maken betekent samen ordenen en samen structuur aanbrengen aan het verhaal. Het is direct tastbaar. Je ziet het voor je. Je vangt de woorden in beeld voordat ze wegglippen.

De input is de output. Je hebt direct na het gesprek de basis voor het resultaat en de documentatie al klaar staan. Na het gesprek met Janet had ik zelf nog maar een uurtje extra nodig om alles netjes te maken en de steekwoorden uit te schrijven. Na een check van haar was het af.

Digitaal praten is op deze manier veel minder onpersoonlijk. Je bent samen aan de slag. Je hoeft elkaar helemaal niet per se te zien, want je deelt je verhaal evengoed en bent samen creatief bezig. Dat activeert ook al zit je beide achter een scherm op afstand. En als extra bonus hoef je na afloop niet nog eens een stapel post-its of flip-overs uit te tikken.

Dit heb je nodig

  • een digitale tekentool. Ik gebruik Miro, maar je kunt bijvoorbeeld ook je Ipad aansluiten op je laptop, meetekenen en je scherm delen. Of een ander digitale tool gebruiken, er zijn er zat.
  • een basisarchitectuur. Bedenk van te voren hoe je het gaat opzetten. Maak je een tijdlijn? Een schematische opzet van de organisatie? Een mindmap van vragen en antwoorden? Of nog iets anders? In Miro heb je handige kant-en-klaar templates die je kunt gebruiken.
  • Skills om te schetsend visualiseren. Het hoeft niet in 1x perfect. Hardop nadenken ‘hmm hoe zal ik dit uitbeelden’ is prima. De ander helpt dan ook mee, en je geeft de ander de kans om samen te maken. In een masterclass van Stefanie Posavec (bekend van Dear Data) leerde ik de basistechnieken om visueel te werken. Ik schreef er deze blog over en gaf later deze workshop erover bij DUO.
  • programma om te videobellen en je scherm te delen

Voor gevorderden:

  • de ander ook bewerkrechten geven in je programma. Neem dan tijd voor een korte intro en leg uit hoe het tekenprogramma werkt. Ik trek hier zeker 10 minuten voor uit en oefen samen wat. Soms is het lastig en werkt het makkelijker als ik zelf teken en vragen stel. De ander denkt dan mee en geeft mij tekeninstructies. Daarom noem ik het ook visueel interviewen, want je helpt de ander zijn verhaal in beeld of schematisch te vertellen.

Aan de slag

Enthousiast om ook samen te tekenen met je collega’s of degene die je interviewt? Ik hoop dat je hier wat aan hebt. Leuk om te zien hoe jij het aanpakt, dus deel je resultaat ook met mij (en anderen!).

Categorieën
Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

Hoe we een computerbesluit kunnen zien

Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.

Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.

Ik kan het gewoon zien

Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?

Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.

Openmaken en bekijken

Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.

Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?

Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.

Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.

Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.

Wat we willen bereiken

Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:

  • We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
  • omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
  • zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].

Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:

  • de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
  • de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
  • de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
  • de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.

De methode ontwerpen

In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.

Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.

Het maakproces geven we zo vorm:

Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties

We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.

We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.

Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?

  • Wat zijn de beslisregels die over de nationaliteitstoets gaan?
  • Op welke wetonderdelen zijn de beslisregels gebaseerd?
  • Hoe zijn de beslisregels geprogrammeerd?
  • Hoe zijn ze in de werkinstructie opgenomen?
  • Welke data is nodig en wat zijn bronnen?
  • Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
  • Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?

Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?

  • Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
  • Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
  • Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
  • Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
  • Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?

Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?

  • Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
  • Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
  • Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
  • Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?

‘Wat zit DUO gek in elkaar’

De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)

Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.

Filmpje met de ervaringen van de eerste maakdag bij DUO.

De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.

Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).

Een impressie hoe dat eruit zag:

Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.

Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.

Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!

Prototype van de werkmethode die we binnenkort met de SVB gaan testen

Twee vragen

Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.

En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.

Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!

Categorieën
(On)begrepen burgers Hoe doe je onderzoek? Werken met beeld

Het geldstromen doolhof

Hoe gaat het bijna een jaar na de overstromingen in Limburg-Zuid met de schade-afhandeling? Zijn mensen alweer terug in hun huis en is ‘alles weer normaal’? Of niet? Begin maart ging ik samen met een collega drie dagen naar Valkenburg aan de Geul, Gulpen-Wittem en Meerssen om zelf te zien wat de nasleep van de overstromingen inhoudt. Ik nam mijn camera mee.

In dit blog lees je hoe we dit bezoek aanpakten, over mijn overpeinzingen over dit soort gebeurtenissen in de toekomst en welk effect ze hebben op de relatie van burgers met de overheid.

De aanleiding

In januari bracht Reinier van Zutphen, de Nationale ombudsman samen met Jan, een collega een regiobezoek in Limburg zoals ze wel vaker doen. Reinier sprak onder andere met de burgemeester van Valkenburg, Daan Prevoo. Hij vertelde dat het met die nasleep helemaal niet goed ging. De week erna vroeg Jan of ik mee wilde om op korte termijn wat langer naar Limburg te gaan en samen te kijken wat er precies aan de hand is. Ik ging mee omdat ik vorig jaar de gevolgen van de gaswinning ingedoken ben en we wat overlap zagen zo op het eerste gezicht.

We waren van maandag tot woensdag te gast bij de drie gemeenten die vorig jaar het meest getroffen waren tijdens de overstromingen: Valkenburg aan de Geul, Gulpen-Wittem en Meerssen. Medewerkers die veel met de nasleep van de overstromingen bezig zijn hadden een programma voor ons gemaakt.

Maar eerst: wat is er vorig jaar gebeurd?

In de week van 14 juli regende het enorm in Belgie en Duitsland. Dat leidde tot overstromingen die vervolgens Zuid-Limburg binnenstroomden. Ik vond dit filmpje van het jeugdjournaal dat goed laat zien waar bewoners mee te maken kregen:

Op 16 juli riep het kabinet na een crisisberaad de watersnood in Zuid-Limburg formeel uit tot nationale ramp. Op BNR die dag: “Dat betekent dat het kabinet de Wet Tegemoetkoming bij Schade in werking stelt. Op die manier krijgen gedupeerden snel duidelijkheid of hun schade wordt vergoed door de overheid, als hun verzekering het niet dekt.”

Maar het loopt dus niet goed. We gingen drie dagen met medewerkers van de drie Limburgse gemeenten op stap om daar zelf een beeld bij te krijgen.

Van te voren zochten Jan en ik al van alles uit. Ik visualiseerde dit op een tijdlijn. Wat is er ongeveer gebeurd en welke knelpunten zien we al op basis van wat we online tegenkomen?

Tijdlijn met eerste aannames van de problemen – klik voor groter

Deze tijdlijn gebruikten we als gespreksstarter op maandag. Onze vragen daarbij waren:

  • Wie zijn de belangrijkste partijen bij de nasleep en hoe verhouden zij zich tot elkaar? Waarin verschillen de meest getroffen gebieden van elkaar?
  • Wat zijn oorzaken en gevolgen die de afgelopen maanden gebeurd zijn? Zijn er kettingreacties? 
  • Welke geldstromen zijn er en wie heeft waar toegang toe?
  • Welke knelpunten zijn er en hebben ze relaties met elkaar?
  • Wat merken bewoners en ondernemers hiervan? Hoe hebben gevolgen impact op hen en hun omgeving?

Op grote flip-overs brachten we de antwoorden in kaart. Aan het eind van de middag zat mijn hoofd vol van alle geldstromen en doodlopende eindjes in de regelingen. Hoe maken we hier kaas van?

Echte verhalen van echte mensen

De dagen erna bezochten we bewoners en ondernemers. Ik had mijn camera bij me om direct vast te leggen wat we tegenkwamen.

Bijvoorbeeld bij een man van mijn leeftijd in Valkenburg die waarschijnlijk nog tot volgend jaar in een vakantiehuisje woont met zijn vriendin en baby. Hij zit klem tussen de verzekeraar en de RVO, niemand wil zich branden aan de waarschijnlijke problemen met zijn fundering. Hij krijgt nu uit een particulier fonds een tegemoetkoming om dit uit te kunnen zoeken zodat er weer schot in de zaak komt.

Man wijst naar de Geul achter zijn huis en legt uit hoe het water in 7 minuten met kracht het huis instroomde en de gevel eruit rukte.

Bij een stel in Gulpen-Wittem die nog flink aan het klussen zijn in hun huis. Na het hoogwater van afgelopen juni legden ze opnieuw zandzakken bij de deuren, het nu lief kabbelende beekje stroomt direct achter hun huis langs. Ze willen graag dat organisaties hen helpen hoe ze pro-actief hun huis kunnen beschermen tegen toekomstig hoog water maar daar zijn geen regelingen voor. Wel voor schade achteraf.

Man leunt tegen de tuintafel terwijl hij vertelt over de ingrepen die hij rond het huis wil doen. De zandzakken liggen nog tegen het huis aan.

Een meneer in Meerssen die nog steeds in de garage woont omdat het huis nog niet gerenoveerd is. Hij zit met een gat tussen schade en vergoeding van 80.000 euro waar hij nergens mee bij terecht kan.

Man laat zien hoe hij tijdelijk in de garage woont omdat het huis nog niet weer bewoonbaar is na de overstromingen vorig jaar.

Allemaal gaven ze aan dat ze andere verwachtingen hadden, misschien wel naïef, toen vorig jaar gezegd werd dat de overstromingen een ramp waren en dat de overheid ze ging helpen. Een jaar later blijkt dat niet zo simpel.

Hoe gaan wij verder?

Ik zie twee routes voor me.

Op de korte termijn denk ik dat we het doolhof inzichtelijk moeten maken. De doolhof van geldstromen en regelingen die er zijn voor bewoners en ondernemers maar waar doodlopende eindjes inzitten waar burgers vastlopen. De verhalen die we tegenkwamen zijn daar voorbeelden van, deze mensen staan aan het eind van zo’n doodlopend weggetje en kunnen niet verder.

Hoe kan het dat de overheid zo’n doolhof ontwerpt? Waarschijnlijk met goede bedoelingen, ik ken weinig schurken bij de overheid. Maar toch: de overheid belooft iets, dat is positief, om vervolgens knellende bureaucratie te ontwerpen. Waarom doen we dit? En hoe komt het dat het zo uitpakt? Wat kan de Nationale ombudsman hierin betekenen?

Straat in Meerssen waar nog altijd flink geklust wordt en grofvuil en bouwmaterialen aan de straat staat.

Op de lange termijn lijkt het me interessant om me te verdiepen in toekomstige gebeurtenissen die te maken hebben met dit soort klimaatconflicten. De mensen die we spraken, zowel bewoner als burgemeester, zijn allemaal bezig met ‘de volgende keer dat dit gebeurt’. Want dat dit geen incident is, staat voor hen als een paal boven water. Er moet iets gebeuren in het Geuldal.

Wie is aan zet? Om deels, als dat nog kan, te voorkomen dat er weer zulke grote overstromingen zijn, te waarschuwen wanneer ze gebeuren en om snel en adequaat met de gevolgen om te kunnen gaan?

In de heg langs de Geul kun je het aangewassen gras nog zien hangen wat vorig jaar met de overstroming meegetrokken werd.

Vorig jaar las ik veel boeken over klimaatverandering en wat ons te wachten staat. Wat mag de burger verwachten van de overheid bij dit soort klimaatconflicten? En wat betekent dit voor hoe de overheid zichzelf ontwerpt?

Dat is voor mij nog een nieuw gebied. Dus ik hoor graag met wie ik daar eens verder over kan praten en wat ik moet lezen of luisteren erover. Let me know.

Categorieën
Geen onderdeel van een categorie Hoe doe je onderzoek?

Luisteren naar de burger, een begin voor een professionele standaard

Luisteren naar de burger is helemaal hip in overheidsland aan het worden. Tenminste, dat lees ik in allerlei posts op Linkedin van ambtenarencollega’s. Dat willen is alleen nog niet doen. Luisteren naar de burger en vervolgens ook zorgen dat er iets mee gebeurt, is best moeilijk.

Daarvoor moet luisteren naar de burger niet incidenteel zijn, maar standaard. Het beleid en de uitvoering ervan moet erop gebaseerd zijn. In dit blog een start hoe je het luisteren naar burgers professioneel aan kunt pakken in je organisatie door goede standaarden in te bakken. Met als doel, zoals Marije van den Berg onlangs in haar podcast als nieuw begrip introduceerde, om beleid goed te kunnen beheren.

Over een aantal zaken schreef ik al eerder. Daar zal ik naar linken zodat je deze blog kunt gebruiken als start om door te lezen naar praktijkvoorbeelden of experimenten.

De ‘feedbackloop’

In augustus deelde ik op dit blog nieuwe vragen. Ik werkte net bij de Nationale ombudsman. Hier wilde ik graag afkijken hoe je de feedbackloop burger – beleid – balie kunt opzetten in een organisatie. Bij de ombudsman is deze feedbackloop in het klein, bij overheidsorganisaties is het groter en massaler.

De laatste weken analyseerde ik hoe je deze feedbackloop professioneel kunt opzetten. Ik ontdekte dat hier verschillende invalshoeken bij komen kijken die invloed hebben op elkaar.

Het begint uiteraard met een goed gesprek en de burger kennen. Daarmee is nog niet geborgd dat de leefwereld van mensen leidend is bij het maken van de systeemwereld van de overheid. Hiervoor is moeten we het professioneler aanpakken.

Dit kan door te investeren in strategie, kwaliteit, informatiestromen, structuur en cultuur.

Een piramide met vijf lagen: strategie, kwaliteit, informatiestromen, structuur en cultuur. De bovenste heeft de laag eronder steeds nodig. Maar let op: culture eats strategy for breakfast.

Deze 5 onderdelen hebben elkaar nodig en zijn elkaars fundamenten. Daarom zet ik ze in een piramide. Investeer je in de ene, heeft dit invloed op een andere laag. Ik ga ze stuk voor stuk langs.

Strategie

Waarom willen we luisteren naar burgers? En wat doen we met wat zij ons vertellen? Hier begint het uiteraard mee.

Het ultieme doel is, als je het mij vraagt, om overheidsbeleid en -diensten te maken die goed zijn voor mensen. En ze continu met zorg te beheren. Dat betekent niet dat iedereen alles maar mag en kan, ook handhaven of grenzen stellen kan op een humane en begrijpelijke manier.

Ik heb de meeste ervaring in uitvoeringsorganisaties die diensten maken voor burgers. In deze context: wat zijn eigenlijk overheidsdiensten die goed zijn voor mensen? Lou Downe schrijft in Good services 15 principes voor goede overheidsdiensten. In een eerder essay schreef ik dat ‘het niet gaat om de website (of welke vorm je overheidsdienst heeft) maar om mensen’. Mensen hebben een doel of maken iets mee, en als overheidsorganisatie ben je daar een onderdeel van.

Een handig startpunt om te beginnen met deze denkwijze is de oefening aanleiding, doel en taak. Zo naar je dienstverlening kijken verandert direct je blik 180 graden van het organisatieperspectief naar het perspectief van de persoon die te maken heeft met de overheid.

Een voorbeeld van aanleiding, doelen, taken en problemen vanuit het perspectief van een kinderopvanglocatie die te maken heeft met DUO. Dit voorbeeld komt uit deze blog uit 2017 :).

Wat betekent dit voor de strategie van burgeronderzoek in je organisatie? Al het onderzoek moet ertoe leiden dat je organisatie gevalideerd inzicht krijgt in de doelen, taken en aanleidingen van burgers. En die in de context van hun leefwereld kunnen plaatsen.

Bij de Dienst Uitvoering Onderwijs was ik onderdeel van het digitale team waar we ook met een aantal burgeronderzoekers (UX researchers) werkten. We gebruikten de leus van de Britse Government Digital Service: the strategy is delivery. Burgeronderzoek werkt pas als je samen met alle disciplines die verantwoordelijk zijn voor de dienstverlening het zo maakt dat de gebruiker ook echt zijn doel bereikt. Je toetst of je dit doel behaalt hebt als de cyclus rond is.

Ook bij de Nationale ombudsman onderzoeken we op die manier. Alle goede bedoelingen van de overheid ten spijt, uiteindelijk gaat het erom wat de burger ervan merkt in de eigen context. The proof is in the pudding.

Een voorbeeld. Vluchtelingen die naar Nederland komen om een nieuw leven op te bouwen spreken zelden Nederlands, meestal ook geen Engels en zijn soms zelfs analfabeet. Toch heeft DUO een site die voor inburgeraars zelf niet te begrijpen is. Uit gesprekken die we hadden met deze mensen en hun begeleiders hoorden we dat ze vaak Google Translate gebruikten om te begrijpen wat er op een site stond. Daarom bedachten we een ingebouwde Google Translate functie, waarmee je zelf de site in Arabisch zou kunnen lezen.

Maar iemand testte de functionaliteit en kreeg een rare tekst terug. Dat verhaal ging snel rond over in de organisatie en de vertaalfunctie kwam er niet. Terwijl het de mensen waar het hier om gaat echt zou hebben geholpen. Onze strategie om diensten te maken die de gebruiker zijn doel helpt te halen, legde het loodje. Het inzicht hoe vluchtelingen digitale producten gebruiken leidde niet tot moedige keuzes om een website te maken die ze kunnen lezen.

Dat brengt me bij de tweede laag van de piramide. Want om deze strategische doelen te halen, heb je nodig…

Kwaliteit

Een goed gesprek kunnen de meeste voeren, en natuurlijk begint het daar ook mee. Maar luisteren naar de burger is ook gewoon een vak. Als organisatie heb je gevalideerd inzicht nodig in de leefwereld van de burger. Hiervoor heb je goede kwaliteit nodig van het burgeronderzoek dat uitgevoerd wordt.

En de oplossing is eigenlijk best simpel: neem goede mensen aan, leidt mensen op, maak er een echte baan van.

Investeer in methoden en technieken. Gebruik mixed methods: haal inzichten op (kwalitatief) en valideer ze (kwantitatief). Onderzoek wat mensen zeggen en wat ze doen. Vaak is dit niet hetzelfde. Graaf dieper en plaats wat je leert in context.

Een screenshot uit de infographic die ik maakte over de manier waarop we bij DUO burgeronderzoek doen. De onderzoeksmethoden zijn gecategoriseerd wanneer je ze waarvoor kunt inzetten.

En reflecteer op hoe je werkt. Op je eigen bias, van jezelf, van het team en van de organisatie. Welke aannames zijn er over de burger? Zijn ze terecht, en hoe kun je daarachter komen? Wat betekenen ze voor de diensten die jullie maken? Maak ze bespreekbaar en onderzoek ze.

Voorbeeld: je kan het gevoel hebben dat het voor Groningers met aardbevingsschade ‘nooit genoeg’ is. Je doet je best als overheidsprofessionals maar krijgt steeds de deksel op de neus. Onderzoek dit idee. Is het waar? En als het waar is, wat zou er dan achter zitten? Welke ervaringen hebben voor Groningers eventueel tot dit gevoel geleid? Met wat je leert kun je nog eens kritisch naar het werk kijken. Hoe kan de overheid een brug slaan en wat betekent dit voor hoe je je diensten maakt en aanbiedt?

Een screenshot uit de infographic die ik maakte over de manier waarop we bij DUO burgeronderzoek doen. Onderzoek is pas af als je inzichten impact hebben op de diensten en producten.

Goede kwaliteit is niet alleen nodig in het doen van onderzoek, maar ook in het overbrengen van de inzichten. Wat is de kwaliteit van de aanbevelingen en wat gebeurt ermee? Wanneer je onderzoeksbevindingen genoteerd staan – in welke vorm dan ook – ben je pas op de helft. Hoe je ze deelt en met wie, bepaalt ook wat ermee gebeurd.

Dit is trouwens een van de redenen waarom ik overtuigd ben van de waarde van vaste onderzoekers in je organisatie en niet (alleen) samenwerken met externe onderzoeksbureaus die na het opleveren van de inzichten afscheid nemen.

Om goede kwaliteit te leveren heb je trouwens iets cruciaals nodig:

Informatiestromen

Bij de ombudsman komen er over allerlei onderwerpen en organisaties klachten en signalen binnen. Je kunt het zo bijzonder niet bedenken of er is weleens iets langsgekomen. We deden bijvoorbeeld laatst onderzoek naar een seance op een begraafplaats in Amersfoort.

Een overheidsorganisatie kijkt meestal niet zo breed. Bij DUO deed ik onderzoek naar de stufi en het onderwijs. Maar niet naar de hypotheken of de arbeidsmarkt. Vanuit het perspectief van de doelgroep hebben deze onderwerpen wel met elkaar te maken. Als overheid is het daarom nodig om deze onderwerpen te bundelen willen we weten waar studenten tegenaan lopen en wat ze nodig hebben van de overheid.

Sterker nog: uiteindelijk is het 1 relatie die iemand heeft met de overheid, en elk contact dat ‘ie heeft, heeft impact op die relatie. Ik visualiseerde eens een maand uit mijn eigen relatie met de overheid en ik belandde al snel in een enorme relatiespaghetti. It’s complicated, yes, it is.

Maar laten we even rustig beginnen…

Zelfs binnen 1 organisatie is het al moeilijk genoeg. Feedback van burgers sijpelt van alle kanten de organisatie binnen: via instagram, twitter, het feedbackformulier op de website, via het klantcontactcentrum. We doen steeds vaker pro-actief onderzoek: gebruikerstesten hoe specifieke applicaties gebruikt worden, hoe brieven gelezen worden en allerlei A/B-testen. We meten gedrag op overheidswebsites en er zijn allerlei bureaus of adviesorganen die uitgebreid onderzoek doen naar interessante thema’s.

Dit moet allemaal bij elkaar komen in heldere doorzoekbare informatiestromen. Zodat je makkelijk patronen kunt herkennen en verbanden kunt zien.

Voorbeeld: bij DUO gebruikten we een onderzoeksarchief om al het onderzoek te documenteren. Je kon zoeken op een specifieke doelgroep (mbo-studenten) of applicatie (MijnDUO), maar ook op abstractere onderwerpen zoals stress of schuldgevoel. We deden nooit gericht onderzoek naar stress onder studenten, maar in meerdere onderzoeken kwam het terug. Doordat we onderzoek goed tagden in het archief vertelde de informatiestroom ons over deze invalshoek. Dit was de aanleiding om een onderzoek te starten specifiek over stress- en schuldgevoelens rond de lening bij studenten.

Het gaat ook de andere kant op. Niet alleen de informatiestromen naar binnen, ook naar buiten.

Wat ik zo interessant vind bij de ombudsman is dat je breed kunt onderzoeken en meerdere organisaties de bevindingen aanbiedt. De overheid heeft zich opgedeeld in ketens, allemaal losse partijen die in estafette samenwerken. Mijn onderzoek naar de gevolgen van de gaswinning hebben we bijvoorbeeld aangeboden aan het ministerie van EZK, van BZK, de NCG, het IMG, de 5 aardbevingsgemeenten en de provincie Groningen. Allemaal hebben ze een rol in de oplossing.

Willen we bij de overheid professioneel luisteren naar burgers, dan moeten we ook voorbij onze organisatiegrenzen de informatiestromen goed organiseren. Dat heeft allerlei haken en ogen, bijvoorbeeld goed rekening houden met de AVG. Maar het is wel nodig, willen we als 1 overheid diensten maken die goed zijn voor mensen en passen bij hun leefwereld.

Je loopt al snel tegen allerlei structuurgrenzen aan. Dus gaan we snel door naar de vierde laag van de piramide.

Structuur

Hoe zit het met ‘de governance’? Moet het 1 afdeling zijn? En hoe werkt die dan samen met andere afdelingen? Wie is er wel van, en wie hoeft er niet van te zijn? Bij DUO voerden we een paar keer per jaar de discussie of onderzoekers wel of niet vast in een ontwikkelteam horen, of juist tussen de teams door moeten werken. Ik heb er veel blogs over geschreven en de ideale structuur weet ik nog niet.

Wat ik wel weet, is dit…

Je kunt inzichten over de burger niet opsluiten, het moet juist je hele organisatie door. Of je het dus centraal of decentraal organiseert, het maakt niet uit. Het moet op beide manieren werken.

Schurk dicht tegen teams aan die met de inzichten moeten werken of word zelfs deel van een team, en organiseer ook continu uitwisseling door de organisatie heen. Werk met vakgroepen, deel kennis en maak een centrale plek voor alle info. Hoe je het ook structureert, zorg voor heldere rollen en verantwoordelijkheden. Maak duidelijke afspraken en faciliteer samenwerking en initiatief zoveel mogelijk.

Burgeronderzoek is niet iets operationeels. Niet alleen. Inzichten over de leefwereld van mensen zijn essentieel op elk niveau.

Heel praktisch in de uitvoering, maar ook bij grote strategische keuzes over nieuwe regelingen, een belangrijke architectuurkeuze of omvangrijke proceswijziging. Aan het begin van een wetstraject wil je inzichten over de burger en de uitvoering, aan het midden en aan het eind. Daarom is het goed dat er veel meer aandacht komt voor het burgerperspectief bij het maken van beleid. En zouden er ook gewoon meer banen moeten komen op c-level op het gebied van burgeronderzoek (zie ook puntje 2 over kwaliteit).

Een voorbeeld. In 2020 trad de nieuwe onderwijswet Meer ruimte voor nieuwe scholen in werking. Twee jaar eerder waren we aan de slag hoe DUO deze wet zou uitvoeren. In de conceptversie van de memorie van toelichting stond een passage dat initiatiefnemers van een nieuwe school eerst met hun eigen digi-d inloggen bij DUO en aan hun aanvraag werken. Later in het proces kunnen ze dit dan omzetten naar een zakelijk account, wanneer de school ook concretere vormen aanneemt.

We maakten een prototype hoe dit zou werken en vroegen een aantal mensen die met een schoolinitiatief bezig waren om er eens doorheen te gaan. Maar zij wilden helemaal niet hun persoonlijke digi-d gebruiken om met DUO te communiceren, ben je mal, zij wilden direct een zakelijke relatie. Voor DUO was dit ook beter, want de MijnDUO’s voor burgers en scholen zijn in de architectuur gescheiden. Zo’n ‘omflipfunctie’ van accounts betekende nogal wat. Kortom: schoolleiders wilden het niet en het was duur om te bouwen. Hup, die passage eruit en hoe het ook kan zie je op deze webpagina van DUO.

Wat ik maar wil zeggen: met alleen operationeel onderzoek of klantfeedbackmanagement kom je er niet. Vroeg in het proces en op strategisch niveau moet je al beginnen met dit soort onderzoek.

Dit is allemaal nog binnen 1 organisatie. Om als 1 overheid te functioneren naar de burger moet ook de structuur daarbij helpen. Welke structuur helpt bij het samenwerken? Er zijn al oneindig veel werkgroepen en samenwerkverbanden.

Hierom is het belangrijk dat binnen een organisatie ook een centrale plek is waar al het onderzoek samenkomt. Vanuit die centrale plek kan er samengewerkt worden met andere organisaties. Een slimme zet die het makkelijker maakt om dwars door structuren en silo’s heen samen te werken is open werken.

En dan kom ik bij de laatste. Misschien wel de belangrijkste…

Cultuur

Ja, culture eats strategy for breakfast.

Voor alles wat ik hierboven schrijf, is vooral een luisterende cultuur nodig. Ruimte en hulp om samen te reflecteren op ons werk. Tijd en mogelijkheden om naar burgers te luisteren, of hun verhalen goed door te krijgen van professionele onderzoekers. De wens om de ander beter te begrijpen en het inzicht dat we gedreven worden door aannames, want ja, techniek en beleid zijn nu eenmaal niet neutraal. Veiligheid voor het geven en krijgen van feedback, ook en juist ‘naar boven’.

Iets maken puur en alleen zodat je het kan testen, misschien is het wel ruk, maar dat is oke, want zo leer je, en dan begin je opnieuw met nieuwe kennis. De overtuiging dat beleid en uitvoering nooit af is, want je relatie met de burger is nooit af.

De beste manier om met cultuur te beginnen is de confrontatie met de ander. Ik organiseerde bij DUO heel vaak ontmoetingen tussen ambtenaren en burgers, liefdevolle confrontaties, zodat collega’s kennismaken, luisteren en ervaren hoe belangrijk het is om te luisteren naar de ander. Ik vertelde de verhalen van studenten en vluchtelingen op allerlei manieren om zo’n cultuur te vergroten.

Dat deed ik naar het voorbeeld van Gov.uk, de Britse Rijksoverheid.nl. Zij gebruiken de stelregel dat iedereen die op een of andere manier aan de overheidsdienst meewerkt elke 6 weken 2 uur meekijkt bij onderzoek. Om te ervaren en te begrijpen waar mensen tegenaan lopen, wie ze zijn en wat ze nodig hebben.

De posters van het team achter Gov.uk. Two hours every six weeks.

Toen ik bij de overheid begon als onderzoeker en terug op kantoor kwam met allerlei verhalen over hoe het echt ging, in de buitenwereld, liep ik vaak tegen muren aan. ‘Wat een negatieve feedback allemaal’, ‘dat proces is nu eenmaal zo’, of ‘de website is al bijna af, we kunnen nu niet meer zo ver terug’. Waren mijn collega’s eerder in het proces maar wat begripvoller, dacht ik soms, niet wetende tot welk avontuur die aanname me zou verleiden.

Van 2018 tot 2020 onderzocht ik wat er nodig was om bij de overheid een begripvolle cultuur aan te wakkeren. Het leidde tot een fotoserie van mijn collega’s en negen essays over een begripvolle overheid: debegripvolleambtenaar.nl.

Je snapt, over cultuur wil ik dus nog wel wat alinea’s tikken, maar deze blog is al zo lang 🙂

Waar gebeurt het? Tell me

Dat waren de 5 lagen van de piramide. Je leest tussen de regels door vast nog veel vragen van mij en ziet hier en daar nog een los eindje. Ik zou daarom graag verhalen van anderen horen.

Wat gebeurt er al? Hoe zijn deze onderdelen bij andere organisaties? Wat kan aangevuld worden aan deze blog? Ik ben op zoek naar voorbeelden bij de overheid, klein of groot. Vertel!

Dat kan door te reageren op Twitter en Linkedin, openbaar (leuk dan zien anderen het ook gelijk), of via dm. Je kunt ook een bericht sturen naar maike @ klipklaar.nl.

Categorieën
(On)begrepen burgers De gevolgen van de gaswinning Geen onderdeel van een categorie Hoe doe je onderzoek?

Reconstructie van een reconstructie

Verscheurd vertrouwen. ‘Groningen moet eigen minister krijgen.’ Een twitterdraadje met de samenvatting van een 23-pagina’s tellend rapport en een digitaal magazine met Groningse verhalen in beeld. Afgelopen maandag kwam de eerste onderzoekspublicatie uit waar ik bij de Nationale ombudsman aan gewerkt heb.

In dit blog vertel ik hoe deze tot stand kwam en hoe zo’n onderzoek er achter de schermen aan toe gaat. Hoe pakten we het aan, waarom deze keuzes, en welk effect hopen we te bereiken? Uiteraard allemaal door mijn eigen bril.

Eerst wat context

Deze zomer maakten we een reconstructie van de gevolgen van de gaswinning vanuit het perspectief van bewoners in Groningen en Drenthe. We is het team Gaswinning bij de Nationale ombudsman waar ik ook bij hoor. Als vertrekpunt gebruikten we een rapport uit 2017 waar de Nationale ombudsman samen met de Kinderombudsman 6 concrete aanbevelingen gaf. Wat is daarvan terecht gekomen?

Door opnieuw met bewoners te praten, onze klachten en signalen van de laatste jaren op een rij te zetten en de (politieke) stand van zaken te onderzoeken, kwamen we tot nieuwe conclusies. Of nou ja, nieuwe… eigenlijk zijn ze nog hetzelfde.

Deze nieuwe oude conclusies presenteerden we in een digitaal magazine samen met een uitgebreide reconstructie. Ook deelden we een nieuwe webpagina waar bewoners en medewerkers van betrokken instanties onze onderzoeken en interventies kunnen volgen. 

Zo gingen we te werk.

Tijdens een rondleiding met het team Gaswinning in ’t Zandt in juni 2021. Fotograaf Hans Roggen

Voor mei

Ik begon op 6 mei bij de Nationale ombudsman. Het onderzoek was toen al gestart. Het team had een overzicht gemaakt van alle klachten en signalen die we sinds 2015 hadden gekregen van bewoners. Toen publiceerden we ons eerste rapport, over de bestuurlijke spaghetti.

En er was al overzicht van alle onderzoeks- en zaakrapporten, zorgenbrieven en nieuwsberichten die we hadden gepubliceerd tot nu toe. Ook hadden ze een aantal mensen gebeld die in de afgelopen jaren een klacht hadden ingediend bij ons. Hoe verging het hen nu?

Mei en juni

Begin juni stond een driedaags bezoek gepland aan Groningen en Drenthe met het hele team en de Nationale ombudsman zelf. We gingen langs bij een aantal instanties en bij bewoners. We mochten toen nog maar met 2 personen tegelijk bij iemand op bezoek vanwege de coronaregels, dus verdeelden we ons in duo’s en reden door prachtig Grunn. Zo konden we veel bezoeken tegelijk afleggen. 

Over dit bezoek schreef ik eerder deze blog over mijn stadse ogen. Ik kreeg onder andere een rondleiding van Francis van der Kamp en haar partner in hun omgeving. Later heeft zij deze rondleiding en haar verhaal opnieuw met ons gedeeld voor dit beeldverhaal in het digitale magazine.  

Francis van der Kamp bij haar eigen huis terwijl die flink versterkt wordt. Fotograaf Hans Roggen

Juli

Analyseren en schrijven. Wat zeg je wel, wat niet? Hoe onderbouwen we onze uitspraken? Waar zagen we dit probleem? We maakten een genuanceerde reconstructie. Er zijn ook zaken goed gegaan de laatste jaren.

Een van onze aanbevelingen was bijvoorbeeld dat het Rijk de verantwoordelijkheid voor schade en versterken naar zich toe moet trekken. Dat is gebeurd. Maar de betrokkenheid van de overheid heeft ook weer nieuwe bureaucratie toegevoegd. Stappen vooruit, en achteruit. 

We kozen de vertelvorm. Doen we een tijdlijn met álle veranderingen in het dossier als reconstructie? Boudel op Rieg van het Gasberaad geeft ook al veel info. En het Kennisplatform Leefbaar en Kansrijk Groningen bundelt jaarlijks ook alle kennis en inzichten. We maakten een keuze in een aantal onderwerpen die extra aandacht verdienen volgens ons.

We gingen terug naar de basis, wat riepen we eerder, hoe gaat het nu daarmee? We legden onze behoorlijkheidswijzer naast deze aanbevelingen en bekeken de huidige stand.

We kozen het rapport uit 2017 om op terug te vallen. Die brachten we trouwens ook uit tijdens een kabinetsformatie, nu zitten we in dezelfde fase van een nieuw te vormen kabinet. 

Een zwembadje naast het verbouwde huis en een bouwhelm voor het grijpen. Uit de serie die Francis van der Kamp met ons maakte. Fotograaf Hans Roggen

Kortom: we maakten een reconstructie van de 6 eerdere aanbevelingen. En we brengen ze dit keer zoveel mogelijk in beeld. Het standaardplaatje van Groningen is de scheur in de muur of het huis in stutten. Maar de zorgen die steeds meer toenemen is wat er tussen die muren gebeurd. Het wantrouwen, de slapeloze nachten en de ophopende bureaucratie. Kunnen we dit laten zien in persoonlijke verhalen en beeld?

Augustus

Dan de vervolgstrategie bepalen. Wat gaan we doen als het uitkomt? Wat willen we ermee bereiken de komende jaren?

Met onze onderzoeken kunnen we verschillende soorten effect hebben. Het begint met aandacht vragen voor een probleem. Maar we willen natuurlijk dat problemen voor burgers opgelost worden. Daartussen zitten allerlei stappen:

  1. Aandacht geven aan een vraagstuk
  2. Inzicht in het probleem en maatschappelijk op de kaart gezet
  3. Erkenning van het probleem door het bestuursorgaan
  4. Inspanning van het bestuursorgaan om te verbeteren
  5. Structurele verbetering van het overheidsoptreden
  6. Burger(s) ervaren het probleem niet langer
Schematische weergave van het effect dat we per aanbeveling kunnen/ willen hebben.

Onze conclusie van de reconstructie is dat de meeste aanbevelingen uit 2017 level 6 lang niet gehaald hebben. Hoe kunnen we hier de komende tijd mee omgaan en de aanbevelingen monitoren? Wat kunnen wij doen zodat ze wel level 6 halen?

De komende jaren gaan we vaker dit soort (kleinere) reconstructies maken. Er dichter op zitten en het nauwer volgen.

We besluiten een webpagina te maken waar iedereen het onderzoek kan volgen. Zo kunnen we steeds korte onderzoeksiteraties doen, daarover delen, en samen bepalen met bewoners en andere stakeholders hoe we verder moeten gaan. Hoe en waar we effect kunnen hebben om de burger op weg te helpen en de overheid te helpen leren. 

Persoonlijk intermezzo

In de zomer had ik 2 weken vrij. Ik merkte dat ik steeds meer in het onderwerp kwam. Dat heb ik natuurlijk enorm onderschat toen ik begon in mei. Pff… wat een verhalen en wat een geschiedenis.

Al sinds april, sinds ik weet dat ik in de gaswinning ga duiken, ben ik het ene na het andere boek aan het lezen. Via via kom ik in contact met mensen die hun verhaal willen delen. Ik zit in de tuin bij een stel uit Opwierde. Ik loop rondjes met mensen door het Noorderplantsoen. Ik drink koffie op een gemeentehuis. Ik volg een workshop Versterken bij de Aardbevingsacademie en zelfs op mijn eigen roeivereniging komen de verhalen naar me toe. Van bewoners en ook van medewerkers van het IMG en de NCG, van de gemeente of een andere betrokken instantie.

Iedereen heeft een knoop in z’n maag.

Snap met Iphone tijdens een van mijn tripjes in Grunn

Het doet me denken aan mijn eerdere onderzoek naar de rol van begrip voor burgers bij de digitale overheid. Ik fotografeerde collega’s bij DUO als ‘begripvolle ambtenaar’ om samen te onderzoeken hoe burgers een begripvolle relatie met ons kunnen ervaren.

Ik ontdekte: individuele ambtenaren proberen begripvol te zijn, maar als geheel is het systeem dat niet. Wat betekent dit inzicht voor hoe we onze reconstructie publiceren en wat we er daarna mee willen doen?

September

We geven de publicatie vorm. We kiezen voor meerdere vertellagen. Een uitgebreid onderzoeksrapport voor de die-hards en een bundel korte artikelen in een digitaal magazine. Met veel persoonlijke verhalen.

Aan de slag. Voor het digitale magazine werken we samen met contentburo Beklijf. Er rijdt een Groningse fotograaf naar Kantens. We doen beeldredactie. We schrijven introteksten. Selecteren vervolgartikelen. Maken de webpagina aan. We stemmen intern af. Collega’s lezen mee.

En we hebben alvast contact met andere partijen. We laten de betrokken instanties weten dat er een rapport komt. En dat we graag met hen erover willen praten. Meestal praten we met bestuurders na het uitkomen van zo’n rapport. Uiteraard horen we graag van hen. Maar dit keer willen we ook met de mensen uit de praktijk praten.

De makers van beleid, systemen, processen en communicatie. Wie zijn zij? Wat doen zij met onze inzichten en aanbevelingen? In mijn vorige baan leerde ik dat juist op dit niveau veel beslissingen gemaakt worden.

Oktober

De eindredactie is aan de beurt. Puntjes op de i, dat werk. Samen met het team en de ombudsman nemen we de laatste strategie door. We schrijven het nieuwsbericht. Brieven worden ondertekend en verstuurd. Het rapport sturen we de week voor publicatie vast naar iedereen die mee heeft gewerkt (ook bewoners) en naar de partijen waarvan we graag willen dat ze ermee aan de slag gaan. Journalisten nodigen we uit voor een interview. 

En dan komt het uit. Er komen krantenberichten. Reinier van Zutphen vertelt op de radio. Ik schreef een twitterdraadje. En reacties natuurlijk. Annemarie Heite en Kirsten de Jong reageerden in Trouw op het stuk. Het stond op de NOS en zelfs in parodie op De Speld. ‘Een eigen minister voor overheidsproblemen.’

Level 1 effect hebben we gehaald, er is aandacht. 

Maar aandacht is niet het doel. Het doel is level 6: burgers ervaren de problemen niet langer. Hoe komen we daar? Dat is taai. Problemen zijn niet gisteren ontstaan en dus ook niet vandaag opgelost. We vonden zelf niet dat we echt met nieuws kwamen. Deze reconstructie had iedereen kunnen schrijven en is eigenlijk wel bekend. Sommige burgers waren daarom ook cynisch. Wat voegt het eigenlijk toe om dit nog eens te zeggen? Ouwe hap is het.

En voor medewerkers voelen de problemen misschien overweldigend. Je doet je best, maar het is te moeilijk. De problemen te oud, te lang, te vaak herkauwt, wat kun je nog? Weer een rapport. Is het te laat en heeft het nog zin?

Ik denk aan het Chineze gezegde: ‘Wat is de beste tijd een boom te planten? 20 jaar geleden. De een na beste tijd is vandaag.’

November

In november is het team weer drie dagen naar Groningen (en Den Haag!). We gaan met medewerkers van instanties praten. Niet de bestuurders, maar de praktijk in. Wij laten onze bestuurder ook thuis.

Waar lopen deze medewerkers tegenaan, waarom lukt het niet? En hoe kan het wel? Hoe kunnen zij 1 stap maken? Om wel 1 loket te maken voor bewoners? Om wel een gelijke relatie te creëren? Om inspraak mogelijk te maken? Een crisisaanpak te hanteren? Om vertrouwen te herstellen? 

We willen zelf ook leren, bijvoorbeeld hoe onze aanbevelingen concreter kunnen. Minder hoog over zodat je er beter mee aan de slag kunt. Hoe we na deze input weer aan de poort kunnen rammelen zodat er beweging komt. Hoe kunnen wij ervoor zorgen dat dit rapport meer effect heeft dan het vorige en de reconstructie over 4 jaar anders wordt.

Wat zijn de eerste stappen om vandaag bomen te planten?

Categorieën
Geen onderdeel van een categorie Hoe doe je onderzoek?

Nieuw werk = nieuwe vragen

Het is even stil geweest op dit blog, want ik begon in mei met een nieuw avontuur: werken bij de Nationale ombudsman. In dit blog deel ik wat de aanleiding was om over te stappen en met welke nieuwe vragen ik aan de slag ga de komende tijd.

Als je dit blog al wat langer volgt, zal de overstap vast geen verrassing zijn en herken je ook dat ik elk nieuw project steevast met een bundel vragen begin. Een mooie eerste blog dus over een nieuw avontuur.

In april was ik te gast in de podcast Astrid en Vasilis praten makkelijk (luistertip!). Het was mijn laatste week bij DUO en in de podcast vertel ik uit-ge-breid waarom ik zo graag bij de overheid werk en waarom ik verder aan de slag ga bij de Nationale ombudsman.

Prachtige tekening van Astrid Poot over de podcast

In januari vertelde ik mijn manager bij DUO dat ik graag met vraagstukken wilde werken die overheidsbreed zijn. Problemen voor burgers met de overheid stoppen niet bij dat ene loket, daar wilde ik meer over leren.

We spraken af dat ik op zoek ging naar een volgende stap en collega’s ging coachen om mijn rol over te nemen. Ik bracht zoveel mogelijk nog in kaart, bijvoorbeeld onze onderzoekswerkwijze, dat ik heel handig kon gebruiken bij mijn sollicitatie bij de No (nieuwe afkorting jaja).

Maar voordat het zover was, ging ik eerst op zoek. Want wat wilde ik dan precies leren?

Overheidsbreed, vanuit de burger

Tijdens dat gesprek met mijn manager werkte ik al een tijdje een dag in de week voor het Programma Werk aan Uitvoering waar ik meeschreef aan een overheidsbrede visie op gezamenlijke dienstverlening. Het viel me op dat het voor overheidsorganisaties moeilijk is om over hun eigen grenzen verantwoordelijkheid te nemen voor problemen die burgers ervaren, terwijl dat wel nodig is om de relatie tussen burger en overheid echt te verbeteren.

Ik merkte ook dat ik zelf oogkleppen op had. Ik werkte al 7 jaar bij DUO en was vooral bezig met digitale diensten, geldstromen en onderwijs. Ik kreeg soms reacties op dit blog ‘ja, je werkt bij het Rijk zeker, bij de gemeente gaat dat heel anders hoor’.

Je relatie met de overheid is breder dan digitale (financiële) diensten. En daar weet ik eigenlijk nog weinig van af. Ik wilde dus met onderwerpen bezig over de omgeving van burgers, hun thuis, hun leven, de doelen die ze zelf hebben en niet per se alleen het (digitale) contact met de overheid.

In november vorig jaar hield ik mijn eigen relatie met de overheid een maand bij. Ik visualiseerde mijn contact (hoe klein ook) met een overheidsloket en welke afdelingen, processen, organisaties, ministeries en wetten daarachter zaten. Het was even een werkje, maar ik leerde er veel van.

Een ervaring met het ene loket grijpt in op de ervaring met een ander proces. Sommige dingen kwamen allemaal tegelijk bij mij binnen, maar de organisaties hadden geen weet daarvan. Kleine ontmoetingen, soms onbewust, leken niet zoveel voor te stellen, maar opgestapeld had ik een stressvolle maand.

De eerste schets die ik maakte toen ik een maand uit mijn relatie met de overheid in kaart wilde brengen

Ik leerde Janet Ramesar kennen en we brachten samen haar ervaringen met de overheid rond het toeslagenschandaal in kaart. Op een tijdlijn zie je hoe het een in het ander overgaat: je hebt 1 relatie met de overheid en interactie met de een is niet geïsoleerd maar bouwt (of verbreekt) je hele overheidsrelatie.

Ik besloot dat ik de komende jaren vanuit verschillende invalshoeken naar de dynamiek tussen overheid en burger wil kijken, om zo steeds beter inzicht te krijgen, mijn visie te finetunen en die relatie tussen overheid en burger iteratief te kunnen verbeteren op de plekken waar ik werk. Een tijd door de bril van de Nationale Ombudsman kijken past perfect in dat doel.

Wat doet de Ombudsman?

Bij de Nationale ombudsman kun je terecht als het misgaat tussen jou en de overheid. We helpen je op weg als je belt, mailt, een berichtje stuurt via de website, post, of rooksignaal. Klachten van burgers kunnen ook patronen worden. In dat geval onderzoeken we structurele problemen en trends bij de overheid. Hiermee willen we de overheid helpen leren om steeds beter er voor de burger te zijn en behoorlijk te handelen.

De Nationale ombudsman is een persoon, Reinier van Zutphen. Hij is aangesteld door de Tweede Kamer. Maar de Nationale ombudsman is ook een instituut, een organisatie met 200+ collega’s die de persoon de Nationale ombudsman ondersteunt in zijn werk.

Ik ben als projectleider verantwoordelijk voor een van de onderzoeksthema’s op de ombudsagenda, namelijk die over Leefbaarheid. Hieronder vallen onderzoeken zoals de energiestransitie, de omgevingswet en de gevolgen van de gaswinning in Groningen en omgeving. Daarnaast ga ik aan de slag met onze eigen onderzoeksstructuren en het effect dat we daarmee hebben om de overheid te helpen leren.

De collectie breidt zich uit

Over wat ik leer en doe, en hoe ik het aanpak, blijf ik schrijven. Naar het voorbeeld van de prachtige comic A day at the park) voeg ik de volgende vragen toe aan mijn groeiende collectie:

  • Hoe werken je ervaringen met de overheid door in het leven dat je leidt en het vertrouwen dat je hebt in je toekomst? Waardoor raakt vertrouwen verloren en hoe kan de overheid vertrouwen herstellen? Bijvoorbeeld bij bewoners in het aardbevingsgebied.
  • Welke onbegripvolle patronen werken overheidsbreed op elkaar in en hoe kun je in een keten van organisaties hier verantwoordelijkheid (en dus oplossingen!) voor organiseren?
  • Hoe kunnen we verhalen van burgers vertellen die recht doen aan hun beleving en complexiteit, wanneer ze niet in de hokjes van de overheid passen (en dat is al snel zo)?
  • Hoe structureer en organiseer je ombudsonderzoek om de overheid te helpen leren? De Nationale ombudsman heeft de feedbackloop van burger – beleid – balie, wat kan ik hiervan leren hoe je zo’n soort feedbackloop in het groot overheidsbreed bij de overheid zelf kan organiseren?
  • Hoe kan de overheid burgers meenemen in grote veranderingen zoals de energietransitie zodat deze eerlijk verloopt? Wat betekent dit voor de inspraak van burgers, de manier waarop je contact hebt met de overheid en hoe zij haar dienstverlening organiseert?
  • Als de overheid zich meer terugtrekt en meer overlaat aan de markt of aan burgers zelf, hoe kan de overheid dan nog wel beschikbaar blijven voor burgers om hen te helpen als het misgaat of te ondersteunen in hun nieuwe burgerrol (bijvoorbeeld bij de omgevingswet)?

Oh, en met elk boek of artikel dat ik lees wordt deze lijst langer. Dus daar komen vast nog wat blogs uit de komende tijd :). Als je tips hebt, over bovenstaande vragen of nieuwe vragen, laat het weten, leuk!

Categorieën
Geen onderdeel van een categorie Hoe doe je onderzoek?

Hoe je wetten maakt die mensen kunnen (en niet alleen kennen)

Op 20 mei hield de Academie voor Wetgeving een discussiebijeenkomst: hoe betrek je het doenvermogen van burgers bij het maken van wetten en regels. Jean de Koning (analist) en ik vertelden hoe we dit bij DUO aanpakten. Met Jean maakte ik in maart 2019 al de eerste schetsen hiervoor en daar schreef ik dit blog over. Dit was het begin voor de estafette van wet naar loket wat later debegripvolleambtenaar.nl werd. En Jean zit natuurlijk zelf in de Begripvolle Ambtenaren reeks.

We brachten vier vragen in en waren benieuwd naar de ervaringen van anderen hierbij. In dit blog een samenvatting van onze info en de tips, reacties en dilemma’s die we terugkregen. Voor mij zaten er ook een paar eye-openers in en ik bewaar en deel ze graag op dit blog.

Wat is de definitie van ‘burgerperspectief’?

Doenvermogen is een woord dat eigenlijk helemaal niet bestaat. Het is de tegenhanger van denkvermogen en het doel van de Wetenschappelijke Raad voor het Regeringsbeleid (die de term bedacht) is om beleidsmakers aan te sporen niet uit te gaan van excellent cognitief vermogen van burgers. Maar om ook rekening te houden met meer praktische vermogens zoals het maken van een plan, in actie komen, volhouden en omgaan met verleiding.

Naast denkvermogen is ‘doenvermogen’ minstens zo belangrijk om aan de hoge eisen van de participatiesamenleving te kunnen voldoen. De overheid verwacht van burgers steeds vaker dat ze zelfredzaam zijn op het gebied van gezondheid, persoonlijke financiën en de arbeidsmarkt. Maar weten is nog geen doen.

De WRR in Weten is nog geen doen.

Jean trapte de presentatie af door het niet alleen over doenvermogen te hebben, maar over burgerperspectief. Voor ons zijn die twee termen bijna inwisselbaar omdat je voor het perspectief van burgers niet alleen moet kijken naar wat mensen vinden, maar ook naar wat ze doen. Iemands mening staat soms haaks op gedrag. Dat zagen we bijvoorbeeld bij studenten in dit onderzoek naar lenen en schuld.

Of het briefstemmen dat afgelopen verkiezingen werd geïntroduceerd. Veel oudere stemmers dachten dat ze goed stemden, maar bleken fouten te maken bij het terugsturen van hun stembiljet. Veel stemmen waren ongeldig, schreef de NOS. Hoe had dit voorkomen kunnen worden? Door bij het maken van zo’n proces en het aanpassen van de kieswet al het burgerperspectief te betrekken, bijvoorbeeld door:

  • een klantreis te maken (overzicht van het proces vanuit het perspectief en context van de stemmer)
  • de hele gang van zaken te prototypen (uitproberen)

Hoe zien anderen het burgerperspectief?

  • Iemand van EZK vertelde over de MKB-toets. Ondernemers in een panel geven aan of nieuwe wetten en regels werkbaar zijn. En ze kijken of nieuwe wetten niet leiden tot nieuwe problemen.
  • Iemand van SZW noemde het moeilijk om samen met burgers voorspellend naar regelgeving te kijken. Je moet dan (als burger of beleidsmaker) iets zeggen over hoe je het in de toekomst ervaart. Eigenlijk wil je het gewoon experimenteren, maar je kunt moeilijk voor een kleine groep alvast een wet in laten gaan.
  • Vanuit BZK reageerde iemand dat juist bij de kieswet dat regelmatig gebeurd. Het nieuwe stembiljet voor stemmers in het buitenland is uitvoerig getest via de Tijdelijke Verkiezingswet. Welk biljet werkt het beste en wat leren we van dit proces? Maar zoiets kost tijd…
  • Zo’n experimentenwet is nog niet zo simpel, reageerde een ander. Hij wees op het kritische advies van de Raad van State op de Experimentenwet Rechtspleging in 2019.
  • Weer een ander: als iets politiek actueel wordt, heb je zoveel tijd trouwens niet. Dan moet het nu direct opgelost worden en is er geen ruimte voor eerst een onderzoek of experiment.

Over die laatste opmerking dacht ik ’s avonds nog wat na. In het verleden hoopte ik weleens dat mijn onderzoeken politiek relevant zouden worden, dan krijgt het vast momentum, dacht ik. Maar misschien bereik je juist meer als je onder de radar extra tijd en moeite in iets kunt stoppen, het daardoor meer aandacht kunt geven dan wanneer het snel moet, en je oplossing dan beter wordt. Dan heb je meer ruimte om op lange termijn te investeren in een groep burgers en een oplossing.

Wanneer betrek je burgers en hun perspectief?

Ik leidde deze vraag in met de estafette van wet naar loket, uit De Begripvolle Ambtenaar. Waar in deze estafette betrek je het burgerperspectief? Wie in je organisatie moet dit doen? Nou, kort antwoord: in elke stap en iedereen. Maar dat ziet er elke keer anders uit. En hoe doe je dat dan?

De estafette van wet naar loket uit De Begripvolle Ambtenaar

Ik gaf twee voorbeelden. In de zomer van 2019 deed ik een doenvermogentoets voor de nieuwe Wet Inburgering. Bij elke wet wordt uitvoerende organisaties gevraagd om een uitvoeringstoets: welke effecten heeft de nieuwe wet op systemen en processen? In deze toets werd expliciet gevraagd om ook te kijken naar het doenvermogen van inburgeraars. We hadden amper 6 weken en gelukkig had ik 2 jaar eerder onderzoek gedaan met vluchtelingen en alles waar ze mee te maken krijgen bij hun inburgering. Dat onderzoek kon ik mooi gebruiken. Lag dat niet op de plank, dan was het lastig geweest.

Bij de nieuwe wet Meer ruimte voor nieuwe scholen pakten we het anders aan. Al ver voor de uitvoeringstoets werkten we samen met beleidsmedewerkers van het ministerie van OCW om ideeën uit de wet te prototypen en te testen met initiatiefnemers van een nieuw schoolconcept. We ontdekten dat een onze aannames niet overeen kwamen met het beeld dat initiatiefnemers van zichzelf hadden. Wij dachten dat ze als privé-persoon begonnen met het idee voor een school en veel later in het proces zakelijk aan de slag gingen. In de memorie van toelichting stond daarom dat ze eerst via hun persoonlijke DigiD met DUO een start konden maken om later een zakelijk bestuursaccount met kvk-inschrijving te gebruiken. We maakten een dummy versie van dit hele proces inclusief alle brieven die je tussentijds zou krijgen.

De initiatiefnemers wilden helemaal niet hun persoonlijke DigiD gebruiken, ben je mal! Die omschakeling kon uit de wet en hoefden we niet te bouwen. In de estafette van wet naar loket zat ik als gebruikersonderzoeker relatief op het eind. Maar bij deze wet werd ik aan het begin gevraagd om mijn werk te doen. Super! Zo maak je de cirkel rond. Dat zouden we veel vaker moeten doen.

Wat vonden de anderen?

  • Een wet heeft voor burgers de vorm van een brief die je thuis op de mat krijgt. Of een website die je bezoekt. Daarom is dat een perfecte manier om je wet al uit te testen, begon iemand direct.
  • Een ander vulde aan dat het niet alleen eenmalig moet gebeuren, maar dat we 1 jaar na de invoering nog eens moeten kijken hoe burgers zo’n proces ervaren. Is het waar wat we toen dachten bij het maken van de wet?
  • Iemand van het UWV vertelde hoe ze soms 3 beleidsvarianten opstellen en vergelijken qua lasten voor burgers. Dan kunnen ze beter onderbouwen waarvoor ze kiezen op het eind. En zij ging nog even door: niet alleen een uitvoeringstoets, maar ook een invoeringstoets.

Zo ontstaat al snel een loop. Continu onderzoeken wat het perspectief van burgers is, iets bedenken, dat testen, het verder maken, bijstellen, weer onderzoeken. Dit is de bekende feedbackloop en die kan op meerdere momenten in de estafette van wet naar loket. Hij ziet er misschien net wat anders uit op een andere plek in het proces, maar dat is prima.

De estafette van wet naar loket met feedbackloop

Zo zou je ook bij nieuwe wetgeving de signalen over de bestaande wet mee kunnen nemen. Of de signalen van de huidige wet de aanleiding laten zijn om wetgeving aan te passen. Dan heb je de feedloop helemaal rond.

  • Hoe doe je dat? Om 1 casus, ga je niet een wet veranderen. Het is lastig om een signaal op waarde te schatten. Is dit 1 probleem of iets structureels?
  • Van belangenorganisaties krijg je ook vaak signalen, maar gaan die ook over het doenvermogen van burgers, of zijn die politiek? Hoe schat je dat in?

Dat is een mooie brug naar de derde vraag die Jean weer inleidde:

Vertegenwoordigen belangenorganisaties het burgerperspectief?

De Landelijke Studentenvakbond, het Interstedelijk Studenten Overleg, het Laks, de Jongeren Organisatie van het Beroepsonderwijs… ze geven DUO en het ministerie van OCW regelmatig advies. En DUO heeft zelf een jongerenraad ingericht dat met eigen adviezen komt. Er zijn bestuursadviesgroepen van scholen, ketennetwerkdagen, decanenkringen, ik kan nog wel even doorgaan…

Hun input is heel waardevol, maar in hoeverre kunnen deze experts en belangengroepen goed adviseren over het doenvermogen van hun achterban? Jean maakte een verschil tussen belang en perspectief. Belang als in: visie op, waarde hechten aan, mening over. Perspectief als in: vanuit dit gezichtspunt, eigen ervaring met, context van. Beide zijn nodig als input, maar zeker niet hetzelfde.

Voorbeeld: bij het maken van een nieuw systeem voor bekostigingsinformatie zaten we jaren geleden in een zaaltje op een mbo-school met bestuurders en afgevaardigden. Zij dachten mee over de eisen aan dit nieuwe systeem en daarmee het nieuwe gedigitaliseerde proces. We wilden ook graag met de ‘echte gebruikers’ van het nieuwe systeem praten: hun medewerkers op de controlafdeling. ‘Hoezo was dat nodig? Wij zeggen nu toch hoe het moet worden?” Maar toen ik een dag meeliep op een aantal controlafdelingen was de werkelijkheid toch anders. Concreter. “Dit veldje is wel handig, die niet. Oh, ja, voor dat draak van een proces hadden ze in de praktijk een work-around bedacht met Excel.”

Wie heeft dit bedacht? – Dat is toch helemaal niet handig!

Belang en perspectief moet je combineren. Doenvermogen valt in het hokje ‘perspectief’. Dat ontdek je pas als je naast iemand gaat staan die persoonlijk te maken krijgt met een wet. Uiteraard kun je dat prima organiseren samen met een belangenorganisatie, zoals bij het maken van de CoronaMelder app.

Reacties van de groep

  • Iemand van de SVB trapte af. Hun cliëntenraad vertegenwoordigt alle cliënten, maar als persoon zijn ze niet altijd representatief. Hun eigen ervaringen als client zijn niet per se de ervaringen van iedere client en dat maakt adviezen soms troebel. Medewerkers praten alsnog zelf met andere cliënten.
  • Een ander: wanneer weet je genoeg? Wanneer heb je alle invalshoeken en alle vertegenwoordigers genoeg geborgd, en hoe doe je dat? Bijvoorbeeld als je een nieuw stelsel wilt vormgeven?
  • Het vraagt een aanvullende manier van onderzoeken, begon een ander. We moeten kijken naar gedrag en dat vervolgens breder meten, bijvoorbeeld met enquetes: wordt het probleem breder beleefd?
  • De persoon van de SVB ging verder: bij de PGB wilden we de ervaring van zorgmedewerkers meenemen op die manier, maar de respons was veel te laag. De vragenlijst heeft daardoor zo lang uit moeten staan, dat duurt veel te lang. Helemaal als je dan een acuut politiek signaal krijgt, dat maakt snel reageren ingewikkeld.
  • Iemand van SZW: het gaat om de rode draden. Je wilt signalen ophalen en patronen ontdekken. Bij de herziening van de Participatiewet wil je de hardheden in deze wet zien en het effect daarvan op mensen. Dat kun je doen met een signaleringsteam die een goede feedbackloop inricht.

Praktisch: hoe maak je het burgerperspectief een onderdeel van het werkproces?

Van de goede initiatieven moeten we standaarden maken zodat collega’s en teams hier makkelijk mee kunnen werken. De WRR heeft een handige toolkit ontwikkeld die je kunt gebruiken, maar dat moet je dan wel doen.

Bij DUO willen we dat burgeronderzoek niet toevallig gebeurt, maar structureel een plek heeft in de estafette van wet naar loket. Onze hele strategie kun je in deze blog en de bijbehorende infographic bekijken: de structuur van onderzoek.

Ik lichtte er twee dingen uit. Als eerste onze onderzoeksmethoden. Combineer verschillende methoden om steeds een vollediger antwoord op vragen te krijgen. Kwalitatieve signalen valideer je bij een grotere groep. Je kijkt niet alleen naar wat iemand zegt, (subjectief), maar ook naar wat iemand doet (objectief). Praktische voorbeelden van onderzoeksmethoden? Dit blog staat er vol mee.

De onderzoeksmethoden van DUO, uit de infographic ‘De structuur van onderzoe

En ons onderzoeksarchief. Ik werd gevraagd bij de doenvermogentoets van de Wet Inburgering omdat ik Eva, de accountmanager verantwoordelijk voor de uitvoeringstoets, de week ervoor toevallig trof in de bus naar de sportdag van OCW. Wat een mazzel.

Liever wil je dat accountmanagers en alle collega’s sowieso toegang hebben tot inzichten uit onderzoek. Daarom documenteren we burgeronderzoek gelaagd, centraal en verhalend in het onderzoeksarchief. Iedereen kan het gebruiken en iedereen kan bijdragen. In deze blog leg ik uit hoe deze manier van documenteren werkt. Zo ziet het onderzoeksarchief er uit:

Een snelle demo van het Onderzoeksarchief van DUO

De laatste reacties

  • Het ziet er goed uit, maar in de praktijk… voor je iedereen mee hebt? Nou, verzuchtte ik, dat herken ik ook wel hoor. Het vraagt een lange adem en persoon voor persoon, maar je moet gewoon beginnen.
  • Kunnen de inzichten openbaar gedeeld worden? Waarom niet? Het ministerie van AZ maakt voor het onderzoek naar life events ook al gebruik van zo’n onderzoeksarchief. Onderzoek kunnen we delen met elkaar, we werken voor veel dezelfde burgers.

’s Avonds mailde ik nog wat heen en weer met Jean hierover. Wat erop tegen is… het wordt zo snel politiek. Als ons inzicht in het doenvermogen van burgers open wordt (wat ik toejuich!), dan kan iedereen erbij. De Tweede Kamer is bijvoorbeeld ook een schakel in de feedbackloop. Stel dat zij iets opduikelen in onze onderzoeksarchieven dat ineens acuut een politiek issue wordt…

Wetgeving is sowieso een loop. Je start nooit greenfield, maar hebt altijd te maken met iets dat er al is. Stel: we zouden onze inzichten over studenten en schuld delen. Supergoed, want de politiek wil bezig met een nieuwe wet. Alleen dat betekent ook de facto kritiek op de oude wet, de uitvoering en de uitkomsten daarvan. Dan moet onze minister misschien wel in het bankje. Toch maar niet openbaar dan, terwijl er heus niet zulke schokkende dingen instaan die niet al bekend zijn. Het vraagt een constructieve houding van iedere partij in de feedbackloop om niet alleen te willen scoren of juist te risicomijdend te zijn, maar om duurzame wetgeving te maken die goed zijn voor mensen. Hoe ondersteun je dat zo goed mogelijk?

Zo op de mail ’s avonds maakten Jean en ik nog een lijstje. Van tegenpolen die elkaar afstoten en aantrekken, verschillend zijn, maar nooit zonder elkaar kunnen. Samen moeten we dansen.

BeleidUitvoering
WettekstCode
BelangPerspectief/ ervaring
MeningGedrag
WensUitkomst
TheoriePraktijk
InktWerkelijkheid
Categorieën
Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

Mensgericht ontwerpen bij de overheid, een praktische gids

Overheidsdiensten die goed zijn voor mensen, hoe maak je die? Door te beginnen bij de mens: de persoon die de dienst gaat gebruiken. In dit blog een voorzet hoe we deze manier van werken opschalen bij DUO zodat iedereen mensgericht beleid en uitvoering kan ontwerpen.

Gisteren publiceerde de Tijdelijke Commissie Uitvoeringsorganisaties hun onderzoeksresultaten: klem tussen balie en beleid. Ik keek er met smart naar uit. Naar dezelfde problemen heb ik ook onderzoek gedaan. Ik schreef de essays over De Begripvolle Ambtenaar erover en verwees in de zomer al naar hen.

Hun eerste aanbeveling is dezelfde als de mijne, leuk! Praat met de burger (en de uitvoering). Een begripvolle ambtenaar ontwerpt samen met de burger. Mooi gezegd, maar hoe doe je dat dan?

De wet kennen én kunnen

We hebben soms de neiging bij de overheid om uit te gaan van een burger bij wie de juiste kennis automatisch leidt tot het juiste gedrag. Dat klopt niet. Het meeste gedrag van mensen komt juist voort uit het onbewuste. Dit schrijft de Wetenschappelijke Raad voor het Regeringsbeleid in haar rapport: ‘Weten is nog geen doen. Een realistisch perspectief op redzaamheid’. 

De WRR maakt onderscheid tussen denkvermogen en doenvermogen. Als de burger iets lijkt na te laten, dan hoeft dat zeker geen onwil te zijn. Het kan ook dat hij het simpelweg niet kan doen. Sommige mensen hebben nu eenmaal meer moeite met de informatiesamenleving dan anderen. Daarom moeten wij kijken naar het totaal aan keuzes, verleidingen en acties dat iemand heeft te verstouwen. 

Dat doe je door je diensten mensgericht te ontwerpen. Kijk niet alleen naar de business wensen, waaronder de wettelijke kaders, of naar de techniek. Begin liever bij de mens. 

Overheidsdiensten die goed zijn voor mensen:

  • helpen de burger zijn doel te bereiken
  • bieden informatie taakgericht, gelaagd en stapsgewijs aan
  • maken ongewenste keuzes beperkt mogelijk
  • dringen afleiding en verleiding terug

Voorbeeld: het is voor de gemiddelde student niet handig om geen aanvullende beurs te krijgen, maar door te veel keuzevrijheid in Mijn DUO komt het wel voor. 

Daarom moeten we constant onze processen en communicatiemiddelen bij de overheid evalueren. Steeds moeten we ons afvragen: kan er nog iets weg? Mensen hoeven onze processen niet te begrijpen, dat is veel te veel gevraagd. Het is onze taak om een proces constant te verbeteren en de complexiteit voor de burger zo minimaal mogelijk te maken. De burger moet de wet niet alleen kennen, hij moet ’m vooral ook kúnnen.

Dit is een taak voor elke ambtenaar

In mijn onderzoek naar begrip bij de overheid foto-interviewde ik allerlei collega’s die samen in een lange estafette van wet naar loket werken. Dit deed ik omdat iedere ambtenaar een stempel drukt op wat er bedacht en gemaakt wordt. Een wet wordt niet vanzelf omgezet in computercode. Een medewerker aan de balie weet niet vanzelf wat ze wel en niet moet zeggen, daar zijn werkinstructies voor. De uitvoering van de overheid, ook al is hij nog zo geautomatiseerd, is mensenwerk.

Dat betekent dat je de menselijke maat niet kunt delegeren naar de klantenservice van de overheid. Iedere ambtenaar moet mensgericht aan de bak.

Hoe doe je dit?

Dat zijn we afgelopen jaar gaan uitwerken bij DUO. Als je mijn blog al een tijd volgt, herinner je je misschien nog het foto-interview met Jean, de bedrijfsanalist. Hij is een van de aanjagers om mensgericht ontwerpen hoog op de agenda te krijgen. Niet alleen bij teams die applicaties maken voor digitale diensten, maar ook bij collega-analisten die processen ontwerpen en accountmanagers en beleidsmedewerkers die adviseren over (nieuw) beleid en de impact daarvan op de uitvoering en de burger.

Mensgericht ontwerpen, een workshop

Mijn collega Suzanne Smit heeft een workshop ontworpen die je digitaal met allerlei collega’s kunt doen. Deze workshop vertelt de basis van mensgericht ontwerpen. Je kunt het (ingevulde) template hier bekijken.

Theorie wisselt ze af met praktische opdrachten. Na deze workshop heb je helder wie je doelgroep is, wat zijn doel is en welke taken hij bij jou heeft te doen. Dat is de basis van het bedenken van een dienst. Ze geeft voorbeelden en legt uit hoe je vervolgens kunt onderzoeken hoe je doelgroep jouw dienst en je organisatie écht ervaart.

Dezelfde workshopopzet heb ik gebruikt toen ik vorige week een gastcollege gaf bij 33 studenten van de Hogeschool Rotterdam over design thinking. Wat is jouw ervaring met DUO? Wat moeten medewerkers van DUO over jou weten om diensten te maken die goed zijn voor jou?

De workshop kan dus 2 kanten op. Voor collega’s om kennis te maken met methoden en je kunt de methoden direct in de praktijk brengen. Hier zie je dezelfde oefening naast elkaar: met collega’s en met studenten.

Deze workshop is een perfecte start om te beginnen met mensgericht ontwerpen. We begonnen ooit met een fysieke variant op kantoor, de empathiethermometer noemden we hem toen. Na deze start heb je meer nodig. Daarom begonnen we vorig jaar te experimenteren met teams coachen. Maar voor echte verandering moet je het groots aanpakken.

Bij DUO maken meer dan 40 ontwikkelteams alle applicaties die samen de (digitale) dienstverlening van DUO vormen. Er zijn meerdere belteams die burgers en zakelijke gebruikers te woord staan. Er zijn tig beleidsmedewerkers, adviseurs en nog veel meer collega’s verspreid over allerlei directies. Samen zijn we met bijna 3000 mensen.

Beleid vertalen in diensten die goed zijn voor mensen kan prima. Collega’s die dat moeten doen, moeten dan wel weten hoe, en toegang hebben tot de methoden waarmee het kan. Heel DUO dus. Deze workshop maakten we daarom zo dat iedereen hem kan begrijpen en geven.

En daarom maken we ook…

Het Handboek Diensten

Dit Handboek laat zien welke kwaliteit we nastreven in onze dienstverlening voor burgers en zakelijke gebruikers. Het zorgt voor consistentie in de ervaring van onze doelgroep. Het geeft richting hoe je diensten maakt die goed zijn voor mensen.

Het Handboek heeft drie delen:

  • standaard diensten waar ieder team bij DUO bij aan kan sluiten. We maken zaken niet dubbel, maar gebruiken wat er is. Bijvoorbeeld als je een portaalfunctionaliteit of het versturen van post in je dienst nodig hebt.
  • heldere kaders en richtlijnen die ervoor zorgen dat al onze diensten goed zijn. Een voorbeeld van zo’n kader is UNO, ons design systeem.
  • methoden om zelf mensgericht te onderzoeken en te ontwerpen. Om de methoden toe te passen, kun je een coach inschakelen.

We zijn nog in de experimenteerfase en gaan de komende tijd onderzoeken wat collega’s nodig hebben in een handboek. We breiden hem steeds uit. Het Handboek Diensten is nu (nog) alleen beschikbaar voor DUO-medewerkers. Daarom hier een aantal screenshots.

Zo’n handboek past trouwens perfect bij de aanbeveling van de WRR om aan de slag te gaan met doenvermogen. In september publiceerden zij een gids hoe je praktisch je eigen diensten kunt toetsen op doenvermogen.

Ik kan me voorstellen dat in navolging van hen meer overheidsorganisaties hiermee aan de slag zijn. Ik ben dus heel benieuwd naar die ervaringen. Hoe lukt het jullie om het praktisch te maken en je organisatie mee te nemen in de ontwikkeling naar meer menselijke maat bij de dienstverlening van de overheid?

Categorieën
Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

De structuur van onderzoek – Blogverjaardag

Deze blog bestaat vijf jaar! In 2017 begon ik met bloggen over mijn werk als onderzoeker bij DUO. Eerst heel basic, bijvoorbeeld over een test die ik deed of een bezoekje aan een ander bedrijf (in mijn eerste blog schreef ik over een test bij Blendle op kantoor haha).

De ene blog leidde tot de ander. Van onderzoeksmethoden toepassen, experimenten om gebruikers te betrekken (ook de mislukkingen!) tot aan de strategische beslissingen welke rol onderzoek hoort de spelen in de organisatie.

Een feestslinger van blogs

Naast een enorme stroom aan leuke blogjes, bouwden we vooral aan een onderzoeksstrategie voor DUO, geïnspireerd door het ResearchOps framework. Onze strategie is continu in beweging, we werken er elke dag mee.

Deze research strategie visualiseerde ik deze week in Miro. Bekijk het bord direct en struin zelf door onze strategie en ontwikkeling.

The why, what, how

Op dit bord zijn 3 cirkels, dat zijn natuurlijk die cirkels van Simon Sinek. Elke activiteit kun je herleiden naar het waarom: DUO maakt digitale diensten die goed zijn voor mensen.

Dat lukt als alle medewerkers in de estafette van wet naar loket bij DUO betrokken zijn en inzicht hebben in de ervaring van de burger of zakelijke gebruiker.

In deze visuele strategie vind je de volgende onderwerpen die ons helpen ons doel te bereiken:

  • de rol van onderzoekers en een onderzoekscultuur in je organisatie
  • hoe je onderzoek goed, veilig en schaalbaar organiseert
  • de kwaliteit, vernieuwing en standaardisering van onderzoeksmethoden
  • je onderzoeksinzichten vastleggen en delen met impact

Waar het handig is, heb ik direct ook wat uitleg bijgedaan. Bijvoorbeeld bij het stuk over onderzoek delen: hoe deel je het dan? En waarom zo?

Of bij het stuk over onderzoeksmethoden. Van de verschillende soorten onderzoek maakte ik ook direct een overzicht waarvoor een methode dient.

Laatste dan. Vorig jaar begonnen we met teams coachen in mensgericht ontwerpen. Dit betekende dat we groter moesten denken. Hoe kunnen we heel DUO helpen om te willen, weten, kunnen en doen? Hop, direct ook onze coachingsstrategie erbij.

Het gaat lukken!

Dit grote plaatje is de reden dat ik blog. Ik vind het belangrijk dat er bij de overheid iets nieuws ontstaat, namelijk dat we de burger belangrijker gaan vinden dan onszelf.

Toen ik begon met bloggen, wilde ik vooral zelf leren. Ik was nieuw bij de overheid en ik had altijd geblogd over wat me bezig hield. Wat ik leerde als onderzoeker, schreef ik op. In het begin had ik 3 bezoekers per maand. Prima, laat mij maar lekker klooien in mijn hoekje op het internet.

Nu zijn het er een stuk meer dan drie. En ik leer nog steeds zoveel. Ik maak jullie enthousiast, en jullie mij. Samen leren we hoe het kan: een overheid die luistert, die echt wel wil en het beter maakt voor de burger. Het gaat lukken, het is al bezig!

De ontwikkeling bij DUO staat zo op een rij, of nou ja, in een rondje dan. Het meest bijzondere van de afgelopen 5 jaar? Dat onderzoek mijn discipline lang en breed oversteeg. Veel collega’s bij DUO raakten enthousiast over de relatie die we met burgers hebben. Daarom is het goed dat we als onderzoeksteam de vraag voor klussen allang niet meer aankunnen. Laten we het allemaal maar samen doen. Onderzoek doen, luisteren naar de burger, daar moet iedereen van zijn.

Bedankt voor 5 jaar lezen (vooral die 3 vanaf het begin). Hartjes.

Bekijk het bord ‘De structuur van Onderzoek’ en klik er ook overzichtelijk door naar alle blogs per thema.