Bij de Dienst Uitvoering Onderwijs deed ik onderzoek naar de doelgroep: studenten, inburgeraars en medewerkers van scholen. Ik bedacht nieuwe methoden hiervoor, bracht hun verhalen de organisatie in en leidde collega’s op om dit ook te doen. Nu leer ik bij de Nationale ombudsman hoe je overheidsbreed onderzoek kunt doen.
Hoe je dit aanpakt, dat vind je in deze onderzoekslijn. Ik deel methoden en materiaal. Ik deel succesverhalen en ook flaters.
Poster van een van de principes van goede diensten uit het boek van Lou Downe
In mijn onderzoek speelt tijd een belangrijke rol. Of beter gezegd: processen die zich door de tijd afspelen. Om hier beter grip op te krijgen, volgde ik onlangs de cursus Process Research aan de Vrije Universiteit van Amsterdam.
In dit blog vertel ik hoe ik deze manier van kijken naar data en kennis wil gebruiken in mijn onderzoek. Ik zie daar 3 mogelijkheden voor en die werk ik de komende tijd uit.
Acties en processen
Maar eerst: wat is proces onderzoek? Als je dit blog al langer volgt, dan denk je misschien: “hey, maar je deed toch actie onderzoek?” Jazeker. Die twee kun je namelijk perfect combineren.
Als je iets wilt begrijpen, moet je het veranderen. Dit is een bekende uitspraak van Kurt Lewin, de grondlegger van actie onderzoek. Met actie onderzoek werk je samen met participanten in echte situaties. Samen probeer je iets te veranderen en reflecteer je hierop. Zaken gaan alleen zelden van de ene op de andere dag van A naar B, dat kost tijd. Deze verandering kun je op 2 manieren onderzoeken.
Een varianten aanpak kijkt naar de verschillen tussen A en B ware het 2 aparte foto’s en verklaart zo de verandering.
Een proces aanpak kijkt hoe A tot B geworden is. Dit is het bewegende beeld, de hele film. Juist het fluïde proces tussen A en B is hier interessant. Met deze proces lens kun je de mechanismes die de verandering mogelijk maken beter begrijpen.
Actie- en proces onderzoek gaan er allebei van uit dat organisaties bestaan uit verandering en dat je dit het beste kunt onderzoeken vanuit het perspectief van de binnenkant. Dat past perfect bij mij, als ambtenaar die wil onderzoeken hoe uitvoeringsorganisaties veranderen in dienstverleners.
In de cursus Process Research leerde ik over de theorie achter deze manier van onderzoeken. En op welke manier je data kunt verzamelen en met een proces lens kunt analyseren om tot kennis te komen. Ik vond het super interessant! Als je hier graag meer over wilt weten, of leestips zoekt, stuur me dan een berichtje.
Mijn onderzoek bestaat uit 3 lagen en op elke laag denk ik dat ik deze proces aanpak goed kan gebruiken. Ik kijk naar wat goede diensten zijn, hoe organisaties ze maken en hoe ik, in dit onderzoek, hierover leer samen met jullie.
Een goede dienst is een proces
Lou Downe schrijft in het beste boek over goede dienstverlening dat ik ooit las dat een goede dienst een werkwoord is. Vaak noemen we bij de overheid onze dienst een register, een portaal of – nog erger – een afkorting waardoor niemand eigenlijk meer weet wat de persoon aan de andere kant, de burger, ermee wil bereiken. Wat die wilde doen.
Ik heb ‘m zelf als poster thuis!
Een goede dienst is een proces met allerlei acties erin. Dit visualiseren we in een klantreis. Je kunt hier de processen van de organisatie ook aan koppelen. Dat heet een service blueprint. Zo zie je door de tijd hoe iemand een bepaalde overheidsdienst ervaart en wat jouw organisatie daarvoor doet en organiseert.
Ik kijk in mijn onderzoek naar wat goede dienstverlening is. Dat doe ik dit jaar in een casus bij het CJIB, bij het programma Clustering Rijksincasso. Hier kijk ik hoe een goede dienst eruit ziet voor mensen die een schuld aan de overheid moeten betalen.
Ik kijk ook een laag hierboven. Ik kijk hoe de overheid deze dienst herontwerpt en daardoor verandert.
Een dienst herontwerpen is ook een proces
Ik werk mee in het team dat deze dienst(en) wil verbeteren. Dat doe ik omdat ik wil leren hoe organisaties beter worden in het maken van diensten die goed zijn voor mensen.
Om de groei bij de overheid hierin te kunnen volgen, leg ik de gebeurtenissen vast in de tijd. Samen met het team dat ik volg reflecteer ik aan de hand van gebeurtenissen in het verleden. Laatst maakten we bijvoorbeeld allemaal een tijdlijn van de belangrijke momenten in het project. In interviews vraag ik vervolgens hoe mensen te werk gingen rondom die gebeurtenissen. Wat de strategie is, wat ze belangrijk vinden en hoe ze keuzes maken. Over deze methode heb ik eerder geblogd: visueel interviewen.
Ik maakte ook mijn eigen tijdlijn, want ik ben zelf ook onderdeel van het team en denk/ werk mee hoe de dienst beter kan. Dit is de mijne, nagetekend.
Tekening van mijn tijdlijn bij het CJIB
Ik ben nog aan het uitproberen hoe ik de data goed kan anonimiseren, maar dit is een beetje teveel van het, denk ik, haha.
Straks leg ik de tijdlijnen en verhalen naast elkaar en kun je vanuit meerdere perspectieven zien hoe de dienst tot stand komt en de organisatie(s) groeien. Samen kunnen we dan kijken welke mechanismes hierbij een rol spelen. En ik hoop natuurlijk dat ik lessen kan trekken die ook op andere plekken kunnen werken.
Mijn promotie is ook een proces
Dit onderzoek kun je goed volgen. Ik laat regelmatig zien hoe het er achter de schermen uitziet. Dat doe ik via dit blog en via een maandelijkse nieuwsbrief. Ik krijg regelmatig feedback van jullie op wat ik doe en dat vind ik heel waardevol. Deze open manier van werken, ik noem het open actie onderzoek, is ook een proces en dit is de derde laag in mijn onderzoek.
De manier waarop ik leer, data verzamel en analyseer en samen met jullie input tot nieuwe kennis kom, kan ik ook als een proces uittekenen. Ik ben nu een artikel aan het schrijven over mijn conceptueel framework voor het onderzoek. Stiekem staan allerlei bouwblokken hiervan allang op dit blog. Soms heb ik dat zelf niet eens door. Met terugwerkende kracht kun je het hele denkproces, de kennis in wording, hier teruglezen. Dit proces ziet er bijvoorbeeld zo uit:
Schematische weergave hoe ik van idee tot uitkomst ga door de open aanpak.
De komende tijd werk ik deze aanpak verder uit en ga ik, samen met het team en samen met jullie, de eerste bevindingen analyseren. Ik ben heel benieuwd wat we ervan gaan leren!
Verder lezen?
Coghlan, D. (2019). Doing Action Research in Your Own Organization. SAGE.
Langley, A. (2007). Process thinking in strategic organization. Strategic Organization, 5(3), 271–282.
Tsoukas, H., & Chia, R. (2002). On Organizational Becoming: Rethinking Organizational Change. Organization Science, 13(5), 567–582.
Gisteren kwamen meer dan 100 onderzoekers die bij de overheid werken bij elkaar in Utrecht. De overheidsbrede onderzoekscommunity hield samen met Gebruiker Centraal haar eerste evenement in het echt, en de organisatie moest aan deelnemers vragen of er echt maar 5 mensen per overheidsorganisatie kwamen. Als je mij 10 jaar geleden dit had verteld, had ik je niet geloofd. Er werken inmiddels al zoveel onderzoekers bij de overheid. Super.
In dit blog deel ik mijn presentatie: over de context waarin wij werken en waarom onderzoekers nodig zijn voor goede dienstverlening. We blikken terug op hoe ver we zijn gekomen, en ook vooruit: wat is er nodig om de leefwereld van burgers leidend te laten zijn bij het maken van overheidsdiensten? Ik noem dat full circle onderzoek doen.
Elke maand een update in je mailbox over mijn onderzoek? Abonneer je op mijn nieuwsbrief.
De cirkel van democratie en dienstverlening
In mijn onderzoek gebruik ik een indeling tussen de systeemwereld en de leefwereld, met zowel een collectieve als een individuele kant. Hierdoor ontstaan er 4 kwadranten. Aan de collectieve kant geeft de zittende macht samen met volksvertegenwoordigers vorm aan hun visie op de samenleving. Deze visie wordt vervolgens vertaald naar wetten, beleid en dienstverlening voor individuen. Pas na interactie tussen burgers en de overheid wordt dit werkelijkheid in de context van de mensen zelf, oftewel de leefwereld. Ook in de leefwereld groeperen individuen zich en proberen zij hun ideeën over de samenleving te verwezenlijken, waardoor de cirkel rond is.
Tekening van de cirkel van democratie en dienstverlening.
Van deze cirkel ervaren de meeste mensen vooral de individuele kant. “Mensen ervaren geen beleid, ze ervaren diensten,” zegt onderzoeker Sabine Junginger (2016). Dat betekent dat de taak van overheidsdienstverleners is om collectieve waarde te vertalen naar individuele ervaringen die ook waardevol zijn.
Dat is niet makkelijk. De praktijk van de systeemwereld is nu vaak een grote waterval. Het gaat met de klok mee in een cirkel, van beleid naar dienstverlening en stort zich uit over burgers en de samenleving. Als je het er niet mee eens bent, kun je dat laten merken in je stemgedrag.
Het kan anders zijn als we de ervaringen van burgers verzamelen en, tegen de klok in, in de systeemwereld introduceren. Die ervaringen kunnen bepalend zijn voor hoe we diensten aanbieden en hoe we überhaupt diensten ontwerpen. Voor het beleid dat daarvoor wordt vastgesteld, en ja, misschien ook voor de wetgeving en de bijbehorende ideeën over interventies in de maatschappij en het effect dat dit met zich meebrengt.
We moeten het helemaal omdraaien. En dat kunnen we, omdat dat precies ons vak is als onderzoekers bij de overheid.
Wij halen ervaringen op uit de leefwereld van mensen. We hebben verschillende methoden en technieken om dit goed te kunnen doen. Bovendien zijn we in staat om deze verhalen op een zodanige manier binnen onze organisaties te delen, dat collega’s erdoor gemotiveerd worden om actie te ondernemen.
Dat hebben we de afgelopen 10 jaar wel laten zien.
Hoe het begon
In de meeste organisaties begon het met het testen van schermen. Voor mij ook. Ik ben in 2013 begonnen bij de Dienst Uitvoering Onderwijs. Een van de eerste dingen die ik leerde, was hoe je een gebruikstest moest opzetten en uitvoeren. Ik bezocht scholen met mijn laptop onder de arm. Op kantoor liet ik filmpjes zien aan collega’s en vertelde ik hoe studenten of medewerkers van scholen onze digitale diensten ervaarden.
Kijk zo cute: mijn eerste stappen in de onderzoekswereld.
In 2017 begon ik met mijn blog. Ik deelde wat ik leerde en wat we bij DUO uitprobeerden. Jullie stuurden me ook steeds vaker jullie ervaringen.
Ik zag dat we als onderzoekers groeiden. We gingen van het testen van schermpjes naar het onderzoeken van hoe alle interactiemomenten met de overheid verbeterd konden worden. We leerden nieuwe onderzoeksmethoden en bedachten creatievere manieren om de inzichten te delen binnen onze organisaties. We gingen holistischer te werk en probeerden ook de persoon achter de gebruiker te leren kennen.
We werkten slimmer. Om op te schalen gingen we onze inzichten bundelen en archiveren. We gingen ons beter organiseren en er kwamen ook onderzoeksfuncties voor die logistieke kant.
En toen begonnen sommige van ons af en toe telefoontjes te krijgen van verdwaalde beleidsambtenaren die een doenvermogentoets moesten uitvoeren. “Ik kreeg je naam door, misschien kun je mij helpen?” Dat kunnen we zeker.
En zo gingen we met de inzichten uit de leefwereld steeds dieper de systeemwereld in.
Laten we dan ook even verder dromen. Waar gaan we heen? Wat gun ik ons vakgebied?
Meer kwaliteit
Om de hele leefwereld beter te begrijpen, zowel het individuals het collectief, moeten we ons werk verbeteren. Hiervoor hebben we meer diversiteit nodig in onderzoeksrollen. Het veld is zo groot dat niemand goed is in alle onderzoeksmethoden die we nodig hebben. Dat is ook niet nodig. In het verleden hadden we onderzoeksteams bestaande uit één persoon die alles deed, maar dat is niet langer mogelijk. Een goed onderzoeksteam bestaat uit gebruikersonderzoekers, strategische onderzoekers, klantreis-experts, gedragswetenschappers en nog veel meer. We moeten het volledige scala aan onderzoeksmethoden omarmen.
Scholieren uit Sneek denken na over studiefinanciering
Diversiteit zegt ook iets over wie wij zelf zijn. Ik zie nog steeds te vaak een hele homogene groep als ik om me heen kijk. Juist wij, die de bias van de overheid willen toetsen, moeten ook onze eigen bias kennen. We hebben veel te weinig mensen van kleur in onze teams. Eén op de 5 mensen heeft een zichtbare of onzichtbare beperking, maar als ik nu rondkijk, is dat vrijwel onzichtbaar. Onze teams zijn niet divers en dat is een probleem. Daardoor hebben we te veel blinde vlekken die invloed hebben op hoe we ons werk doen.
Mensen spreken
Dan moet mij iets van het hart. Het mag echt geen probleem meer zijn om respondenten te spreken. Echt. Kom op. Dit is nog veel te vaak een probleem in organisaties. “Wat beloof je ze dan?” “Nee, de AVG.” “Het moet wel efficiënt zijn.” Menselijk contact is per definitie niet efficiënt, sterker nog: het wordt beter naarmate het minder efficiënt is. We kunnen ons werk alleen doen als we echt contact mogen hebben met burgers. We moeten dit gedoe niet meer accepteren.
Opschalen
Als we de dienstverlening aan burgers echt willen verbeteren, moeten we onze activiteiten uitbreiden. Het is geweldig dat steeds meer ontwikkelteams gebruikstesten willen doen in een sprint, maar stel je nu voor dat alle teams in je organisatie in elke sprint een gebruikstest willen doen? Hoe gaan jullie dat voor elkaar krijgen?
We moeten dus meer investeren in de organisatorische kant. Het contact met mensen hoeft niet efficiënt te zijn, maar we kunnen ons onderzoekswerk wel efficiënt organiseren. Dit vraagt voor de meesten van ons om een andere aanpak. De creatieve en menselijke kant is sterk vertegenwoordigd bij de meesten van ons, maar nu is het tijd om ook de ambtelijke blauwe kant weer te omarmen.
Beleid en diensten samen maken
Ik zie steeds meer samenwerking tussen beleid en uitvoering, en onderzoek vormt daarvoor de basis. Ik hoop dat dit de standaard manier van werken wordt bij de overheid. Zodat beleid wordt gebaseerd op inzichten van gebruikers en dat het samen met het ontwikkelen van diensten steeds wordt getoetst bij burgers.
Hiervoor moeten we stoppen met die waterval. Ik weet dat ik hiermee een bekend punt aankaart, en dat we er vaak over klagen. Maar we staan niet machteloos aan de zijlijn. We kunnen helpen om de waterval te stoppen.
Inzichten delen = open werken
Wat mij betreft is de beste manier om de waterval te stoppen, door je werk te delen. Deel de verhalen van burgers. Deel hoe je je werk doet en wat het oplevert. Deel ook de momenten waarop het niet goed gaat. Vooral verhalen over onderzoeksinzichten die vastlopen in een log proces of op een systeem dat al af is, helpen ons om te begrijpen hoe we anders moeten werken.
Vaak schiet het erbij in om ook nog een goed deelbaar verhaal te maken. We zijn al zo druk. Ter illustratie: ik ben al jaren ongeveer 1 dag per week kwijt aan dit blog en het geven van en delen van presentaties. En ook nu, op vrijdagmiddag, ben ik bezig met het uittypen van mijn presentatie van gisteren. Ik doe dit omdat ik weet dat het onze vakgroep verder helpt. Doe met me mee en draag bij. Ik weet immers alleen maar wat ik toevallig meemaak en zie in Groningen hier. Samen kunnen we veel meer leren.
Het is pas echt als het echt is
Het is geweldig dat we pilots, proeftuinen en experimenten uitvoeren. Maar pas wanneer een burger daadwerkelijk een betere dienstverlening ervaart, kunnen we koffie halen. Daarom is het niet vreemd om net zoveel tijd te besteden aan het delen van je werk en het volgen van wat ermee gebeurt, als aan het daadwerkelijke onderzoek. Wat heb je eraan als je al die moeite doet en er vervolgens niets mee gebeurt?
Laten we streven naar full circle onderzoek doen. We beginnen bij de leefwereld, bij de burger, uiteraard. Met de inzichten gaan we onze organisatie in en klimmen we op in de waterval. Dat kunnen we. We werken samen met anderen om de processen en systemen aan te passen, om beleid en, indien nodig, wetgeving aan te passen. Vervolgens onderzoeken we opnieuw hoe we die aanpassingen kunnen vertalen naar individuele ervaringen.
Full circle onderzoek begint en eindigt in de leefwereld.
Full circle onderzoek doen begint en eindigt bij de burger.
Toen ik ambtenaar werd, zei mijn toenmalige manager Theo: “Maike, het gaat heel lang duren voordat je iets kunt veranderen bij de overheid. Maar als het je lukt, heb je echt iets bereikt.”
Dus laten we beginnen doorgaan.
Verder lezen?
Dit blog staat vol met tips hoe je onderzoek doet en je organisatie meekrijgt. Bijvoorbeeld:
Het schrijven van een wetenschappelijk artikel over overheidsdiensten is heel anders dan het schrijven van een blog. Dat heb ik inmiddels wel gemerkt. Zojuist heb ik het concept van mijn tweede artikel naar mijn promotor gestuurd en dat voelt geweldig.
Tijdens het schrijven had ik veel aan andere researchers die op Instagram, Youtube of op hun blog deelden hoe zij het aanpakken. Dus doe ik iets terug natuurlijk.
In deze blog laat ik mijn schrijfproces zien, hoe ik me voorbereid en welke hulpmiddelen ik gebruik.
Elke maand een update in je mailbox over mijn onderzoek? Abonneer je op mijn nieuwsbrief.
Andere koek
Ik schrijf geen boek, blog of artikel in de krant, maar een wetenschappelijk artikel. Dat is een zeer functionele tekst en heel anders dan ik gewend ben. Je schrijft altijd voor je lezer en in dit geval wil mijn lezer zo snel mogelijk weten: “welke kennis staat er in dit stuk en kan ik het gebruiken voor mijn onderzoek?” Er zijn regels verbonden aan het schrijven van een wetenschappelijk artikel, die ook nog kunnen verschillen per onderzoeksveld.
Artikelen hebben bijvoorbeeld een vaste structuur: introductie, onderzoeksvraag en -doel, methode, bevindingen, discussie en conclusie. Hier moest ik in het begin erg aan wennen. Als ik een mooie anekdote deelde in de discussie, verplaatsten mijn promotoren die genadeloos naar de bevindingen, of erger nog, ze schrapten ze volledig uit het artikel. Als ik al een klein tipje van de sluier oplichtte bij de bevindingen en wat je ermee kon, werd dat verplaatst naar de discussie. Maar nu ik zelf veel artikelen doorploeter, ben ik dankbaar voor die logische indeling.
Aantekeningen klaar, tikken maar
In april 2023 schreef ik, op basis van de data die 7 jaar bloggen mij opleverde, een empirisch artikel. Nu ben ik bezig met een conceptueel stuk. Ik heb nu iets meer vrijheid om het artikel vorm te geven, maar dat maakt het ook meteen moeilijker. De argumentatie voor mijn conceptueel kader bepaalt de structuur van het artikel, dus die argumentatie moet uitstekend zijn.
Ik gebruik twee artikelen als leidraad voor hoe je zo’n conceptueel stuk opbouwt. Ik maak een theoretische synthese van concepten die te vinden zijn in de vakgebieden design, services en bestuurskunde (Jaakkola, 2020). Deze concepten breng ik samen als een soort architect die een huis bouwt (MacInnis, 2011).
Argumenten opbouwen
Een promotieonderzoek is eigenlijk een opleiding: bij elke stap die je neemt, moet je eerst leren hoe je die neemt. Ik volgde daarom twee cursussen om me te helpen met schrijven.
Wetenschapsfilosofie aan de Erasmus Universiteit. Ik leerde wat een goed argument is en hoe je kunt controleren of de opbouw goed is. We moesten teksten van anderen analyseren en volledig ontleden.
Creatieve technieken voor wetenschappelijk schrijven. Bijvoorbeeld hoe je overzicht creëert voor jezelf, hoe je de hoofdboodschap uit een alinea haalt en ernaartoe schrijft en hoe je de lezer meeneemt in een tekst en de aandacht vasthoudt. En ook: hoe je kunt voorkomen dat je van die wetenschappelijke zinnen schrijft die een gedrocht lijken. Zodat, ondanks dat er veel kennis in staat, het ook een beetje leuk is om je artikel te lezen.
Mijn schrijfproces
Na al deze voorbereidingen hield niets me meer tegen om mijn vingers op het toetsenbord te houden. In januari had ik drie weken de tijd, non-stop. Ik was ook nog mijn stem kwijt, dus ik kon echt niets anders plannen.
Tijdens de tweede cursus schreef ik de introductie van het artikel, waarin ik de onderzoeksvraag, het doel van het artikel en de aanpak om tot antwoorden te komen beschreef. Deze introductie besloeg ongeveer 500 woorden en ik besprak hem uitgebreid met mijn promotoren. Na wat schaven stuurde ik hem ook naar Servsig, een serviceconferentie in Juni. Het zou leuk zijn als ik daar een presentatie over het stuk mag geven, dat hoor ik later in het voorjaar.
Ik had al veel gelezen en aantekeningen gemaakt. Als bibliotheek voor wetenschappelijke artikelen gebruik ik Zotero, dat ook handig is om referenties tijdens het schrijven bij te houden. Ik las al mijn aantekeningen nog eens door. Vervolgens maakte ik een visuele outline in Miro met de belangrijkste argumenten en de figuren die ik zou gaan gebruiken, evenals de flow van het ene naar het andere punt.
Uitgebreid Mirobord met alle figuren
Het echte schrijven begon dus heel functioneel. Ik begon met de belangrijkste onderzoeksvragen en bouwde het antwoord stap voor stap in blokjes op. Ik voegde de belangrijkste bronnen toe.
Daarna werkte ik de blokjes puntsgewijs uit. Elke zin plaatste ik op een aparte regel met een nummertje ervoor. De zinnen waren kort en staccato. Het belangrijkste was dat de argumentatie duidelijk was en als dat het geval was, markeerde ik de belangrijkste regel. Dat was het punt dat ik wilde maken. Ik schoof nog wat heen en weer en keek kritisch of alle zinnen opbouwden naar die conclusie. En dan ging ik verder naar het volgende blokje.
Ik wil in een Engelstalig tijdschrift publiceren, maar ik denk nog niet echt in het Engels. Ik begon daarom in het Nederlands en vertaalde de zinnen naar het Engels als ik tevreden was met de opbouw. Ik gebruikte Deepl als vertaalassistent om me te helpen.
Mooie zinnen maken
Nu was het tijd om te doen wat ik vroeger schrijven zou noemen: mooie zinnen maken. Ik verwijderde de nummers en schreef de zinnen aan elkaar. Sommige zinnen voegde ik samen. Andere zinnen werkte ik uit en werden wel drie zinnen. Ik verdeelde de informatie over alinea’s en markeerde opnieuw de belangrijkste boodschap per alinea, opbouwend naar de conclusie van het hele blokje. De zinnen waren veel minder staccato, maar droegen volwaardige informatie. En ik voegde natuurlijk alle referenties toe van de bronnen waarop ik me baseerde.
Voor het redigeren van de tekst gebruikte ik Edit.gpt. Voornamelijk voor de Engelse grammatica, maar ook om de algehele flow te verbeteren. Sommige aanpassingen nam ik over, andere niet. Daarna controleerde ik of de zinnen soepel liepen en of ze niet te lang waren. Ik deed dit door de tekst hardop voor te lezen.
Als dat allemaal klaar was, ging ik verder naar het volgende blokje. Na het voltooien van alle blokjes binnen een segment, las ik alles een paar keer door. Ik keek naar de overgangen van het ene punt naar het andere. Ik controleerde of alle onderzoeksvragen beantwoord waren en of het geheel uitnodigde om verder te lezen.
En zo schreef ik afgelopen maand maar liefst 8000 woorden.
8000 woorden later
Dit schrijven is heel anders dan het tikken van een blog. In het begin moest ik enorm wennen. En het vroeg ontzettend veel discipline. Bij een blog wacht ik meestal op inspiratie, maar het schrijven van een artikel ging stap voor stap. In december nam ik me voor om elke dag een stap te zetten, of zeg, 300 woorden, zodat ik eind januari een conceptversie klaar zou hebben. En dat lukte. Zelfs op dagen zonder inspiratie.
Nu gaat wat ik schreef ‘de mix’ in. Dat betekent dat ik feedback ontvang van mijn promotoren. Ze zullen veel vragen stellen over de argumentatie en dingen weer herschikken. Sommige blokjes moeten ook nog wel beter uitgewerkt worden, maar na 8000 woorden had ik een toasty brein. Ik ben heel benieuwd waar ze mee terugkomen.
En over de inhoud zelf, want ik begrijp dat jullie daar ook razend benieuwd naar zijn, komt later ook nog wel een blog :).
Verder lezen?
Ik schrijf vaker blogs over hoe ik onderzoek en wat mijn methoden zijn. Bijvoorbeeld:
Hoe ik eerder mijn praktijkonderzoek bij de Dienst Uitvoering Onderwijs goed documenteerde zodat de hele organisatie het kon gebruiken.
De zon scheen, ik was in een van mijn lievelingssteden (Maastricht) en ontbeet elke ochtend met Limburgse vlaai. Vorige week was Frontiers in Service 2023. Mijn eerste academische conferentie. Vier dagen, met een dag speciaal voor PhD-kandidaten, in het teken van het meest actuele onderzoek naar services.
In deze blog vertel ik wat leerde van deze conferentie voor mijn eigen onderzoek naar overheidsdiensten die goed zijn voor mensen, in mijn casus over Nederlandse nationale publieke dienstverleners. Ik doe dat in de vorm van 4 redenen waarom het een slim idee is om als beginnend onderzoeker vanaf het begin conferenties te bezoeken.
Reden 1: krijg snel goed overzicht
Eigenlijk is het service veld niet mijn eigen domein. Ik doe onderzoek vanuit de TU Delft, Industrieel ontwerpen. Design is mijn thuisbasis, en ik doe onderzoek naar hoe je dienstverlening maakt bij de overheid. Mijn onderzoek verbindt drie disciplines: design, services en bestuurskunde. Om het servicesdeel goed te begrijpen, ging ik naar Frontiers en bezoek ik regelmatig CTF, het service research centrum van de Universiteit Karlstad (ik schreef daar eerder deze blog over).
Via gesprekken bij CTF kwam ik het service veld binnen gestommeld. Vanaf daar zocht ik een route als een soort sneeuwbal die z’n weg zoekt. Uiteraard las ik de klassiekers, bijvoorbeeld over service-dominant logic. Ik oefende hoe ik deze manier van denken in mijn onderzoekscontext kan toepassen door de blog de waarde zit in de klas te schrijven.
Op een conferentie wordt de meest actuele stand van zaken van een onderzoeksveld uitgelicht. Eén blik op het programma en je ziet hoe veel er is. Het services veld is veel groter dan ik dacht!
Ik kwam erachter dat publieke diensten hier een niche zijn, en overheidsdiensten misschien wel de niche in de niche.
Via een zijdeurtje naar binnen
Frontiers in service is een conferentie die gaat over services, waaronder het maken en leveren van diensten in de meest brede zin van het woord. De keynotes gingen over de kindertoeslagaffaire in Nederland en over nieuwe serviceconcepten van Starbucks in Azië. We zagen experimentele voorbeelden van VR-brillen in het onderwijs en service robots in de zorg. Bijna 250 onderzoeken werden in 60 deelsessies gepresenteerd. Bekijk het hele programma hier.
Ik ontdekte dat ’transformatief service onderzoek’ helemaal in is en als apart onderzoeksthema zelfs een eigen afkorting heeft: TSR. Vanuit mijn eigen leeshoekje was ik dit nog niet tegengekomen. Hier ga ik de komende tijd meer over opzoeken.
Reden 2: gratis advies
Loop je in het begin nog nerveus met je koffie naar een tafeltje waar niemand staat, aan het eind van de conferentie weet je dat je prima kunt aansluiten bij een druk tafeltje. Het is zelfs handig. Na je naam en je universiteit laat je vallen dat je nog maar net bent begonnen met je PhD en het regent direct tips van de senioren aan tafel. Ze stellen vragen, vertellen over hun eigen begindagen en geven tips om goede artikelen te schrijven bij goede journals. Dat ze elkaar soms tegenspreken zullen we ze nooit laten merken natuurlijk.
Koffie en tips
Deze gratis adviezen zijn logisch want het doel van een conferentie is kennis uitwisselen. Iedereen zoekt elkaar op en vertelt over elkaars onderzoek. Zelden kreeg ik zulke goede (en kritische) vragen over mijn onderzoek: wat ik daar mee wil bijdragen, hoe ik het wil aanpakken en meer.
In de rij voor de ijskar stond ik bijvoorbeeld in een discussie verwikkeld over wat publieke waarde is met Jakob Trischler (van wie ik eerder al artikelen las). Is dat al echt goed gedefinieerd (we vonden van niet) en heeft publieke waarde eigenlijk wel een plek binnen de door marketing gedomineerde wereld van service research? Doe maar vanille met framboos in een hoorntje.
Extra leuk waren de adviezen van Mike Brady, Hoogleraar Marketing aan de Florida State Universiteit en hoofdredacteur van het Journal of Service Research (JSR). In een kleine ask-me-anything sessie vertelde hij uitgebreid over het redactieproces van JSR en hoe je als jonge onderzoeker je eerste artikelen kunt schrijven en indienen bij topbladen. Dat waren veel bruikbare tips.
Reden 3: oefen met pitchen en afkijken van anderen
De meeste mensen gaven zelf een presentatie, ik was er als consument. Als mijn artikel wordt geaccepteerd, mag ik dit najaar op een design conferentie presenteren. Tijdens Frontiers kon ik mooi afkijken hoe anderen hun werk laten zien. Wat zijn de codes, de ongeschreven regels? Hoe bouwen anderen hun presentatie op? Hoe gaan ze om met kritische vragen?
Hele interessante presentatie van Koskela-Huotari et all (2023) over systemische dynamieken in niet-duurzaam gedrag
Toch kon ik niet alleen consumeren.
Regelmatig vroeg iemand waar mijn onderzoek over gaat. Ik ben nu ruim een half jaar bezig en precies in die fase dat je aan alles gaat twijfelen. Mijn ingestudeerde pitch “ik doe onderzoek naar hoe je overheidsdiensten maakt die goed zijn voor mensen” begint steeds gelikter eruit te komen, maar inmiddels twijfel ik over de definitie van overheidsdiensten, over wat makerschap is, wat goed is en wat zijn mensen eigenlijk??!
Dat is niet erg. Door steeds opnieuw te vertellen wat je doet en waarom het relevant is, leer je het steeds beter onder woorden te brengen. Na de vijfde pitch (en door vragen die ik terugkreeg) paste ik onbewust de pitch een beetje aan. Op de vierde dag was de schroom weg en verbaasde ik me hoeveel beter ik kon uitleggen wat ik wil gaan doen.
Nog steeds hoe je overheidsdiensten maakt die goed zijn voor mensen, jazeker. En nu ook hoe belangrijk het is om dat ‘public value’ goed te definiëren. Misschien kan ik dat wel doen door me juist meer te verdiepen in de bestuurskundige kant: de beginselen van behoorlijk bestuur, de rechtstaat, de Rule of Law, kom er maar in. De radartjes draaien alweer op volle toeren.
Sessie over het denken vanuit ecosystemen in service onderzoek
Reden 4: leer leuke mensen kennen in een nieuwe stad
Als externe PhD-kandidaat ben ik niet veel op de universiteit. Ik woon in Groningen, dat is 3+ uur met de trein naar Delft. Mijn begeleiders wonen in Delft en Karlstad, dus het meeste van mijn onderzoek gaat online, vanuit huis of vanuit mijn onderzoekscontext, bij de Nederlandse overheid. Ik ken niet zoveel andere PhD-kandidaten om ervaringen mee uit te wisselen en te ouwehoeren. Dat kan op een conferentie (Della en Mike, I see you), helemaal als er een speciale Doctoral Consortium voor PhD-kandidaten wordt georganiseerd.
Maastricht is een super leuke stad is en de Universiteit van Maastricht weet een gave conferentie te organiseren. Een meerdaagse conferentie bezoeken is ook weg uit de sleur, vanachter je bureau, en nieuwe inspiratie krijgen. Huur een fiets, ontbijt op een terras, neem je nieuwe vrienden mee de stad in. Ik mocht zelfs meeroeien op de Maas met het roeiteam van Maastricht.
Roeien op de Maas
Kortom: veel nieuwe ervaringen en nieuwe vragen om me de komende tijd in vast te bijten. De volgende conferentie is hopelijk IASDR2023 in oktober. Maar in augustus ga ik eerst weer naar CTF in Zweden :).
Wil je mijn onderzoek naar Nederlandse overheidsdiensten volgen? Dat kan! Via mijn nieuwsbrief (in het Nederlands) of volg deze blog via mijn Linkedin.
Referenties en leestips
Koskela-Huotari, K., Svärd, K., Williams, H., Trischler, J., & Wikström, F. (2023). Drivers and Hinderers of (Un) Sustainable Service: A Systems View. Journal of Service Research, 10946705231176071.
Jakob Trischler & Jessica Westman Trischler (2022). Design for experience – a public service design approach in the age of digitalization. Public Management Review, 24:8, 1251-1270.
Op deze pagina vind je overzicht van alle boeken en artikels die ik in mijn onderzoek gebruik.
Deze maand schrijf ik over mijn nieuwe onderzoek naar overheidsdiensten die goed zijn voor mensen. Ik schreef het grote plan en de reis tot nu toe. In dit blog lees je over de aanpak en een eerste planning voor de komende jaren.
Je kunt je opgeven voor mijn nieuwsbrief. Een keer per maand krijg je een samenvatting van het onderzoek in je mailbox. Zo mis je niks en kun je makkelijk reageren en meedoen aan het onderzoek.
De aanpak kiezen
Een aantal persoonlijke overwegingen hielp me al vrij snel om te kiezen hoe ik dit onderzoek wil aanpakken. Al een aantal jaar werk ik graag overheidsbreed, vanuit het perspectief van burgers die met de hele overheid te maken hebben. Tijdens mijn master vond ik het kritisch sparren met een extern instituut heel fijn. Ik zocht daarom contact met de TUDelft om opnieuw zo’n constructie te vinden. In de vorm van een promotie-onderzoek kon ik zowel een excuus vinden om overheidsbreed te werken als samen te werken met een universiteit.
Maar… het gaat me niet om het ‘slechts’ produceren van nieuwe kennis. Nee, ik wil juist dat we in de praktijk bij de overheid vanuit de menselijke maat leren werken. Én ik heb natuurlijk mijn eigen ontwerp- en onderzoeksvaardigheden de laatste jaren in een bepaalde richting ontwikkeld, wat jullie sinds 2017 mee hebben kunnen lezen op dit blog.
Een aanpak die bij dit alles goed bij past is actie onderzoek. Voor mij is dat open actie onderzoek omdat ik over elke stap blog. Niet alleen het resultaat is open, maar juist het proces terwijl we aan de slag zijn. Jullie hebben dus alle kans om het proces bij te sturen!
Praktijk en theorie combineren
Actie onderzoek is niet het gemiddelde wetenschappelijk onderzoek. Het is een veel praktischere aanpak en daarom is mijn standplaats de komende jaren níet de universiteit, maar juist bij uitvoeringsorganisaties van de overheid zelf. Om van binnenuit in de praktijk samen met collega’s te onderzoeken.
Onderzoek dat uitgaat van de problemen die door organisatorische contexten worden gegenereerd en gericht is op verandering, vereist een radicale herwaardering van de relatie tussen kennis en actie, en van het verwante beeld van de ‘academische onderzoeker in een leunstoel’.
Van Marrewijk, A., Veenswijk, M., & Clegg, S. (2010) ‘The organizing reflexivity in designed change: The ethnoventionist approach’, Journal of Organizational Change Management, 23(3): 212‹29
Actie onderzoek heeft een aantal eigenschappen die goed bij mij en het vraagstuk passen. Actie onderzoek is namelijk:
in de situatie: het vraagt directe betrokkenheid bij echte en complexe problemen in de natuurlijke context
gebaseerd op relaties: we leren door relaties met stakeholders die allemaal verschillende inzichten hebben en op eigen manieren bijdragen aan het begrijpen en oplossen van problemen
gericht op verandering: samen zoeken we naar manieren om verandering te beginnen, te promoten en te beheren
reflexief: we beschouwen continu (in de actie) kritisch onze eigen praktijk; ik als onderzoeker en samen met alle participanten. We leren samen en er ontstaat een open en expliciet leerproces.
Uit: Giuseppe Scaratti, Mara Gorli, Laura Galuppo and Silvio Ripamonti. Action research: knowing and changing (in) organizational contexts. In: The SAGE handbook of qualitative business and management research methods: history and traditions, 2019.
Leestips
De komende tijd leer ik meer over deze manier van onderzoek doen. Tijdens mijn master leerde ik veel praktische vaardigheden en nu verdiep ik me ook in de methodologische achtergond. Naast het artikel uit de vorige paragraaf, heb ik veel aan de volgende boeken:
Introduction to action research, social research for social change van Davydd Greenwood en Morten Levin. Dit boek geeft een goed overzicht van de achtergrond van actie onderzoek en een aantal voorbeelden van verschillende stromingen/ aanpakken.
The reflective practitioner van David Schön. Deze las ik al tijdens het maken van de foto-interviews bij De begripvolle ambtenaar. Heel goed boek over reflecteren terwijl je bezig bent, over reflectie-in-actie.
Doing action research in your own organization van David Coghlan. In deze ben ik nu bezig. Veel komt overeen met de aanpak die ik ook bij de Begripvolle ambtenaar hanteerde, maar hij is veel uitgebreider en legt actie onderzoek fundamenteler uit.
Rol van dit blog
Als je mijn blog al langer volgt, vind je het misschien super logisch dat ik over dit onderzoek ga schrijven. Zo voelt het voor mij ook. Maar de komende tijd krijgt dit blog (en de nieuwsbrief) een belangrijke functie.
Ik begon ooit met schrijven als eigen archief, voor mezelf en de handvol collega’s die het misschien ook handig vonden. Later werd het een plek om mijn onderzoeksresultaten op te documenteren en weer later een plek om mee te kunnen praten in het maatschappelijk gesprek rond de menselijke maat.
Sinds oktober spreek ik mijn promotor Maaike Kleinsmann en begeleider Jasper van Kuijk elke maand. Het viel hen op dat ik vaak snel bepaal hoe iets geïnterpreteerd moet worden als het over de overheid gaat. “Ja, zo gaat dat gewoon bij de overheid,” zeg ik dan. Ik ben al 10 jaar ambtenaar en hoor, via dit blog, zoveel verhalen van jullie over hoe het bij jullie organisatie gaat, dat veel dingen zo vanzelfsprekend zijn voor mij. Dat is allemaal impliciete kennis waarvan ik zelf soms niet meer weet dat ik het weet.
Door te schrijven maak ik mijn eigen gedachten en keuzes expliciet. En door te delen kunnen jullie erop reageren en kennis en nieuwe vragen toevoegen. Zo reflecteren we samen in actie.
Dan de planning
Dit is een project van de lange adem. Het zal zeker een aantal jaar duren. Globaal zie ik het ongeveer zo voor me:
Jaar 1, hier zitten we middenin, is een voorbereidingsjaar. Belangrijk is:
het project opzetten en contact maken met jullie en andere stakeholders
in de literatuur duiken en een fundament maken voor de komende jaren
een concreet onderzoeksplan maken voor de jaren erna, inclusief afspraken met organisaties, een datamanagement plan maken, langs de ethische commissie, en vast nog meer wat ik nog niet overzie
aan mijn eigen skills werken, want het is nog wel andere koek zo’n promotieonderzoek
Jaar 2 en 3 ga ik in de praktijk aan de slag samen met organisaties. Ik kom bijvoorbeeld in jouw organisatie werken en samen maken we een dienst van a tot z vanuit het perspectief van de burger. Samen reflecteren we en leren we. Het komend jaar werk ik dit verder uit en zal ik ook delen aan welke criteria zo’n casus het liefste voldoet.
Jaar 4 bestaat uit afronden. Inzichten worden deelbaar en er komen mooie eindproducten. Dit wordt heel praktisch en toepasbaar voor iedereen die meegeholpen heeft en theoretisch in de vorm van een mooi proefschrift.
In de volgende blog, die binnenkort online komt, deel ik meer over het eerste jaar, en dan vooral over het duiken in de literatuur.
Tijdens een workshop bij DUO over datavisualisatie.
Ik gebruik steeds vaker schema’s, tekeningen en infographics wanneer ik iemand interview. Sinds corona interview ik vaak digitaal. Dit vond ik eerst heel onhandig en onpersoonlijk, maar ik ontdekte ook de voordelen. Juist omdat het digitaal is kun je heel makkelijk samen tekenen en informatie schematisch ordenen.
In deze blog wat voorbeelden hoe ik het visueel interviewen aanpak en wat tips om zelf aan de slag te gaan. Het lijkt me leuk om eens een workshop of meetup hierover te organiseren, dus ik hoor graag of daar animo voor is.
Samen tekenen
‘Ik kan helemaal niet tekenen’ is de eerste zin die bij veel mensen eruit rolt als ik deze werkwijze voorstel. Tot we aan de slag zijn en de geïnterviewde loskomt en steeds makkelijker vertelt en meetekent. En aan het eind: ‘nu is het voor mezelf ook veel duidelijker’.
Ik noem het visueel interviewen, samen tekenen, een schematisch gesprek, beeldpraten… bedenk een leuke naam. Het houdt in dat we terwijl we praten direct visualiseren hoe het in mekaar zit. Dat kan bijvoorbeeld door samen een mindmap te maken, een tijdlijn of een andere handige ordening. Tijdens het gesprek zet je alle informatie direct op de juiste plek en dat helpt beide gesprekspartners om tot de kern te komen en direct te zien of het verhaal compleet is.
En ja, je mag ook gewoon tekst gebruiken tijdens het tekenen.
Een paar voorbeelden
Janet Ramesar en ik maakten samen een tijdlijn. Die ging tien jaar terug tot nu. Op de tijdlijn plaatsen we haar ervaringen met de kinderopvangtoeslag. Je zag het overtijd steeds ingewikkelder worden. Door het zo op een rij te zetten zag je heel duidelijk oorzaak en gevolg. Het gaf ons houvast om in korte tijd het verhaal globaal te kunnen vastleggen. De hele tijdlijn maakten we in een zoomsessie van 1 uur. Janet vertelde, ik deelde mijn scherm en plaatste wat zij vertelde direct op de tijdlijn. Als ik het verkeerd plaatste, corrigeerde ze me: ‘nee, dat moet eerst. Die moet meer naar rechts’. Het gaf ons allebei houvast.
Een stukje uit de tijdlijn die Janet en ik samen maakten over haar ervaringen met de kinderopvangtoeslag.
De tijdlijnopzet gebruikte ik later zelf toen ik een maand uit mijn relatie met de overheid in kaart bracht. En ik paste hem toe in een project voor Werk aan Uitvoering waar ik samen met Maureen Hermeling iemand van Loket Geldzaken van de Gemeente Den Haag interviewde (op mijn blog noemde ik hem Puzzelaar Patrick). Met z’n drieën brachten we zo complexe casuïstiek rond schulden in kaart.
Een stukje uit de tijdlijn van Puzzelaar Patrick en meneer N.
Bij de Ombudsman gebruikte ik tijdens een serie interviews met collega’s niet een tijdlijn maar een tekening van de organisatie. De hamvraag was ‘hoe moeten we onze eigen activiteiten organiseren om meer effect te hebben op de overheid?’ In elk interview maakten we samen een nieuwe tekening van onze ideale organisatie. Tijdens het maken van die tekening stelde ik steeds waarom-vragen. Wat ik leerde van die gesprekken beschreef ik in de blog over een professionele luisterstandaard. Dit is de basistekening die ik gebruikte als start voor de gesprekken (dus voordat iedereen ermee begon te schuiven en een nieuwe tekening maakte):
Aan het begin van de coronacrisis mocht ik een tijdje meewerken met het team dat de corona-apps maakte bij het ministerie van Volksgezondheid. Van Jasper, mijn man had ik toen net een Ipad gekregen. Ik nam hem mee tijdens mijn bezoeken aan de GGD en schetste samen met GGD-medewerkers het bron- en contactonderzoek en de knelpunten die ze ervaarden. We maakten bijvoorbeeld dit soort schetsen:
Laatste voorbeeld, ook bij de Ombudsman. In een korte brainstorm over signalen en klachten als input voor onderzoeksonderwerpen tekenden we ze zodat je direct de omvang van de signalen kon zien en de overlap met de rest van de onderwerpen. Dit was een eerste schets die we later konden uitwerken.
Waarom het werkt
Samen tekenen werkt gewoon lekker. Ook in gesprekken op locatie heb je zo een flipover erbij gepakt: ‘zal ik het even uittekenen?’ en de spraakverwarring verdwijnt als sneeuw voor de zon.
Digitaal kan dat net zo makkelijk. Je deelt je scherm, je tekent hoe je het voor je ziet en de ander kan direct reageren: ‘nee, je hebt het helemaal verkeerd, het moet juist zo’.
Samen maken betekent samen ordenen en samen structuur aanbrengen aan het verhaal. Het is direct tastbaar. Je ziet het voor je. Je vangt de woorden in beeld voordat ze wegglippen.
De input is de output. Je hebt direct na het gesprek de basis voor het resultaat en de documentatie al klaar staan. Na het gesprek met Janet had ik zelf nog maar een uurtje extra nodig om alles netjes te maken en de steekwoorden uit te schrijven. Na een check van haar was het af.
Digitaal praten is op deze manier veel minder onpersoonlijk. Je bent samen aan de slag. Je hoeft elkaar helemaal niet per se te zien, want je deelt je verhaal evengoed en bent samen creatief bezig. Dat activeert ook al zit je beide achter een scherm op afstand. En als extra bonus hoef je na afloop niet nog eens een stapel post-its of flip-overs uit te tikken.
Dit heb je nodig
een digitale tekentool. Ik gebruik Miro, maar je kunt bijvoorbeeld ook je Ipad aansluiten op je laptop, meetekenen en je scherm delen. Of een ander digitale tool gebruiken, er zijn er zat.
een basisarchitectuur. Bedenk van te voren hoe je het gaat opzetten. Maak je een tijdlijn? Een schematische opzet van de organisatie? Een mindmap van vragen en antwoorden? Of nog iets anders? In Miro heb je handige kant-en-klaar templates die je kunt gebruiken.
Skills om te schetsend visualiseren. Het hoeft niet in 1x perfect. Hardop nadenken ‘hmm hoe zal ik dit uitbeelden’ is prima. De ander helpt dan ook mee, en je geeft de ander de kans om samen te maken. In een masterclass van Stefanie Posavec (bekend van Dear Data) leerde ik de basistechnieken om visueel te werken. Ik schreef er deze blog over en gaf later deze workshop erover bij DUO.
programma om te videobellen en je scherm te delen
Voor gevorderden:
de ander ook bewerkrechten geven in je programma. Neem dan tijd voor een korte intro en leg uit hoe het tekenprogramma werkt. Ik trek hier zeker 10 minuten voor uit en oefen samen wat. Soms is het lastig en werkt het makkelijker als ik zelf teken en vragen stel. De ander denkt dan mee en geeft mij tekeninstructies. Daarom noem ik het ook visueel interviewen, want je helpt de ander zijn verhaal in beeld of schematisch te vertellen.
Aan de slag
Enthousiast om ook samen te tekenen met je collega’s of degene die je interviewt? Ik hoop dat je hier wat aan hebt. Leuk om te zien hoe jij het aanpakt, dus deel je resultaat ook met mij (en anderen!).
Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.
Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.
Ik kan het gewoon zien
Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?
Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.
Openmaken en bekijken
Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.
Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?
Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.
Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.
Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.
Wat we willen bereiken
Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:
We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].
Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:
de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.
De methode ontwerpen
In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.
Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.
Het maakproces geven we zo vorm:
Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties
We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.
We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.
Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?
Wat zijn de beslisregels die over de nationaliteitstoets gaan?
Op welke wetonderdelen zijn de beslisregels gebaseerd?
Hoe zijn de beslisregels geprogrammeerd?
Hoe zijn ze in de werkinstructie opgenomen?
Welke data is nodig en wat zijn bronnen?
Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?
Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?
Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?
Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?
Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?
‘Wat zit DUO gek in elkaar’
De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)
Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.
Filmpje met de ervaringen van de eerste maakdag bij DUO.
De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.
Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).
Een impressie hoe dat eruit zag:
Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.
Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.
Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!
Prototype van de werkmethode die we binnenkort met de SVB gaan testen
Twee vragen
Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.
En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.
Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!
Tijdens de overstroming vorig jaar is in Valkenburg een kade ingestort en nu tijdelijk gerepareerd door het Waterschap. Het pand rechts staat leeg, de gevel hangt nog altijd gevaarlijk naar beneden.
Hoe gaat het bijna een jaar na de overstromingen in Limburg-Zuid met de schade-afhandeling? Zijn mensen alweer terug in hun huis en is ‘alles weer normaal’? Of niet? Begin maart ging ik samen met een collega drie dagen naar Valkenburg aan de Geul, Gulpen-Wittem en Meerssen om zelf te zien wat de nasleep van de overstromingen inhoudt. Ik nam mijn camera mee.
In dit blog lees je hoe we dit bezoek aanpakten, over mijn overpeinzingen over dit soort gebeurtenissen in de toekomst en welk effect ze hebben op de relatie van burgers met de overheid.
De aanleiding
In januari bracht Reinier van Zutphen, de Nationale ombudsman samen met Jan, een collega een regiobezoek in Limburg zoals ze wel vaker doen. Reinier sprak onder andere met de burgemeester van Valkenburg, Daan Prevoo. Hij vertelde dat het met die nasleep helemaal niet goed ging. De week erna vroeg Jan of ik mee wilde om op korte termijn wat langer naar Limburg te gaan en samen te kijken wat er precies aan de hand is. Ik ging mee omdat ik vorig jaar de gevolgen van de gaswinning ingedoken ben en we wat overlap zagen zo op het eerste gezicht.
We waren van maandag tot woensdag te gast bij de drie gemeenten die vorig jaar het meest getroffen waren tijdens de overstromingen: Valkenburg aan de Geul, Gulpen-Wittem en Meerssen. Medewerkers die veel met de nasleep van de overstromingen bezig zijn hadden een programma voor ons gemaakt.
Maar eerst: wat is er vorig jaar gebeurd?
In de week van 14 juli regende het enorm in Belgie en Duitsland. Dat leidde tot overstromingen die vervolgens Zuid-Limburg binnenstroomden. Ik vond dit filmpje van het jeugdjournaal dat goed laat zien waar bewoners mee te maken kregen:
Op 16 juli riep het kabinet na een crisisberaad de watersnood in Zuid-Limburg formeel uit tot nationale ramp. Op BNR die dag: “Dat betekent dat het kabinet de Wet Tegemoetkoming bij Schade in werking stelt. Op die manier krijgen gedupeerden snel duidelijkheid of hun schade wordt vergoed door de overheid, als hun verzekering het niet dekt.”
Maar het loopt dus niet goed. We gingen drie dagen met medewerkers van de drie Limburgse gemeenten op stap om daar zelf een beeld bij te krijgen.
Van te voren zochten Jan en ik al van alles uit. Ik visualiseerde dit op een tijdlijn. Wat is er ongeveer gebeurd en welke knelpunten zien we al op basis van wat we online tegenkomen?
Tijdlijn met eerste aannames van de problemen – klik voor groter
Deze tijdlijn gebruikten we als gespreksstarter op maandag. Onze vragen daarbij waren:
Wie zijn de belangrijkste partijen bij de nasleep en hoe verhouden zij zich tot elkaar? Waarin verschillen de meest getroffen gebieden van elkaar?
Wat zijn oorzaken en gevolgen die de afgelopen maanden gebeurd zijn? Zijn er kettingreacties?
Welke geldstromen zijn er en wie heeft waar toegang toe?
Welke knelpunten zijn er en hebben ze relaties met elkaar?
Wat merken bewoners en ondernemers hiervan? Hoe hebben gevolgen impact op hen en hun omgeving?
Op grote flip-overs brachten we de antwoorden in kaart. Aan het eind van de middag zat mijn hoofd vol van alle geldstromen en doodlopende eindjes in de regelingen. Hoe maken we hier kaas van?
Echte verhalen van echte mensen
De dagen erna bezochten we bewoners en ondernemers. Ik had mijn camera bij me om direct vast te leggen wat we tegenkwamen.
Bijvoorbeeld bij een man van mijn leeftijd in Valkenburg die waarschijnlijk nog tot volgend jaar in een vakantiehuisje woont met zijn vriendin en baby. Hij zit klem tussen de verzekeraar en de RVO, niemand wil zich branden aan de waarschijnlijke problemen met zijn fundering. Hij krijgt nu uit een particulier fonds een tegemoetkoming om dit uit te kunnen zoeken zodat er weer schot in de zaak komt.
Man wijst naar de Geul achter zijn huis en legt uit hoe het water in 7 minuten met kracht het huis instroomde en de gevel eruit rukte.
Bij een stel in Gulpen-Wittem die nog flink aan het klussen zijn in hun huis. Na het hoogwater van afgelopen juni legden ze opnieuw zandzakken bij de deuren, het nu lief kabbelende beekje stroomt direct achter hun huis langs. Ze willen graag dat organisaties hen helpen hoe ze pro-actief hun huis kunnen beschermen tegen toekomstig hoog water maar daar zijn geen regelingen voor. Wel voor schade achteraf.
Man leunt tegen de tuintafel terwijl hij vertelt over de ingrepen die hij rond het huis wil doen. De zandzakken liggen nog tegen het huis aan.
Een meneer in Meerssen die nog steeds in de garage woont omdat het huis nog niet gerenoveerd is. Hij zit met een gat tussen schade en vergoeding van 80.000 euro waar hij nergens mee bij terecht kan.
Man laat zien hoe hij tijdelijk in de garage woont omdat het huis nog niet weer bewoonbaar is na de overstromingen vorig jaar.
Allemaal gaven ze aan dat ze andere verwachtingen hadden, misschien wel naïef, toen vorig jaar gezegd werd dat de overstromingen een ramp waren en dat de overheid ze ging helpen. Een jaar later blijkt dat niet zo simpel.
Hoe gaan wij verder?
Ik zie twee routes voor me.
Op de korte termijn denk ik dat we het doolhof inzichtelijk moeten maken. De doolhof van geldstromen en regelingen die er zijn voor bewoners en ondernemers maar waar doodlopende eindjes inzitten waar burgers vastlopen. De verhalen die we tegenkwamen zijn daar voorbeelden van, deze mensen staan aan het eind van zo’n doodlopend weggetje en kunnen niet verder.
Hoe kan het dat de overheid zo’n doolhof ontwerpt? Waarschijnlijk met goede bedoelingen, ik ken weinig schurken bij de overheid. Maar toch: de overheid belooft iets, dat is positief, om vervolgens knellende bureaucratie te ontwerpen. Waarom doen we dit? En hoe komt het dat het zo uitpakt? Wat kan de Nationale ombudsman hierin betekenen?
Straat in Meerssen waar nog altijd flink geklust wordt en grofvuil en bouwmaterialen aan de straat staat.
Op de lange termijn lijkt het me interessant om me te verdiepen in toekomstige gebeurtenissen die te maken hebben met dit soort klimaatconflicten. De mensen die we spraken, zowel bewoner als burgemeester, zijn allemaal bezig met ‘de volgende keer dat dit gebeurt’. Want dat dit geen incident is, staat voor hen als een paal boven water. Er moet iets gebeuren in het Geuldal.
Wie is aan zet? Om deels, als dat nog kan, te voorkomen dat er weer zulke grote overstromingen zijn, te waarschuwen wanneer ze gebeuren en om snel en adequaat met de gevolgen om te kunnen gaan?
In de heg langs de Geul kun je het aangewassen gras nog zien hangen wat vorig jaar met de overstroming meegetrokken werd.
Vorig jaar las ik veel boeken over klimaatverandering en wat ons te wachten staat. Wat mag de burger verwachten van de overheid bij dit soort klimaatconflicten? En wat betekent dit voor hoe de overheid zichzelf ontwerpt?
Dat is voor mij nog een nieuw gebied. Dus ik hoor graag met wie ik daar eens verder over kan praten en wat ik moet lezen of luisteren erover. Let me know.
Luisteren naar de burger is helemaal hip in overheidsland aan het worden. Tenminste, dat lees ik in allerlei posts op Linkedin van ambtenarencollega’s. Dat willen is alleen nog niet doen. Luisteren naar de burger en vervolgens ook zorgen dat er iets mee gebeurt, is best moeilijk.
Daarvoor moet luisteren naar de burger niet incidenteel zijn, maar standaard. Het beleid en de uitvoering ervan moet erop gebaseerd zijn. In dit blog een start hoe je het luisteren naar burgers professioneel aan kunt pakken in je organisatie door goede standaarden in te bakken. Met als doel, zoals Marije van den Berg onlangs in haar podcast als nieuw begrip introduceerde, om beleid goed te kunnen beheren.
Over een aantal zaken schreef ik al eerder. Daar zal ik naar linken zodat je deze blog kunt gebruiken als start om door te lezen naar praktijkvoorbeelden of experimenten.
De ‘feedbackloop’
In augustus deelde ik op dit blog nieuwe vragen. Ik werkte net bij de Nationale ombudsman. Hier wilde ik graag afkijken hoe je de feedbackloop burger – beleid – balie kunt opzetten in een organisatie. Bij de ombudsman is deze feedbackloop in het klein, bij overheidsorganisaties is het groter en massaler.
De laatste weken analyseerde ik hoe je deze feedbackloop professioneel kunt opzetten. Ik ontdekte dat hier verschillende invalshoeken bij komen kijken die invloed hebben op elkaar.
Het begint uiteraard met een goed gesprek en de burger kennen. Daarmee is nog niet geborgd dat de leefwereld van mensen leidend is bij het maken van de systeemwereld van de overheid. Hiervoor is moeten we het professioneler aanpakken.
Dit kan door te investeren in strategie, kwaliteit, informatiestromen, structuur en cultuur.
Een piramide met vijf lagen: strategie, kwaliteit, informatiestromen, structuur en cultuur. De bovenste heeft de laag eronder steeds nodig. Maar let op: culture eats strategy for breakfast.
Deze 5 onderdelen hebben elkaar nodig en zijn elkaars fundamenten. Daarom zet ik ze in een piramide. Investeer je in de ene, heeft dit invloed op een andere laag. Ik ga ze stuk voor stuk langs.
Strategie
Waarom willen we luisteren naar burgers? En wat doen we met wat zij ons vertellen? Hier begint het uiteraard mee.
Het ultieme doel is, als je het mij vraagt, om overheidsbeleid en -diensten te maken die goed zijn voor mensen. En ze continu met zorg te beheren. Dat betekent niet dat iedereen alles maar mag en kan, ook handhaven of grenzen stellen kan op een humane en begrijpelijke manier.
Ik heb de meeste ervaring in uitvoeringsorganisaties die diensten maken voor burgers. In deze context: wat zijn eigenlijk overheidsdiensten die goed zijn voor mensen? Lou Downe schrijft in Good services 15 principes voor goede overheidsdiensten. In een eerder essay schreef ik dat ‘het niet gaat om de website (of welke vorm je overheidsdienst heeft) maar om mensen’. Mensen hebben een doel of maken iets mee, en als overheidsorganisatie ben je daar een onderdeel van.
Een handig startpunt om te beginnen met deze denkwijze is de oefening aanleiding, doel en taak. Zo naar je dienstverlening kijken verandert direct je blik 180 graden van het organisatieperspectief naar het perspectief van de persoon die te maken heeft met de overheid.
Een voorbeeld van aanleiding, doelen, taken en problemen vanuit het perspectief van een kinderopvanglocatie die te maken heeft met DUO. Dit voorbeeld komt uit deze blog uit 2017 :).
Wat betekent dit voor de strategie van burgeronderzoek in je organisatie? Al het onderzoek moet ertoe leiden dat je organisatie gevalideerd inzicht krijgt in de doelen, taken en aanleidingen van burgers. En die in de context van hun leefwereld kunnen plaatsen.
Bij de Dienst Uitvoering Onderwijs was ik onderdeel van het digitale team waar we ook met een aantal burgeronderzoekers (UX researchers) werkten. We gebruikten de leus van de Britse Government Digital Service: the strategy is delivery. Burgeronderzoek werkt pas als je samen met alle disciplines die verantwoordelijk zijn voor de dienstverlening het zo maakt dat de gebruiker ook echt zijn doel bereikt. Je toetst of je dit doel behaalt hebt als de cyclus rond is.
Ook bij de Nationale ombudsman onderzoeken we op die manier. Alle goede bedoelingen van de overheid ten spijt, uiteindelijk gaat het erom wat de burger ervan merkt in de eigen context. The proof is in the pudding.
Een voorbeeld. Vluchtelingen die naar Nederland komen om een nieuw leven op te bouwen spreken zelden Nederlands, meestal ook geen Engels en zijn soms zelfs analfabeet. Toch heeft DUO een site die voor inburgeraars zelf niet te begrijpen is. Uit gesprekken die we hadden met deze mensen en hun begeleiders hoorden we dat ze vaak Google Translate gebruikten om te begrijpen wat er op een site stond. Daarom bedachten we een ingebouwde Google Translate functie, waarmee je zelf de site in Arabisch zou kunnen lezen.
Maar iemand testte de functionaliteit en kreeg een rare tekst terug. Dat verhaal ging snel rond over in de organisatie en de vertaalfunctie kwam er niet. Terwijl het de mensen waar het hier om gaat echt zou hebben geholpen. Onze strategie om diensten te maken die de gebruiker zijn doel helpt te halen, legde het loodje. Het inzicht hoe vluchtelingen digitale producten gebruiken leidde niet tot moedige keuzes om een website te maken die ze kunnen lezen.
Dat brengt me bij de tweede laag van de piramide. Want om deze strategische doelen te halen, heb je nodig…
Kwaliteit
Een goed gesprek kunnen de meeste voeren, en natuurlijk begint het daar ook mee. Maar luisteren naar de burger is ook gewoon een vak. Als organisatie heb je gevalideerd inzicht nodig in de leefwereld van de burger. Hiervoor heb je goede kwaliteit nodig van het burgeronderzoek dat uitgevoerd wordt.
En de oplossing is eigenlijk best simpel: neem goede mensen aan, leidt mensen op, maak er een echte baan van.
Investeer in methoden en technieken. Gebruik mixed methods: haal inzichten op (kwalitatief) en valideer ze (kwantitatief). Onderzoek wat mensen zeggen en wat ze doen. Vaak is dit niet hetzelfde. Graaf dieper en plaats wat je leert in context.
Een screenshot uit de infographic die ik maakte over de manier waarop we bij DUO burgeronderzoek doen. De onderzoeksmethoden zijn gecategoriseerd wanneer je ze waarvoor kunt inzetten.
En reflecteer op hoe je werkt. Op je eigen bias, van jezelf, van het team en van de organisatie. Welke aannames zijn er over de burger? Zijn ze terecht, en hoe kun je daarachter komen? Wat betekenen ze voor de diensten die jullie maken? Maak ze bespreekbaar en onderzoek ze.
Voorbeeld: je kan het gevoel hebben dat het voor Groningers met aardbevingsschade ‘nooit genoeg’ is. Je doet je best als overheidsprofessionals maar krijgt steeds de deksel op de neus. Onderzoek dit idee. Is het waar? En als het waar is, wat zou er dan achter zitten? Welke ervaringen hebben voor Groningers eventueel tot dit gevoel geleid? Met wat je leert kun je nog eens kritisch naar het werk kijken. Hoe kan de overheid een brug slaan en wat betekent dit voor hoe je je diensten maakt en aanbiedt?
Een screenshot uit de infographic die ik maakte over de manier waarop we bij DUO burgeronderzoek doen. Onderzoek is pas af als je inzichten impact hebben op de diensten en producten.
Goede kwaliteit is niet alleen nodig in het doen van onderzoek, maar ook in het overbrengen van de inzichten. Wat is de kwaliteit van de aanbevelingen en wat gebeurt ermee? Wanneer je onderzoeksbevindingen genoteerd staan – in welke vorm dan ook – ben je pas op de helft. Hoe je ze deelt en met wie, bepaalt ook wat ermee gebeurd.
Dit is trouwens een van de redenen waarom ik overtuigd ben van de waarde van vaste onderzoekers in je organisatie en niet (alleen) samenwerken met externe onderzoeksbureaus die na het opleveren van de inzichten afscheid nemen.
Om goede kwaliteit te leveren heb je trouwens iets cruciaals nodig:
Informatiestromen
Bij de ombudsman komen er over allerlei onderwerpen en organisaties klachten en signalen binnen. Je kunt het zo bijzonder niet bedenken of er is weleens iets langsgekomen. We deden bijvoorbeeld laatst onderzoek naar een seance op een begraafplaats in Amersfoort.
Een overheidsorganisatie kijkt meestal niet zo breed. Bij DUO deed ik onderzoek naar de stufi en het onderwijs. Maar niet naar de hypotheken of de arbeidsmarkt. Vanuit het perspectief van de doelgroep hebben deze onderwerpen wel met elkaar te maken. Als overheid is het daarom nodig om deze onderwerpen te bundelen willen we weten waar studenten tegenaan lopen en wat ze nodig hebben van de overheid.
Sterker nog: uiteindelijk is het 1 relatie die iemand heeft met de overheid, en elk contact dat ‘ie heeft, heeft impact op die relatie. Ik visualiseerde eens een maand uit mijn eigen relatie met de overheid en ik belandde al snel in een enorme relatiespaghetti. It’s complicated, yes, it is.
Maar laten we even rustig beginnen…
Zelfs binnen 1 organisatie is het al moeilijk genoeg. Feedback van burgers sijpelt van alle kanten de organisatie binnen: via instagram, twitter, het feedbackformulier op de website, via het klantcontactcentrum. We doen steeds vaker pro-actief onderzoek: gebruikerstesten hoe specifieke applicaties gebruikt worden, hoe brieven gelezen worden en allerlei A/B-testen. We meten gedrag op overheidswebsites en er zijn allerlei bureaus of adviesorganen die uitgebreid onderzoek doen naar interessante thema’s.
Dit moet allemaal bij elkaar komen in heldere doorzoekbare informatiestromen. Zodat je makkelijk patronen kunt herkennen en verbanden kunt zien.
Voorbeeld: bij DUO gebruikten we een onderzoeksarchief om al het onderzoek te documenteren. Je kon zoeken op een specifieke doelgroep (mbo-studenten) of applicatie (MijnDUO), maar ook op abstractere onderwerpen zoals stress of schuldgevoel. We deden nooit gericht onderzoek naar stress onder studenten, maar in meerdere onderzoeken kwam het terug. Doordat we onderzoek goed tagden in het archief vertelde de informatiestroom ons over deze invalshoek. Dit was de aanleiding om een onderzoek te starten specifiek over stress- en schuldgevoelens rond de lening bij studenten.
Het gaat ook de andere kant op. Niet alleen de informatiestromen naar binnen, ook naar buiten.
Wat ik zo interessant vind bij de ombudsman is dat je breed kunt onderzoeken en meerdere organisaties de bevindingen aanbiedt. De overheid heeft zich opgedeeld in ketens, allemaal losse partijen die in estafette samenwerken. Mijn onderzoek naar de gevolgen van de gaswinning hebben we bijvoorbeeld aangeboden aan het ministerie van EZK, van BZK, de NCG, het IMG, de 5 aardbevingsgemeenten en de provincie Groningen. Allemaal hebben ze een rol in de oplossing.
Willen we bij de overheid professioneel luisteren naar burgers, dan moeten we ook voorbij onze organisatiegrenzen de informatiestromen goed organiseren. Dat heeft allerlei haken en ogen, bijvoorbeeld goed rekening houden met de AVG. Maar het is wel nodig, willen we als 1 overheid diensten maken die goed zijn voor mensen en passen bij hun leefwereld.
Je loopt al snel tegen allerlei structuurgrenzen aan. Dus gaan we snel door naar de vierde laag van de piramide.
Structuur
Hoe zit het met ‘de governance’? Moet het 1 afdeling zijn? En hoe werkt die dan samen met andere afdelingen? Wie is er wel van, en wie hoeft er niet van te zijn? Bij DUO voerden we een paar keer per jaar de discussie of onderzoekers wel of niet vast in een ontwikkelteam horen, of juist tussen de teams door moeten werken. Ik heb er veel blogs over geschreven en de ideale structuur weet ik nog niet.
Wat ik wel weet, is dit…
Je kunt inzichten over de burger niet opsluiten, het moet juist je hele organisatie door. Of je het dus centraal of decentraal organiseert, het maakt niet uit. Het moet op beide manieren werken.
Schurk dicht tegen teams aan die met de inzichten moeten werken of word zelfs deel van een team, en organiseer ook continu uitwisseling door de organisatie heen. Werk met vakgroepen, deel kennis en maak een centrale plek voor alle info. Hoe je het ook structureert, zorg voor heldere rollen en verantwoordelijkheden. Maak duidelijke afspraken en faciliteer samenwerking en initiatief zoveel mogelijk.
Burgeronderzoek is niet iets operationeels. Niet alleen. Inzichten over de leefwereld van mensen zijn essentieel op elk niveau.
Heel praktisch in de uitvoering, maar ook bij grote strategische keuzes over nieuwe regelingen, een belangrijke architectuurkeuze of omvangrijke proceswijziging. Aan het begin van een wetstraject wil je inzichten over de burger en de uitvoering, aan het midden en aan het eind. Daarom is het goed dat er veel meer aandacht komt voor het burgerperspectief bij het maken van beleid. En zouden er ook gewoon meer banen moeten komen op c-level op het gebied van burgeronderzoek (zie ook puntje 2 over kwaliteit).
Een voorbeeld. In 2020 trad de nieuwe onderwijswet Meer ruimte voor nieuwe scholen in werking. Twee jaar eerder waren we aan de slag hoe DUO deze wet zou uitvoeren. In de conceptversie van de memorie van toelichting stond een passage dat initiatiefnemers van een nieuwe school eerst met hun eigen digi-d inloggen bij DUO en aan hun aanvraag werken. Later in het proces kunnen ze dit dan omzetten naar een zakelijk account, wanneer de school ook concretere vormen aanneemt.
We maakten een prototype hoe dit zou werken en vroegen een aantal mensen die met een schoolinitiatief bezig waren om er eens doorheen te gaan. Maar zij wilden helemaal niet hun persoonlijke digi-d gebruiken om met DUO te communiceren, ben je mal, zij wilden direct een zakelijke relatie. Voor DUO was dit ook beter, want de MijnDUO’s voor burgers en scholen zijn in de architectuur gescheiden. Zo’n ‘omflipfunctie’ van accounts betekende nogal wat. Kortom: schoolleiders wilden het niet en het was duur om te bouwen. Hup, die passage eruit en hoe het ook kan zie je op deze webpagina van DUO.
Wat ik maar wil zeggen: met alleen operationeel onderzoek of klantfeedbackmanagement kom je er niet. Vroeg in het proces en op strategisch niveau moet je al beginnen met dit soort onderzoek.
Dit is allemaal nog binnen 1 organisatie. Om als 1 overheid te functioneren naar de burger moet ook de structuur daarbij helpen. Welke structuur helpt bij het samenwerken? Er zijn al oneindig veel werkgroepen en samenwerkverbanden.
Hierom is het belangrijk dat binnen een organisatie ook een centrale plek is waar al het onderzoek samenkomt. Vanuit die centrale plek kan er samengewerkt worden met andere organisaties. Een slimme zet die het makkelijker maakt om dwars door structuren en silo’s heen samen te werken is open werken.
En dan kom ik bij de laatste. Misschien wel de belangrijkste…
Cultuur
Ja, culture eats strategy for breakfast.
Voor alles wat ik hierboven schrijf, is vooral een luisterende cultuur nodig. Ruimte en hulp om samen te reflecteren op ons werk. Tijd en mogelijkheden om naar burgers te luisteren, of hun verhalen goed door te krijgen van professionele onderzoekers. De wens om de ander beter te begrijpen en het inzicht dat we gedreven worden door aannames, want ja, techniek en beleid zijn nu eenmaal niet neutraal. Veiligheid voor het geven en krijgen van feedback, ook en juist ‘naar boven’.
Iets maken puur en alleen zodat je het kan testen, misschien is het wel ruk, maar dat is oke, want zo leer je, en dan begin je opnieuw met nieuwe kennis. De overtuiging dat beleid en uitvoering nooit af is, want je relatie met de burger is nooit af.
De beste manier om met cultuur te beginnen is de confrontatie met de ander. Ik organiseerde bij DUO heel vaak ontmoetingen tussen ambtenaren en burgers, liefdevolle confrontaties, zodat collega’s kennismaken, luisteren en ervaren hoe belangrijk het is om te luisteren naar de ander. Ik vertelde de verhalen van studenten en vluchtelingen op allerlei manieren om zo’n cultuur te vergroten.
Dat deed ik naar het voorbeeld van Gov.uk, de Britse Rijksoverheid.nl. Zij gebruiken de stelregel dat iedereen die op een of andere manier aan de overheidsdienst meewerkt elke 6 weken 2 uur meekijkt bij onderzoek. Om te ervaren en te begrijpen waar mensen tegenaan lopen, wie ze zijn en wat ze nodig hebben.
De posters van het team achter Gov.uk. Two hours every six weeks.
Toen ik bij de overheid begon als onderzoeker en terug op kantoor kwam met allerlei verhalen over hoe het echt ging, in de buitenwereld, liep ik vaak tegen muren aan. ‘Wat een negatieve feedback allemaal’, ‘dat proces is nu eenmaal zo’, of ‘de website is al bijna af, we kunnen nu niet meer zo ver terug’. Waren mijn collega’s eerder in het proces maar wat begripvoller, dacht ik soms, niet wetende tot welk avontuur die aanname me zou verleiden.
Van 2018 tot 2020 onderzocht ik wat er nodig was om bij de overheid een begripvolle cultuur aan te wakkeren. Het leidde tot een fotoserie van mijn collega’s en negen essays over een begripvolle overheid: debegripvolleambtenaar.nl.
Je snapt, over cultuur wil ik dus nog wel wat alinea’s tikken, maar deze blog is al zo lang 🙂
Waar gebeurt het? Tell me
Dat waren de 5 lagen van de piramide. Je leest tussen de regels door vast nog veel vragen van mij en ziet hier en daar nog een los eindje. Ik zou daarom graag verhalen van anderen horen.
Wat gebeurt er al? Hoe zijn deze onderdelen bij andere organisaties? Wat kan aangevuld worden aan deze blog? Ik ben op zoek naar voorbeelden bij de overheid, klein of groot. Vertel!
Dat kan door te reageren op Twitter en Linkedin, openbaar (leuk dan zien anderen het ook gelijk), of via dm. Je kunt ook een bericht sturen naar maike @ klipklaar.nl.
Verscheurd vertrouwen. ‘Groningen moet eigen minister krijgen.’ Een twitterdraadje met de samenvatting van een 23-pagina’s tellend rapport en een digitaal magazine met Groningse verhalen in beeld. Afgelopen maandag kwam de eerste onderzoekspublicatie uit waar ik bij de Nationale ombudsman aan gewerkt heb.
In dit blog vertel ik hoe deze tot stand kwam en hoe zo’n onderzoek er achter de schermen aan toe gaat. Hoe pakten we het aan, waarom deze keuzes, en welk effect hopen we te bereiken? Uiteraard allemaal door mijn eigen bril.
Eerst wat context
Deze zomer maakten we een reconstructie van de gevolgen van de gaswinning vanuit het perspectief van bewoners in Groningen en Drenthe. We is het team Gaswinning bij de Nationale ombudsman waar ik ook bij hoor. Als vertrekpunt gebruikten we een rapport uit 2017 waar de Nationale ombudsman samen met de Kinderombudsman 6 concrete aanbevelingen gaf. Wat is daarvan terecht gekomen?
Door opnieuw met bewoners te praten, onze klachten en signalen van de laatste jaren op een rij te zetten en de (politieke) stand van zaken te onderzoeken, kwamen we tot nieuwe conclusies. Of nou ja, nieuwe… eigenlijk zijn ze nog hetzelfde.
Deze nieuwe oude conclusies presenteerden we in een digitaal magazine samen met een uitgebreide reconstructie. Ook deelden we een nieuwe webpagina waar bewoners en medewerkers van betrokken instanties onze onderzoeken en interventies kunnen volgen.
Zo gingen we te werk.
Tijdens een rondleiding met het team Gaswinning in ’t Zandt in juni 2021. Fotograaf Hans Roggen
Voor mei
Ik begon op 6 mei bij de Nationale ombudsman. Het onderzoek was toen al gestart. Het team had een overzicht gemaakt van alle klachten en signalen die we sinds 2015 hadden gekregen van bewoners. Toen publiceerden we ons eerste rapport, over de bestuurlijke spaghetti.
En er was al overzicht van alle onderzoeks- en zaakrapporten, zorgenbrieven en nieuwsberichten die we hadden gepubliceerd tot nu toe. Ook hadden ze een aantal mensen gebeld die in de afgelopen jaren een klacht hadden ingediend bij ons. Hoe verging het hen nu?
Mei en juni
Begin juni stond een driedaags bezoek gepland aan Groningen en Drenthe met het hele team en de Nationale ombudsman zelf. We gingen langs bij een aantal instanties en bij bewoners. We mochten toen nog maar met 2 personen tegelijk bij iemand op bezoek vanwege de coronaregels, dus verdeelden we ons in duo’s en reden door prachtig Grunn. Zo konden we veel bezoeken tegelijk afleggen.
Over dit bezoek schreef ik eerder deze blog over mijn stadse ogen. Ik kreeg onder andere een rondleiding van Francis van der Kamp en haar partner in hun omgeving. Later heeft zij deze rondleiding en haar verhaal opnieuw met ons gedeeld voor dit beeldverhaal in het digitale magazine.
Francis van der Kamp bij haar eigen huis terwijl die flink versterkt wordt. Fotograaf Hans Roggen
Juli
Analyseren en schrijven. Wat zeg je wel, wat niet? Hoe onderbouwen we onze uitspraken? Waar zagen we dit probleem? We maakten een genuanceerde reconstructie. Er zijn ook zaken goed gegaan de laatste jaren.
Een van onze aanbevelingen was bijvoorbeeld dat het Rijk de verantwoordelijkheid voor schade en versterken naar zich toe moet trekken. Dat is gebeurd. Maar de betrokkenheid van de overheid heeft ook weer nieuwe bureaucratie toegevoegd. Stappen vooruit, en achteruit.
We kozen de vertelvorm. Doen we een tijdlijn met álle veranderingen in het dossier als reconstructie? Boudel op Rieg van het Gasberaad geeft ook al veel info. En het Kennisplatform Leefbaar en Kansrijk Groningen bundelt jaarlijks ook alle kennis en inzichten. We maakten een keuze in een aantal onderwerpen die extra aandacht verdienen volgens ons.
We gingen terug naar de basis, wat riepen we eerder, hoe gaat het nu daarmee? We legden onze behoorlijkheidswijzer naast deze aanbevelingen en bekeken de huidige stand.
We kozen het rapport uit 2017 om op terug te vallen. Die brachten we trouwens ook uit tijdens een kabinetsformatie, nu zitten we in dezelfde fase van een nieuw te vormen kabinet.
Een zwembadje naast het verbouwde huis en een bouwhelm voor het grijpen. Uit de serie die Francis van der Kamp met ons maakte. Fotograaf Hans Roggen
Kortom: we maakten een reconstructie van de 6 eerdere aanbevelingen. En we brengen ze dit keer zoveel mogelijk in beeld. Het standaardplaatje van Groningen is de scheur in de muur of het huis in stutten. Maar de zorgen die steeds meer toenemen is wat er tussen die muren gebeurd. Het wantrouwen, de slapeloze nachten en de ophopende bureaucratie. Kunnen we dit laten zien in persoonlijke verhalen en beeld?
Augustus
Dan de vervolgstrategie bepalen. Wat gaan we doen als het uitkomt? Wat willen we ermee bereiken de komende jaren?
Met onze onderzoeken kunnen we verschillende soorten effect hebben. Het begint met aandacht vragen voor een probleem. Maar we willen natuurlijk dat problemen voor burgers opgelost worden. Daartussen zitten allerlei stappen:
Aandacht geven aan een vraagstuk
Inzicht in het probleem en maatschappelijk op de kaart gezet
Erkenning van het probleem door het bestuursorgaan
Inspanning van het bestuursorgaan om te verbeteren
Structurele verbetering van het overheidsoptreden
Burger(s) ervaren het probleem niet langer
Schematische weergave van het effect dat we per aanbeveling kunnen/ willen hebben.
Onze conclusie van de reconstructie is dat de meeste aanbevelingen uit 2017 level 6 lang niet gehaald hebben. Hoe kunnen we hier de komende tijd mee omgaan en de aanbevelingen monitoren? Wat kunnen wij doen zodat ze wel level 6 halen?
De komende jaren gaan we vaker dit soort (kleinere) reconstructies maken. Er dichter op zitten en het nauwer volgen.
We besluiten een webpagina te maken waar iedereen het onderzoek kan volgen. Zo kunnen we steeds korte onderzoeksiteraties doen, daarover delen, en samen bepalen met bewoners en andere stakeholders hoe we verder moeten gaan. Hoe en waar we effect kunnen hebben om de burger op weg te helpen en de overheid te helpen leren.
Persoonlijk intermezzo
In de zomer had ik 2 weken vrij. Ik merkte dat ik steeds meer in het onderwerp kwam. Dat heb ik natuurlijk enorm onderschat toen ik begon in mei. Pff… wat een verhalen en wat een geschiedenis.
Al sinds april, sinds ik weet dat ik in de gaswinning ga duiken, ben ik het ene na het andere boek aan het lezen. Via via kom ik in contact met mensen die hun verhaal willen delen. Ik zit in de tuin bij een stel uit Opwierde. Ik loop rondjes met mensen door het Noorderplantsoen. Ik drink koffie op een gemeentehuis. Ik volg een workshop Versterken bij de Aardbevingsacademie en zelfs op mijn eigen roeivereniging komen de verhalen naar me toe. Van bewoners en ook van medewerkers van het IMG en de NCG, van de gemeente of een andere betrokken instantie.
Iedereen heeft een knoop in z’n maag.
Snap met Iphone tijdens een van mijn tripjes in Grunn
Het doet me denken aan mijn eerdere onderzoek naar de rol van begrip voor burgers bij de digitale overheid. Ik fotografeerde collega’s bij DUO als ‘begripvolle ambtenaar’ om samen te onderzoeken hoe burgers een begripvolle relatie met ons kunnen ervaren.
Ik ontdekte: individuele ambtenaren proberen begripvol te zijn, maar als geheel is het systeem dat niet. Wat betekent dit inzicht voor hoe we onze reconstructie publiceren en wat we er daarna mee willen doen?
September
We geven de publicatie vorm. We kiezen voor meerdere vertellagen. Een uitgebreid onderzoeksrapport voor de die-hards en een bundel korte artikelen in een digitaal magazine. Met veel persoonlijke verhalen.
Aan de slag. Voor het digitale magazine werken we samen met contentburo Beklijf. Er rijdt een Groningse fotograaf naar Kantens. We doen beeldredactie. We schrijven introteksten. Selecteren vervolgartikelen. Maken de webpagina aan. We stemmen intern af. Collega’s lezen mee.
En we hebben alvast contact met andere partijen. We laten de betrokken instanties weten dat er een rapport komt. En dat we graag met hen erover willen praten. Meestal praten we met bestuurders na het uitkomen van zo’n rapport. Uiteraard horen we graag van hen. Maar dit keer willen we ook met de mensen uit de praktijk praten.
De makers van beleid, systemen, processen en communicatie. Wie zijn zij? Wat doen zij met onze inzichten en aanbevelingen? In mijn vorige baan leerde ik dat juist op dit niveau veel beslissingen gemaakt worden.
Oktober
De eindredactie is aan de beurt. Puntjes op de i, dat werk. Samen met het team en de ombudsman nemen we de laatste strategie door. We schrijven het nieuwsbericht. Brieven worden ondertekend en verstuurd. Het rapport sturen we de week voor publicatie vast naar iedereen die mee heeft gewerkt (ook bewoners) en naar de partijen waarvan we graag willen dat ze ermee aan de slag gaan. Journalisten nodigen we uit voor een interview.
Verscheurd vertrouwen. Samen met collega's van de @nat_ombudsman onderzocht ik wat de gevolgen van de #gaswinning in Groningen en Drenthe zijn en wat er na onze aanbevelingen de laatste jaren eigenlijk is veranderd. 🧵👇
En dan komt het uit. Er komen krantenberichten. Reinier van Zutphen vertelt op de radio. Ik schreef een twitterdraadje. En reacties natuurlijk. Annemarie Heite en Kirsten de Jong reageerden in Trouw op het stuk. Het stond op de NOS en zelfs in parodie op De Speld. ‘Een eigen minister voor overheidsproblemen.’
Level 1 effect hebben we gehaald, er is aandacht.
Maar aandacht is niet het doel. Het doel is level 6: burgers ervaren de problemen niet langer. Hoe komen we daar? Dat is taai. Problemen zijn niet gisteren ontstaan en dus ook niet vandaag opgelost. We vonden zelf niet dat we echt met nieuws kwamen. Deze reconstructie had iedereen kunnen schrijven en is eigenlijk wel bekend. Sommige burgers waren daarom ook cynisch. Wat voegt het eigenlijk toe om dit nog eens te zeggen? Ouwe hap is het.
En voor medewerkers voelen de problemen misschien overweldigend. Je doet je best, maar het is te moeilijk. De problemen te oud, te lang, te vaak herkauwt, wat kun je nog? Weer een rapport. Is het te laat en heeft het nog zin?
Ik denk aan het Chineze gezegde: ‘Wat is de beste tijd een boom te planten? 20 jaar geleden. De een na beste tijd is vandaag.’
November
In november is het team weer drie dagen naar Groningen (en Den Haag!). We gaan met medewerkers van instanties praten. Niet de bestuurders, maar de praktijk in. Wij laten onze bestuurder ook thuis.
Waar lopen deze medewerkers tegenaan, waarom lukt het niet? En hoe kan het wel? Hoe kunnen zij 1 stap maken? Om wel 1 loket te maken voor bewoners? Om wel een gelijke relatie te creëren? Om inspraak mogelijk te maken? Een crisisaanpak te hanteren? Om vertrouwen te herstellen?
We willen zelf ook leren, bijvoorbeeld hoe onze aanbevelingen concreter kunnen. Minder hoog over zodat je er beter mee aan de slag kunt. Hoe we na deze input weer aan de poort kunnen rammelen zodat er beweging komt. Hoe kunnen wij ervoor zorgen dat dit rapport meer effect heeft dan het vorige en de reconstructie over 4 jaar anders wordt.
Wat zijn de eerste stappen om vandaag bomen te planten?
Om de beste ervaringen te bieden, gebruiken wij technologieën zoals cookies om informatie over je apparaat op te slaan en/of te raadplegen. Door in te stemmen met deze technologieën kunnen wij gegevens zoals surfgedrag of unieke ID's op deze site verwerken. Als je geen toestemming geeft of uw toestemming intrekt, kan dit een nadelige invloed hebben op bepaalde functies en mogelijkheden.
Functioneel
Altijd actief
De technische opslag of toegang is strikt noodzakelijk voor het legitieme doel het gebruik mogelijk te maken van een specifieke dienst waarom de abonnee of gebruiker uitdrukkelijk heeft gevraagd, of met als enig doel de uitvoering van de transmissie van een communicatie over een elektronisch communicatienetwerk.
Voorkeuren
De technische opslag of toegang is noodzakelijk voor het legitieme doel voorkeuren op te slaan die niet door de abonnee of gebruiker zijn aangevraagd.
Statistieken
De technische opslag of toegang die uitsluitend voor statistische doeleinden wordt gebruikt.De technische opslag of toegang die uitsluitend wordt gebruikt voor anonieme statistische doeleinden. Zonder dagvaarding, vrijwillige naleving door uw Internet Service Provider, of aanvullende gegevens van een derde partij, kan informatie die alleen voor dit doel wordt opgeslagen of opgehaald gewoonlijk niet worden gebruikt om je te identificeren.
Marketing
De technische opslag of toegang is nodig om gebruikersprofielen op te stellen voor het verzenden van reclame, of om de gebruiker op een website of over verschillende websites te volgen voor soortgelijke marketingdoeleinden.
