Categorie: Hoe doe je onderzoek?

Bij de Dienst Uitvoering Onderwijs deed ik onderzoek naar de doelgroep: studenten, inburgeraars en medewerkers van scholen. Ik bedacht nieuwe methoden hiervoor, bracht hun verhalen de organisatie in en leidde collega’s op om dit ook te doen. Nu leer ik bij de Nationale ombudsman hoe je overheidsbreed onderzoek kunt doen.

Hoe je dit aanpakt, dat vind je in deze onderzoekslijn. Ik deel methoden en materiaal. Ik deel succesverhalen en ook flaters.

Hoe doe je onderzoek? Promoklip

Uitgaan van de hele ervaring van je doelgroep

Post author By Maike
Post date 6 december 2024

De laatste maanden volg ik een team bij de overheid dat diensten herontwerpt om mensen te helpen hun schulden aan de overheid af te lossen. Ik kijk naar wat hen helpt en hindert om deze diensten mensgericht te maken. Om een antwoord op die vraag te vinden, moet ik eerst goed begrijpen wat de principes en activiteiten van mensgericht ontwerpen eigenlijk inhouden.

In een aantal blogs onderzoek ik daarom de komende tijd deze principes. Eerder schreef ik al wat deze principes en activiteiten zijn. Vandaag gaan we de diepte in op het principe: ‘uitgaan van de hele ervaring van je doelgroep’. Wat is het, hoe doe je het, en hoe begin je? Uiteraard met voorbeelden!

Wat is ‘de hele gebruikservaring’?

Ik gebruik de ISO standaard 9241-210 over het mensgericht ontwerpen van interactieve systemen voor definities. Gebruikservaring is volgens deze standaard de uitkomst van een interactie die iemand heeft met een technologisch systeem. Deze ervaring wordt beïnvloed door eerdere ervaringen, houding en vaardigheden van de gebruiker. Wanneer we het over gebruiksvriendelijkheid (usability) hebben, is het dus meer dan alleen het makkelijk maken van systemen. Het gaat er om of iemand een bepaald doel effectief, efficient en tot tevredenheid kan behalen door het een systeem, dienst of product te gebruiken.

Wanneer je een dienst ontwerpt, maak je keuzes: wat gaat de gebruiker doen en wat kan het systeem doen? Wanneer we eerst kijken wat de techniek kan, en daarna de rest bij de gebruiker neerleggen, maken we ineffectieve diensten. Het gaat er juist om dat je zoveel mogelijk complexiteit bij de gebruiker weg houdt. De taken voor mensen bij een interactie met de overheid moeten dus als geheel betekenisvol zijn voor hen.

Ontwerpen vanuit de hele ervaring betekent daarom dat je als overheid rekening houdt met de doelen die mensen hebben, de mogelijkheden die ze hebben en de tevredenheid op korte (bijvoorbeeld comfort en plezier) en lange termijn (gezondheid en welzijn).

In de literatuur is dat de daadwerkelijke Service met een hoofdletter. Dat met jouw dienst iemand eigen doelen kan halen, en dus waarde kan creëren.

Zijn-doelen en doe-doelen

Zo op het eerste gezicht lijkt gebruikservaring dus te gaan over het moment waarop iemand een brief leest, inlogt bij een portaal of een ander systeem gebruikt. Maar het gaat verder dan doet. Het gaat erom of iemand een doel effectief, efficient en tot tevredenheid kan halen.

Je moet daarbij onderscheid maken tussen zijn-doelen, doe-doelen en taken. Niemand heeft als doel om op dinsdagmiddag het CJIB te bellen. Dat is een taak. En die hoort bij een doe-doel, namelijk kijken of je vanwege een onverwachte tegenvaller toch iets kunt regelen met de betaling van je schuld. En die hoort weer bij een zijn-doel: dat je grip op je eigen financiën wilt hebben en maandelijks wilt uit kunnen komen. Een taak als ‘het CJIB bellen’ kan een heleboel verschillende doe- en zijn-doelen ondersteunen. Gebruikservaring gaat net zo goed over deze hoog-over-doelen als over taken.

Wat is dan de hele service?

Bij DUO moeten jonge statushouders die zowel inburgeren als studeren in twee verschillende portalen inloggen: één voor hun studielening, die oploopt, en één voor hun inburgeringslening, die aftelt. Dit komt omdat verschillende afdelingen bij DUO verschillende wetgeving uitvoeren: de Wet op de Studiefinanciering vanuit het ministerie van Onderwijs en de Inburgeringswet vanuit het ministerie van Justitie en Veiligheid. DUO is geen uitzondering. Het komt vaak voor dat diensten het spiegelbeeld zijn van het organisatieharkje.

Elke organisatie die een systeem ontwerpt, zal een ontwerp maken waarvan de structuur een kopie is van de communicatiestructuur van de organisatie.
Conway’s Law, uit Platformland van Richard Pope

Om diensten te maken die goed zijn voor mensen moet je dus niet uitgaan van je eigen structuur, maar van hoe de persoon in kwestie het ervaart.

De manier waarop de overheid nu schuld int bij burgers is het spiegelbeeld van hoe de overheid zelf is ingericht. De Belastingdienst int belastingschulden, de Dienst Toeslagen int te veel ontvangen toeslagen en het UWV verrekent schulden met de uitkering die je van hen krijgt. De meeste klantreizen die de overheid gebruikt gaan uit van één vordering die de overheid bij iemand heeft. Terwijl iemand veel vorderingen tegelijk kan hebben bij meerdere organisaties. Dáár moet je voor ontwerpen. En dat kan ook verschillende doe- en zijn-doelen omvatten. In het programma gebruiken we een spectrum dat er ongeveer zo uit ziet:

Een schematische weergave van het spectrum 'schuld bij de overheid'.

Op verschillende momenten in het spectrum zijn andere zaken nodig. Aan ene kant zitten mensen die veel autonomie ervaren en aan de andere kant is er juist zorgplicht of repressie nodig. De diensten die worden ontwikkeld, zoals een vorderingenoverzicht en een betalingsregeling, helpen mensen om in hun situatie hun doelen te bereiken. Door vanuit de hele beleving te denken, kun je ook onderzoeken welke taken en doelen nog niet goed genoeg worden ondersteund, en zo nieuwe aanvullende diensten bedenken.

Diensten die verschillende aspecten in het spectrum ondersteunen.

Ik ontdek dat het denken vanuit de hele beleving van iemand met schulden, en het vervolgens ontwerpen van diensten daarvoor, een van de grootste krachten is van het programma dat ik volg. Doordat ze de eigen organisatielogica uitschakelden, zagen ze hoeveel overlap er in schulden kan zitten. En problemen rond schulden lopen makkelijk over in andere domeinen, zoals gezondheid en prestaties op school of werk.

Kijken vanuit de hele beleving van de burger zorgt ervoor dat iedereen heel anders kijkt naar de systemen en processen die er zijn, naar organisatiestructuren en naar beleid en politieke opdrachten. Die zijn niet meer leidend, maar je kunt ze allemaal veranderen om vanuit die hele beleving te werken.

Je gaat het pas zien als je het doorhebt, maar wanneer dat zo is, dan kun je ook niet echt meer terug.

Hoe doe je dit?

Hoe kun je werken vanuit dit principe? De eerste twee activiteiten van mensgericht ontwerpen uit de ISO standaard bieden het perfecte startpunt:

De gebruikscontext begrijpen en specificeren. Deze context betreft zowel de gebruiker als alle andere partijen die een rol spelen in het probleem. Met verkennend gebruiksonderzoek kun je de werkelijke Service in kaart brengen. Mijn blog staat vol met methoden die je hiervoor kunt inzetten. Maar je kunt ook denken aan informatiebronnen zoals het CBS.
De specifieke behoeften van gebruikers en andere belanghebbenden vaststellen. Dit kunnen ook tegengestelde behoeften zijn die je later met elkaar moet zien te verenigen in het ontwerp. Kortom: breng de zijn-, doe-doelen en taken in kaart.

Tips om te beginnen

Zet als eerste je organisatie-oogkleppen af. Dit is de moeilijkste stap. Besef dat de structuur van je organisatie niet per se de werkelijkheid buiten het kantoor weerspiegelt. Schud Conway’s Law van je af.
Breng in kaart wat de zijn- en doe-doelen zijn van je doelgroep. Gebruik bronnen die over domeinen heen kijken, zoals de Algemene Rekenkamer of de Ombudsman. Of kijk naar wat universiteiten en lectoraten schrijven over algemene onderwerpen zoals ‘Armoede’ of ‘Wonen’.
Zoek ervaringsdeskundigheid op. Dit mag best kleinschalig zijn. Loop een dagje mee met iemand uit je doelgroep of met een professional die veel met je doelgroep werkt. Ik deed dat laatst met een deurwaarder en leerde daardoor veel breder naar het onderwerp schulden te kijken dan ik voorheen deed. Nodig een paar mensen uit je doelgroep uit op kantoor voor een kop koffie en wissel verhalen uit. Luister. Het zal je inspireren om te zien hoe breed je eigenlijk naar het onderwerp moet kijken en hoeveel overlap er met andere ‘dossiers’ is.
Ga vervolgens actief (en op professionele wijze) aan de slag met de eerste twee activiteiten van mensgericht ontwerpen.
Succes!

Verder lezen

Wat is mensgericht ontwerpen? Alle principes en activiteiten op basis van de ISO-standaard op een rij.
De zijn- en doe-doelen komen uit dit artikel: Hassenzahl, M. (2008, September). User experience (UX) towards an experiential perspective on product quality. In Proceedings of the 20th Conference on l’Interaction Homme-Machine (pp. 11-15).
Conway’s law en inspiratie over het maken van services vanuit de hele beleving heb ik uit: Pope, R. (2019). Playbook: government as a platform. Ash Center for Democratic Governance and Innovation, Harvard Kennedy School, Cambridge, Massachusetts.

Tags hcd

Hoe je begrijpt wat je ziet als je onderzoekt

Post author By Maike
Post date 7 augustus 2024

Deze zomer dompel ik me onder in alle observaties, gesprekken en activiteiten waaraan ik het afgelopen half jaar deelnam. Sinds februari volg ik het programma Clustering Rijksincasso. Begin juli kreeg ik het heldere idee om eens te kijken naar de data die ik tot nu toe had verzameld. Dat was nogal wat. In deze blog vertel ik je hoe ik deze data verzameld heb, en hoe ik het analyseer.

Wil je mijn onderzoek volgen, abonneer je dan op mijn maandelijkse nieuwsbrief.

Vorige maand schreef ik hoe ik de praktijkcasus opzet. Als actieonderzoeker observeer ik wat er gebeurt, maar doe ik ook actief mee. Ik volg een overheidsprogramma dat diensten in het schuldendomein herontwerpt op basis van mensgerichte principes. Deze blog lees je hier terug: praktijkcasus bekend.

Tijdlijn van het promotieonderzoek. Het uitgeklapte grijze vlak loopt van februari dit jaar tot nu, daar focus ik me deze zomer op.

In die blog zie je ook dat ik mijn onderzoek in verschillende fasen indeel. De uitkomst van de ene fase bepaalt de aanpak van de daaropvolgende fase. De aanpak bepaal ik samen met de participanten die meedoen in het onderzoek. Deze zomer focus ik me op het ‘uitgeklapte’ grijze vlak.

Je begint altijd met een vraag

Er is natuurlijk een reden waarom je je in een bepaalde groep en context begeeft. Je wilt iets weten. Dit half jaar heb ik me vooral gefocust op 2 deelvragen:

Hoe maken organisaties samen een dienst?
Wat helpt en hindert hen bij het mensgericht ontwerpen van zo’n dienst?

Vergeelde post-it met de onderzoeksvraag zodat ik er elke week aan herinnerd word.

Voordat ik begon met dit promotieonderzoek, had ik al enige ervaring met het doen van onderzoek. Dit blog staat er vol van! Dit is vooral toegepast kwalitatief onderzoek voor organisaties. De afgelopen twee jaar heb ik veel gelezen over de eisen die de wetenschap stelt aan nieuwe kennis op basis van kwalitatief onderzoek. Ik keek vooral naar hoe data wordt verzameld en geanalyseerd in etnografisch en participatief actieonderzoek.

Een belangrijk principe is bijvoorbeeld triangulatie: het gebruik van verschillende databronnen die elkaar aanvullen. Als je iets zowel observeert in gedrag, bespreekt in interviews en terugziet in de gebruikte documenten van de organisatie, is je verhaal beter onderbouwd. Dit geldt ook andersom: iemand kan wel iets zeggen, maar als je het vervolgens niet observeert of nergens in de archieven van de organisatie kunt vinden, tja…

Mijn data-verzamel-strategie

Ik heb op meerdere manieren data verzameld. Sommige waren bedoeld als input voor een andere manier van data verzameling, die vervolgens belangrijke bronnen waren voor mijn analyse.

Ik hield elke week observaties bij in een dagboek. In totaal heb ik 22 dagboeken, variërend van 4 tot 10 A4tjes. Ik sloot aan bij overleggen, lunchte mee en sprak tussen de bedrijven door met collega’s. Ik noteerde wat er gebeurde en wat me opviel.

Begin april organiseerde ik een workshop met het kernteam van het programma. Iedereen maakte een tijdlijn met voor hen bepalende momenten van de afgelopen tijd. Vervolgens wisselden we in een groepsgesprek ervaringen uit en reageerden op elkaars tijdlijn. Ik maakte tijdens het gesprek een begin met een gezamenlijke tijdlijn.

De observaties en de tijdlijnen vormden de input voor persoonlijke interviews met 13 collega’s die bij het programma betrokken zijn. De interviews hadden een vrije vorm. We bespraken de tijdlijn die ze gemaakt hadden en ik vroeg naar hun algemene ideeën over wat goede diensten zijn en hoe je ze maakt.

Ik werkte zelf mee aan een deelproject. Mijn eigen reflecties hield ik ook bij in hetzelfde dagboek. Over dit project schreef ik al de blogs Anders denken, nieuwe oplossingen en Een dag mee met een gerechtsdeurwaarder.

Ik gebruikte programmadocumentatie zoals mailwisselingen, notulen van vergaderingen en visiedocumenten. Er zit zelfs een appje in mijn datacollectie! Deze documenten gebruikte ik vooral als extra onderbouwing bij observaties of uitspraken uit de interviews.

Hoe de bronnen elkaar ondersteunen ziet er zo uit:

Visueel overzicht van de manier waarop ik verschillende databronnen gebruik in mijn onderzoek.

De berg data door

Begin juli stopte ik tijdelijk met het verzamelen van data. Tijd om te kijken of ik al antwoorden op de vragen kan formuleren. Op 2 manieren ging ik grondig door alle data heen.

Mijn onderzoek focust zich op verandering, en hiervoor is tijd nodig. Daarom koos ik een proceslens om naar alle data te kijken. Hoe dit werkt, leg ik uit in de blog Een proces onderzoeken. Het houdt in dat ik mijn data op tijdlijnen plot om de opeenvolging van gebeurtenissen en acties te zien om zo onderliggende mechanismes te kunnen vinden. Deze tijdlijnaanpak is de eerste manier waarop ik door de data ben gegaan.

Op de muur van mijn werkkamer maakte ik een grote tijdlijn van een paar jaar waar ik de bepalende momenten van collega’s op plaatste. Ik plaatste er stickertjes bij met met hun naam wanneer ze in hun interview over zo’n moment of periode vertelden. Vervolgens verdeelde ik de tijdlijn in periodes die mij logisch leken.

Een van die periodes maakte ik van dichtbij mee: het afgelopen half jaar. Hiervan maakte ik een gedetailleerde versie door al mijn dagboeken door te spitten en de belangrijke events per week te noteren. Events die ik beïnvloedde kregen een extra zwart bolletje. Te zien aan de groei van de zwarte bolletjes veranderde mijn rol van passieve toeschouwer naar actiever teamlid naarmate ik langer bij het programma betrokken was. Dat is prima, en ik ben blij dat ik dit zo goed heb vastgelegd en mijn reflecties hierop bijhield in het dagboek.

1988 unieke codes

De tweede manier waarop ik door alle data ben gegaan is door deze te coderen. Bijna al mijn data bestaat uit tekst. Zelfs de visuele data zijn ‘vertaald’ naar tekst, doordat collega’s erover vertellen in het groepsgesprek en hun interview.

Van de gesprekken die ik in audio opnam, maakte ik een letterlijk transcript. Voor sommigen was dat even wennen, want elke uhm staat erin. Niemand praat in keurige volzinnen. Vaak zoeken we naar woorden en bedenken we halverwege de zin een nieuw einde. Ik wilde graag de gedachtegangen en uitstapjes volgen. En ik wilde zo dicht mogelijk bij de exacte bewoordingen van de participanten blijven.

Voor het coderen van alle data gebruik ik ATLAS.ti. Op hun website hebben ze een handige uitleg wat coderen in kwalitatief onderzoek inhoudt. In het kort: ik ga elk stukje tekst langs om te kijken waar het over gaat. Dit geef ik een label, een code dus. Een gemiddeld interview van een uur gaf ik 125 codes. In totaal leverde een eerste ronde coderen van alle teksten 1988 unieke codes op.

Bij het coderen van de teksten dacht ik voortdurend aan mijn onderzoeksvraag. Ik lette er dus op of participanten vertelden hoe ze diensten maakten. Welke processen zijn er en uit welke stappen bestaan ze? Elke stap krijgt een code. Gebruiken ze ontwerpmethoden, en welke hiervan zijn mensgericht? Alles wat ik tegenkwam, kreeg een code. Waar lopen ze tegenaan? En wat helpt hen juist? Je snapt het: een code!

Zo ziet dat eruit: een stukje interview met meerdere codes.

Daarnaast codeerde ik ook veel ‘en vivo’. Dit betekent dat je de letterlijke woorden van de participant als code gebruikt. Dit doe je als je zo dicht mogelijk bij de data wilt blijven. De reden dat ik dit doe, is dat de overheid voor ontwerpers buiten de overheid vaak een gesloten wereld is met een eigen taal. Om design toe te passen in een publieke bureaucratische omgeving, hebben we ook een gemeenschappelijke taal nodig. Daarom wil ik niet zelf al tijdens het coderen ‘vertalen’, maar de taal van de overheid zelf gebruiken.

Voorbeelden van dit soort en vivo-codes die voor ontwerpers heel leerzaam kunnen zijn:

een beschikking: dit is een term uit de Algemene wet Bestuursrecht. Het gaat om een officieel wettelijk besluit waar een organisatie wettelijk mandaat voor heeft om te nemen. Bijvoorbeeld het besluit dat je geen recht hebt op een toeslag en die moet terugbetalen. Tegen een beschikking kun je in bezwaar en beroep gaan. Dit zijn maatregelen voor rechtsbescherming voor burgers. Zo’n beschikking is een kernonderdeel van een overheidsdienst.
een voorportaal: een overleg waarin beslissingen door ambtenaren worden voorbereid. Er kunnen allerlei verschillende soorten voorportalen zijn. Soms moet een beslissing langs meerdere tafels en dus ook via meerdere voorportalen naar die tafels. Helemaal als verschillende organisaties iets moeten beslissen.
de tas van de stas: elk weekend krijgt de staatssecretaris de zogenaamde weekendtas mee met memo’s ter informatie of met iets waar een besluit over genomen moet worden. Voor ambtenaren vormt de tas van de stas een soort deadline waar je naartoe werkt. Bij een tas van de minister heet dit meestal tas M of tas van M.

Deze en vivo-codes kunnen samen een categorie vormen, bijvoorbeeld een categorie die beschrijft hoe de besluitvorming bij de overheid werkt wanneer je diensten herontwerpt. Of een categorie over de juridische aspecten van dienstverlening. Sommige codes kunnen ook tot beide categorieën behoren. Dit ga ik de rest van de zomer uitwerken. In een codeboek houd ik vervolgens bij welke hoofdcategorieën ik heb en wat de definities hiervan zijn. Zo kan ik ook een begin maken met een voorlopig antwoord op mijn 2 vragen: hoe maken deze organisaties samen een dienst, en wat helpt en belemmert hen bij het mensgericht ontwerpen hiervan?

Hoe dan verder?

Begin september bespreek ik eerst alle inzichten met de participanten die meededen. In kwalitatief onderzoek heet dit de member check. Dit is een cruciale stap in actieonderzoek, omdat je samen met participanten werkt in hun eigen context. Herkennen zij mijn voorlopige antwoorden? Hebben ze aanvullingen? Heb ik iets over het hoofd gezien? Tegelijkertijd is dit ook een interventie, omdat we samen reflecteren op onze werkwijze. Dit heeft invloed op hoe het onderzoek verder zal gaan. Wat zien zij als de volgende stap? Dit bespreken we ook samen.

Ben jij ook benieuwd naar de eerste inzichten? Op 12 september in Den Haag mag ik iets over mijn onderzoek vertellen op een evenement van PONT met Kustaw Bessems van de podcast Stuurloos. Je kunt je hier opgeven!

Verder lezen?

Coghlan, D. (2019). Doing Action Research in Your Own Organization. Sage.
Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Sage.
Saldaña, J. (2021). The coding manual for qualitative researchers. Sage.
Small, M. L., & Calarco, J. M. (2022). Qualitative literacy: A guide to evaluating ethnographic and interview research. Univ of California Press.

Tags data analyse, dataverzameling, methode

Hoe doe je onderzoek? Promoklip

Praktijkcasus bekend

Post author By Maike
Post date 3 juli 2024

Ik ben inmiddels dik anderhalf jaar bezig met mijn promotieonderzoek en inmiddels ook bezig met het praktijkdeel. In deze blog een update.

Je leest over wat ik onderzoek, hoe ik de casus kies en welke het is geworden. Aan het eind een tijdlijn hoe de komende tijd eruit ziet. Om in het reisthema te blijven: de route is nu redelijk uitgestippeld.

Status quo van overheidsdiensten

Vaak laat ik onderstaand plaatje zien om uit te leggen hoe de overheid nu diensten maakt, en wat ik dus wil veranderen met mijn actieonderzoek. Het is een versimpelende weergave van een maand uit mijn eigen relatie met de overheid.

Ik hield bij wat ik meemaakte met de overheid en wat daar bij de overheid allemaal bij komt kijken. Het viel me op dat de meeste organisaties overheidsdiensten maken en aanbieden alsof ze 1 op 1 een relatie met een burger hebben, maar in de praktijk is dat niet zo. Iemand is continu met verschillende organisaties aan het schakelen om van alles te doen. En de uitkomst van de ene dienst heeft vaak impact op een andere dienst. De vraag is of de collectieve waarden waar we bovenin mee beginnen nog wel zo uitwerken in de praktijk van het individu. Het antwoord: nou, nee.

Ik schreef er deze blog over die het startschot voor mijn promotieonderzoek vormde.

De status quo als het gaat om diensten die de overheid maakt voor mensen.

Hoe kan dit anders? En hoe kunnen we dat leren als overheid?

Om te kunnen onderzoeken hoe de overheid zich ontwikkelt in het maken van diensten die goed zijn voor mensen, vind ik het belangrijk om zo dicht mogelijk op zo’n dienst te zitten. Ik wil het niet in theorie of in een geïsoleerd innovatielab onderzoeken. Nee, zo dicht mogelijk bij de praktijk, met de poten in de modder, middenin de status quo. Dáár moet het gebeuren.

Door in te zoomen naar 1 dienst van de overheid, kan ik onderzoeken hoe de betrokken organisaties zichzelf ontwikkelen in het mensgericht ontwerpen daarvan. Sinds februari loop ik daarom mee met het Programma Clustering Rijksincasso (CRI). Zij zijn de status quo rond de schuldenproblematiek aan het herontwerpen. Het motto: één burger, één afloscapaciteit, één overheidsincasso. Dit filmpje laat zien hoe ze dat doen.

Hoe kies je een casus?

Eigenlijk weet ik pas een paar weken dat CRI en het aflossen van schulden echt mijn casus wordt. De eerste paar weken dat ik bij het programma rondliep was ik bezig om de praktijk te verkennen en vanuit de literatuur casus criteria te formuleren. In kwalitatief onderzoek is het belangrijk dat je dat heel goed selectief doet en kunt onderbouwen.

Uiteindelijk kwam ik tot de volgende criteria:

De organisatie/ het team herontwerpt een overheidsdienst, in dit geval ‘je schuld(en) aflossen’.
Deze dienst wordt door meerdere organisaties geleverd (service bundling).
Deze dienst is in het sociale domein en is typisch voor een nationale semi-gedigitaliseerde overheidsdienst.
Er is ruimte om bestaande structuren, rollen en processen (en organisaties) aan te passen.
De dienst wordt herontworpen op basis van mensgerichte ontwerpprincipes (of daar is ruimte voor).
Ik mag als actie onderzoeker meedoen.
Het team gaat ‘full circle’: maatschappij, politiek, beleid, uitvoering en burger zijn betrokken.
Er is organisatorische en politieke wil voor verandering.
De organisatie/ het team steunt en doet mee in een open aanpak.
Er is financiering voor de casus.

Ik moet eerlijk bekennen dat ik ook een beetje vals heb gespeeld. Het programma kende ik namelijk al en intuïtief wist ik: hier gebeurt iets interessants. Ik maakte daarom een lijst waarom ik echt geloofde dat dit de casus moest worden. Ik veranderde vervolgens CRI overal in ‘de organisatie’.

Ik eindige met bovenstaande lijst die veel ambitieuzer was dan ik had kunnen hopen voor een overheidscasus waar ik als onderzoeker toegang tot zou krijgen. Als ik niet wist dat dit bestond, had ik niet geweten dat dit kon, zeg maar. En toen zei mijn promotor, “Nou, Maike, in de wetenschap heb je ook zoiets als ‘opportunity’, dus ga ervoor!”

Als ik de status quo aanpas naar hoe dat in de CRI-logica eruit zou zien, krijg je deze artist impression:

Breed onderzoeken hoe organisaties samen diensten kunnen maken die goed is voor mensen. Diensten waarmee burgers grip op hun schuld(en) kunnen krijgen en kunnen voorkomen dat deze schulden oplopen.

Ik heb nu 22 weken een dagboek bijgehouden met observaties. Samen met een reeks interviews ga ik ze deze zomer analyseren. Dat vormt de opzet voor een tweede onderzoekscyclus die ik vanaf september met het team vormgeef. Binnenkort zal ik een blog schrijven hoe ik tot nu toe de data verzameld heb en wat mijn analysestrategie is.

Focus!

In de eerste maand van mijn PhD legde mijn begeleider me uit dat je met grote plannen begint die steeds kleiner worden, tot je nog maar een postzegeltje over hebt. En daar promoveer je dan op. Hij stuurde me deze strip die het perfect illustreert. Nu vond ik dat in het begin maar vervelend want ik ging natuurlijk alle problemen van de overheid oplossen, toe even.

Inmiddels heb ik wel behoefte aan focus en daarom besloot ik in juni om mijn hele promotie te wijden aan het maken van diensten rond dit thema: een schuld aflossen aan de overheid.

Dit betekent niet per se dat ik dit ook de hele tijd vanuit het programma CRI ga onderzoeken. Het liefst kijk ik dit jaar breed vanuit dit programma en wissel ik ergens in de loop van 2025 van perspectief. Dan wil ik dieper inzoomen op een overheidsorganisatie die onderdeel is van die brede schuldenaanpak. Zo zou dat er schematisch uit kunnen zien:

Verdieping op het perspectief van 1 overheidsorganisatie: hoe kan die zich ontwikkelen om vanuit het geheel diensten te maken die goed zijn voor mensen?

Het betekent wel dat ik niet meer ga switchen naar andere diensten die de overheid ook maakt. Mijn inzichten over hoe de overheid goede diensten kan maken zullen wel van toepassing zijn op die andere diensten, maar het geeft mij rust om de zomer in te gaan met een steeds concretere postzegel in het vooruitzicht.

Ben je ook bezig met diensten rond ‘schuld aflossen’ en deel je graag je inzichten met mij? Yes, please! Stuur mij een bericht via maike@klipklaar.nl. Ik deel het dan ook met het programmateam CRI.

Tijdlijn

Het onderzoek krijgt dus steeds meer vorm. En dat moet ook, want in oktober ben ik – qua tijd – halverwege. Zo ziet mijn tijdlijn er op dit moment uit:

De piketpaaltjes staan in de grond. Lekker!

Wil je het onderzoek volgen en niets missen? Abonneer je dan op mijn maandelijkse nieuwsbrief.

Tags criteria, praktijkonderzoek

Hoe doe je onderzoek? Promoklip

Een proces onderzoeken

Post author By Maike
Post date 26 april 2024

Poster van een van de principes van goede diensten uit het boek van Lou Downe

In mijn onderzoek speelt tijd een belangrijke rol. Of beter gezegd: processen die zich door de tijd afspelen. Om hier beter grip op te krijgen, volgde ik onlangs de cursus Process Research aan de Vrije Universiteit van Amsterdam.

In dit blog vertel ik hoe ik deze manier van kijken naar data en kennis wil gebruiken in mijn onderzoek. Ik zie daar 3 mogelijkheden voor en die werk ik de komende tijd uit.

Acties en processen

Maar eerst: wat is proces onderzoek? Als je dit blog al langer volgt, dan denk je misschien: “hey, maar je deed toch actie onderzoek?” Jazeker. Die twee kun je namelijk perfect combineren.

Als je iets wilt begrijpen, moet je het veranderen. Dit is een bekende uitspraak van Kurt Lewin, de grondlegger van actie onderzoek. Met actie onderzoek werk je samen met participanten in echte situaties. Samen probeer je iets te veranderen en reflecteer je hierop. Zaken gaan alleen zelden van de ene op de andere dag van A naar B, dat kost tijd. Deze verandering kun je op 2 manieren onderzoeken.

Een varianten aanpak kijkt naar de verschillen tussen A en B ware het 2 aparte foto’s en verklaart zo de verandering.
Een proces aanpak kijkt hoe A tot B geworden is. Dit is het bewegende beeld, de hele film. Juist het fluïde proces tussen A en B is hier interessant. Met deze proces lens kun je de mechanismes die de verandering mogelijk maken beter begrijpen.

Actie- en proces onderzoek gaan er allebei van uit dat organisaties bestaan uit verandering en dat je dit het beste kunt onderzoeken vanuit het perspectief van de binnenkant. Dat past perfect bij mij, als ambtenaar die wil onderzoeken hoe uitvoeringsorganisaties veranderen in dienstverleners.

In de cursus Process Research leerde ik over de theorie achter deze manier van onderzoeken. En op welke manier je data kunt verzamelen en met een proces lens kunt analyseren om tot kennis te komen. Ik vond het super interessant! Als je hier graag meer over wilt weten, of leestips zoekt, stuur me dan een berichtje.

Mijn onderzoek bestaat uit 3 lagen en op elke laag denk ik dat ik deze proces aanpak goed kan gebruiken. Ik kijk naar wat goede diensten zijn, hoe organisaties ze maken en hoe ik, in dit onderzoek, hierover leer samen met jullie.

Een goede dienst is een proces

Lou Downe schrijft in het beste boek over goede dienstverlening dat ik ooit las dat een goede dienst een werkwoord is. Vaak noemen we bij de overheid onze dienst een register, een portaal of – nog erger – een afkorting waardoor niemand eigenlijk meer weet wat de persoon aan de andere kant, de burger, ermee wil bereiken. Wat die wilde doen.

Een goede dienst is een proces met allerlei acties erin. Dit visualiseren we in een klantreis. Je kunt hier de processen van de organisatie ook aan koppelen. Dat heet een service blueprint. Zo zie je door de tijd hoe iemand een bepaalde overheidsdienst ervaart en wat jouw organisatie daarvoor doet en organiseert.

Ik kijk in mijn onderzoek naar wat goede dienstverlening is. Dat doe ik dit jaar in een casus bij het CJIB, bij het programma Clustering Rijksincasso. Hier kijk ik hoe een goede dienst eruit ziet voor mensen die een schuld aan de overheid moeten betalen.

Ik kijk ook een laag hierboven. Ik kijk hoe de overheid deze dienst herontwerpt en daardoor verandert.

Een dienst herontwerpen is ook een proces

Ik werk mee in het team dat deze dienst(en) wil verbeteren. Dat doe ik omdat ik wil leren hoe organisaties beter worden in het maken van diensten die goed zijn voor mensen.

Om de groei bij de overheid hierin te kunnen volgen, leg ik de gebeurtenissen vast in de tijd. Samen met het team dat ik volg reflecteer ik aan de hand van gebeurtenissen in het verleden. Laatst maakten we bijvoorbeeld allemaal een tijdlijn van de belangrijke momenten in het project. In interviews vraag ik vervolgens hoe mensen te werk gingen rondom die gebeurtenissen. Wat de strategie is, wat ze belangrijk vinden en hoe ze keuzes maken. Over deze methode heb ik eerder geblogd: visueel interviewen.

Ik maakte ook mijn eigen tijdlijn, want ik ben zelf ook onderdeel van het team en denk/ werk mee hoe de dienst beter kan. Dit is de mijne, nagetekend.

Ik ben nog aan het uitproberen hoe ik de data goed kan anonimiseren, maar dit is een beetje teveel van het, denk ik, haha.

Straks leg ik de tijdlijnen en verhalen naast elkaar en kun je vanuit meerdere perspectieven zien hoe de dienst tot stand komt en de organisatie(s) groeien. Samen kunnen we dan kijken welke mechanismes hierbij een rol spelen. En ik hoop natuurlijk dat ik lessen kan trekken die ook op andere plekken kunnen werken.

Mijn promotie is ook een proces

Dit onderzoek kun je goed volgen. Ik laat regelmatig zien hoe het er achter de schermen uitziet. Dat doe ik via dit blog en via een maandelijkse nieuwsbrief. Ik krijg regelmatig feedback van jullie op wat ik doe en dat vind ik heel waardevol. Deze open manier van werken, ik noem het open actie onderzoek, is ook een proces en dit is de derde laag in mijn onderzoek.

De manier waarop ik leer, data verzamel en analyseer en samen met jullie input tot nieuwe kennis kom, kan ik ook als een proces uittekenen. Ik ben nu een artikel aan het schrijven over mijn conceptueel framework voor het onderzoek. Stiekem staan allerlei bouwblokken hiervan allang op dit blog. Soms heb ik dat zelf niet eens door. Met terugwerkende kracht kun je het hele denkproces, de kennis in wording, hier teruglezen. Dit proces ziet er bijvoorbeeld zo uit:

Schematische weergave hoe ik van idee tot uitkomst ga door de open aanpak.

De komende tijd werk ik deze aanpak verder uit en ga ik, samen met het team en samen met jullie, de eerste bevindingen analyseren. Ik ben heel benieuwd wat we ervan gaan leren!

Verder lezen?

Coghlan, D. (2019). Doing Action Research in Your Own Organization. SAGE.
Langley, A. (2007). Process thinking in strategic organization. Strategic Organization, 5(3), 271–282.
Tsoukas, H., & Chia, R. (2002). On Organizational Becoming: Rethinking Organizational Change. Organization Science, 13(5), 567–582.

Tags methode, proces onderzoek, verandering onderzoeken

Hoe doe je onderzoek? Promoklip

Full circle onderzoek

Post author By Maike
Post date 9 februari 2024

Foto van een waterval die echt super steil is — Foto door Nicolas J Leclercq via Unsplash.

Gisteren kwamen meer dan 100 onderzoekers die bij de overheid werken bij elkaar in Utrecht. De overheidsbrede onderzoekscommunity hield samen met Gebruiker Centraal haar eerste evenement in het echt, en de organisatie moest aan deelnemers vragen of er echt maar 5 mensen per overheidsorganisatie kwamen. Als je mij 10 jaar geleden dit had verteld, had ik je niet geloofd. Er werken inmiddels al zoveel onderzoekers bij de overheid. Super.

In dit blog deel ik mijn presentatie: over de context waarin wij werken en waarom onderzoekers nodig zijn voor goede dienstverlening. We blikken terug op hoe ver we zijn gekomen, en ook vooruit: wat is er nodig om de leefwereld van burgers leidend te laten zijn bij het maken van overheidsdiensten? Ik noem dat full circle onderzoek doen.

Elke maand een update in je mailbox over mijn onderzoek? Abonneer je op mijn nieuwsbrief.

De cirkel van democratie en dienstverlening

In mijn onderzoek gebruik ik een indeling tussen de systeemwereld en de leefwereld, met zowel een collectieve als een individuele kant. Hierdoor ontstaan er 4 kwadranten. Aan de collectieve kant geeft de zittende macht samen met volksvertegenwoordigers vorm aan hun visie op de samenleving. Deze visie wordt vervolgens vertaald naar wetten, beleid en dienstverlening voor individuen. Pas na interactie tussen burgers en de overheid wordt dit werkelijkheid in de context van de mensen zelf, oftewel de leefwereld. Ook in de leefwereld groeperen individuen zich en proberen zij hun ideeën over de samenleving te verwezenlijken, waardoor de cirkel rond is.

Van deze cirkel ervaren de meeste mensen vooral de individuele kant. “Mensen ervaren geen beleid, ze ervaren diensten,” zegt onderzoeker Sabine Junginger (2016). Dat betekent dat de taak van overheidsdienstverleners is om collectieve waarde te vertalen naar individuele ervaringen die ook waardevol zijn.

Wil je meer weten over deze collectieve en individuele kant? Lees dan de blog Uitvoerder én dienstverlener.

Dat is niet makkelijk. De praktijk van de systeemwereld is nu vaak een grote waterval. Het gaat met de klok mee in een cirkel, van beleid naar dienstverlening en stort zich uit over burgers en de samenleving. Als je het er niet mee eens bent, kun je dat laten merken in je stemgedrag.

Het kan anders zijn als we de ervaringen van burgers verzamelen en, tegen de klok in, in de systeemwereld introduceren. Die ervaringen kunnen bepalend zijn voor hoe we diensten aanbieden en hoe we überhaupt diensten ontwerpen. Voor het beleid dat daarvoor wordt vastgesteld, en ja, misschien ook voor de wetgeving en de bijbehorende ideeën over interventies in de maatschappij en het effect dat dit met zich meebrengt.

We moeten het helemaal omdraaien. En dat kunnen we, omdat dat precies ons vak is als onderzoekers bij de overheid.

Wij halen ervaringen op uit de leefwereld van mensen. We hebben verschillende methoden en technieken om dit goed te kunnen doen. Bovendien zijn we in staat om deze verhalen op een zodanige manier binnen onze organisaties te delen, dat collega’s erdoor gemotiveerd worden om actie te ondernemen.

Dat hebben we de afgelopen 10 jaar wel laten zien.

Hoe het begon

In de meeste organisaties begon het met het testen van schermen. Voor mij ook. Ik ben in 2013 begonnen bij de Dienst Uitvoering Onderwijs. Een van de eerste dingen die ik leerde, was hoe je een gebruikstest moest opzetten en uitvoeren. Ik bezocht scholen met mijn laptop onder de arm. Op kantoor liet ik filmpjes zien aan collega’s en vertelde ik hoe studenten of medewerkers van scholen onze digitale diensten ervaarden.

Kijk zo cute: mijn eerste stappen in de onderzoekswereld.

In 2017 begon ik met mijn blog. Ik deelde wat ik leerde en wat we bij DUO uitprobeerden. Jullie stuurden me ook steeds vaker jullie ervaringen.

Ik zag dat we als onderzoekers groeiden. We gingen van het testen van schermpjes naar het onderzoeken van hoe alle interactiemomenten met de overheid verbeterd konden worden. We leerden nieuwe onderzoeksmethoden en bedachten creatievere manieren om de inzichten te delen binnen onze organisaties. We gingen holistischer te werk en probeerden ook de persoon achter de gebruiker te leren kennen.

We werkten slimmer. Om op te schalen gingen we onze inzichten bundelen en archiveren. We gingen ons beter organiseren en er kwamen ook onderzoeksfuncties voor die logistieke kant.

En toen begonnen sommige van ons af en toe telefoontjes te krijgen van verdwaalde beleidsambtenaren die een doenvermogentoets moesten uitvoeren. “Ik kreeg je naam door, misschien kun je mij helpen?” Dat kunnen we zeker.

En zo gingen we met de inzichten uit de leefwereld steeds dieper de systeemwereld in.

Laten we dan ook even verder dromen. Waar gaan we heen? Wat gun ik ons vakgebied?

Meer kwaliteit

Om de hele leefwereld beter te begrijpen, zowel het individuals het collectief, moeten we ons werk verbeteren. Hiervoor hebben we meer diversiteit nodig in onderzoeksrollen. Het veld is zo groot dat niemand goed is in alle onderzoeksmethoden die we nodig hebben. Dat is ook niet nodig. In het verleden hadden we onderzoeksteams bestaande uit één persoon die alles deed, maar dat is niet langer mogelijk. Een goed onderzoeksteam bestaat uit gebruikersonderzoekers, strategische onderzoekers, klantreis-experts, gedragswetenschappers en nog veel meer. We moeten het volledige scala aan onderzoeksmethoden omarmen.

Scholieren uit Sneek denken na over studiefinanciering

Diversiteit zegt ook iets over wie wij zelf zijn. Ik zie nog steeds te vaak een hele homogene groep als ik om me heen kijk. Juist wij, die de bias van de overheid willen toetsen, moeten ook onze eigen bias kennen. We hebben veel te weinig mensen van kleur in onze teams. Eén op de 5 mensen heeft een zichtbare of onzichtbare beperking, maar als ik nu rondkijk, is dat vrijwel onzichtbaar. Onze teams zijn niet divers en dat is een probleem. Daardoor hebben we te veel blinde vlekken die invloed hebben op hoe we ons werk doen.

Mensen spreken

Dan moet mij iets van het hart. Het mag echt geen probleem meer zijn om respondenten te spreken. Echt. Kom op. Dit is nog veel te vaak een probleem in organisaties. “Wat beloof je ze dan?” “Nee, de AVG.” “Het moet wel efficiënt zijn.” Menselijk contact is per definitie niet efficiënt, sterker nog: het wordt beter naarmate het minder efficiënt is. We kunnen ons werk alleen doen als we echt contact mogen hebben met burgers. We moeten dit gedoe niet meer accepteren.

Opschalen

Als we de dienstverlening aan burgers echt willen verbeteren, moeten we onze activiteiten uitbreiden. Het is geweldig dat steeds meer ontwikkelteams gebruikstesten willen doen in een sprint, maar stel je nu voor dat alle teams in je organisatie in elke sprint een gebruikstest willen doen? Hoe gaan jullie dat voor elkaar krijgen?

We moeten dus meer investeren in de organisatorische kant. Het contact met mensen hoeft niet efficiënt te zijn, maar we kunnen ons onderzoekswerk wel efficiënt organiseren. Dit vraagt voor de meesten van ons om een andere aanpak. De creatieve en menselijke kant is sterk vertegenwoordigd bij de meesten van ons, maar nu is het tijd om ook de ambtelijke blauwe kant weer te omarmen.

Beleid en diensten samen maken

Ik zie steeds meer samenwerking tussen beleid en uitvoering, en onderzoek vormt daarvoor de basis. Ik hoop dat dit de standaard manier van werken wordt bij de overheid. Zodat beleid wordt gebaseerd op inzichten van gebruikers en dat het samen met het ontwikkelen van diensten steeds wordt getoetst bij burgers.

Hiervoor moeten we stoppen met die waterval. Ik weet dat ik hiermee een bekend punt aankaart, en dat we er vaak over klagen. Maar we staan niet machteloos aan de zijlijn. We kunnen helpen om de waterval te stoppen.

Inzichten delen = open werken

Wat mij betreft is de beste manier om de waterval te stoppen, door je werk te delen. Deel de verhalen van burgers. Deel hoe je je werk doet en wat het oplevert. Deel ook de momenten waarop het niet goed gaat. Vooral verhalen over onderzoeksinzichten die vastlopen in een log proces of op een systeem dat al af is, helpen ons om te begrijpen hoe we anders moeten werken.

Vaak schiet het erbij in om ook nog een goed deelbaar verhaal te maken. We zijn al zo druk. Ter illustratie: ik ben al jaren ongeveer 1 dag per week kwijt aan dit blog en het geven van en delen van presentaties. En ook nu, op vrijdagmiddag, ben ik bezig met het uittypen van mijn presentatie van gisteren. Ik doe dit omdat ik weet dat het onze vakgroep verder helpt. Doe met me mee en draag bij. Ik weet immers alleen maar wat ik toevallig meemaak en zie in Groningen hier. Samen kunnen we veel meer leren.

Het is pas echt als het echt is

Het is geweldig dat we pilots, proeftuinen en experimenten uitvoeren. Maar pas wanneer een burger daadwerkelijk een betere dienstverlening ervaart, kunnen we koffie halen. Daarom is het niet vreemd om net zoveel tijd te besteden aan het delen van je werk en het volgen van wat ermee gebeurt, als aan het daadwerkelijke onderzoek. Wat heb je eraan als je al die moeite doet en er vervolgens niets mee gebeurt?

Laten we streven naar full circle onderzoek doen. We beginnen bij de leefwereld, bij de burger, uiteraard. Met de inzichten gaan we onze organisatie in en klimmen we op in de waterval. Dat kunnen we. We werken samen met anderen om de processen en systemen aan te passen, om beleid en, indien nodig, wetgeving aan te passen. Vervolgens onderzoeken we opnieuw hoe we die aanpassingen kunnen vertalen naar individuele ervaringen.

Full circle onderzoek begint en eindigt in de leefwereld.

Full circle onderzoek doen begint en eindigt bij de burger.

Toen ik ambtenaar werd, zei mijn toenmalige manager Theo: “Maike, het gaat heel lang duren voordat je iets kunt veranderen bij de overheid. Maar als het je lukt, heb je echt iets bereikt.”

Dus laten we ~~beginnen~~ doorgaan.

Verder lezen?

Dit blog staat vol met tips hoe je onderzoek doet en je organisatie meekrijgt. Bijvoorbeeld:

Waarom we meer standaard goede diensten nodig hebben dan maatwerk.
Hoe je je onderzoek goed kan documenteren en dus delen.
Hoe we bij DUO onze eigen bias onderzochten met fotografie.
Vier manieren om verhalen te vertellen in je organisatie.

Tags community, methode, onderzoek, presentatie

Hoe doe je onderzoek? Promoklip

Vingers op het toetsenbord

Post author By Maike
Post date 7 februari 2024

Het schrijven van een wetenschappelijk artikel over overheidsdiensten is heel anders dan het schrijven van een blog. Dat heb ik inmiddels wel gemerkt. Zojuist heb ik het concept van mijn tweede artikel naar mijn promotor gestuurd en dat voelt geweldig.

Tijdens het schrijven had ik veel aan andere researchers die op Instagram, Youtube of op hun blog deelden hoe zij het aanpakken. Dus doe ik iets terug natuurlijk.

In deze blog laat ik mijn schrijfproces zien, hoe ik me voorbereid en welke hulpmiddelen ik gebruik.

Elke maand een update in je mailbox over mijn onderzoek? Abonneer je op mijn nieuwsbrief.

Andere koek

Ik schrijf geen boek, blog of artikel in de krant, maar een wetenschappelijk artikel. Dat is een zeer functionele tekst en heel anders dan ik gewend ben. Je schrijft altijd voor je lezer en in dit geval wil mijn lezer zo snel mogelijk weten: “welke kennis staat er in dit stuk en kan ik het gebruiken voor mijn onderzoek?” Er zijn regels verbonden aan het schrijven van een wetenschappelijk artikel, die ook nog kunnen verschillen per onderzoeksveld.

Artikelen hebben bijvoorbeeld een vaste structuur: introductie, onderzoeksvraag en -doel, methode, bevindingen, discussie en conclusie. Hier moest ik in het begin erg aan wennen. Als ik een mooie anekdote deelde in de discussie, verplaatsten mijn promotoren die genadeloos naar de bevindingen, of erger nog, ze schrapten ze volledig uit het artikel. Als ik al een klein tipje van de sluier oplichtte bij de bevindingen en wat je ermee kon, werd dat verplaatst naar de discussie. Maar nu ik zelf veel artikelen doorploeter, ben ik dankbaar voor die logische indeling.

Foto van bovenaf genomen van mijn bureau met laptop en allerlei aantekeningen op papier — Aantekeningen klaar, tikken maar

In april 2023 schreef ik, op basis van de data die 7 jaar bloggen mij opleverde, een empirisch artikel. Nu ben ik bezig met een conceptueel stuk. Ik heb nu iets meer vrijheid om het artikel vorm te geven, maar dat maakt het ook meteen moeilijker. De argumentatie voor mijn conceptueel kader bepaalt de structuur van het artikel, dus die argumentatie moet uitstekend zijn.

Ik gebruik twee artikelen als leidraad voor hoe je zo’n conceptueel stuk opbouwt. Ik maak een theoretische synthese van concepten die te vinden zijn in de vakgebieden design, services en bestuurskunde (Jaakkola, 2020). Deze concepten breng ik samen als een soort architect die een huis bouwt (MacInnis, 2011).

Argumenten opbouwen

Een promotieonderzoek is eigenlijk een opleiding: bij elke stap die je neemt, moet je eerst leren hoe je die neemt. Ik volgde daarom twee cursussen om me te helpen met schrijven.

Wetenschapsfilosofie aan de Erasmus Universiteit. Ik leerde wat een goed argument is en hoe je kunt controleren of de opbouw goed is. We moesten teksten van anderen analyseren en volledig ontleden.
Creatieve technieken voor wetenschappelijk schrijven. Bijvoorbeeld hoe je overzicht creëert voor jezelf, hoe je de hoofdboodschap uit een alinea haalt en ernaartoe schrijft en hoe je de lezer meeneemt in een tekst en de aandacht vasthoudt. En ook: hoe je kunt voorkomen dat je van die wetenschappelijke zinnen schrijft die een gedrocht lijken. Zodat, ondanks dat er veel kennis in staat, het ook een beetje leuk is om je artikel te lezen.

Mijn schrijfproces

Na al deze voorbereidingen hield niets me meer tegen om mijn vingers op het toetsenbord te houden. In januari had ik drie weken de tijd, non-stop. Ik was ook nog mijn stem kwijt, dus ik kon echt niets anders plannen.

Tijdens de tweede cursus schreef ik de introductie van het artikel, waarin ik de onderzoeksvraag, het doel van het artikel en de aanpak om tot antwoorden te komen beschreef. Deze introductie besloeg ongeveer 500 woorden en ik besprak hem uitgebreid met mijn promotoren. Na wat schaven stuurde ik hem ook naar Servsig, een serviceconferentie in Juni. Het zou leuk zijn als ik daar een presentatie over het stuk mag geven, dat hoor ik later in het voorjaar.

Ik had al veel gelezen en aantekeningen gemaakt. Als bibliotheek voor wetenschappelijke artikelen gebruik ik Zotero, dat ook handig is om referenties tijdens het schrijven bij te houden. Ik las al mijn aantekeningen nog eens door. Vervolgens maakte ik een visuele outline in Miro met de belangrijkste argumenten en de figuren die ik zou gaan gebruiken, evenals de flow van het ene naar het andere punt.

Foto van mijn scherm met alle figuren terwijl ik er een smakelijk kopje koffie voor houdt zodat je niet alles kan lezen — Uitgebreid Mirobord met alle figuren

Het echte schrijven begon dus heel functioneel. Ik begon met de belangrijkste onderzoeksvragen en bouwde het antwoord stap voor stap in blokjes op. Ik voegde de belangrijkste bronnen toe.

Daarna werkte ik de blokjes puntsgewijs uit. Elke zin plaatste ik op een aparte regel met een nummertje ervoor. De zinnen waren kort en staccato. Het belangrijkste was dat de argumentatie duidelijk was en als dat het geval was, markeerde ik de belangrijkste regel. Dat was het punt dat ik wilde maken. Ik schoof nog wat heen en weer en keek kritisch of alle zinnen opbouwden naar die conclusie. En dan ging ik verder naar het volgende blokje.

Ik wil in een Engelstalig tijdschrift publiceren, maar ik denk nog niet echt in het Engels. Ik begon daarom in het Nederlands en vertaalde de zinnen naar het Engels als ik tevreden was met de opbouw. Ik gebruikte Deepl als vertaalassistent om me te helpen.

Mooie zinnen maken

Nu was het tijd om te doen wat ik vroeger schrijven zou noemen: mooie zinnen maken. Ik verwijderde de nummers en schreef de zinnen aan elkaar. Sommige zinnen voegde ik samen. Andere zinnen werkte ik uit en werden wel drie zinnen. Ik verdeelde de informatie over alinea’s en markeerde opnieuw de belangrijkste boodschap per alinea, opbouwend naar de conclusie van het hele blokje. De zinnen waren veel minder staccato, maar droegen volwaardige informatie. En ik voegde natuurlijk alle referenties toe van de bronnen waarop ik me baseerde.

Voor het redigeren van de tekst gebruikte ik Edit.gpt. Voornamelijk voor de Engelse grammatica, maar ook om de algehele flow te verbeteren. Sommige aanpassingen nam ik over, andere niet. Daarna controleerde ik of de zinnen soepel liepen en of ze niet te lang waren. Ik deed dit door de tekst hardop voor te lezen.

Als dat allemaal klaar was, ging ik verder naar het volgende blokje. Na het voltooien van alle blokjes binnen een segment, las ik alles een paar keer door. Ik keek naar de overgangen van het ene punt naar het andere. Ik controleerde of alle onderzoeksvragen beantwoord waren en of het geheel uitnodigde om verder te lezen.

En zo schreef ik afgelopen maand maar liefst 8000 woorden.

Foto van mijn bureau en het raam, met mijn benen languit in het raamkozijn — 8000 woorden later

Dit schrijven is heel anders dan het tikken van een blog. In het begin moest ik enorm wennen. En het vroeg ontzettend veel discipline. Bij een blog wacht ik meestal op inspiratie, maar het schrijven van een artikel ging stap voor stap. In december nam ik me voor om elke dag een stap te zetten, of zeg, 300 woorden, zodat ik eind januari een conceptversie klaar zou hebben. En dat lukte. Zelfs op dagen zonder inspiratie.

Nu gaat wat ik schreef ‘de mix’ in. Dat betekent dat ik feedback ontvang van mijn promotoren. Ze zullen veel vragen stellen over de argumentatie en dingen weer herschikken. Sommige blokjes moeten ook nog wel beter uitgewerkt worden, maar na 8000 woorden had ik een toasty brein. Ik ben heel benieuwd waar ze mee terugkomen.

En over de inhoud zelf, want ik begrijp dat jullie daar ook razend benieuwd naar zijn, komt later ook nog wel een blog :).

Verder lezen?

Ik schrijf vaker blogs over hoe ik onderzoek en wat mijn methoden zijn. Bijvoorbeeld:

Hoe ik eerder mijn praktijkonderzoek bij de Dienst Uitvoering Onderwijs goed documenteerde zodat de hele organisatie het kon gebruiken.
Welke visuele interviewmethoden ik ontwerp en gebruik.
Deze reconstructie hoe ik bij de Nationale ombudsman een onderzoeksrapport maakte.

Referenties

Jaakkola, E. (2020). Designing conceptual articles: Four approaches. AMS Review, 10(1–2), 18–26.

MacInnis, D. J. (2011). A framework for conceptual contributions in marketing. Journal of Marketing, 75(4), 136-154.

Tags methode, schrijfproces, schrijftools

Hoe doe je onderzoek? Promoklip

Hoe je je eerste conferentie overleeft, Frontiers in Service 2023

Post author By Maike
Post date 21 juni 2023

De zon scheen, ik was in een van mijn lievelingssteden (Maastricht) en ontbeet elke ochtend met Limburgse vlaai. Vorige week was Frontiers in Service 2023. Mijn eerste academische conferentie. Vier dagen, met een dag speciaal voor PhD-kandidaten, in het teken van het meest actuele onderzoek naar services.

In deze blog vertel ik wat leerde van deze conferentie voor mijn eigen onderzoek naar overheidsdiensten die goed zijn voor mensen, in mijn casus over Nederlandse nationale publieke dienstverleners. Ik doe dat in de vorm van 4 redenen waarom het een slim idee is om als beginnend onderzoeker vanaf het begin conferenties te bezoeken.

Reden 1: krijg snel goed overzicht

Eigenlijk is het service veld niet mijn eigen domein. Ik doe onderzoek vanuit de TU Delft, Industrieel ontwerpen. Design is mijn thuisbasis, en ik doe onderzoek naar hoe je dienstverlening maakt bij de overheid. Mijn onderzoek verbindt drie disciplines: design, services en bestuurskunde. Om het servicesdeel goed te begrijpen, ging ik naar Frontiers en bezoek ik regelmatig CTF, het service research centrum van de Universiteit Karlstad (ik schreef daar eerder deze blog over).

Via gesprekken bij CTF kwam ik het service veld binnen gestommeld. Vanaf daar zocht ik een route als een soort sneeuwbal die z’n weg zoekt. Uiteraard las ik de klassiekers, bijvoorbeeld over service-dominant logic. Ik oefende hoe ik deze manier van denken in mijn onderzoekscontext kan toepassen door de blog de waarde zit in de klas te schrijven.

Op een conferentie wordt de meest actuele stand van zaken van een onderzoeksveld uitgelicht. Eén blik op het programma en je ziet hoe veel er is. Het services veld is veel groter dan ik dacht!

Ik kwam erachter dat publieke diensten hier een niche zijn, en overheidsdiensten misschien wel de niche in de niche.

Frontiers in service is een conferentie die gaat over services, waaronder het maken en leveren van diensten in de meest brede zin van het woord. De keynotes gingen over de kindertoeslagaffaire in Nederland en over nieuwe serviceconcepten van Starbucks in Azië. We zagen experimentele voorbeelden van VR-brillen in het onderwijs en service robots in de zorg. Bijna 250 onderzoeken werden in 60 deelsessies gepresenteerd. Bekijk het hele programma hier.

Ik ontdekte dat ’transformatief service onderzoek’ helemaal in is en als apart onderzoeksthema zelfs een eigen afkorting heeft: TSR. Vanuit mijn eigen leeshoekje was ik dit nog niet tegengekomen. Hier ga ik de komende tijd meer over opzoeken.

Reden 2: gratis advies

Loop je in het begin nog nerveus met je koffie naar een tafeltje waar niemand staat, aan het eind van de conferentie weet je dat je prima kunt aansluiten bij een druk tafeltje. Het is zelfs handig. Na je naam en je universiteit laat je vallen dat je nog maar net bent begonnen met je PhD en het regent direct tips van de senioren aan tafel. Ze stellen vragen, vertellen over hun eigen begindagen en geven tips om goede artikelen te schrijven bij goede journals. Dat ze elkaar soms tegenspreken zullen we ze nooit laten merken natuurlijk.

Deze gratis adviezen zijn logisch want het doel van een conferentie is kennis uitwisselen. Iedereen zoekt elkaar op en vertelt over elkaars onderzoek. Zelden kreeg ik zulke goede (en kritische) vragen over mijn onderzoek: wat ik daar mee wil bijdragen, hoe ik het wil aanpakken en meer.

In de rij voor de ijskar stond ik bijvoorbeeld in een discussie verwikkeld over wat publieke waarde is met Jakob Trischler (van wie ik eerder al artikelen las). Is dat al echt goed gedefinieerd (we vonden van niet) en heeft publieke waarde eigenlijk wel een plek binnen de door marketing gedomineerde wereld van service research? Doe maar vanille met framboos in een hoorntje.

Extra leuk waren de adviezen van Mike Brady, Hoogleraar Marketing aan de Florida State Universiteit en hoofdredacteur van het Journal of Service Research (JSR). In een kleine ask-me-anything sessie vertelde hij uitgebreid over het redactieproces van JSR en hoe je als jonge onderzoeker je eerste artikelen kunt schrijven en indienen bij topbladen. Dat waren veel bruikbare tips.

Reden 3: oefen met pitchen en afkijken van anderen

De meeste mensen gaven zelf een presentatie, ik was er als consument. Als mijn artikel wordt geaccepteerd, mag ik dit najaar op een design conferentie presenteren. Tijdens Frontiers kon ik mooi afkijken hoe anderen hun werk laten zien. Wat zijn de codes, de ongeschreven regels? Hoe bouwen anderen hun presentatie op? Hoe gaan ze om met kritische vragen?

Hele interessante presentatie van Koskela-Huotari et all (2023) over systemische dynamieken in niet-duurzaam gedrag

Toch kon ik niet alleen consumeren.

Regelmatig vroeg iemand waar mijn onderzoek over gaat. Ik ben nu ruim een half jaar bezig en precies in die fase dat je aan alles gaat twijfelen. Mijn ingestudeerde pitch “ik doe onderzoek naar hoe je overheidsdiensten maakt die goed zijn voor mensen” begint steeds gelikter eruit te komen, maar inmiddels twijfel ik over de definitie van overheidsdiensten, over wat makerschap is, wat goed is en wat zijn mensen eigenlijk??!

Dat is niet erg. Door steeds opnieuw te vertellen wat je doet en waarom het relevant is, leer je het steeds beter onder woorden te brengen. Na de vijfde pitch (en door vragen die ik terugkreeg) paste ik onbewust de pitch een beetje aan. Op de vierde dag was de schroom weg en verbaasde ik me hoeveel beter ik kon uitleggen wat ik wil gaan doen.

Nog steeds hoe je overheidsdiensten maakt die goed zijn voor mensen, jazeker. En nu ook hoe belangrijk het is om dat ‘public value’ goed te definiëren. Misschien kan ik dat wel doen door me juist meer te verdiepen in de bestuurskundige kant: de beginselen van behoorlijk bestuur, de rechtstaat, de Rule of Law, kom er maar in. De radartjes draaien alweer op volle toeren.

Sessie over het denken vanuit ecosystemen in service onderzoek

Reden 4: leer leuke mensen kennen in een nieuwe stad

Als externe PhD-kandidaat ben ik niet veel op de universiteit. Ik woon in Groningen, dat is 3+ uur met de trein naar Delft. Mijn begeleiders wonen in Delft en Karlstad, dus het meeste van mijn onderzoek gaat online, vanuit huis of vanuit mijn onderzoekscontext, bij de Nederlandse overheid. Ik ken niet zoveel andere PhD-kandidaten om ervaringen mee uit te wisselen en te ouwehoeren. Dat kan op een conferentie (Della en Mike, I see you), helemaal als er een speciale Doctoral Consortium voor PhD-kandidaten wordt georganiseerd.

Maastricht is een super leuke stad is en de Universiteit van Maastricht weet een gave conferentie te organiseren. Een meerdaagse conferentie bezoeken is ook weg uit de sleur, vanachter je bureau, en nieuwe inspiratie krijgen. Huur een fiets, ontbijt op een terras, neem je nieuwe vrienden mee de stad in. Ik mocht zelfs meeroeien op de Maas met het roeiteam van Maastricht.

Kortom: veel nieuwe ervaringen en nieuwe vragen om me de komende tijd in vast te bijten. De volgende conferentie is hopelijk IASDR2023 in oktober. Maar in augustus ga ik eerst weer naar CTF in Zweden :).

Wil je mijn onderzoek naar Nederlandse overheidsdiensten volgen? Dat kan! Via mijn nieuwsbrief (in het Nederlands) of volg deze blog via mijn Linkedin.

Referenties en leestips

Koskela-Huotari, K., Svärd, K., Williams, H., Trischler, J., & Wikström, F. (2023). Drivers and Hinderers of (Un) Sustainable Service: A Systems View. Journal of Service Research, 10946705231176071.

Jakob Trischler & Jessica Westman Trischler (2022). Design for experience – a public service design approach in the age of digitalization. Public Management Review, 24:8, 1251-1270.

Op deze pagina vind je overzicht van alle boeken en artikels die ik in mijn onderzoek gebruik.

Tags conferentie, service research, services

Hoe doe je onderzoek? Promoklip

Open actie onderzoek

Post author By Maike
Post date 18 januari 2023

Deze maand schrijf ik over mijn nieuwe onderzoek naar overheidsdiensten die goed zijn voor mensen. Ik schreef het grote plan en de reis tot nu toe. In dit blog lees je over de aanpak en een eerste planning voor de komende jaren.

Je kunt je opgeven voor mijn nieuwsbrief. Een keer per maand krijg je een samenvatting van het onderzoek in je mailbox. Zo mis je niks en kun je makkelijk reageren en meedoen aan het onderzoek.

De aanpak kiezen

Een aantal persoonlijke overwegingen hielp me al vrij snel om te kiezen hoe ik dit onderzoek wil aanpakken. Al een aantal jaar werk ik graag overheidsbreed, vanuit het perspectief van burgers die met de hele overheid te maken hebben. Tijdens mijn master vond ik het kritisch sparren met een extern instituut heel fijn. Ik zocht daarom contact met de TUDelft om opnieuw zo’n constructie te vinden. In de vorm van een promotie-onderzoek kon ik zowel een excuus vinden om overheidsbreed te werken als samen te werken met een universiteit.

Maar… het gaat me niet om het ‘slechts’ produceren van nieuwe kennis. Nee, ik wil juist dat we in de praktijk bij de overheid vanuit de menselijke maat leren werken. Én ik heb natuurlijk mijn eigen ontwerp- en onderzoeksvaardigheden de laatste jaren in een bepaalde richting ontwikkeld, wat jullie sinds 2017 mee hebben kunnen lezen op dit blog.

Een aanpak die bij dit alles goed bij past is actie onderzoek. Voor mij is dat open actie onderzoek omdat ik over elke stap blog. Niet alleen het resultaat is open, maar juist het proces terwijl we aan de slag zijn. Jullie hebben dus alle kans om het proces bij te sturen!

Praktijk en theorie combineren

Actie onderzoek is niet het gemiddelde wetenschappelijk onderzoek. Het is een veel praktischere aanpak en daarom is mijn standplaats de komende jaren níet de universiteit, maar juist bij uitvoeringsorganisaties van de overheid zelf. Om van binnenuit in de praktijk samen met collega’s te onderzoeken.

Onderzoek dat uitgaat van de problemen die door organisatorische contexten worden gegenereerd en gericht is op verandering, vereist een radicale herwaardering van de relatie tussen kennis en actie, en van het verwante beeld van de ‘academische onderzoeker in een leunstoel’.
Van Marrewijk, A., Veenswijk, M., & Clegg, S. (2010) ‘The organizing reflexivity in designed change: The ethnoventionist approach’, Journal of Organizational Change Management, 23(3): 212‹29

Actie onderzoek heeft een aantal eigenschappen die goed bij mij en het vraagstuk passen. Actie onderzoek is namelijk:

in de situatie: het vraagt directe betrokkenheid bij echte en complexe problemen in de natuurlijke context
gebaseerd op relaties: we leren door relaties met stakeholders die allemaal verschillende inzichten hebben en op eigen manieren bijdragen aan het begrijpen en oplossen van problemen
gericht op verandering: samen zoeken we naar manieren om verandering te beginnen, te promoten en te beheren
reflexief: we beschouwen continu (in de actie) kritisch onze eigen praktijk; ik als onderzoeker en samen met alle participanten. We leren samen en er ontstaat een open en expliciet leerproces.

Uit: Giuseppe Scaratti, Mara Gorli, Laura Galuppo and Silvio Ripamonti. Action research: knowing and changing (in) organizational contexts. In: The SAGE handbook of qualitative business and management research methods: history and traditions, 2019.

Leestips

De komende tijd leer ik meer over deze manier van onderzoek doen. Tijdens mijn master leerde ik veel praktische vaardigheden en nu verdiep ik me ook in de methodologische achtergond. Naast het artikel uit de vorige paragraaf, heb ik veel aan de volgende boeken:

Introduction to action research, social research for social change van Davydd Greenwood en Morten Levin. Dit boek geeft een goed overzicht van de achtergrond van actie onderzoek en een aantal voorbeelden van verschillende stromingen/ aanpakken.
The reflective practitioner van David Schön. Deze las ik al tijdens het maken van de foto-interviews bij De begripvolle ambtenaar. Heel goed boek over reflecteren terwijl je bezig bent, over reflectie-in-actie.
Doing action research in your own organization van David Coghlan. In deze ben ik nu bezig. Veel komt overeen met de aanpak die ik ook bij de Begripvolle ambtenaar hanteerde, maar hij is veel uitgebreider en legt actie onderzoek fundamenteler uit.

Rol van dit blog

Als je mijn blog al langer volgt, vind je het misschien super logisch dat ik over dit onderzoek ga schrijven. Zo voelt het voor mij ook. Maar de komende tijd krijgt dit blog (en de nieuwsbrief) een belangrijke functie.

Ik begon ooit met schrijven als eigen archief, voor mezelf en de handvol collega’s die het misschien ook handig vonden. Later werd het een plek om mijn onderzoeksresultaten op te documenteren en weer later een plek om mee te kunnen praten in het maatschappelijk gesprek rond de menselijke maat.

Sinds oktober spreek ik mijn promotor Maaike Kleinsmann en begeleider Jasper van Kuijk elke maand. Het viel hen op dat ik vaak snel bepaal hoe iets geïnterpreteerd moet worden als het over de overheid gaat. “Ja, zo gaat dat gewoon bij de overheid,” zeg ik dan. Ik ben al 10 jaar ambtenaar en hoor, via dit blog, zoveel verhalen van jullie over hoe het bij jullie organisatie gaat, dat veel dingen zo vanzelfsprekend zijn voor mij. Dat is allemaal impliciete kennis waarvan ik zelf soms niet meer weet dat ik het weet.

Door te schrijven maak ik mijn eigen gedachten en keuzes expliciet. En door te delen kunnen jullie erop reageren en kennis en nieuwe vragen toevoegen. Zo reflecteren we samen in actie.

Dan de planning

Dit is een project van de lange adem. Het zal zeker een aantal jaar duren. Globaal zie ik het ongeveer zo voor me:

Jaar 1, hier zitten we middenin, is een voorbereidingsjaar. Belangrijk is:

het project opzetten en contact maken met jullie en andere stakeholders
in de literatuur duiken en een fundament maken voor de komende jaren
een concreet onderzoeksplan maken voor de jaren erna, inclusief afspraken met organisaties, een datamanagement plan maken, langs de ethische commissie, en vast nog meer wat ik nog niet overzie
aan mijn eigen skills werken, want het is nog wel andere koek zo’n promotieonderzoek

Jaar 2 en 3 ga ik in de praktijk aan de slag samen met organisaties. Ik kom bijvoorbeeld in jouw organisatie werken en samen maken we een dienst van a tot z vanuit het perspectief van de burger. Samen reflecteren we en leren we. Het komend jaar werk ik dit verder uit en zal ik ook delen aan welke criteria zo’n casus het liefste voldoet.

Jaar 4 bestaat uit afronden. Inzichten worden deelbaar en er komen mooie eindproducten. Dit wordt heel praktisch en toepasbaar voor iedereen die meegeholpen heeft en theoretisch in de vorm van een mooi proefschrift.

In de volgende blog, die binnenkort online komt, deel ik meer over het eerste jaar, en dan vooral over het duiken in de literatuur.

Tags aanpak, open actie onderzoek, open action research

Hoe doe je onderzoek? Werken met beeld

Visueel interviewen

Post author By Maike
Post date 3 juni 2022

Tijdens een workshop bij DUO over datavisualisatie.

Ik gebruik steeds vaker schema’s, tekeningen en infographics wanneer ik iemand interview. Sinds corona interview ik vaak digitaal. Dit vond ik eerst heel onhandig en onpersoonlijk, maar ik ontdekte ook de voordelen. Juist omdat het digitaal is kun je heel makkelijk samen tekenen en informatie schematisch ordenen.

In deze blog wat voorbeelden hoe ik het visueel interviewen aanpak en wat tips om zelf aan de slag te gaan. Het lijkt me leuk om eens een workshop of meetup hierover te organiseren, dus ik hoor graag of daar animo voor is.

Samen tekenen

‘Ik kan helemaal niet tekenen’ is de eerste zin die bij veel mensen eruit rolt als ik deze werkwijze voorstel. Tot we aan de slag zijn en de geïnterviewde loskomt en steeds makkelijker vertelt en meetekent. En aan het eind: ‘nu is het voor mezelf ook veel duidelijker’.

Ik noem het visueel interviewen, samen tekenen, een schematisch gesprek, beeldpraten… bedenk een leuke naam. Het houdt in dat we terwijl we praten direct visualiseren hoe het in mekaar zit. Dat kan bijvoorbeeld door samen een mindmap te maken, een tijdlijn of een andere handige ordening. Tijdens het gesprek zet je alle informatie direct op de juiste plek en dat helpt beide gesprekspartners om tot de kern te komen en direct te zien of het verhaal compleet is.

En ja, je mag ook gewoon tekst gebruiken tijdens het tekenen.

Een paar voorbeelden

Janet Ramesar en ik maakten samen een tijdlijn. Die ging tien jaar terug tot nu. Op de tijdlijn plaatsen we haar ervaringen met de kinderopvangtoeslag. Je zag het overtijd steeds ingewikkelder worden. Door het zo op een rij te zetten zag je heel duidelijk oorzaak en gevolg. Het gaf ons houvast om in korte tijd het verhaal globaal te kunnen vastleggen. De hele tijdlijn maakten we in een zoomsessie van 1 uur. Janet vertelde, ik deelde mijn scherm en plaatste wat zij vertelde direct op de tijdlijn. Als ik het verkeerd plaatste, corrigeerde ze me: ‘nee, dat moet eerst. Die moet meer naar rechts’. Het gaf ons allebei houvast.

Een stukje uit de tijdlijn die Janet en ik samen maakten over haar ervaringen met de kinderopvangtoeslag.

De tijdlijnopzet gebruikte ik later zelf toen ik een maand uit mijn relatie met de overheid in kaart bracht. En ik paste hem toe in een project voor Werk aan Uitvoering waar ik samen met Maureen Hermeling iemand van Loket Geldzaken van de Gemeente Den Haag interviewde (op mijn blog noemde ik hem Puzzelaar Patrick). Met z’n drieën brachten we zo complexe casuïstiek rond schulden in kaart.

Een stukje uit de tijdlijn van Puzzelaar Patrick en meneer N.

Bij de Ombudsman gebruikte ik tijdens een serie interviews met collega’s niet een tijdlijn maar een tekening van de organisatie. De hamvraag was ‘hoe moeten we onze eigen activiteiten organiseren om meer effect te hebben op de overheid?’ In elk interview maakten we samen een nieuwe tekening van onze ideale organisatie. Tijdens het maken van die tekening stelde ik steeds waarom-vragen. Wat ik leerde van die gesprekken beschreef ik in de blog over een professionele luisterstandaard. Dit is de basistekening die ik gebruikte als start voor de gesprekken (dus voordat iedereen ermee begon te schuiven en een nieuwe tekening maakte):

Aan het begin van de coronacrisis mocht ik een tijdje meewerken met het team dat de corona-apps maakte bij het ministerie van Volksgezondheid. Van Jasper, mijn man had ik toen net een Ipad gekregen. Ik nam hem mee tijdens mijn bezoeken aan de GGD en schetste samen met GGD-medewerkers het bron- en contactonderzoek en de knelpunten die ze ervaarden. We maakten bijvoorbeeld dit soort schetsen:

Laatste voorbeeld, ook bij de Ombudsman. In een korte brainstorm over signalen en klachten als input voor onderzoeksonderwerpen tekenden we ze zodat je direct de omvang van de signalen kon zien en de overlap met de rest van de onderwerpen. Dit was een eerste schets die we later konden uitwerken.

Waarom het werkt

Samen tekenen werkt gewoon lekker. Ook in gesprekken op locatie heb je zo een flipover erbij gepakt: ‘zal ik het even uittekenen?’ en de spraakverwarring verdwijnt als sneeuw voor de zon.

Digitaal kan dat net zo makkelijk. Je deelt je scherm, je tekent hoe je het voor je ziet en de ander kan direct reageren: ‘nee, je hebt het helemaal verkeerd, het moet juist zo’.

Samen maken betekent samen ordenen en samen structuur aanbrengen aan het verhaal. Het is direct tastbaar. Je ziet het voor je. Je vangt de woorden in beeld voordat ze wegglippen.

De input is de output. Je hebt direct na het gesprek de basis voor het resultaat en de documentatie al klaar staan. Na het gesprek met Janet had ik zelf nog maar een uurtje extra nodig om alles netjes te maken en de steekwoorden uit te schrijven. Na een check van haar was het af.

Digitaal praten is op deze manier veel minder onpersoonlijk. Je bent samen aan de slag. Je hoeft elkaar helemaal niet per se te zien, want je deelt je verhaal evengoed en bent samen creatief bezig. Dat activeert ook al zit je beide achter een scherm op afstand. En als extra bonus hoef je na afloop niet nog eens een stapel post-its of flip-overs uit te tikken.

Dit heb je nodig

een digitale tekentool. Ik gebruik Miro, maar je kunt bijvoorbeeld ook je Ipad aansluiten op je laptop, meetekenen en je scherm delen. Of een ander digitale tool gebruiken, er zijn er zat.
een basisarchitectuur. Bedenk van te voren hoe je het gaat opzetten. Maak je een tijdlijn? Een schematische opzet van de organisatie? Een mindmap van vragen en antwoorden? Of nog iets anders? In Miro heb je handige kant-en-klaar templates die je kunt gebruiken.
Skills om te schetsend visualiseren. Het hoeft niet in 1x perfect. Hardop nadenken ‘hmm hoe zal ik dit uitbeelden’ is prima. De ander helpt dan ook mee, en je geeft de ander de kans om samen te maken. In een masterclass van Stefanie Posavec (bekend van Dear Data) leerde ik de basistechnieken om visueel te werken. Ik schreef er deze blog over en gaf later deze workshop erover bij DUO.
programma om te videobellen en je scherm te delen

Voor gevorderden:

de ander ook bewerkrechten geven in je programma. Neem dan tijd voor een korte intro en leg uit hoe het tekenprogramma werkt. Ik trek hier zeker 10 minuten voor uit en oefen samen wat. Soms is het lastig en werkt het makkelijker als ik zelf teken en vragen stel. De ander denkt dan mee en geeft mij tekeninstructies. Daarom noem ik het ook visueel interviewen, want je helpt de ander zijn verhaal in beeld of schematisch te vertellen.

Aan de slag

Enthousiast om ook samen te tekenen met je collega’s of degene die je interviewt? Ik hoop dat je hier wat aan hebt. Leuk om te zien hoe jij het aanpakt, dus deel je resultaat ook met mij (en anderen!).

Tags beeld, interviewen, visueel

Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

Hoe we een computerbesluit kunnen zien

Post author By Maike
Post date 8 mei 2022

Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.

Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.

https://open.spotify.com/episode/61MQ5s4ce95L0bMGHiotnF?si=b6a251a59fc040f3

Ik kan het gewoon zien

Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?

Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.

Openmaken en bekijken

Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.

Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?

Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.

Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.

Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.

Wat we willen bereiken

Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:

We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].

Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:

de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.

De methode ontwerpen

In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.

Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.

Het maakproces geven we zo vorm:

Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties

We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.

We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.

Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?

Wat zijn de beslisregels die over de nationaliteitstoets gaan?
Op welke wetonderdelen zijn de beslisregels gebaseerd?
Hoe zijn de beslisregels geprogrammeerd?
Hoe zijn ze in de werkinstructie opgenomen?
Welke data is nodig en wat zijn bronnen?
Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?

Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?

Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?

Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?

Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?

‘Wat zit DUO gek in elkaar’

De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)

Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.

Filmpje met de ervaringen van de eerste maakdag bij DUO.

De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.

Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).

Een impressie hoe dat eruit zag:

Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.

Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.

Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!

Prototype van de werkmethode die we binnenkort met de SVB gaan testen

Twee vragen

Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.

En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.

Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!

Tags algoritme, beeld, computerbesluit, digitale overheid, methode