Deze zomer dompel ik me onder in alle observaties, gesprekken en activiteiten waaraan ik het afgelopen half jaar deelnam. Sinds februari volg ik het programma Clustering Rijksincasso. Begin juli kreeg ik het heldere idee om eens te kijken naar de data die ik tot nu toe had verzameld. Dat was nogal wat. In deze blog vertel ik je hoe ik deze data verzameld heb, en hoe ik het analyseer.
Wil je mijn onderzoek volgen, abonneer je dan op mijn maandelijkse nieuwsbrief.
Vorige maand schreef ik hoe ik de praktijkcasus opzet. Als actieonderzoeker observeer ik wat er gebeurt, maar doe ik ook actief mee. Ik volg een overheidsprogramma dat diensten in het schuldendomein herontwerpt op basis van mensgerichte principes. Deze blog lees je hier terug: praktijkcasus bekend.
In die blog zie je ook dat ik mijn onderzoek in verschillende fasen indeel. De uitkomst van de ene fase bepaalt de aanpak van de daaropvolgende fase. De aanpak bepaal ik samen met de participanten die meedoen in het onderzoek. Deze zomer focus ik me op het ‘uitgeklapte’ grijze vlak.
Je begint altijd met een vraag
Er is natuurlijk een reden waarom je je in een bepaalde groep en context begeeft. Je wilt iets weten. Dit half jaar heb ik me vooral gefocust op 2 deelvragen:
- Hoe maken organisaties samen een dienst?
- Wat helpt en hindert hen bij het mensgericht ontwerpen van zo’n dienst?
Voordat ik begon met dit promotieonderzoek, had ik al enige ervaring met het doen van onderzoek. Dit blog staat er vol van! Dit is vooral toegepast kwalitatief onderzoek voor organisaties. De afgelopen twee jaar heb ik veel gelezen over de eisen die de wetenschap stelt aan nieuwe kennis op basis van kwalitatief onderzoek. Ik keek vooral naar hoe data wordt verzameld en geanalyseerd in etnografisch en participatief actieonderzoek.
Een belangrijk principe is bijvoorbeeld triangulatie: het gebruik van verschillende databronnen die elkaar aanvullen. Als je iets zowel observeert in gedrag, bespreekt in interviews en terugziet in de gebruikte documenten van de organisatie, is je verhaal beter onderbouwd. Dit geldt ook andersom: iemand kan wel iets zeggen, maar als je het vervolgens niet observeert of nergens in de archieven van de organisatie kunt vinden, tja…
Mijn data-verzamel-strategie
Ik heb op meerdere manieren data verzameld. Sommige waren bedoeld als input voor een andere manier van data verzameling, die vervolgens belangrijke bronnen waren voor mijn analyse.
Ik hield elke week observaties bij in een dagboek. In totaal heb ik 22 dagboeken, variërend van 4 tot 10 A4tjes. Ik sloot aan bij overleggen, lunchte mee en sprak tussen de bedrijven door met collega’s. Ik noteerde wat er gebeurde en wat me opviel.
Begin april organiseerde ik een workshop met het kernteam van het programma. Iedereen maakte een tijdlijn met voor hen bepalende momenten van de afgelopen tijd. Vervolgens wisselden we in een groepsgesprek ervaringen uit en reageerden op elkaars tijdlijn. Ik maakte tijdens het gesprek een begin met een gezamenlijke tijdlijn.
De observaties en de tijdlijnen vormden de input voor persoonlijke interviews met 13 collega’s die bij het programma betrokken zijn. De interviews hadden een vrije vorm. We bespraken de tijdlijn die ze gemaakt hadden en ik vroeg naar hun algemene ideeën over wat goede diensten zijn en hoe je ze maakt.
Ik werkte zelf mee aan een deelproject. Mijn eigen reflecties hield ik ook bij in hetzelfde dagboek. Over dit project schreef ik al de blogs Anders denken, nieuwe oplossingen en Een dag mee met een gerechtsdeurwaarder.
Ik gebruikte programmadocumentatie zoals mailwisselingen, notulen van vergaderingen en visiedocumenten. Er zit zelfs een appje in mijn datacollectie! Deze documenten gebruikte ik vooral als extra onderbouwing bij observaties of uitspraken uit de interviews.
Hoe de bronnen elkaar ondersteunen ziet er zo uit:
De berg data door
Begin juli stopte ik tijdelijk met het verzamelen van data. Tijd om te kijken of ik al antwoorden op de vragen kan formuleren. Op 2 manieren ging ik grondig door alle data heen.
Mijn onderzoek focust zich op verandering, en hiervoor is tijd nodig. Daarom koos ik een proceslens om naar alle data te kijken. Hoe dit werkt, leg ik uit in de blog Een proces onderzoeken. Het houdt in dat ik mijn data op tijdlijnen plot om de opeenvolging van gebeurtenissen en acties te zien om zo onderliggende mechanismes te kunnen vinden. Deze tijdlijnaanpak is de eerste manier waarop ik door de data ben gegaan.
Op de muur van mijn werkkamer maakte ik een grote tijdlijn van een paar jaar waar ik de bepalende momenten van collega’s op plaatste. Ik plaatste er stickertjes bij met met hun naam wanneer ze in hun interview over zo’n moment of periode vertelden. Vervolgens verdeelde ik de tijdlijn in periodes die mij logisch leken.
Een van die periodes maakte ik van dichtbij mee: het afgelopen half jaar. Hiervan maakte ik een gedetailleerde versie door al mijn dagboeken door te spitten en de belangrijke events per week te noteren. Events die ik beïnvloedde kregen een extra zwart bolletje. Te zien aan de groei van de zwarte bolletjes veranderde mijn rol van passieve toeschouwer naar actiever teamlid naarmate ik langer bij het programma betrokken was. Dat is prima, en ik ben blij dat ik dit zo goed heb vastgelegd en mijn reflecties hierop bijhield in het dagboek.
1988 unieke codes
De tweede manier waarop ik door alle data ben gegaan is door deze te coderen. Bijna al mijn data bestaat uit tekst. Zelfs de visuele data zijn ‘vertaald’ naar tekst, doordat collega’s erover vertellen in het groepsgesprek en hun interview.
Van de gesprekken die ik in audio opnam, maakte ik een letterlijk transcript. Voor sommigen was dat even wennen, want elke uhm staat erin. Niemand praat in keurige volzinnen. Vaak zoeken we naar woorden en bedenken we halverwege de zin een nieuw einde. Ik wilde graag de gedachtegangen en uitstapjes volgen. En ik wilde zo dicht mogelijk bij de exacte bewoordingen van de participanten blijven.
Voor het coderen van alle data gebruik ik ATLAS.ti. Op hun website hebben ze een handige uitleg wat coderen in kwalitatief onderzoek inhoudt. In het kort: ik ga elk stukje tekst langs om te kijken waar het over gaat. Dit geef ik een label, een code dus. Een gemiddeld interview van een uur gaf ik 125 codes. In totaal leverde een eerste ronde coderen van alle teksten 1988 unieke codes op.
Bij het coderen van de teksten dacht ik voortdurend aan mijn onderzoeksvraag. Ik lette er dus op of participanten vertelden hoe ze diensten maakten. Welke processen zijn er en uit welke stappen bestaan ze? Elke stap krijgt een code. Gebruiken ze ontwerpmethoden, en welke hiervan zijn mensgericht? Alles wat ik tegenkwam, kreeg een code. Waar lopen ze tegenaan? En wat helpt hen juist? Je snapt het: een code!
Daarnaast codeerde ik ook veel ‘en vivo’. Dit betekent dat je de letterlijke woorden van de participant als code gebruikt. Dit doe je als je zo dicht mogelijk bij de data wilt blijven. De reden dat ik dit doe, is dat de overheid voor ontwerpers buiten de overheid vaak een gesloten wereld is met een eigen taal. Om design toe te passen in een publieke bureaucratische omgeving, hebben we ook een gemeenschappelijke taal nodig. Daarom wil ik niet zelf al tijdens het coderen ‘vertalen’, maar de taal van de overheid zelf gebruiken.
Voorbeelden van dit soort en vivo-codes die voor ontwerpers heel leerzaam kunnen zijn:
- een beschikking: dit is een term uit de Algemene wet Bestuursrecht. Het gaat om een officieel wettelijk besluit waar een organisatie wettelijk mandaat voor heeft om te nemen. Bijvoorbeeld het besluit dat je geen recht hebt op een toeslag en die moet terugbetalen. Tegen een beschikking kun je in bezwaar en beroep gaan. Dit zijn maatregelen voor rechtsbescherming voor burgers. Zo’n beschikking is een kernonderdeel van een overheidsdienst.
- een voorportaal: een overleg waarin beslissingen door ambtenaren worden voorbereid. Er kunnen allerlei verschillende soorten voorportalen zijn. Soms moet een beslissing langs meerdere tafels en dus ook via meerdere voorportalen naar die tafels. Helemaal als verschillende organisaties iets moeten beslissen.
- de tas van de stas: elk weekend krijgt de staatssecretaris de zogenaamde weekendtas mee met memo’s ter informatie of met iets waar een besluit over genomen moet worden. Voor ambtenaren vormt de tas van de stas een soort deadline waar je naartoe werkt. Bij een tas van de minister heet dit meestal tas M of tas van M.
Deze en vivo-codes kunnen samen een categorie vormen, bijvoorbeeld een categorie die beschrijft hoe de besluitvorming bij de overheid werkt wanneer je diensten herontwerpt. Of een categorie over de juridische aspecten van dienstverlening. Sommige codes kunnen ook tot beide categorieën behoren. Dit ga ik de rest van de zomer uitwerken. In een codeboek houd ik vervolgens bij welke hoofdcategorieën ik heb en wat de definities hiervan zijn. Zo kan ik ook een begin maken met een voorlopig antwoord op mijn 2 vragen: hoe maken deze organisaties samen een dienst, en wat helpt en belemmert hen bij het mensgericht ontwerpen hiervan?
Hoe dan verder?
Begin september bespreek ik eerst alle inzichten met de participanten die meededen. In kwalitatief onderzoek heet dit de member check. Dit is een cruciale stap in actieonderzoek, omdat je samen met participanten werkt in hun eigen context. Herkennen zij mijn voorlopige antwoorden? Hebben ze aanvullingen? Heb ik iets over het hoofd gezien? Tegelijkertijd is dit ook een interventie, omdat we samen reflecteren op onze werkwijze. Dit heeft invloed op hoe het onderzoek verder zal gaan. Wat zien zij als de volgende stap? Dit bespreken we ook samen.
Ben jij ook benieuwd naar de eerste inzichten? Op 12 september in Den Haag mag ik iets over mijn onderzoek vertellen op een evenement van PONT met Kustaw Bessems van de podcast Stuurloos. Je kunt je hier opgeven!
Verder lezen?
- Coghlan, D. (2019). Doing Action Research in Your Own Organization. Sage.
- Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Sage.
- Saldaña, J. (2021). The coding manual for qualitative researchers. Sage.
- Small, M. L., & Calarco, J. M. (2022). Qualitative literacy: A guide to evaluating ethnographic and interview research. Univ of California Press.