Tag: methode

Categories
Hoe doe je onderzoek? Promoklip

Hoe je begrijpt wat je ziet als je onderzoekt

Photo by Bud Helisson via Unsplash.

Deze zomer dompel ik me onder in alle observaties, gesprekken en activiteiten waaraan ik het afgelopen half jaar deelnam. Sinds februari volg ik het programma Clustering Rijksincasso. Begin juli kreeg ik het heldere idee om eens te kijken naar de data die ik tot nu toe had verzameld. Dat was nogal wat. In deze blog vertel ik je hoe ik deze data verzameld heb, en hoe ik het analyseer.

Wil je mijn onderzoek volgen, abonneer je dan op mijn maandelijkse nieuwsbrief.

Vorige maand schreef ik hoe ik de praktijkcasus opzet. Als actieonderzoeker observeer ik wat er gebeurt, maar doe ik ook actief mee. Ik volg een overheidsprogramma dat diensten in het schuldendomein herontwerpt op basis van mensgerichte principes. Deze blog lees je hier terug: praktijkcasus bekend.

Tijdlijn van het promotieonderzoek. Het uitgeklapte grijze vlak loopt van februari dit jaar tot nu, daar focus ik me deze zomer op.

In die blog zie je ook dat ik mijn onderzoek in verschillende fasen indeel. De uitkomst van de ene fase bepaalt de aanpak van de daaropvolgende fase. De aanpak bepaal ik samen met de participanten die meedoen in het onderzoek. Deze zomer focus ik me op het ‘uitgeklapte’ grijze vlak.

Je begint altijd met een vraag

Er is natuurlijk een reden waarom je je in een bepaalde groep en context begeeft. Je wilt iets weten. Dit half jaar heb ik me vooral gefocust op 2 deelvragen:

  1. Hoe maken organisaties samen een dienst?
  2. Wat helpt en hindert hen bij het mensgericht ontwerpen van zo’n dienst?
Vergeelde post-it met de onderzoeksvraag zodat ik er elke week aan herinnerd word.

Voordat ik begon met dit promotieonderzoek, had ik al enige ervaring met het doen van onderzoek. Dit blog staat er vol van! Dit is vooral toegepast kwalitatief onderzoek voor organisaties. De afgelopen twee jaar heb ik veel gelezen over de eisen die de wetenschap stelt aan nieuwe kennis op basis van kwalitatief onderzoek. Ik keek vooral naar hoe data wordt verzameld en geanalyseerd in etnografisch en participatief actieonderzoek.

Een belangrijk principe is bijvoorbeeld triangulatie: het gebruik van verschillende databronnen die elkaar aanvullen. Als je iets zowel observeert in gedrag, bespreekt in interviews en terugziet in de gebruikte documenten van de organisatie, is je verhaal beter onderbouwd. Dit geldt ook andersom: iemand kan wel iets zeggen, maar als je het vervolgens niet observeert of nergens in de archieven van de organisatie kunt vinden, tja…

Mijn data-verzamel-strategie

Ik heb op meerdere manieren data verzameld. Sommige waren bedoeld als input voor een andere manier van data verzameling, die vervolgens belangrijke bronnen waren voor mijn analyse.

Ik hield elke week observaties bij in een dagboek. In totaal heb ik 22 dagboeken, variërend van 4 tot 10 A4tjes. Ik sloot aan bij overleggen, lunchte mee en sprak tussen de bedrijven door met collega’s. Ik noteerde wat er gebeurde en wat me opviel.

Begin april organiseerde ik een workshop met het kernteam van het programma. Iedereen maakte een tijdlijn met voor hen bepalende momenten van de afgelopen tijd. Vervolgens wisselden we in een groepsgesprek ervaringen uit en reageerden op elkaars tijdlijn. Ik maakte tijdens het gesprek een begin met een gezamenlijke tijdlijn.

De observaties en de tijdlijnen vormden de input voor persoonlijke interviews met 13 collega’s die bij het programma betrokken zijn. De interviews hadden een vrije vorm. We bespraken de tijdlijn die ze gemaakt hadden en ik vroeg naar hun algemene ideeën over wat goede diensten zijn en hoe je ze maakt.

Ik werkte zelf mee aan een deelproject. Mijn eigen reflecties hield ik ook bij in hetzelfde dagboek. Over dit project schreef ik al de blogs Anders denken, nieuwe oplossingen en Een dag mee met een gerechtsdeurwaarder.

Ik gebruikte programmadocumentatie zoals mailwisselingen, notulen van vergaderingen en visiedocumenten. Er zit zelfs een appje in mijn datacollectie! Deze documenten gebruikte ik vooral als extra onderbouwing bij observaties of uitspraken uit de interviews.

Hoe de bronnen elkaar ondersteunen ziet er zo uit:

Visueel overzicht van de manier waarop ik verschillende databronnen gebruik in mijn onderzoek.

De berg data door

Begin juli stopte ik tijdelijk met het verzamelen van data. Tijd om te kijken of ik al antwoorden op de vragen kan formuleren. Op 2 manieren ging ik grondig door alle data heen.

Mijn onderzoek focust zich op verandering, en hiervoor is tijd nodig. Daarom koos ik een proceslens om naar alle data te kijken. Hoe dit werkt, leg ik uit in de blog Een proces onderzoeken. Het houdt in dat ik mijn data op tijdlijnen plot om de opeenvolging van gebeurtenissen en acties te zien om zo onderliggende mechanismes te kunnen vinden. Deze tijdlijnaanpak is de eerste manier waarop ik door de data ben gegaan.

Op de muur van mijn werkkamer maakte ik een grote tijdlijn van een paar jaar waar ik de bepalende momenten van collega’s op plaatste. Ik plaatste er stickertjes bij met met hun naam wanneer ze in hun interview over zo’n moment of periode vertelden. Vervolgens verdeelde ik de tijdlijn in periodes die mij logisch leken.

Ik deze zomer. If you know, you know.

Een van die periodes maakte ik van dichtbij mee: het afgelopen half jaar. Hiervan maakte ik een gedetailleerde versie door al mijn dagboeken door te spitten en de belangrijke events per week te noteren. Events die ik beïnvloedde kregen een extra zwart bolletje. Te zien aan de groei van de zwarte bolletjes veranderde mijn rol van passieve toeschouwer naar actiever teamlid naarmate ik langer bij het programma betrokken was. Dat is prima, en ik ben blij dat ik dit zo goed heb vastgelegd en mijn reflecties hierop bijhield in het dagboek.

1988 unieke codes

De tweede manier waarop ik door alle data ben gegaan is door deze te coderen. Bijna al mijn data bestaat uit tekst. Zelfs de visuele data zijn ‘vertaald’ naar tekst, doordat collega’s erover vertellen in het groepsgesprek en hun interview.

Van de gesprekken die ik in audio opnam, maakte ik een letterlijk transcript. Voor sommigen was dat even wennen, want elke uhm staat erin. Niemand praat in keurige volzinnen. Vaak zoeken we naar woorden en bedenken we halverwege de zin een nieuw einde. Ik wilde graag de gedachtegangen en uitstapjes volgen. En ik wilde zo dicht mogelijk bij de exacte bewoordingen van de participanten blijven.

Voor het coderen van alle data gebruik ik ATLAS.ti. Op hun website hebben ze een handige uitleg wat coderen in kwalitatief onderzoek inhoudt. In het kort: ik ga elk stukje tekst langs om te kijken waar het over gaat. Dit geef ik een label, een code dus. Een gemiddeld interview van een uur gaf ik 125 codes. In totaal leverde een eerste ronde coderen van alle teksten 1988 unieke codes op.

Bij het coderen van de teksten dacht ik voortdurend aan mijn onderzoeksvraag. Ik lette er dus op of participanten vertelden hoe ze diensten maakten. Welke processen zijn er en uit welke stappen bestaan ze? Elke stap krijgt een code. Gebruiken ze ontwerpmethoden, en welke hiervan zijn mensgericht? Alles wat ik tegenkwam, kreeg een code. Waar lopen ze tegenaan? En wat helpt hen juist? Je snapt het: een code!

Zo ziet dat eruit: een stukje interview met meerdere codes.

Daarnaast codeerde ik ook veel ‘en vivo’. Dit betekent dat je de letterlijke woorden van de participant als code gebruikt. Dit doe je als je zo dicht mogelijk bij de data wilt blijven. De reden dat ik dit doe, is dat de overheid voor ontwerpers buiten de overheid vaak een gesloten wereld is met een eigen taal. Om design toe te passen in een publieke bureaucratische omgeving, hebben we ook een gemeenschappelijke taal nodig. Daarom wil ik niet zelf al tijdens het coderen ‘vertalen’, maar de taal van de overheid zelf gebruiken.

Voorbeelden van dit soort en vivo-codes die voor ontwerpers heel leerzaam kunnen zijn:

  • een beschikking: dit is een term uit de Algemene wet Bestuursrecht. Het gaat om een officieel wettelijk besluit waar een organisatie wettelijk mandaat voor heeft om te nemen. Bijvoorbeeld het besluit dat je geen recht hebt op een toeslag en die moet terugbetalen. Tegen een beschikking kun je in bezwaar en beroep gaan. Dit zijn maatregelen voor rechtsbescherming voor burgers. Zo’n beschikking is een kernonderdeel van een overheidsdienst.
  • een voorportaal: een overleg waarin beslissingen door ambtenaren worden voorbereid. Er kunnen allerlei verschillende soorten voorportalen zijn. Soms moet een beslissing langs meerdere tafels en dus ook via meerdere voorportalen naar die tafels. Helemaal als verschillende organisaties iets moeten beslissen.
  • de tas van de stas: elk weekend krijgt de staatssecretaris de zogenaamde weekendtas mee met memo’s ter informatie of met iets waar een besluit over genomen moet worden. Voor ambtenaren vormt de tas van de stas een soort deadline waar je naartoe werkt. Bij een tas van de minister heet dit meestal tas M of tas van M.

Deze en vivo-codes kunnen samen een categorie vormen, bijvoorbeeld een categorie die beschrijft hoe de besluitvorming bij de overheid werkt wanneer je diensten herontwerpt. Of een categorie over de juridische aspecten van dienstverlening. Sommige codes kunnen ook tot beide categorieën behoren. Dit ga ik de rest van de zomer uitwerken. In een codeboek houd ik vervolgens bij welke hoofdcategorieën ik heb en wat de definities hiervan zijn. Zo kan ik ook een begin maken met een voorlopig antwoord op mijn 2 vragen: hoe maken deze organisaties samen een dienst, en wat helpt en belemmert hen bij het mensgericht ontwerpen hiervan?

Hoe dan verder?

Begin september bespreek ik eerst alle inzichten met de participanten die meededen. In kwalitatief onderzoek heet dit de member check. Dit is een cruciale stap in actieonderzoek, omdat je samen met participanten werkt in hun eigen context. Herkennen zij mijn voorlopige antwoorden? Hebben ze aanvullingen? Heb ik iets over het hoofd gezien? Tegelijkertijd is dit ook een interventie, omdat we samen reflecteren op onze werkwijze. Dit heeft invloed op hoe het onderzoek verder zal gaan. Wat zien zij als de volgende stap? Dit bespreken we ook samen.

Ben jij ook benieuwd naar de eerste inzichten? Op 12 september in Den Haag mag ik iets over mijn onderzoek vertellen op een evenement van PONT met Kustaw Bessems van de podcast Stuurloos. Je kunt je hier opgeven!

Verder lezen?

  • Coghlan, D. (2019). Doing Action Research in Your Own Organization. Sage.
  • Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Sage.
  • Saldaña, J. (2021). The coding manual for qualitative researchers. Sage.
  • Small, M. L., & Calarco, J. M. (2022). Qualitative literacy: A guide to evaluating ethnographic and interview research. Univ of California Press.
Categories
Hoe doe je onderzoek? Promoklip

Een proces onderzoeken

Poster van een van de principes van goede diensten uit het boek van Lou Downe

In mijn onderzoek speelt tijd een belangrijke rol. Of beter gezegd: processen die zich door de tijd afspelen. Om hier beter grip op te krijgen, volgde ik onlangs de cursus Process Research aan de Vrije Universiteit van Amsterdam.

In dit blog vertel ik hoe ik deze manier van kijken naar data en kennis wil gebruiken in mijn onderzoek. Ik zie daar 3 mogelijkheden voor en die werk ik de komende tijd uit.

Acties en processen

Maar eerst: wat is proces onderzoek? Als je dit blog al langer volgt, dan denk je misschien: “hey, maar je deed toch actie onderzoek?” Jazeker. Die twee kun je namelijk perfect combineren.

Als je iets wilt begrijpen, moet je het veranderen. Dit is een bekende uitspraak van Kurt Lewin, de grondlegger van actie onderzoek. Met actie onderzoek werk je samen met participanten in echte situaties. Samen probeer je iets te veranderen en reflecteer je hierop. Zaken gaan alleen zelden van de ene op de andere dag van A naar B, dat kost tijd. Deze verandering kun je op 2 manieren onderzoeken.

  1. Een varianten aanpak kijkt naar de verschillen tussen A en B ware het 2 aparte foto’s en verklaart zo de verandering.
  2. Een proces aanpak kijkt hoe A tot B geworden is. Dit is het bewegende beeld, de hele film. Juist het fluïde proces tussen A en B is hier interessant. Met deze proces lens kun je de mechanismes die de verandering mogelijk maken beter begrijpen.

Actie- en proces onderzoek gaan er allebei van uit dat organisaties bestaan uit verandering en dat je dit het beste kunt onderzoeken vanuit het perspectief van de binnenkant. Dat past perfect bij mij, als ambtenaar die wil onderzoeken hoe uitvoeringsorganisaties veranderen in dienstverleners.

In de cursus Process Research leerde ik over de theorie achter deze manier van onderzoeken. En op welke manier je data kunt verzamelen en met een proces lens kunt analyseren om tot kennis te komen. Ik vond het super interessant! Als je hier graag meer over wilt weten, of leestips zoekt, stuur me dan een berichtje.

Mijn onderzoek bestaat uit 3 lagen en op elke laag denk ik dat ik deze proces aanpak goed kan gebruiken. Ik kijk naar wat goede diensten zijn, hoe organisaties ze maken en hoe ik, in dit onderzoek, hierover leer samen met jullie.

Een goede dienst is een proces

Lou Downe schrijft in het beste boek over goede dienstverlening dat ik ooit las dat een goede dienst een werkwoord is. Vaak noemen we bij de overheid onze dienst een register, een portaal of – nog erger – een afkorting waardoor niemand eigenlijk meer weet wat de persoon aan de andere kant, de burger, ermee wil bereiken. Wat die wilde doen.

Ik heb ‘m zelf als poster thuis!

Een goede dienst is een proces met allerlei acties erin. Dit visualiseren we in een klantreis. Je kunt hier de processen van de organisatie ook aan koppelen. Dat heet een service blueprint. Zo zie je door de tijd hoe iemand een bepaalde overheidsdienst ervaart en wat jouw organisatie daarvoor doet en organiseert.

Ik kijk in mijn onderzoek naar wat goede dienstverlening is. Dat doe ik dit jaar in een casus bij het CJIB, bij het programma Clustering Rijksincasso. Hier kijk ik hoe een goede dienst eruit ziet voor mensen die een schuld aan de overheid moeten betalen.

Ik kijk ook een laag hierboven. Ik kijk hoe de overheid deze dienst herontwerpt en daardoor verandert.

Een dienst herontwerpen is ook een proces

Ik werk mee in het team dat deze dienst(en) wil verbeteren. Dat doe ik omdat ik wil leren hoe organisaties beter worden in het maken van diensten die goed zijn voor mensen.

Om de groei bij de overheid hierin te kunnen volgen, leg ik de gebeurtenissen vast in de tijd. Samen met het team dat ik volg reflecteer ik aan de hand van gebeurtenissen in het verleden. Laatst maakten we bijvoorbeeld allemaal een tijdlijn van de belangrijke momenten in het project. In interviews vraag ik vervolgens hoe mensen te werk gingen rondom die gebeurtenissen. Wat de strategie is, wat ze belangrijk vinden en hoe ze keuzes maken. Over deze methode heb ik eerder geblogd: visueel interviewen.

Ik maakte ook mijn eigen tijdlijn, want ik ben zelf ook onderdeel van het team en denk/ werk mee hoe de dienst beter kan. Dit is de mijne, nagetekend.

Tekening van mijn tijdlijn bij het CJIB

Ik ben nog aan het uitproberen hoe ik de data goed kan anonimiseren, maar dit is een beetje teveel van het, denk ik, haha.

Straks leg ik de tijdlijnen en verhalen naast elkaar en kun je vanuit meerdere perspectieven zien hoe de dienst tot stand komt en de organisatie(s) groeien. Samen kunnen we dan kijken welke mechanismes hierbij een rol spelen. En ik hoop natuurlijk dat ik lessen kan trekken die ook op andere plekken kunnen werken.

Mijn promotie is ook een proces

Dit onderzoek kun je goed volgen. Ik laat regelmatig zien hoe het er achter de schermen uitziet. Dat doe ik via dit blog en via een maandelijkse nieuwsbrief. Ik krijg regelmatig feedback van jullie op wat ik doe en dat vind ik heel waardevol. Deze open manier van werken, ik noem het open actie onderzoek, is ook een proces en dit is de derde laag in mijn onderzoek.

De manier waarop ik leer, data verzamel en analyseer en samen met jullie input tot nieuwe kennis kom, kan ik ook als een proces uittekenen. Ik ben nu een artikel aan het schrijven over mijn conceptueel framework voor het onderzoek. Stiekem staan allerlei bouwblokken hiervan allang op dit blog. Soms heb ik dat zelf niet eens door. Met terugwerkende kracht kun je het hele denkproces, de kennis in wording, hier teruglezen. Dit proces ziet er bijvoorbeeld zo uit:

Schematische weergave hoe ik van idee tot uitkomst ga door de open aanpak.

De komende tijd werk ik deze aanpak verder uit en ga ik, samen met het team en samen met jullie, de eerste bevindingen analyseren. Ik ben heel benieuwd wat we ervan gaan leren!

Verder lezen?

  • Coghlan, D. (2019). Doing Action Research in Your Own Organization. SAGE.
  • Langley, A. (2007). Process thinking in strategic organization. Strategic Organization, 5(3), 271–282.
  • Tsoukas, H., & Chia, R. (2002). On Organizational Becoming: Rethinking Organizational Change. Organization Science, 13(5), 567–582.
Categories
Hoe doe je onderzoek? Promoklip

Full circle onderzoek

Foto van een waterval die echt super steil is
Foto door Nicolas J Leclercq via Unsplash.

Gisteren kwamen meer dan 100 onderzoekers die bij de overheid werken bij elkaar in Utrecht. De overheidsbrede onderzoekscommunity hield samen met Gebruiker Centraal haar eerste evenement in het echt, en de organisatie moest aan deelnemers vragen of er echt maar 5 mensen per overheidsorganisatie kwamen. Als je mij 10 jaar geleden dit had verteld, had ik je niet geloofd. Er werken inmiddels al zoveel onderzoekers bij de overheid. Super.

In dit blog deel ik mijn presentatie: over de context waarin wij werken en waarom onderzoekers nodig zijn voor goede dienstverlening. We blikken terug op hoe ver we zijn gekomen, en ook vooruit: wat is er nodig om de leefwereld van burgers leidend te laten zijn bij het maken van overheidsdiensten? Ik noem dat full circle onderzoek doen.

Elke maand een update in je mailbox over mijn onderzoek? Abonneer je op mijn nieuwsbrief.

De cirkel van democratie en dienstverlening

In mijn onderzoek gebruik ik een indeling tussen de systeemwereld en de leefwereld, met zowel een collectieve als een individuele kant. Hierdoor ontstaan er 4 kwadranten. Aan de collectieve kant geeft de zittende macht samen met volksvertegenwoordigers vorm aan hun visie op de samenleving. Deze visie wordt vervolgens vertaald naar wetten, beleid en dienstverlening voor individuen. Pas na interactie tussen burgers en de overheid wordt dit werkelijkheid in de context van de mensen zelf, oftewel de leefwereld. Ook in de leefwereld groeperen individuen zich en proberen zij hun ideeën over de samenleving te verwezenlijken, waardoor de cirkel rond is.

Tekening van de cirkel van democratie en dienstverlening
Tekening van de cirkel van democratie en dienstverlening.

Van deze cirkel ervaren de meeste mensen vooral de individuele kant. “Mensen ervaren geen beleid, ze ervaren diensten,” zegt onderzoeker Sabine Junginger (2016). Dat betekent dat de taak van overheidsdienstverleners is om collectieve waarde te vertalen naar individuele ervaringen die ook waardevol zijn.

Wil je meer weten over deze collectieve en individuele kant? Lees dan de blog Uitvoerder én dienstverlener.

Dat is niet makkelijk. De praktijk van de systeemwereld is nu vaak een grote waterval. Het gaat met de klok mee in een cirkel, van beleid naar dienstverlening en stort zich uit over burgers en de samenleving. Als je het er niet mee eens bent, kun je dat laten merken in je stemgedrag.

Het kan anders zijn als we de ervaringen van burgers verzamelen en, tegen de klok in, in de systeemwereld introduceren. Die ervaringen kunnen bepalend zijn voor hoe we diensten aanbieden en hoe we überhaupt diensten ontwerpen. Voor het beleid dat daarvoor wordt vastgesteld, en ja, misschien ook voor de wetgeving en de bijbehorende ideeën over interventies in de maatschappij en het effect dat dit met zich meebrengt.

We moeten het helemaal omdraaien. En dat kunnen we, omdat dat precies ons vak is als onderzoekers bij de overheid.

Wij halen ervaringen op uit de leefwereld van mensen. We hebben verschillende methoden en technieken om dit goed te kunnen doen. Bovendien zijn we in staat om deze verhalen op een zodanige manier binnen onze organisaties te delen, dat collega’s erdoor gemotiveerd worden om actie te ondernemen.

Dat hebben we de afgelopen 10 jaar wel laten zien.

Hoe het begon

In de meeste organisaties begon het met het testen van schermen. Voor mij ook. Ik ben in 2013 begonnen bij de Dienst Uitvoering Onderwijs. Een van de eerste dingen die ik leerde, was hoe je een gebruikstest moest opzetten en uitvoeren. Ik bezocht scholen met mijn laptop onder de arm. Op kantoor liet ik filmpjes zien aan collega’s en vertelde ik hoe studenten of medewerkers van scholen onze digitale diensten ervaarden.

Kijk zo cute: mijn eerste stappen in de onderzoekswereld.

In 2017 begon ik met mijn blog. Ik deelde wat ik leerde en wat we bij DUO uitprobeerden. Jullie stuurden me ook steeds vaker jullie ervaringen.

Ik zag dat we als onderzoekers groeiden. We gingen van het testen van schermpjes naar het onderzoeken van hoe alle interactiemomenten met de overheid verbeterd konden worden. We leerden nieuwe onderzoeksmethoden en bedachten creatievere manieren om de inzichten te delen binnen onze organisaties. We gingen holistischer te werk en probeerden ook de persoon achter de gebruiker te leren kennen.

We werkten slimmer. Om op te schalen gingen we onze inzichten bundelen en archiveren. We gingen ons beter organiseren en er kwamen ook onderzoeksfuncties voor die logistieke kant.

En toen begonnen sommige van ons af en toe telefoontjes te krijgen van verdwaalde beleidsambtenaren die een doenvermogentoets moesten uitvoeren. “Ik kreeg je naam door, misschien kun je mij helpen?” Dat kunnen we zeker.

En zo gingen we met de inzichten uit de leefwereld steeds dieper de systeemwereld in.

Laten we dan ook even verder dromen. Waar gaan we heen? Wat gun ik ons vakgebied?

Meer kwaliteit

Om de hele leefwereld beter te begrijpen, zowel het individuals het collectief, moeten we ons werk verbeteren. Hiervoor hebben we meer diversiteit nodig in onderzoeksrollen. Het veld is zo groot dat niemand goed is in alle onderzoeksmethoden die we nodig hebben. Dat is ook niet nodig. In het verleden hadden we onderzoeksteams bestaande uit één persoon die alles deed, maar dat is niet langer mogelijk. Een goed onderzoeksteam bestaat uit gebruikersonderzoekers, strategische onderzoekers, klantreis-experts, gedragswetenschappers en nog veel meer. We moeten het volledige scala aan onderzoeksmethoden omarmen.

Scholieren uit Sneek denken na over studiefinanciering
Scholieren uit Sneek denken na over studiefinanciering

Diversiteit zegt ook iets over wie wij zelf zijn. Ik zie nog steeds te vaak een hele homogene groep als ik om me heen kijk. Juist wij, die de bias van de overheid willen toetsen, moeten ook onze eigen bias kennen. We hebben veel te weinig mensen van kleur in onze teams. Eén op de 5 mensen heeft een zichtbare of onzichtbare beperking, maar als ik nu rondkijk, is dat vrijwel onzichtbaar. Onze teams zijn niet divers en dat is een probleem. Daardoor hebben we te veel blinde vlekken die invloed hebben op hoe we ons werk doen.

Mensen spreken

Dan moet mij iets van het hart. Het mag echt geen probleem meer zijn om respondenten te spreken. Echt. Kom op. Dit is nog veel te vaak een probleem in organisaties. “Wat beloof je ze dan?” “Nee, de AVG.” “Het moet wel efficiënt zijn.” Menselijk contact is per definitie niet efficiënt, sterker nog: het wordt beter naarmate het minder efficiënt is. We kunnen ons werk alleen doen als we echt contact mogen hebben met burgers. We moeten dit gedoe niet meer accepteren.

Opschalen

Als we de dienstverlening aan burgers echt willen verbeteren, moeten we onze activiteiten uitbreiden. Het is geweldig dat steeds meer ontwikkelteams gebruikstesten willen doen in een sprint, maar stel je nu voor dat alle teams in je organisatie in elke sprint een gebruikstest willen doen? Hoe gaan jullie dat voor elkaar krijgen?

We moeten dus meer investeren in de organisatorische kant. Het contact met mensen hoeft niet efficiënt te zijn, maar we kunnen ons onderzoekswerk wel efficiënt organiseren. Dit vraagt voor de meesten van ons om een andere aanpak. De creatieve en menselijke kant is sterk vertegenwoordigd bij de meesten van ons, maar nu is het tijd om ook de ambtelijke blauwe kant weer te omarmen.

Beleid en diensten samen maken

Ik zie steeds meer samenwerking tussen beleid en uitvoering, en onderzoek vormt daarvoor de basis. Ik hoop dat dit de standaard manier van werken wordt bij de overheid. Zodat beleid wordt gebaseerd op inzichten van gebruikers en dat het samen met het ontwikkelen van diensten steeds wordt getoetst bij burgers.

Hiervoor moeten we stoppen met die waterval. Ik weet dat ik hiermee een bekend punt aankaart, en dat we er vaak over klagen. Maar we staan niet machteloos aan de zijlijn. We kunnen helpen om de waterval te stoppen.

Inzichten delen = open werken

Wat mij betreft is de beste manier om de waterval te stoppen, door je werk te delen. Deel de verhalen van burgers. Deel hoe je je werk doet en wat het oplevert. Deel ook de momenten waarop het niet goed gaat. Vooral verhalen over onderzoeksinzichten die vastlopen in een log proces of op een systeem dat al af is, helpen ons om te begrijpen hoe we anders moeten werken.

Vaak schiet het erbij in om ook nog een goed deelbaar verhaal te maken. We zijn al zo druk. Ter illustratie: ik ben al jaren ongeveer 1 dag per week kwijt aan dit blog en het geven van en delen van presentaties. En ook nu, op vrijdagmiddag, ben ik bezig met het uittypen van mijn presentatie van gisteren. Ik doe dit omdat ik weet dat het onze vakgroep verder helpt. Doe met me mee en draag bij. Ik weet immers alleen maar wat ik toevallig meemaak en zie in Groningen hier. Samen kunnen we veel meer leren.

Het is pas echt als het echt is

Het is geweldig dat we pilots, proeftuinen en experimenten uitvoeren. Maar pas wanneer een burger daadwerkelijk een betere dienstverlening ervaart, kunnen we koffie halen. Daarom is het niet vreemd om net zoveel tijd te besteden aan het delen van je werk en het volgen van wat ermee gebeurt, als aan het daadwerkelijke onderzoek. Wat heb je eraan als je al die moeite doet en er vervolgens niets mee gebeurt?

Laten we streven naar full circle onderzoek doen. We beginnen bij de leefwereld, bij de burger, uiteraard. Met de inzichten gaan we onze organisatie in en klimmen we op in de waterval. Dat kunnen we. We werken samen met anderen om de processen en systemen aan te passen, om beleid en, indien nodig, wetgeving aan te passen. Vervolgens onderzoeken we opnieuw hoe we die aanpassingen kunnen vertalen naar individuele ervaringen.

Full circle onderzoek begint en eindigt in de leefwereld.

Full circle onderzoek doen begint en eindigt bij de burger.

Toen ik ambtenaar werd, zei mijn toenmalige manager Theo: “Maike, het gaat heel lang duren voordat je iets kunt veranderen bij de overheid. Maar als het je lukt, heb je echt iets bereikt.”

Dus laten we beginnen doorgaan.

Verder lezen?

Dit blog staat vol met tips hoe je onderzoek doet en je organisatie meekrijgt. Bijvoorbeeld:

Categories
Hoe doe je onderzoek? Promoklip

Vingers op het toetsenbord

Foto van persoon die de vingers op het toetsenbord houdt haha
Photo by Daniel Thomas on Unsplash

Het schrijven van een wetenschappelijk artikel over overheidsdiensten is heel anders dan het schrijven van een blog. Dat heb ik inmiddels wel gemerkt. Zojuist heb ik het concept van mijn tweede artikel naar mijn promotor gestuurd en dat voelt geweldig.

Tijdens het schrijven had ik veel aan andere researchers die op Instagram, Youtube of op hun blog deelden hoe zij het aanpakken. Dus doe ik iets terug natuurlijk.

In deze blog laat ik mijn schrijfproces zien, hoe ik me voorbereid en welke hulpmiddelen ik gebruik.

Elke maand een update in je mailbox over mijn onderzoek? Abonneer je op mijn nieuwsbrief.

Andere koek

Ik schrijf geen boek, blog of artikel in de krant, maar een wetenschappelijk artikel. Dat is een zeer functionele tekst en heel anders dan ik gewend ben. Je schrijft altijd voor je lezer en in dit geval wil mijn lezer zo snel mogelijk weten: “welke kennis staat er in dit stuk en kan ik het gebruiken voor mijn onderzoek?” Er zijn regels verbonden aan het schrijven van een wetenschappelijk artikel, die ook nog kunnen verschillen per onderzoeksveld.

Artikelen hebben bijvoorbeeld een vaste structuur: introductie, onderzoeksvraag en -doel, methode, bevindingen, discussie en conclusie. Hier moest ik in het begin erg aan wennen. Als ik een mooie anekdote deelde in de discussie, verplaatsten mijn promotoren die genadeloos naar de bevindingen, of erger nog, ze schrapten ze volledig uit het artikel. Als ik al een klein tipje van de sluier oplichtte bij de bevindingen en wat je ermee kon, werd dat verplaatst naar de discussie. Maar nu ik zelf veel artikelen doorploeter, ben ik dankbaar voor die logische indeling.

Foto van bovenaf genomen van mijn bureau met laptop en allerlei aantekeningen op papier
Aantekeningen klaar, tikken maar

In april 2023 schreef ik, op basis van de data die 7 jaar bloggen mij opleverde, een empirisch artikel. Nu ben ik bezig met een conceptueel stuk. Ik heb nu iets meer vrijheid om het artikel vorm te geven, maar dat maakt het ook meteen moeilijker. De argumentatie voor mijn conceptueel kader bepaalt de structuur van het artikel, dus die argumentatie moet uitstekend zijn.

Ik gebruik twee artikelen als leidraad voor hoe je zo’n conceptueel stuk opbouwt. Ik maak een theoretische synthese van concepten die te vinden zijn in de vakgebieden design, services en bestuurskunde (Jaakkola, 2020). Deze concepten breng ik samen als een soort architect die een huis bouwt (MacInnis, 2011).

Argumenten opbouwen

Een promotieonderzoek is eigenlijk een opleiding: bij elke stap die je neemt, moet je eerst leren hoe je die neemt. Ik volgde daarom twee cursussen om me te helpen met schrijven.

  1. Wetenschapsfilosofie aan de Erasmus Universiteit. Ik leerde wat een goed argument is en hoe je kunt controleren of de opbouw goed is. We moesten teksten van anderen analyseren en volledig ontleden.
  2. Creatieve technieken voor wetenschappelijk schrijven. Bijvoorbeeld hoe je overzicht creëert voor jezelf, hoe je de hoofdboodschap uit een alinea haalt en ernaartoe schrijft en hoe je de lezer meeneemt in een tekst en de aandacht vasthoudt. En ook: hoe je kunt voorkomen dat je van die wetenschappelijke zinnen schrijft die een gedrocht lijken. Zodat, ondanks dat er veel kennis in staat, het ook een beetje leuk is om je artikel te lezen.

Mijn schrijfproces

Na al deze voorbereidingen hield niets me meer tegen om mijn vingers op het toetsenbord te houden. In januari had ik drie weken de tijd, non-stop. Ik was ook nog mijn stem kwijt, dus ik kon echt niets anders plannen.

Tijdens de tweede cursus schreef ik de introductie van het artikel, waarin ik de onderzoeksvraag, het doel van het artikel en de aanpak om tot antwoorden te komen beschreef. Deze introductie besloeg ongeveer 500 woorden en ik besprak hem uitgebreid met mijn promotoren. Na wat schaven stuurde ik hem ook naar Servsig, een serviceconferentie in Juni. Het zou leuk zijn als ik daar een presentatie over het stuk mag geven, dat hoor ik later in het voorjaar.

Ik had al veel gelezen en aantekeningen gemaakt. Als bibliotheek voor wetenschappelijke artikelen gebruik ik Zotero, dat ook handig is om referenties tijdens het schrijven bij te houden. Ik las al mijn aantekeningen nog eens door. Vervolgens maakte ik een visuele outline in Miro met de belangrijkste argumenten en de figuren die ik zou gaan gebruiken, evenals de flow van het ene naar het andere punt.

Foto van mijn scherm met alle figuren terwijl ik er een smakelijk kopje koffie voor houdt zodat je niet alles kan lezen
Uitgebreid Mirobord met alle figuren

Het echte schrijven begon dus heel functioneel. Ik begon met de belangrijkste onderzoeksvragen en bouwde het antwoord stap voor stap in blokjes op. Ik voegde de belangrijkste bronnen toe.

Daarna werkte ik de blokjes puntsgewijs uit. Elke zin plaatste ik op een aparte regel met een nummertje ervoor. De zinnen waren kort en staccato. Het belangrijkste was dat de argumentatie duidelijk was en als dat het geval was, markeerde ik de belangrijkste regel. Dat was het punt dat ik wilde maken. Ik schoof nog wat heen en weer en keek kritisch of alle zinnen opbouwden naar die conclusie. En dan ging ik verder naar het volgende blokje.

Ik wil in een Engelstalig tijdschrift publiceren, maar ik denk nog niet echt in het Engels. Ik begon daarom in het Nederlands en vertaalde de zinnen naar het Engels als ik tevreden was met de opbouw. Ik gebruikte Deepl als vertaalassistent om me te helpen.

Mooie zinnen maken

Nu was het tijd om te doen wat ik vroeger schrijven zou noemen: mooie zinnen maken. Ik verwijderde de nummers en schreef de zinnen aan elkaar. Sommige zinnen voegde ik samen. Andere zinnen werkte ik uit en werden wel drie zinnen. Ik verdeelde de informatie over alinea’s en markeerde opnieuw de belangrijkste boodschap per alinea, opbouwend naar de conclusie van het hele blokje. De zinnen waren veel minder staccato, maar droegen volwaardige informatie. En ik voegde natuurlijk alle referenties toe van de bronnen waarop ik me baseerde.

Voor het redigeren van de tekst gebruikte ik Edit.gpt. Voornamelijk voor de Engelse grammatica, maar ook om de algehele flow te verbeteren. Sommige aanpassingen nam ik over, andere niet. Daarna controleerde ik of de zinnen soepel liepen en of ze niet te lang waren. Ik deed dit door de tekst hardop voor te lezen.

Als dat allemaal klaar was, ging ik verder naar het volgende blokje. Na het voltooien van alle blokjes binnen een segment, las ik alles een paar keer door. Ik keek naar de overgangen van het ene punt naar het andere. Ik controleerde of alle onderzoeksvragen beantwoord waren en of het geheel uitnodigde om verder te lezen.

En zo schreef ik afgelopen maand maar liefst 8000 woorden.

Foto van mijn bureau en het raam, met mijn benen languit in het raamkozijn
8000 woorden later

Dit schrijven is heel anders dan het tikken van een blog. In het begin moest ik enorm wennen. En het vroeg ontzettend veel discipline. Bij een blog wacht ik meestal op inspiratie, maar het schrijven van een artikel ging stap voor stap. In december nam ik me voor om elke dag een stap te zetten, of zeg, 300 woorden, zodat ik eind januari een conceptversie klaar zou hebben. En dat lukte. Zelfs op dagen zonder inspiratie.

Nu gaat wat ik schreef ‘de mix’ in. Dat betekent dat ik feedback ontvang van mijn promotoren. Ze zullen veel vragen stellen over de argumentatie en dingen weer herschikken. Sommige blokjes moeten ook nog wel beter uitgewerkt worden, maar na 8000 woorden had ik een toasty brein. Ik ben heel benieuwd waar ze mee terugkomen.

En over de inhoud zelf, want ik begrijp dat jullie daar ook razend benieuwd naar zijn, komt later ook nog wel een blog :).

Verder lezen?

Ik schrijf vaker blogs over hoe ik onderzoek en wat mijn methoden zijn. Bijvoorbeeld:

Referenties

Jaakkola, E. (2020). Designing conceptual articles: Four approaches. AMS Review, 10(1–2), 18–26.

MacInnis, D. J. (2011). A framework for conceptual contributions in marketing. Journal of Marketing, 75(4), 136-154.

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

Hoe we een computerbesluit kunnen zien

Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.

Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.

https://open.spotify.com/episode/61MQ5s4ce95L0bMGHiotnF?si=b6a251a59fc040f3

Ik kan het gewoon zien

Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?

Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.

Openmaken en bekijken

Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.

Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?

Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.

Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.

Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.

Wat we willen bereiken

Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:

  • We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
  • omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
  • zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].

Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:

  • de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
  • de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
  • de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
  • de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.

De methode ontwerpen

In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.

Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.

Het maakproces geven we zo vorm:

Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties

We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.

We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.

Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?

  • Wat zijn de beslisregels die over de nationaliteitstoets gaan?
  • Op welke wetonderdelen zijn de beslisregels gebaseerd?
  • Hoe zijn de beslisregels geprogrammeerd?
  • Hoe zijn ze in de werkinstructie opgenomen?
  • Welke data is nodig en wat zijn bronnen?
  • Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
  • Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?

Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?

  • Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
  • Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
  • Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
  • Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
  • Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?

Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?

  • Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
  • Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
  • Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
  • Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?

‘Wat zit DUO gek in elkaar’

De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)

Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.

Filmpje met de ervaringen van de eerste maakdag bij DUO.

De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.

Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).

Een impressie hoe dat eruit zag:

Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.

Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.

Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!

Prototype van de werkmethode die we binnenkort met de SVB gaan testen

Twee vragen

Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.

En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.

Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!

Categories
(On)begrepen burgers Hoe doe je onderzoek? Werken met beeld

Het geldstromen doolhof

Tijdens de overstroming vorig jaar is in Valkenburg een kade ingestort en nu tijdelijk gerepareerd door het Waterschap. Het pand rechts staat leeg, de gevel hangt nog altijd gevaarlijk naar beneden.

Hoe gaat het bijna een jaar na de overstromingen in Limburg-Zuid met de schade-afhandeling? Zijn mensen alweer terug in hun huis en is ‘alles weer normaal’? Of niet? Begin maart ging ik samen met een collega drie dagen naar Valkenburg aan de Geul, Gulpen-Wittem en Meerssen om zelf te zien wat de nasleep van de overstromingen inhoudt. Ik nam mijn camera mee.

https://open.spotify.com/episode/2fL6929vlf0epCsUeHPLF4?si=DiPxiIQAT-Kot9aZKwvZ0w

In dit blog lees je hoe we dit bezoek aanpakten, over mijn overpeinzingen over dit soort gebeurtenissen in de toekomst en welk effect ze hebben op de relatie van burgers met de overheid.

De aanleiding

In januari bracht Reinier van Zutphen, de Nationale ombudsman samen met Jan, een collega een regiobezoek in Limburg zoals ze wel vaker doen. Reinier sprak onder andere met de burgemeester van Valkenburg, Daan Prevoo. Hij vertelde dat het met die nasleep helemaal niet goed ging. De week erna vroeg Jan of ik mee wilde om op korte termijn wat langer naar Limburg te gaan en samen te kijken wat er precies aan de hand is. Ik ging mee omdat ik vorig jaar de gevolgen van de gaswinning ingedoken ben en we wat overlap zagen zo op het eerste gezicht.

We waren van maandag tot woensdag te gast bij de drie gemeenten die vorig jaar het meest getroffen waren tijdens de overstromingen: Valkenburg aan de Geul, Gulpen-Wittem en Meerssen. Medewerkers die veel met de nasleep van de overstromingen bezig zijn hadden een programma voor ons gemaakt.

Maar eerst: wat is er vorig jaar gebeurd?

In de week van 14 juli regende het enorm in Belgie en Duitsland. Dat leidde tot overstromingen die vervolgens Zuid-Limburg binnenstroomden. Ik vond dit filmpje van het jeugdjournaal dat goed laat zien waar bewoners mee te maken kregen:

Op 16 juli riep het kabinet na een crisisberaad de watersnood in Zuid-Limburg formeel uit tot nationale ramp. Op BNR die dag: “Dat betekent dat het kabinet de Wet Tegemoetkoming bij Schade in werking stelt. Op die manier krijgen gedupeerden snel duidelijkheid of hun schade wordt vergoed door de overheid, als hun verzekering het niet dekt.”

Maar het loopt dus niet goed. We gingen drie dagen met medewerkers van de drie Limburgse gemeenten op stap om daar zelf een beeld bij te krijgen.

Van te voren zochten Jan en ik al van alles uit. Ik visualiseerde dit op een tijdlijn. Wat is er ongeveer gebeurd en welke knelpunten zien we al op basis van wat we online tegenkomen?

Tijdlijn met eerste aannames van de problemen – klik voor groter

Deze tijdlijn gebruikten we als gespreksstarter op maandag. Onze vragen daarbij waren:

  • Wie zijn de belangrijkste partijen bij de nasleep en hoe verhouden zij zich tot elkaar? Waarin verschillen de meest getroffen gebieden van elkaar?
  • Wat zijn oorzaken en gevolgen die de afgelopen maanden gebeurd zijn? Zijn er kettingreacties? 
  • Welke geldstromen zijn er en wie heeft waar toegang toe?
  • Welke knelpunten zijn er en hebben ze relaties met elkaar?
  • Wat merken bewoners en ondernemers hiervan? Hoe hebben gevolgen impact op hen en hun omgeving?

Op grote flip-overs brachten we de antwoorden in kaart. Aan het eind van de middag zat mijn hoofd vol van alle geldstromen en doodlopende eindjes in de regelingen. Hoe maken we hier kaas van?

Echte verhalen van echte mensen

De dagen erna bezochten we bewoners en ondernemers. Ik had mijn camera bij me om direct vast te leggen wat we tegenkwamen.

Bijvoorbeeld bij een man van mijn leeftijd in Valkenburg die waarschijnlijk nog tot volgend jaar in een vakantiehuisje woont met zijn vriendin en baby. Hij zit klem tussen de verzekeraar en de RVO, niemand wil zich branden aan de waarschijnlijke problemen met zijn fundering. Hij krijgt nu uit een particulier fonds een tegemoetkoming om dit uit te kunnen zoeken zodat er weer schot in de zaak komt.

Man wijst naar de Geul achter zijn huis en legt uit hoe het water in 7 minuten met kracht het huis instroomde en de gevel eruit rukte.

Bij een stel in Gulpen-Wittem die nog flink aan het klussen zijn in hun huis. Na het hoogwater van afgelopen juni legden ze opnieuw zandzakken bij de deuren, het nu lief kabbelende beekje stroomt direct achter hun huis langs. Ze willen graag dat organisaties hen helpen hoe ze pro-actief hun huis kunnen beschermen tegen toekomstig hoog water maar daar zijn geen regelingen voor. Wel voor schade achteraf.

Man leunt tegen de tuintafel terwijl hij vertelt over de ingrepen die hij rond het huis wil doen. De zandzakken liggen nog tegen het huis aan.

Een meneer in Meerssen die nog steeds in de garage woont omdat het huis nog niet gerenoveerd is. Hij zit met een gat tussen schade en vergoeding van 80.000 euro waar hij nergens mee bij terecht kan.

Man laat zien hoe hij tijdelijk in de garage woont omdat het huis nog niet weer bewoonbaar is na de overstromingen vorig jaar.

Allemaal gaven ze aan dat ze andere verwachtingen hadden, misschien wel naïef, toen vorig jaar gezegd werd dat de overstromingen een ramp waren en dat de overheid ze ging helpen. Een jaar later blijkt dat niet zo simpel.

Hoe gaan wij verder?

Ik zie twee routes voor me.

Op de korte termijn denk ik dat we het doolhof inzichtelijk moeten maken. De doolhof van geldstromen en regelingen die er zijn voor bewoners en ondernemers maar waar doodlopende eindjes inzitten waar burgers vastlopen. De verhalen die we tegenkwamen zijn daar voorbeelden van, deze mensen staan aan het eind van zo’n doodlopend weggetje en kunnen niet verder.

Hoe kan het dat de overheid zo’n doolhof ontwerpt? Waarschijnlijk met goede bedoelingen, ik ken weinig schurken bij de overheid. Maar toch: de overheid belooft iets, dat is positief, om vervolgens knellende bureaucratie te ontwerpen. Waarom doen we dit? En hoe komt het dat het zo uitpakt? Wat kan de Nationale ombudsman hierin betekenen?

Straat in Meerssen waar nog altijd flink geklust wordt en grofvuil en bouwmaterialen aan de straat staat.

Op de lange termijn lijkt het me interessant om me te verdiepen in toekomstige gebeurtenissen die te maken hebben met dit soort klimaatconflicten. De mensen die we spraken, zowel bewoner als burgemeester, zijn allemaal bezig met ‘de volgende keer dat dit gebeurt’. Want dat dit geen incident is, staat voor hen als een paal boven water. Er moet iets gebeuren in het Geuldal.

Wie is aan zet? Om deels, als dat nog kan, te voorkomen dat er weer zulke grote overstromingen zijn, te waarschuwen wanneer ze gebeuren en om snel en adequaat met de gevolgen om te kunnen gaan?

In de heg langs de Geul kun je het aangewassen gras nog zien hangen wat vorig jaar met de overstroming meegetrokken werd.

Vorig jaar las ik veel boeken over klimaatverandering en wat ons te wachten staat. Wat mag de burger verwachten van de overheid bij dit soort klimaatconflicten? En wat betekent dit voor hoe de overheid zichzelf ontwerpt?

Dat is voor mij nog een nieuw gebied. Dus ik hoor graag met wie ik daar eens verder over kan praten en wat ik moet lezen of luisteren erover. Let me know.

Categories
(On)begrepen burgers Werken met beeld

Een filmpje voor DUO

Hoe ziet je leven eruit? En wat vind jij als student dat DUO daar echt over moet weten? Deze vraag kreeg een klas eerstejaars Creative Business studenten van InHolland in Den Haag. In 6 weken maakten ze in groepjes korte video’s over wat zij vinden dat DUO echt over ze moet weten.

Eerder vroeg ik studenten om een kaartje naar ons te sturen. Deze video’s zijn uitgebreider. Ze vertellen over de relatie tussen DUO en studenten vanuit het perspectief van studenten. Als je hen de vrije hand geeft en niet stuurt met eigen vragen of aannames, welke dingen vertellen ze ons dan? De opdracht was dus helemaal vrij: het mag overal over gaan, grappig zijn, serieus, lang of kort, echt of gespeeld: kom maar op. In deze blog laat ik een aantal video’s zien en wat ik van hen leerde.

Classic Kenny

De groep met Kenny bedacht een video over de wachttijd van DUO. Uuuuuuren. De ambtenaar in mij protesteerde. Ja, hallo. Dat is gewoon echt niet zo. Ik heb zelfs even het duo-nummer gebeld om te checken. Maar, daar gaat het natuurlijk niet om. In de presentatie vertelden ze dat ze bij het bedenken van de video een focusgroep van studenten hadden georganiseerd en dat dit zo’n herkenbare video was, vooral het einde. “DUO is hard to reach.” Dat is dan toch het gevoel dat ze bij ons hebben.

Classic Kenny

Halverwege het project moesten de studenten ook ineens binnen blijven door het Coronavirus. Dat maakte het filmen lastig. De groep van Kenny veranderde hun script en filmde het meeste thuis. De slaapkamer, de vieze keuken en de douche: het gebeurt allemaal in een kleine studentenkamer. En de fietstocht braaf op 1,5 meter afstand. Heel goed, Kenny!

De research voor Classic Kenny

Emma’s expedition

Deze klas bestond voor een groot deel uit internationale studenten. Voor hen is naar Nederland komen om te studeren best een stap. Je moet van alles regelen in een taal die je niet kent. En je moet maar net weten wat er is, en waar je voor in aanmerking komt. In een nieuw land ken je niemand en niet iedereen heeft een moeder die van alles voor je uitzoekt.

Emma’s expedition

Tijdens de presentatie vroeg ik of deze video gebaseerd was op hun eigen ervaringen. “Jazeker!” Koushan vertelde dat hij echt dacht “dat DUO een bar ofzo was”. “Je hebt gewoon geen idee als je in Nederland komt studeren en niemand vertelt je iets. Ook op de website zijn er zoveel opties: hoe weet je nu wat je moet kiezen?” Voor het maken van de video hadden ze ook andere internationale studenten gevraagd naar ervaringen. De meesten kwamen overeen, vertelden ze.

Rachel

Ook de video over Rachel hadden de studenten gebaseerd op hun eigen ervaringen. Deze video was een stuk serieuzer en ging over de struggles die buitenlandse studenten hebben in Nederland: weinig geld, ambitieus zijn en heel hard werken, je ouders missen en heimwee hebben. Ik vond het heel mooi in beeld gebracht.

Rachel

Om ‘Rachel’ te maken, had de groep eerst een empathy map gemaakt. Hier was some serious research gedaan. Rachel is bedoeld als persona voor een buitenlandse student die we bij DUO mogen gebruiken om ‘dat engelse stuk’ beter te maken.

Empathy map voor Rachel

Deze twee video’s over internationale studenten deden iets met mij. Ik weet natuurlijk wel dat er veel internationale studenten in Nederland zijn, maar ik had me er zelf, eerlijk gezegd, nog nooit zo in verdiept. Onze website, duo.nl, hebben we niet helemaal in het engels, alleen een klein stuk waarvan wij denken dat die informatie relevant is voor internationale student. Uit eerder onderzoek over inburgeren in Nederland weet ik hoe lastig het kan zijn om naar een nieuw land te verhuizen, van alles uit te moeten zoeken en je thuis te missen. Deze studenten lopen daar natuurlijk net zo goed tegenaan.

A Video for DUO

De klassieke haat-liefde verhouding met de stufi kwam in deze video prachtig tot uiting. Het viel me in eerder onderzoek op dat jongeren veel memes en drama gebruiken om hun ongemak te verbloemen (wat natuurlijk niet woke is als ik dat zo benoem, maar goed, onderzoeker for life). Deze video was geïnspireerd door Avicii’s I could be the one waarin iemand elke dag dezelfde shit over zich heen krijgt tot ze eruit breekt en ziet hoe het ook kan. De groep wilde in typische studentensfeer laten zien wat de grootste mismatch tussen DUO en studenten lijkt te zijn: ‘het duurt altijd zo lang’ en ‘we kunnen jullie niet bereiken’. Bier en noodles, elke avond, geen geld, totdat… jaaaa, DUO neemt eindelijk op. Nu komt het goed. Deze video: I love the drama <3.

A Video for DUO

Nu zit de rest van de week Avicii in m’n kop, maar anyway, superleuk om dit soort filmpjes binnen te krijgen. Ik vind het zo tof dat studenten er geen problemen mee hebben om dit soort eerlijke verhalen met ons te delen. Over stress, heimwee, geldstruggles, en tegelijkertijd doen ze het met een grap en weten ze het ook heerlijk studentikoos te verpakken. Love it.

Het valt me dat dat zij een heel eigen beeld hebben van hoe DUO is. Het maakt niet echt uit of wij een mooi persbericht sturen met prachtige cijfers. Het gaat om het gevoel: voelt DUO dichtbij? Heb ik het idee dat ik bij de overheid terecht kan? En als dat niet zo is, wanneer het er echt om spant, hoe kunnen we dan als DUO ervoor zorgen dat mensen dat idee wel hebben?

Categories
De begripvolle ambtenaar Werken met beeld

Beeld als antwoord

Hoe beantwoord je een vraag met beeld? In deze blog een oefening om mijn deelvraag ‘wat is de methode foto-interviewen’ te beantwoorden. Beeld in allerlei vormen, bewegend, stil en schematisch, staat centraal, tekst is secundair en begeleidend. Ik ben benieuwd hoe het verhaal zo overkomt. Wil je mij feedback geven op deze voorpublicatie, beantwoord dan na het lezen deze paar vragen.

Een begripvolle schaal

Ik fotografeer mijn collega’s bij de Dienst Uitvoering Onderwijs om te onderzoeken welke plek begrip heeft in het maken van de digitale overheid. Begrip staat voor mij voor de menselijkheid in het systeem: begrip voor de burger, die onlosmakelijk met de overheid verbonden is.

In een eerder experiment kwam ik tot de conclusie dat begrip een schaal is. Ik ben op zoek naar een plek op deze begripvolle schaal die past bij de verwachting van de burger, en bij de ambtenaar zelf. Naast mijn werk bij DUO, ben ik ook fotograaf en mijn taal als fotograaf is beeld. In het boek Beeldspraak ontleedt Ton Hendriks de taal van fotografie. Fotografische tekens zoals licht, afstand, focus en beweging noemt hij de grammatica van een beeld. De grammatica in fotografie is concreet. Door die abstract op te vatten gebruik ik die als beeldtaal voor begrip. Bijvoorbeeld: afstand bij fotografie gaat over de afstand van het brandpunt in cm. Bij begrip gaat het over emotionele afstand: hoe dichtbij mag ik bij je komen?

Doordat ik zelf fotograaf ben, weet ik dat fotografische tekens ook als een schaal werken en met elkaar in balans moeten zijn voor een goede foto. Deze schalen visualiseer ik in een kaartenset.

Begrip is een schaal, net zoals fotografie

Met de kaartenset van deze begripvolle beeldtaal ga ik met mijn collega’s in gesprek. Ik gebruik de kaarten om de methode foto-interviewen uit te leggen. Waar herkennen mijn collega’s zichzelf in?

Roos vertelt over haar eigen begrip aan de hand van de kaartenset
Luister naar Roos die de kaartjes uitkiest waar ze zichzelf in herkent

Na een kop koffie en een gesprek over je werk met behulp van de kaartenset, gaan we de studio in. Het foto-interview begint. In deze timelapse van Frits zie je hoe dat eruit ziet.

Timelapse van een foto-interview

Frits vertelt, terwijl ik schiet, wat begrip voor hem betekent als architect bij DUO. Tussen het foto’s maken door kijkt hij naar zijn eigen beeld. Tijdens dit reflecteren-in-actie gebeurt er iets bijzonders.

Naar jezelf kijken

Je eigen foto kiezen en kritisch naar jezelf kijken: is dit hoe ik ben als begripvolle ambtenaar? De foto krijgt een diepere lading. Het beeld helpt rationeel en intuïtief te reflecteren op je rol als ambtenaar. In deze video van Jean zie je het gebeuren:

Jean kiest zijn foto als begripvolle ambtenaar

Kunstenaar en auteur John Ruskan schrijft in zijn boek Emotion and Art dat kunstenaars vaak in het onderbewustzijn sluimerende, onderdrukte gevoelens projecteren op de onderwerpen die zij in beeld brengen. Door een connectie aan te gaan met het onderbewustzijn ontstaat daarom een opening naar creativiteit. De fotograaf wordt hierin gestuurd door een bepaalde herkenning van beelden, die hem fascineren en ontroeren, zonder dat hij precies weet waarom. Door zijn gevoel te volgen en dat in beelden om te zetten ontstaat er een proces van projectie op het onderwerp en vervolgens identificatie met het onderliggende thema. Uiteindelijk volgt door het creatieve proces een integratie van de verborgen emoties in het leven en werk van de kunstenaar. Als het onderwerp een fotografisch beeld oplevert dat sterk genoeg is, ontstaat er een kunstwerk dat aansluit bij de archetypen die wij allemaal delen en op die manier wordt het beeld universeel begrijpelijk en invoelbaar. Ruskan: ‘We maken kunst met twee doelen: om een deel van onszelf te leren kennen en om het onbekende aan de oppervlakte te krijgen.’

Ton Hendriks in Beeldspraak, pagina 41.

Met mijn collega maak ik samen de foto. Jean kiest zelf welke fotografische tekens hij inzet en waar op de schaal hij zich wil bevinden. Jean is hierdoor zowel participant in het foto-interview als kunstenaar van zijn eigen beeld. Door de foto te maken, reflecteert hij hardop. De kaartenset helpt hierbij. Je hoorde mijn collega Roos eerder in dit blog haar eigen gedachten projecteren op de kaarten. Fotografie is net als begrip niet alleen rationeel te benaderen. Door het foto-interview leren mijn collega’s zichzelf kennen en komt het onbekende aan de oppervlakte.

Wat laat je zien?

Uit elk foto-interview ontstaat een beeldserie. Soms springt één eruit, soms kiest iemand meerdere beelden. Ze geven allemaal een andere nuance aan het begripvol zijn, of niet-kunnen zijn, als ambtenaar. De emotie en het gesprek zie je terug in de mimiek en houding van de ambtenaar voor de lens. Bij vlagen zie je bij iedereen een bepaalde kwetsbaarheid. De een toont het bewust, de ander op een onbewaakt moment.

De beeldserie van het foto-interview met Nico

Bij het vertellen van de verhalen op dit blog gebruik ik de hele serie. Het verhaal en beeld zijn, net als tijdens het foto-interview verstrengeld met elkaar. Het intuïtieve karakter van beeld werkt zo niet alleen voor de ambtenaar die zichzelf moet laten zien. Het werkt ook voor de kijker/lezer die het verhaal ervaart en daardoor zelf meereflecteert op het eigen begrip. Bijvoorbeeld in het verhaal van Elian. Je kunt de frustratie die hij in zijn werk ervaart, zelf voelen: het spat van de portretten af.

Wat doet dit met jou als je naar hem kijkt?

Elian vertelt en laat zijn worsteling met begripvol zijn zien

Beeld lezen

Het beeld lezen kan op verschillende manieren. Ik zie de grammatica in de vorm van de fotografische schalen in alle foto’s terug. Soms bewust gekozen door mijn collega, soms gebeurde het in het moment. De schaal is niet altijd lineair toegepast en sommige portretten spreken zichzelf juist tegen. Begrip is, net als fotografie, een complex en genuanceerd verhaal.

Bijvoorbeeld bij Cees-Jan die vertelt over complexe en gestructureerde computerbesluiten. Hij kiest een nadenkende foto: ‘gewoon als mezelf in actie’. Als een van de enige in de serie kiest hij een roze achtergrond. Zijn shirt en bril hebben een vrij rigide grid maar zijn losse haren en armband tonen juist vrijheid en out-of-the-box. Precies het dilemma waar hij in zijn werk over vertelt.

Of Roos. Zij heeft een hele open blik. “Begripvol zijn, is positief blijven. De ander willen begrijpen,” vertelt ze. Dat gaat soms ten koste van haarzelf. Ze kiest veel schaduw in haar foto, want ‘het gaat niet om haar’. Deze dubbelheid zie je terug. De ene kant van haar gezicht open en licht, de andere kant in de schaduw, op de achtergrond en bijna onzichtbaar.

Gabe zei tijdens de kaartjes direct dat ik heel dichtbij mocht komen: “dat had ik verdiend, want ik deed leuke dingen.” Hij vertrouwde me. Maar toen ik tijdens het fotograferen een stap dichterbij nam, leunde hij naar achteren en schiep hij afstand door zijn knie omhoog te doen. Op het eind koos hij deze foto want ‘de Tibetaanse armband die hij op een reis had gekregen stond er ook op’.

Een oproep tot reflectie: hoe zijn we samen een begripvolle overheid?

Iedereen laat een ander aspect van begripvol tot niet-begripvol zien. Samen zijn wij het: de overheid. Zijn we blij met hoe wij onze keuzes maken? Van de portretten en de verhalen maakte ik een expositie. Over elk portret zit hetzelfde grid. Hoe passen wij als ambtenaar en als mens in het grotere systeem waar we in zitten? Het grid staat vaak op gespannen voet met deze menselijkheid. De ‘je’ in de wenkbrauw van Roos. Het paradoxale portret van Cees-Jan, waarbij grid op grid gestapeld wordt. Mechteld die bijna gevangen lijkt te zitten in het grid.

In de ruimte werkt dit prachtig. De begripvolle ambtenaren trekken je vanaf een afstand naar hen toe. De indringende blik van Mechteld houdt je blik dwars door de ruimte vast. Eenmaal dichtbij moet je moeite doen om haar verhaal te lezen. Het dwingt je vaker en langzamer te kijken. Het verhaal krijgt de tijd zijn werk te doen, je gaat erover nadenken en zelf reflecteren, op jouw rol als begripvolle ambtenaar.

  • International Design in Governement Conference, Rotterdam, 2019 photo: Robert Tjalondo | www.rockinpictures.com
  • International Design in Governement Conference, Rotterdam, 2019 photo: Robert Tjalondo | www.rockinpictures.com

De portretten maken veel los. Jezelf laten zien en een open gesprek aangaan is kwetsbaar. Voor de begripvolle ambtenaren zelf, en ook voor mijn organisatie, DUO. Deze kwetsbaarheid zie ik als de voorwaarde om verbonden te zijn. De voorwaarde voor een open gesprek. Waarom ik dit denk, en daarom dus op deze manier onderzoek, kun je verder lezen in deze blog: een kwetsbaar zelfportret van de overheid.

Deze blog is een voorzet voor mijn eindpublicatie die in juli uitkomt over De begripvolle ambtenaar. Ik ben benieuwd wat je van dit verhaal vindt. Wil je mij feedback geven, vul dan deze korte vragenlijst in.

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek?

Onderzoek op afstand

Het is mijn life goal om overheid en burger te verbinden en dichter bij elkaar te brengen. Maar sinds een week moeten we fysiek afstand houden. Ai… Bij DUO werken we nu bijna allemaal verplicht thuis en dat betekent dat alles digitaal gaat. Maandag zat ik bij de pakken neer, dinsdag vroeg ik op LinkedIn hoe anderen dat deden en woensdag kreeg ik nieuwe energie want er stroomden veel ideeën binnen. In dit blog een voorzet hoe we het UX-research vak op afstand, maar niet afstandelijk, kunnen doen.

Wil je direct naar het overzicht met alle ideeën over onderzoek op afstand? In dit openbare Google Doc vind je ze allemaal. Vul de lijst aan met je eigen ideeën en best practices.

Tools

De meeste tips die ik kreeg gingen over tools. Mijn collega Ruth merkte op via Slack: ‘ik kan door de tools de research bijna niet zien.” Daar moest ik erg om grinniken, want ik vond het heel herkenbaar. We duiken snel op tools, maar veel interessanter is hoe die tools werken of niet werken.

Ilse Blom van Funda reageerde op LinkedIn dat ze daarom eerst een grondige dry-run deed: “zo kwamen we er bijvoorbeeld tijdig achter dat via de web-app van Teams je niet tegelijk een scherm (met prototype) en camerabeeld kan delen en we de respondent vooraf moeten vragen de applicatie te installeren. En dat diegene die de sessie opneemt geen notities kan typen omdat dat de opname van de sessie verstoort. Diegene moet dus old-school pen en papier paraat hebben :). Kleine dingen, maar als je deze van te voren uitvindt, ben ik ervan overtuigd dat het een stuk soepeler verloopt. Nu alleen nog hopen dat Teams de verbinding een beetje stabiel kan krijgen…”

Heel goed, Suus! Afstand houden 🙂

Voordat we verplicht remote moesten werken was ik geen fan van remote onderzoek doen. Ik schreef eerder deze blog over een experiment met mobiel testen op afstand dat helemaal misging. Ik kon de mensen niet zelf aankijken, lichaamstaal vervalt en er was gedoe met dingen installeren (niet heel inclusief). Maar, eerlijk gezegd, heb ik me nog niet eerder heel goed verdiept in remote onderzoek doen. Tot nu. Nu moet ik wel.

Voorbij usability onderzoek

Voor usability onderzoek is ontzettend veel te vinden. Ik schreef eerder op dit blog al over de opzet die we bij DUO gebruiken en die relatief eenvoudig op afstand uit te voeren is. De basis die we gebruiken is OBS, een recording en streaming tool die gamers ook veel gebruiken. Collega’s kunnen op afstand meekijken.

We doen bij DUO ook ander type onderzoek. Hoe je dat op afstand kunt opzetten en uitvoeren, vind ik een grotere uitdaging. Bijvoorbeeld een focusgroep, diepte-interview en generatief onderzoek. Of hoe je workshops organiseert met je team, teams coacht en bevindingen uit onderzoek overdraagt in je organisatie. Hoe vertaal je dat allemaal naar ‘remote’? Zouden we misschien zelfs een digitale meet-up kunnen organiseren bij DUO?

De komende tijd ga ik wat nieuwe dingen uitproberen. Bovenaan mijn lijst staan creatief samenwerken met Miro, meet-ups en demo’s organiseren met Hopin en al bekende onderzoekstools inzetten om een gesprek te faciliteren. Bijvoorbeeld in plaats van een fysieke discussie in een zaaltje een digitale card sort naar iedereen sturen en na afloop via Miro de resultaten delen en digitaal bespreken. Hoe dit in de praktijk gaat werken, kom ik vast nog op terug.

Rol van de researcher

Door zelf als onderzoeker niet meer fysiek aanwezig te zijn, kunnen we ook reflecteren op onze rol. In eerste instantie was ik dus nooit zo’n fan van onderzoek op afstand omdat ik dacht dat het minder persoonlijk was. Maar een collega van mij, Ruth, bewees het tegendeel. Zij heeft (toevallig!) net een onderzoek afgerond met respondenten uit Caribisch Nederland. Via Experience Fellow stuurden respondenten dagboekberichten naar haar. Via Skype interviewde ze hen. Ruth werd lid van Facebookgroepen om gesprekken te kunnen volgen en het lokale nieuws bij te houden. Dat deed ze ruim een maand en het leverde persoonlijke en authentieke inzichten op. In alle verhalen kwam ze zelf bijna niet voor, de participant des te meer.

Uit The Convivial Toolbox

In The Convivial Toolbox staat een prachtige mapping van verschillende types onderzoek. Generatieve methodes staan aan de kant van participerend onderzoek: de respondent is mede-expert in plaats van ‘slechts’ gebruiker. Nu wij als onderzoekers op afstand moeten blijven vraagt dat van ons meer vertrouwen in de respondent om ons te helpen leren. Een flinke stap naar het rechterdeel van dit spectrum. In plaats van dat ik als onderzoeker kan observeren, moet ik afgaan op wat iemand met me wilt delen en als foto bijvoorbeeld instuurt. We worden gelijkwaardiger en daarmee is het onderzoek misschien juist authentieker.

Een jaar geleden interviewde ik een student die net klaar was met haar studie en begon aan het terugbetalen van haar studieschuld. We spraken af via Facetime. Ze zat in haar studentenkamer met een kop thee op haar bed. In het echt zou ik haar daar natuurlijk nooit gesproken hebben. Ongemakkelijk. Maar nu keek ik zo haar leven in. Ruth kreeg prachtige berichten via Experience Fellow. Respondenten schreven hun zorgen van zich af via de app. Ze reageerden niet op de onderzoeker, maar op het thema wat op dat moment centraal stond in hun leven terwijl ze thuis in hun eigen omgeving waren.

Misschien is remote research wel iets heel goeds voor ons vak. Het vraagt vertrouwen van ons als onderzoekers en meer gelijkwaardigheid tussen respondent en onderzoeker. Ik ben benieuwd wat dat met ons gaat doen.

Hoe ga jij op afstand onderzoeken?

De komende tijd moeten we even schakelen. Mentaal is dat best een ding, dat mag er zijn, en het vraagt creativiteit en inventiviteit om die stap te maken. Ik ben benieuwd naar jullie aanpak en ideeën. Vul ze aan in de openbare Google doc zodat we een mooie lijst krijgen en van elkaar leren. Zet er ook je ervaringen bij.

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek?

UX coaching

Het begon met de empathiethermometer bij het team van Hessel, als proef om te kijken hoe we ontwikkelteams kunnen helpen om zelf verantwoordelijk te zijn voor de ervaring van de gebruiker, de user experience (UX). Dat leidde tot meer workshops, enthousiaste teamleden, ritjes naar scholen en meer teams die zich opgaven voor UX coaching.

De afgelopen maanden hebben we veel geëxperimenteerd. Wat werkt wel, en wat niet? Voor ontwikkelteams is UX coaching een manier om betere gebruiksvriendelijke diensten en producten te maken; voor ons, het UX-team, is het een onderzoek naar de veranderende rol van UX bij de overheid en in grote organisaties. In dit blog een update.

Ontwerpend leren

UX coaching zetten we op door design research te doen. Door te ontwerpen en uit te proberen, samen met participanten, komen we steeds een stap verder. In onderstaand schema zijn de 6 onderdelen van dit ontwerpend experimenteren schematisch weergegeven. Vorige week deden Roos en Suus (2 collega’s die het meest met de experimenten bezig zijn op dit moment), en ik een stap terug om al onze experimenten tot nu toe op een rij te zetten, te reflecteren en onze strategie bij te sturen.

6 onderdelen van design research

De ontwerpvraag of het ontwerpdoel: ‘hoe kunnen we teams de tools, kennis en hulp geven om diensten te maken die goed zijn voor mensen?’

We begonnen met het opschrijven op post-its van alle activiteiten die we het afgelopen jaar hadden gedaan om dat doel te bereiken. Dat waren bijvoorbeeld een workshop prototypen, een teamsessie over ‘ken je klant’, een workshop ‘verbeter je product met data’, een canvas dat teams helpt om de klantreis te maken samen met andere teams, de UX-boekenkast die we aan het opbouwen zijn, dat we onderzoek nu zoveel mogelijk in Sticktail bewaren en de eerste UX-meet-up, om maar even wat te noemen :).

We ordenden de post-its eerst naar onderwerp, maar dat vertelde ons niet veel. Ik dacht aan de workshop Beeldsprinten, en stelde voor dat we verschillende sorteringen gingen uitproberen. We eindigden met 2 schalen van onze type participanten en mapten daar alle experimenten op. Dit bord maakte Suus later digitaal en bewerkbaar zodat we nieuwe experimenten er bij kunnen plotten en het kan groeien.

Participanten: van het individu, naar je team, teams die in dezelfde klantreis ‘zitten’, alle teams bij DUO en voorbij de DUO-grenzen. Participanten kunnen ook in verschillende fases zitten: weten, willen, kunnen en doen.

Dit gaf veel overzicht. We zagen dat we weinig experimenten deden om participanten te overtuigen om te willen. Dat hoefde ook niet, want teams melden zichzelf aan bij ons. Willen ontstaat geleidelijk en organisch. Het enthousiasme van het ene team steekt het andere team aan om zich aan te melden.

We merkten ook dat we veel op de 3 middelste niveau’s werken. We plaatsen het individuele niveau er wel bij, omdat het vaak begint met 1 teamlid dat enthousiast is en het team meeneemt daarin. Het is belangrijk om te investeren in mensen zelf en niet alleen in teams. We doen ook nog niet zoveel voorbij de DUO-grenzen. Dat is niet erg, want we werken bij en voor DUO, maar het is wel goed om te kijken of we de activiteiten die voor heel DUO werken met een kleine stap ook breder kunnen inzetten en delen. Meestal is dat vooral een kwestie of het open mag of niet.

De rol van de UX coach

Roos heeft de afgelopen maanden in een team gezeten als UX coach, waarbij Suus teams van buitenaf heeft geholpen. Van de inzichten die we uit die verschillende aanpak leerden, maakte Roos, samen met collega Lisa, onderstaande tekening. De belangrijkste conclusie: de UX coach is verbonden aan het team, maar moet niet deel zijn van het team.

UX coach is ook voor ux’ers een andere rol. Tot nu toe waren we gewend om teams te helpen door het werk zelf te doen, nu gaan we teams helpen zodat ze (een deel van) het werk zelf kunnen doen. Waar ligt precies de grens? Wanneer ben je interactie ontwerper bij een team, en wanneer interactie coach? Of onderzoeker die zelf het onderzoek doet, of onderzoekscoach?

En hoe verhouden de verschillende UX-disciplines zich ten opzichte van elkaar. Sommige workshops kunnen door meerdere disciplines gegeven worden en we zien disciplines met elkaar vergroeien. Het ontwerpproces wordt daardoor vloeiender. Dat betekent ook iets voor onze eigen ontwikkeling. Daarom stuurde ik een mail naar alle 25+ mensen van het UX-team.

Collega, denk je mee over onze veranderende rol?

Tot nu toe heb ik al 12 mailtjes terug met ‘ik ben erbij’. In maart/ april plannen Suus, Roos en ik het vervolg om samen na te denken over de rol van UX coach. Wanneer we die duidelijk(er) hebben, kunnen we onze experimenten beter opzetten en inplannen, en kan het door het hele UX-team opgepakt worden.

Ben jij, of ken je andere organisaties die ook bezig zijn met de veranderende rol en het opschalen van UX? Ik ben heel benieuwd naar ervaringen en tips. Let me know.