Tag: methode

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek? Werken met beeld

Hoe we een computerbesluit kunnen zien

Nu steeds vaker wordt gesproken over toezicht op algoritmen is het belangrijk om te weten hoe een onderzoek naar algoritmen door derden uitgevoerd kan worden bij de overheid. Het liefst op zo’n manier dat de dagelijkse uitvoeringsprocessen niet verstoord worden maar volgens het principe dat de overheid zichzelf laat zien.

Sinds januari ben ik samen met een hele leuke groep aan de slag om hier een werkmethode voor te ontwerpen. Het gaat dan vooral om de vaste, ‘domme’ algoritmen en nog niet zelflerende algoritmen. In dit blog een blik achter de schermen van onze aanpak, eerste observaties en twee vragen voor jullie.

Ik kan het gewoon zien

Toen ik net klaar was met het onderzoek De begripvolle ambtenaar zat ik samen met Marlies van Eck op een terras in Utrecht te proosten. Ze vertelde dat ze een vervolgidee had op haar proefschrift (over de rechtsbescherming bij geautomatiseerde ketenbesluiten). Haar hoofdconclusie was dat ze als jurist niet kon zeggen of de burger genoeg beschermd was omdat ze de algoritmen niet in kon zien. De overheid was een black box en hoe kun je dan toetsen of de beslissingen die zij maakt goed zijn?

Over mijn biertje zei ik ‘maar, wat raar, want bij DUO kan ik het gewoon zien’. Ik begon uiteraard direct aan mezelf te twijfelen toen ik dat zei, maar ik pakte het foto-interview van Cees-Jan erbij die vertelde over beslisregels waar de code vervolgens van afgeleid wordt. En ik vertelde dat we ook bezig waren om de rekenhulpen op duo.nl af te leiden van deze beslisregels zodat je als student kunt simuleren hoe de computer in de toekomst beslist hoe je je studieschuld aflost.

Openmaken en bekijken

Ik moet aan ons terrasgesprek regelmatig terugdenken want ‘het algoritme kunnen zien’ staat centraal in dit onderzoek.

Marleen Stikker schrijft in haar boek Het internet is stuk dat je pas echt eigenaar van iets bent als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie, dan bezit het apparaat jou. Kunnen wij de overheidscomputer openmaken en zien hoe zij beslist en dat eventueel veranderen als dat nodig is?

Dit terrein is nog vrij onbekend. De Belastingdienst heeft een methode ontwikkeld waarmee algoritmen toetsbaar en uitlegbaar gemaakt kunnen worden. De Auditdienst Rijk en accountantskantoren zijn zich aan het voorbereiden op deze nieuwe taak. De Algemene rekenkamer heeft een toetsingskader ontwikkeld. Recent heeft de Raad van State een rapport uitgebracht over o.a. geautomatiseerde wetsuitvoering.

Maar wat geschikt is voor een financiële deskundige, werkt misschien niet voor een onderzoeker die een juridische check wil doen. Ook is het voor een uitvoeringsorganisatie vervelend als verschillende disciplines en organisaties zich op verschillende momenten over het gebruik van de algoritmen buigen en de uitvoering belasten met vragen. Zowel voor onderzoekers, als voor uitvoeringsorganisaties is een meer integrale aanpak belangrijk.

Say no more. Met een groep waar ik spontaan imposter syndrome van krijg, zijn we dus in januari begonnen om hier experimenterend een methode voor te ontwerpen. De groep: Marlies van Eck, Steven Gort, Abram Klop, Robert van Doesburg, Mariette Lokin, Carlijn Oldeman, Giulia Bössenecker en ik. Collega’s van DUO en de SVB werken mee en bieden ons hun computerbesluiten als proefmateriaal om de methode op te ontwerpen.

Wat we willen bereiken

Allright. We willen een werkmethode ontwikkelen voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie. Daarvoor hebben we een denkschema geformuleerd:

  • We bestuderen hoe het gebruik van algoritmen gelijktijdig juridisch, financieel en modelmatig onderzocht kan worden [topic]
  • omdat we willen weten welke discipline welke onderzoeksvragen beantwoord zou willen zien [rationale]
  • zodat we begrijpen wat de minst belastende aanpak is voor een multidisciplinaire en integrale beoordeling [significance].

Om het onderzoek voldoende concreet maar ook behapbaar te houden, stellen we voor dat de werkmethode aan de volgende vier doelstellingen moet voldoen:

  • de werkmethode stelt een jurist in staat een uitspraak te doen over de rechtmatigheid en behoorlijkheid van het systeem,
  • de werkmethode stelt een data scientist /informatiekundige in staat een uitspraak te doen over de kwaliteit van het systeem,
  • de werkmethode stelt een accountant of interne controller in staat een uitspraak te doen over …[nog in te vullen, zie ook hulpvraag op het einde van dit blog],
  • de werkmethode is geschikt voor herhaald gebruik in verschillende publieke organisaties.

De methode ontwerpen

In een aantal maakdagen op locatie gaan we samen met een overheidsorganisatie aan de slag. Voor mij geluk: de eerste 2 maakdagen zijn bij DUO in Groningen.

Om tot een werkmethode te komen die binnen een aantal maanden op zichzelf kan staan, gaan we embedded en iteratief te werk. Maar we moeten niet vergeten om onszelf ook weer uit de methode te ontwerpen en dus onze bias kritisch tegen het licht houden. We leren door te doen: we duiken een algoritme in en leggen ons proces vast. Vervolgens reflecteren we op ons proces en maken we dit expliciet. Wat hieruit komt, is potentieel de methode die we willen ontwikkelen.

Het maakproces geven we zo vorm:

Schets van het ontwerpproces verdeeld over de 4 maakdagen en tussenliggende acties

We kozen samen met DUO een paar computerbesluiten die bij het grote besluit horen of je als student wel of geen studiefinanciering krijgt: de nationaliteitstoets, de leeftijdstoets en de partnertoets. Van te voren kregen we de setjes beslisregels van deze drie toetsen om vast te bestuderen.

We besloten om vanuit drie perspectieven of abstractieniveau’s te kijken. Per perspectief zijn andere vragen belangrijk.

Perspectief 1 is het algoritme zelf. Hoe komt het besluit tot stand?

  • Wat zijn de beslisregels die over de nationaliteitstoets gaan?
  • Op welke wetonderdelen zijn de beslisregels gebaseerd?
  • Hoe zijn de beslisregels geprogrammeerd?
  • Hoe zijn ze in de werkinstructie opgenomen?
  • Welke data is nodig en wat zijn bronnen?
  • Hoe wordt het besluit uitgelegd aan de student (user) in persoonlijke en algemene communicatie?
  • Welke interactie heeft een student (user) met het algoritme en hoe beinvloedt dit het besluit?

Perspectief 2 is de makers van het algoritme. Hoe komt het algoritme tot stand?

  • Wie (welke rollen en ook personen) zijn betrokken bij de totstandkoming van het algoritme?
  • Welke afwegingen zijn er gemaakt bij de totstandkoming van de beslisregels?
  • Op basis waarvan maken deze personen deze afwegingen? Welke persoonlijke bias is er?
  • Is er documentatie van deze totstandkoming, en zo ja, wat wordt hier vastgelegd en waarvoor?
  • Wat is hier impliciet en moeilijk expliciet te maken? Oftewel: wat weten we (nog) niet of kunnen we niet (meer) weten? Hoe komt dit?

Perspectief 3 is wijzelf, de toezichthouders zeg maar. Hoe komt de methode tot stand?

  • Hoe gingen we te werk? Welke vragen stelden we? Wat werkte goed en wat werkte niet?
  • Welke vragen horen bij welke discipline (jurist, accountant en informatiekundige)? Zit er overlap? Hebben alle disciplines hun antwoorden kunnen krijgen? Hoe versterken ze elkaar?
  • Welke kennis en expertise hebben wij waardoor we deze vragen kunnen stellen?
  • Kunnen we ons proces de volgende keer herproduceren? Wat zouden verschillen zijn?

‘Wat zit DUO gek in elkaar’

De eerste maakdag was heerlijk chaotisch. We vlogen alle kanten op, stelden allerlei vragen en Jean en Cees-Jan van DUO waren oneindig geduldig om alle vragen te beantwoorden. Soms belandden we in verhitte discussie over de manier waarop DUO georganiseerd was, om na een uur te concluderen dat dat helemaal niet zou moeten uitmaken voor de methode. Of zoals Steven zo treffend opmerkte: ‘het kan me kreunen hoe DUO in elkaar zit’. :’)

Na deze maakdag schreef Marlies een eerste blog met haar observaties en maakte ik voor de begeleidingscie en de klankbordgroep een filmpje.

Filmpje met de ervaringen van de eerste maakdag bij DUO.

De tweede maakdag ging al een stuk gestructureerder. Ter voorbereiding maakte ik op een digitaal bord alle stappen van wet naar besluit inzichtelijk. Ik vroeg aan Cees-Jan of hij van een ander besluit (de partnertoets) alles in kon vullen. Dat was nog niet zo simpel want de informatie en docs moesten uit allerlei hoeken en gaten van de organisatie komen.

Ik printte wat ik kreeg (of liet een stap open) en legde de stappen op de grond. Eronder legde ik 3 lange vellen papier voor de vragen die de jurist, accountant of ontwikkelaar kon stellen. Zie daar perspectief 1 en 3 onder elkaar liggen. We namen de hele middag de tijd om ze in te vullen en te kijken of we direct de antwoorden van Cees-Jan en collega’s konden krijgen (perspectief 2).

Een impressie hoe dat eruit zag:

Over twee weken hebben we maakdag 3 bij de SVB. Dat wordt voor mij onbekend terrein, leuk! We gaan kijken naar de leeftijds- en partnertoets bij de AOW.

Als voorbereiding digitaliseerde ik het grote bord dat we op de grond maakten bij DUO. Het werd een versie met vragen en een lege versie die de collega’s van de SVB zelf kunnen invullen. Dit prototype gaan we testen en zien hoever dit al een hulpmiddel is voor een self-assessment om als organisatie te laten zien hoe je algoritme tot stand komt en een beslissing maakt.

Via dit mirobord kun je beter inzoomen op het prototype. Je kunt hier ook comments plaatsen, en feedback ontvangen we graag!

Prototype van de werkmethode die we binnenkort met de SVB gaan testen

Twee vragen

Je kunt zien dat het perspectief van de accountant nog geen vragen bevat. Hier stoeien we nog. Auditors zijn heel druk rond februari en maart vanwege het afronden van het vorige jaar. We hebben dus nog weinig input uit die kant kunnen betrekken. Weet jij hier meer van of ken je iemand die kan helpen, let me know.

En natuurlijk: feedback in het algemeen. In dit blog beschrijf ik ons maakproces en laat ik het prototype zien. Ik ben benieuwd wat je daarvan vindt en hoe dit zou werken in jouw organisatie. Na maakdag 3 willen we ons prototype bijwerken en delen met organisaties om deze zonder ons te gebruiken voor een self-assessment. Van jullie bevindingen willen we dan ook weer leren.

Wil je hierbij helpen, stuur me dan een bericht. Dat kan via maike @ klipklaar.nl of de andere bekende wegen. Dank!

Categories
(On)begrepen burgers Hoe doe je onderzoek? Werken met beeld

Het geldstromen doolhof

Tijdens de overstroming vorig jaar is in Valkenburg een kade ingestort en nu tijdelijk gerepareerd door het Waterschap. Het pand rechts staat leeg, de gevel hangt nog altijd gevaarlijk naar beneden.

Hoe gaat het bijna een jaar na de overstromingen in Limburg-Zuid met de schade-afhandeling? Zijn mensen alweer terug in hun huis en is ‘alles weer normaal’? Of niet? Begin maart ging ik samen met een collega drie dagen naar Valkenburg aan de Geul, Gulpen-Wittem en Meerssen om zelf te zien wat de nasleep van de overstromingen inhoudt. Ik nam mijn camera mee.

In dit blog lees je hoe we dit bezoek aanpakten, over mijn overpeinzingen over dit soort gebeurtenissen in de toekomst en welk effect ze hebben op de relatie van burgers met de overheid.

De aanleiding

In januari bracht Reinier van Zutphen, de Nationale ombudsman samen met Jan, een collega een regiobezoek in Limburg zoals ze wel vaker doen. Reinier sprak onder andere met de burgemeester van Valkenburg, Daan Prevoo. Hij vertelde dat het met die nasleep helemaal niet goed ging. De week erna vroeg Jan of ik mee wilde om op korte termijn wat langer naar Limburg te gaan en samen te kijken wat er precies aan de hand is. Ik ging mee omdat ik vorig jaar de gevolgen van de gaswinning ingedoken ben en we wat overlap zagen zo op het eerste gezicht.

We waren van maandag tot woensdag te gast bij de drie gemeenten die vorig jaar het meest getroffen waren tijdens de overstromingen: Valkenburg aan de Geul, Gulpen-Wittem en Meerssen. Medewerkers die veel met de nasleep van de overstromingen bezig zijn hadden een programma voor ons gemaakt.

Maar eerst: wat is er vorig jaar gebeurd?

In de week van 14 juli regende het enorm in Belgie en Duitsland. Dat leidde tot overstromingen die vervolgens Zuid-Limburg binnenstroomden. Ik vond dit filmpje van het jeugdjournaal dat goed laat zien waar bewoners mee te maken kregen:

Op 16 juli riep het kabinet na een crisisberaad de watersnood in Zuid-Limburg formeel uit tot nationale ramp. Op BNR die dag: “Dat betekent dat het kabinet de Wet Tegemoetkoming bij Schade in werking stelt. Op die manier krijgen gedupeerden snel duidelijkheid of hun schade wordt vergoed door de overheid, als hun verzekering het niet dekt.”

Maar het loopt dus niet goed. We gingen drie dagen met medewerkers van de drie Limburgse gemeenten op stap om daar zelf een beeld bij te krijgen.

Van te voren zochten Jan en ik al van alles uit. Ik visualiseerde dit op een tijdlijn. Wat is er ongeveer gebeurd en welke knelpunten zien we al op basis van wat we online tegenkomen?

Tijdlijn met eerste aannames van de problemen – klik voor groter

Deze tijdlijn gebruikten we als gespreksstarter op maandag. Onze vragen daarbij waren:

  • Wie zijn de belangrijkste partijen bij de nasleep en hoe verhouden zij zich tot elkaar? Waarin verschillen de meest getroffen gebieden van elkaar?
  • Wat zijn oorzaken en gevolgen die de afgelopen maanden gebeurd zijn? Zijn er kettingreacties? 
  • Welke geldstromen zijn er en wie heeft waar toegang toe?
  • Welke knelpunten zijn er en hebben ze relaties met elkaar?
  • Wat merken bewoners en ondernemers hiervan? Hoe hebben gevolgen impact op hen en hun omgeving?

Op grote flip-overs brachten we de antwoorden in kaart. Aan het eind van de middag zat mijn hoofd vol van alle geldstromen en doodlopende eindjes in de regelingen. Hoe maken we hier kaas van?

Echte verhalen van echte mensen

De dagen erna bezochten we bewoners en ondernemers. Ik had mijn camera bij me om direct vast te leggen wat we tegenkwamen.

Bijvoorbeeld bij een man van mijn leeftijd in Valkenburg die waarschijnlijk nog tot volgend jaar in een vakantiehuisje woont met zijn vriendin en baby. Hij zit klem tussen de verzekeraar en de RVO, niemand wil zich branden aan de waarschijnlijke problemen met zijn fundering. Hij krijgt nu uit een particulier fonds een tegemoetkoming om dit uit te kunnen zoeken zodat er weer schot in de zaak komt.

Man wijst naar de Geul achter zijn huis en legt uit hoe het water in 7 minuten met kracht het huis instroomde en de gevel eruit rukte.

Bij een stel in Gulpen-Wittem die nog flink aan het klussen zijn in hun huis. Na het hoogwater van afgelopen juni legden ze opnieuw zandzakken bij de deuren, het nu lief kabbelende beekje stroomt direct achter hun huis langs. Ze willen graag dat organisaties hen helpen hoe ze pro-actief hun huis kunnen beschermen tegen toekomstig hoog water maar daar zijn geen regelingen voor. Wel voor schade achteraf.

Man leunt tegen de tuintafel terwijl hij vertelt over de ingrepen die hij rond het huis wil doen. De zandzakken liggen nog tegen het huis aan.

Een meneer in Meerssen die nog steeds in de garage woont omdat het huis nog niet gerenoveerd is. Hij zit met een gat tussen schade en vergoeding van 80.000 euro waar hij nergens mee bij terecht kan.

Man laat zien hoe hij tijdelijk in de garage woont omdat het huis nog niet weer bewoonbaar is na de overstromingen vorig jaar.

Allemaal gaven ze aan dat ze andere verwachtingen hadden, misschien wel naïef, toen vorig jaar gezegd werd dat de overstromingen een ramp waren en dat de overheid ze ging helpen. Een jaar later blijkt dat niet zo simpel.

Hoe gaan wij verder?

Ik zie twee routes voor me.

Op de korte termijn denk ik dat we het doolhof inzichtelijk moeten maken. De doolhof van geldstromen en regelingen die er zijn voor bewoners en ondernemers maar waar doodlopende eindjes inzitten waar burgers vastlopen. De verhalen die we tegenkwamen zijn daar voorbeelden van, deze mensen staan aan het eind van zo’n doodlopend weggetje en kunnen niet verder.

Hoe kan het dat de overheid zo’n doolhof ontwerpt? Waarschijnlijk met goede bedoelingen, ik ken weinig schurken bij de overheid. Maar toch: de overheid belooft iets, dat is positief, om vervolgens knellende bureaucratie te ontwerpen. Waarom doen we dit? En hoe komt het dat het zo uitpakt? Wat kan de Nationale ombudsman hierin betekenen?

Straat in Meerssen waar nog altijd flink geklust wordt en grofvuil en bouwmaterialen aan de straat staat.

Op de lange termijn lijkt het me interessant om me te verdiepen in toekomstige gebeurtenissen die te maken hebben met dit soort klimaatconflicten. De mensen die we spraken, zowel bewoner als burgemeester, zijn allemaal bezig met ‘de volgende keer dat dit gebeurt’. Want dat dit geen incident is, staat voor hen als een paal boven water. Er moet iets gebeuren in het Geuldal.

Wie is aan zet? Om deels, als dat nog kan, te voorkomen dat er weer zulke grote overstromingen zijn, te waarschuwen wanneer ze gebeuren en om snel en adequaat met de gevolgen om te kunnen gaan?

In de heg langs de Geul kun je het aangewassen gras nog zien hangen wat vorig jaar met de overstroming meegetrokken werd.

Vorig jaar las ik veel boeken over klimaatverandering en wat ons te wachten staat. Wat mag de burger verwachten van de overheid bij dit soort klimaatconflicten? En wat betekent dit voor hoe de overheid zichzelf ontwerpt?

Dat is voor mij nog een nieuw gebied. Dus ik hoor graag met wie ik daar eens verder over kan praten en wat ik moet lezen of luisteren erover. Let me know.

Categories
(On)begrepen burgers Werken met beeld

Een filmpje voor DUO

Hoe ziet je leven eruit? En wat vind jij als student dat DUO daar echt over moet weten? Deze vraag kreeg een klas eerstejaars Creative Business studenten van InHolland in Den Haag. In 6 weken maakten ze in groepjes korte video’s over wat zij vinden dat DUO echt over ze moet weten.

Eerder vroeg ik studenten om een kaartje naar ons te sturen. Deze video’s zijn uitgebreider. Ze vertellen over de relatie tussen DUO en studenten vanuit het perspectief van studenten. Als je hen de vrije hand geeft en niet stuurt met eigen vragen of aannames, welke dingen vertellen ze ons dan? De opdracht was dus helemaal vrij: het mag overal over gaan, grappig zijn, serieus, lang of kort, echt of gespeeld: kom maar op. In deze blog laat ik een aantal video’s zien en wat ik van hen leerde.

Classic Kenny

De groep met Kenny bedacht een video over de wachttijd van DUO. Uuuuuuren. De ambtenaar in mij protesteerde. Ja, hallo. Dat is gewoon echt niet zo. Ik heb zelfs even het duo-nummer gebeld om te checken. Maar, daar gaat het natuurlijk niet om. In de presentatie vertelden ze dat ze bij het bedenken van de video een focusgroep van studenten hadden georganiseerd en dat dit zo’n herkenbare video was, vooral het einde. “DUO is hard to reach.” Dat is dan toch het gevoel dat ze bij ons hebben.

Classic Kenny

Halverwege het project moesten de studenten ook ineens binnen blijven door het Coronavirus. Dat maakte het filmen lastig. De groep van Kenny veranderde hun script en filmde het meeste thuis. De slaapkamer, de vieze keuken en de douche: het gebeurt allemaal in een kleine studentenkamer. En de fietstocht braaf op 1,5 meter afstand. Heel goed, Kenny!

De research voor Classic Kenny

Emma’s expedition

Deze klas bestond voor een groot deel uit internationale studenten. Voor hen is naar Nederland komen om te studeren best een stap. Je moet van alles regelen in een taal die je niet kent. En je moet maar net weten wat er is, en waar je voor in aanmerking komt. In een nieuw land ken je niemand en niet iedereen heeft een moeder die van alles voor je uitzoekt.

Emma’s expedition

Tijdens de presentatie vroeg ik of deze video gebaseerd was op hun eigen ervaringen. “Jazeker!” Koushan vertelde dat hij echt dacht “dat DUO een bar ofzo was”. “Je hebt gewoon geen idee als je in Nederland komt studeren en niemand vertelt je iets. Ook op de website zijn er zoveel opties: hoe weet je nu wat je moet kiezen?” Voor het maken van de video hadden ze ook andere internationale studenten gevraagd naar ervaringen. De meesten kwamen overeen, vertelden ze.

Rachel

Ook de video over Rachel hadden de studenten gebaseerd op hun eigen ervaringen. Deze video was een stuk serieuzer en ging over de struggles die buitenlandse studenten hebben in Nederland: weinig geld, ambitieus zijn en heel hard werken, je ouders missen en heimwee hebben. Ik vond het heel mooi in beeld gebracht.

Rachel

Om ‘Rachel’ te maken, had de groep eerst een empathy map gemaakt. Hier was some serious research gedaan. Rachel is bedoeld als persona voor een buitenlandse student die we bij DUO mogen gebruiken om ‘dat engelse stuk’ beter te maken.

Empathy map voor Rachel

Deze twee video’s over internationale studenten deden iets met mij. Ik weet natuurlijk wel dat er veel internationale studenten in Nederland zijn, maar ik had me er zelf, eerlijk gezegd, nog nooit zo in verdiept. Onze website, duo.nl, hebben we niet helemaal in het engels, alleen een klein stuk waarvan wij denken dat die informatie relevant is voor internationale student. Uit eerder onderzoek over inburgeren in Nederland weet ik hoe lastig het kan zijn om naar een nieuw land te verhuizen, van alles uit te moeten zoeken en je thuis te missen. Deze studenten lopen daar natuurlijk net zo goed tegenaan.

A Video for DUO

De klassieke haat-liefde verhouding met de stufi kwam in deze video prachtig tot uiting. Het viel me in eerder onderzoek op dat jongeren veel memes en drama gebruiken om hun ongemak te verbloemen (wat natuurlijk niet woke is als ik dat zo benoem, maar goed, onderzoeker for life). Deze video was geïnspireerd door Avicii’s I could be the one waarin iemand elke dag dezelfde shit over zich heen krijgt tot ze eruit breekt en ziet hoe het ook kan. De groep wilde in typische studentensfeer laten zien wat de grootste mismatch tussen DUO en studenten lijkt te zijn: ‘het duurt altijd zo lang’ en ‘we kunnen jullie niet bereiken’. Bier en noodles, elke avond, geen geld, totdat… jaaaa, DUO neemt eindelijk op. Nu komt het goed. Deze video: I love the drama <3.

A Video for DUO

Nu zit de rest van de week Avicii in m’n kop, maar anyway, superleuk om dit soort filmpjes binnen te krijgen. Ik vind het zo tof dat studenten er geen problemen mee hebben om dit soort eerlijke verhalen met ons te delen. Over stress, heimwee, geldstruggles, en tegelijkertijd doen ze het met een grap en weten ze het ook heerlijk studentikoos te verpakken. Love it.

Het valt me dat dat zij een heel eigen beeld hebben van hoe DUO is. Het maakt niet echt uit of wij een mooi persbericht sturen met prachtige cijfers. Het gaat om het gevoel: voelt DUO dichtbij? Heb ik het idee dat ik bij de overheid terecht kan? En als dat niet zo is, wanneer het er echt om spant, hoe kunnen we dan als DUO ervoor zorgen dat mensen dat idee wel hebben?

Categories
De begripvolle ambtenaar Werken met beeld

Beeld als antwoord

Hoe beantwoord je een vraag met beeld? In deze blog een oefening om mijn deelvraag ‘wat is de methode foto-interviewen’ te beantwoorden. Beeld in allerlei vormen, bewegend, stil en schematisch, staat centraal, tekst is secundair en begeleidend. Ik ben benieuwd hoe het verhaal zo overkomt. Wil je mij feedback geven op deze voorpublicatie, beantwoord dan na het lezen deze paar vragen.

Een begripvolle schaal

Ik fotografeer mijn collega’s bij de Dienst Uitvoering Onderwijs om te onderzoeken welke plek begrip heeft in het maken van de digitale overheid. Begrip staat voor mij voor de menselijkheid in het systeem: begrip voor de burger, die onlosmakelijk met de overheid verbonden is.

In een eerder experiment kwam ik tot de conclusie dat begrip een schaal is. Ik ben op zoek naar een plek op deze begripvolle schaal die past bij de verwachting van de burger, en bij de ambtenaar zelf. Naast mijn werk bij DUO, ben ik ook fotograaf en mijn taal als fotograaf is beeld. In het boek Beeldspraak ontleedt Ton Hendriks de taal van fotografie. Fotografische tekens zoals licht, afstand, focus en beweging noemt hij de grammatica van een beeld. De grammatica in fotografie is concreet. Door die abstract op te vatten gebruik ik die als beeldtaal voor begrip. Bijvoorbeeld: afstand bij fotografie gaat over de afstand van het brandpunt in cm. Bij begrip gaat het over emotionele afstand: hoe dichtbij mag ik bij je komen?

Doordat ik zelf fotograaf ben, weet ik dat fotografische tekens ook als een schaal werken en met elkaar in balans moeten zijn voor een goede foto. Deze schalen visualiseer ik in een kaartenset.

Begrip is een schaal, net zoals fotografie

Met de kaartenset van deze begripvolle beeldtaal ga ik met mijn collega’s in gesprek. Ik gebruik de kaarten om de methode foto-interviewen uit te leggen. Waar herkennen mijn collega’s zichzelf in?

Roos vertelt over haar eigen begrip aan de hand van de kaartenset
Luister naar Roos die de kaartjes uitkiest waar ze zichzelf in herkent

Na een kop koffie en een gesprek over je werk met behulp van de kaartenset, gaan we de studio in. Het foto-interview begint. In deze timelapse van Frits zie je hoe dat eruit ziet.

Timelapse van een foto-interview

Frits vertelt, terwijl ik schiet, wat begrip voor hem betekent als architect bij DUO. Tussen het foto’s maken door kijkt hij naar zijn eigen beeld. Tijdens dit reflecteren-in-actie gebeurt er iets bijzonders.

Naar jezelf kijken

Je eigen foto kiezen en kritisch naar jezelf kijken: is dit hoe ik ben als begripvolle ambtenaar? De foto krijgt een diepere lading. Het beeld helpt rationeel en intuïtief te reflecteren op je rol als ambtenaar. In deze video van Jean zie je het gebeuren:

Jean kiest zijn foto als begripvolle ambtenaar

Kunstenaar en auteur John Ruskan schrijft in zijn boek Emotion and Art dat kunstenaars vaak in het onderbewustzijn sluimerende, onderdrukte gevoelens projecteren op de onderwerpen die zij in beeld brengen. Door een connectie aan te gaan met het onderbewustzijn ontstaat daarom een opening naar creativiteit. De fotograaf wordt hierin gestuurd door een bepaalde herkenning van beelden, die hem fascineren en ontroeren, zonder dat hij precies weet waarom. Door zijn gevoel te volgen en dat in beelden om te zetten ontstaat er een proces van projectie op het onderwerp en vervolgens identificatie met het onderliggende thema. Uiteindelijk volgt door het creatieve proces een integratie van de verborgen emoties in het leven en werk van de kunstenaar. Als het onderwerp een fotografisch beeld oplevert dat sterk genoeg is, ontstaat er een kunstwerk dat aansluit bij de archetypen die wij allemaal delen en op die manier wordt het beeld universeel begrijpelijk en invoelbaar. Ruskan: ‘We maken kunst met twee doelen: om een deel van onszelf te leren kennen en om het onbekende aan de oppervlakte te krijgen.’

Ton Hendriks in Beeldspraak, pagina 41.

Met mijn collega maak ik samen de foto. Jean kiest zelf welke fotografische tekens hij inzet en waar op de schaal hij zich wil bevinden. Jean is hierdoor zowel participant in het foto-interview als kunstenaar van zijn eigen beeld. Door de foto te maken, reflecteert hij hardop. De kaartenset helpt hierbij. Je hoorde mijn collega Roos eerder in dit blog haar eigen gedachten projecteren op de kaarten. Fotografie is net als begrip niet alleen rationeel te benaderen. Door het foto-interview leren mijn collega’s zichzelf kennen en komt het onbekende aan de oppervlakte.

Wat laat je zien?

Uit elk foto-interview ontstaat een beeldserie. Soms springt één eruit, soms kiest iemand meerdere beelden. Ze geven allemaal een andere nuance aan het begripvol zijn, of niet-kunnen zijn, als ambtenaar. De emotie en het gesprek zie je terug in de mimiek en houding van de ambtenaar voor de lens. Bij vlagen zie je bij iedereen een bepaalde kwetsbaarheid. De een toont het bewust, de ander op een onbewaakt moment.

De beeldserie van het foto-interview met Nico

Bij het vertellen van de verhalen op dit blog gebruik ik de hele serie. Het verhaal en beeld zijn, net als tijdens het foto-interview verstrengeld met elkaar. Het intuïtieve karakter van beeld werkt zo niet alleen voor de ambtenaar die zichzelf moet laten zien. Het werkt ook voor de kijker/lezer die het verhaal ervaart en daardoor zelf meereflecteert op het eigen begrip. Bijvoorbeeld in het verhaal van Elian. Je kunt de frustratie die hij in zijn werk ervaart, zelf voelen: het spat van de portretten af.

Wat doet dit met jou als je naar hem kijkt?

Elian vertelt en laat zijn worsteling met begripvol zijn zien

Beeld lezen

Het beeld lezen kan op verschillende manieren. Ik zie de grammatica in de vorm van de fotografische schalen in alle foto’s terug. Soms bewust gekozen door mijn collega, soms gebeurde het in het moment. De schaal is niet altijd lineair toegepast en sommige portretten spreken zichzelf juist tegen. Begrip is, net als fotografie, een complex en genuanceerd verhaal.

Bijvoorbeeld bij Cees-Jan die vertelt over complexe en gestructureerde computerbesluiten. Hij kiest een nadenkende foto: ‘gewoon als mezelf in actie’. Als een van de enige in de serie kiest hij een roze achtergrond. Zijn shirt en bril hebben een vrij rigide grid maar zijn losse haren en armband tonen juist vrijheid en out-of-the-box. Precies het dilemma waar hij in zijn werk over vertelt.

Of Roos. Zij heeft een hele open blik. “Begripvol zijn, is positief blijven. De ander willen begrijpen,” vertelt ze. Dat gaat soms ten koste van haarzelf. Ze kiest veel schaduw in haar foto, want ‘het gaat niet om haar’. Deze dubbelheid zie je terug. De ene kant van haar gezicht open en licht, de andere kant in de schaduw, op de achtergrond en bijna onzichtbaar.

Gabe zei tijdens de kaartjes direct dat ik heel dichtbij mocht komen: “dat had ik verdiend, want ik deed leuke dingen.” Hij vertrouwde me. Maar toen ik tijdens het fotograferen een stap dichterbij nam, leunde hij naar achteren en schiep hij afstand door zijn knie omhoog te doen. Op het eind koos hij deze foto want ‘de Tibetaanse armband die hij op een reis had gekregen stond er ook op’.

Een oproep tot reflectie: hoe zijn we samen een begripvolle overheid?

Iedereen laat een ander aspect van begripvol tot niet-begripvol zien. Samen zijn wij het: de overheid. Zijn we blij met hoe wij onze keuzes maken? Van de portretten en de verhalen maakte ik een expositie. Over elk portret zit hetzelfde grid. Hoe passen wij als ambtenaar en als mens in het grotere systeem waar we in zitten? Het grid staat vaak op gespannen voet met deze menselijkheid. De ‘je’ in de wenkbrauw van Roos. Het paradoxale portret van Cees-Jan, waarbij grid op grid gestapeld wordt. Mechteld die bijna gevangen lijkt te zitten in het grid.

In de ruimte werkt dit prachtig. De begripvolle ambtenaren trekken je vanaf een afstand naar hen toe. De indringende blik van Mechteld houdt je blik dwars door de ruimte vast. Eenmaal dichtbij moet je moeite doen om haar verhaal te lezen. Het dwingt je vaker en langzamer te kijken. Het verhaal krijgt de tijd zijn werk te doen, je gaat erover nadenken en zelf reflecteren, op jouw rol als begripvolle ambtenaar.

  • International Design in Governement Conference, Rotterdam, 2019 photo: Robert Tjalondo | www.rockinpictures.com
  • International Design in Governement Conference, Rotterdam, 2019 photo: Robert Tjalondo | www.rockinpictures.com

De portretten maken veel los. Jezelf laten zien en een open gesprek aangaan is kwetsbaar. Voor de begripvolle ambtenaren zelf, en ook voor mijn organisatie, DUO. Deze kwetsbaarheid zie ik als de voorwaarde om verbonden te zijn. De voorwaarde voor een open gesprek. Waarom ik dit denk, en daarom dus op deze manier onderzoek, kun je verder lezen in deze blog: een kwetsbaar zelfportret van de overheid.

Deze blog is een voorzet voor mijn eindpublicatie die in juli uitkomt over De begripvolle ambtenaar. Ik ben benieuwd wat je van dit verhaal vindt. Wil je mij feedback geven, vul dan deze korte vragenlijst in.

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek?

Onderzoek op afstand

Het is mijn life goal om overheid en burger te verbinden en dichter bij elkaar te brengen. Maar sinds een week moeten we fysiek afstand houden. Ai… Bij DUO werken we nu bijna allemaal verplicht thuis en dat betekent dat alles digitaal gaat. Maandag zat ik bij de pakken neer, dinsdag vroeg ik op LinkedIn hoe anderen dat deden en woensdag kreeg ik nieuwe energie want er stroomden veel ideeën binnen. In dit blog een voorzet hoe we het UX-research vak op afstand, maar niet afstandelijk, kunnen doen.

Wil je direct naar het overzicht met alle ideeën over onderzoek op afstand? In dit openbare Google Doc vind je ze allemaal. Vul de lijst aan met je eigen ideeën en best practices.

Tools

De meeste tips die ik kreeg gingen over tools. Mijn collega Ruth merkte op via Slack: ‘ik kan door de tools de research bijna niet zien.” Daar moest ik erg om grinniken, want ik vond het heel herkenbaar. We duiken snel op tools, maar veel interessanter is hoe die tools werken of niet werken.

Ilse Blom van Funda reageerde op LinkedIn dat ze daarom eerst een grondige dry-run deed: “zo kwamen we er bijvoorbeeld tijdig achter dat via de web-app van Teams je niet tegelijk een scherm (met prototype) en camerabeeld kan delen en we de respondent vooraf moeten vragen de applicatie te installeren. En dat diegene die de sessie opneemt geen notities kan typen omdat dat de opname van de sessie verstoort. Diegene moet dus old-school pen en papier paraat hebben :). Kleine dingen, maar als je deze van te voren uitvindt, ben ik ervan overtuigd dat het een stuk soepeler verloopt. Nu alleen nog hopen dat Teams de verbinding een beetje stabiel kan krijgen…”

Heel goed, Suus! Afstand houden 🙂

Voordat we verplicht remote moesten werken was ik geen fan van remote onderzoek doen. Ik schreef eerder deze blog over een experiment met mobiel testen op afstand dat helemaal misging. Ik kon de mensen niet zelf aankijken, lichaamstaal vervalt en er was gedoe met dingen installeren (niet heel inclusief). Maar, eerlijk gezegd, heb ik me nog niet eerder heel goed verdiept in remote onderzoek doen. Tot nu. Nu moet ik wel.

Voorbij usability onderzoek

Voor usability onderzoek is ontzettend veel te vinden. Ik schreef eerder op dit blog al over de opzet die we bij DUO gebruiken en die relatief eenvoudig op afstand uit te voeren is. De basis die we gebruiken is OBS, een recording en streaming tool die gamers ook veel gebruiken. Collega’s kunnen op afstand meekijken.

We doen bij DUO ook ander type onderzoek. Hoe je dat op afstand kunt opzetten en uitvoeren, vind ik een grotere uitdaging. Bijvoorbeeld een focusgroep, diepte-interview en generatief onderzoek. Of hoe je workshops organiseert met je team, teams coacht en bevindingen uit onderzoek overdraagt in je organisatie. Hoe vertaal je dat allemaal naar ‘remote’? Zouden we misschien zelfs een digitale meet-up kunnen organiseren bij DUO?

De komende tijd ga ik wat nieuwe dingen uitproberen. Bovenaan mijn lijst staan creatief samenwerken met Miro, meet-ups en demo’s organiseren met Hopin en al bekende onderzoekstools inzetten om een gesprek te faciliteren. Bijvoorbeeld in plaats van een fysieke discussie in een zaaltje een digitale card sort naar iedereen sturen en na afloop via Miro de resultaten delen en digitaal bespreken. Hoe dit in de praktijk gaat werken, kom ik vast nog op terug.

Rol van de researcher

Door zelf als onderzoeker niet meer fysiek aanwezig te zijn, kunnen we ook reflecteren op onze rol. In eerste instantie was ik dus nooit zo’n fan van onderzoek op afstand omdat ik dacht dat het minder persoonlijk was. Maar een collega van mij, Ruth, bewees het tegendeel. Zij heeft (toevallig!) net een onderzoek afgerond met respondenten uit Caribisch Nederland. Via Experience Fellow stuurden respondenten dagboekberichten naar haar. Via Skype interviewde ze hen. Ruth werd lid van Facebookgroepen om gesprekken te kunnen volgen en het lokale nieuws bij te houden. Dat deed ze ruim een maand en het leverde persoonlijke en authentieke inzichten op. In alle verhalen kwam ze zelf bijna niet voor, de participant des te meer.

Uit The Convivial Toolbox

In The Convivial Toolbox staat een prachtige mapping van verschillende types onderzoek. Generatieve methodes staan aan de kant van participerend onderzoek: de respondent is mede-expert in plaats van ‘slechts’ gebruiker. Nu wij als onderzoekers op afstand moeten blijven vraagt dat van ons meer vertrouwen in de respondent om ons te helpen leren. Een flinke stap naar het rechterdeel van dit spectrum. In plaats van dat ik als onderzoeker kan observeren, moet ik afgaan op wat iemand met me wilt delen en als foto bijvoorbeeld instuurt. We worden gelijkwaardiger en daarmee is het onderzoek misschien juist authentieker.

Een jaar geleden interviewde ik een student die net klaar was met haar studie en begon aan het terugbetalen van haar studieschuld. We spraken af via Facetime. Ze zat in haar studentenkamer met een kop thee op haar bed. In het echt zou ik haar daar natuurlijk nooit gesproken hebben. Ongemakkelijk. Maar nu keek ik zo haar leven in. Ruth kreeg prachtige berichten via Experience Fellow. Respondenten schreven hun zorgen van zich af via de app. Ze reageerden niet op de onderzoeker, maar op het thema wat op dat moment centraal stond in hun leven terwijl ze thuis in hun eigen omgeving waren.

Misschien is remote research wel iets heel goeds voor ons vak. Het vraagt vertrouwen van ons als onderzoekers en meer gelijkwaardigheid tussen respondent en onderzoeker. Ik ben benieuwd wat dat met ons gaat doen.

Hoe ga jij op afstand onderzoeken?

De komende tijd moeten we even schakelen. Mentaal is dat best een ding, dat mag er zijn, en het vraagt creativiteit en inventiviteit om die stap te maken. Ik ben benieuwd naar jullie aanpak en ideeën. Vul ze aan in de openbare Google doc zodat we een mooie lijst krijgen en van elkaar leren. Zet er ook je ervaringen bij.

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek?

UX coaching

Het begon met de empathiethermometer bij het team van Hessel, als proef om te kijken hoe we ontwikkelteams kunnen helpen om zelf verantwoordelijk te zijn voor de ervaring van de gebruiker, de user experience (UX). Dat leidde tot meer workshops, enthousiaste teamleden, ritjes naar scholen en meer teams die zich opgaven voor UX coaching.

De afgelopen maanden hebben we veel geëxperimenteerd. Wat werkt wel, en wat niet? Voor ontwikkelteams is UX coaching een manier om betere gebruiksvriendelijke diensten en producten te maken; voor ons, het UX-team, is het een onderzoek naar de veranderende rol van UX bij de overheid en in grote organisaties. In dit blog een update.

Ontwerpend leren

UX coaching zetten we op door design research te doen. Door te ontwerpen en uit te proberen, samen met participanten, komen we steeds een stap verder. In onderstaand schema zijn de 6 onderdelen van dit ontwerpend experimenteren schematisch weergegeven. Vorige week deden Roos en Suus (2 collega’s die het meest met de experimenten bezig zijn op dit moment), en ik een stap terug om al onze experimenten tot nu toe op een rij te zetten, te reflecteren en onze strategie bij te sturen.

6 onderdelen van design research

De ontwerpvraag of het ontwerpdoel: ‘hoe kunnen we teams de tools, kennis en hulp geven om diensten te maken die goed zijn voor mensen?’

We begonnen met het opschrijven op post-its van alle activiteiten die we het afgelopen jaar hadden gedaan om dat doel te bereiken. Dat waren bijvoorbeeld een workshop prototypen, een teamsessie over ‘ken je klant’, een workshop ‘verbeter je product met data’, een canvas dat teams helpt om de klantreis te maken samen met andere teams, de UX-boekenkast die we aan het opbouwen zijn, dat we onderzoek nu zoveel mogelijk in Sticktail bewaren en de eerste UX-meet-up, om maar even wat te noemen :).

We ordenden de post-its eerst naar onderwerp, maar dat vertelde ons niet veel. Ik dacht aan de workshop Beeldsprinten, en stelde voor dat we verschillende sorteringen gingen uitproberen. We eindigden met 2 schalen van onze type participanten en mapten daar alle experimenten op. Dit bord maakte Suus later digitaal en bewerkbaar zodat we nieuwe experimenten er bij kunnen plotten en het kan groeien.

Participanten: van het individu, naar je team, teams die in dezelfde klantreis ‘zitten’, alle teams bij DUO en voorbij de DUO-grenzen. Participanten kunnen ook in verschillende fases zitten: weten, willen, kunnen en doen.

Dit gaf veel overzicht. We zagen dat we weinig experimenten deden om participanten te overtuigen om te willen. Dat hoefde ook niet, want teams melden zichzelf aan bij ons. Willen ontstaat geleidelijk en organisch. Het enthousiasme van het ene team steekt het andere team aan om zich aan te melden.

We merkten ook dat we veel op de 3 middelste niveau’s werken. We plaatsen het individuele niveau er wel bij, omdat het vaak begint met 1 teamlid dat enthousiast is en het team meeneemt daarin. Het is belangrijk om te investeren in mensen zelf en niet alleen in teams. We doen ook nog niet zoveel voorbij de DUO-grenzen. Dat is niet erg, want we werken bij en voor DUO, maar het is wel goed om te kijken of we de activiteiten die voor heel DUO werken met een kleine stap ook breder kunnen inzetten en delen. Meestal is dat vooral een kwestie of het open mag of niet.

De rol van de UX coach

Roos heeft de afgelopen maanden in een team gezeten als UX coach, waarbij Suus teams van buitenaf heeft geholpen. Van de inzichten die we uit die verschillende aanpak leerden, maakte Roos, samen met collega Lisa, onderstaande tekening. De belangrijkste conclusie: de UX coach is verbonden aan het team, maar moet niet deel zijn van het team.

UX coach is ook voor ux’ers een andere rol. Tot nu toe waren we gewend om teams te helpen door het werk zelf te doen, nu gaan we teams helpen zodat ze (een deel van) het werk zelf kunnen doen. Waar ligt precies de grens? Wanneer ben je interactie ontwerper bij een team, en wanneer interactie coach? Of onderzoeker die zelf het onderzoek doet, of onderzoekscoach?

En hoe verhouden de verschillende UX-disciplines zich ten opzichte van elkaar. Sommige workshops kunnen door meerdere disciplines gegeven worden en we zien disciplines met elkaar vergroeien. Het ontwerpproces wordt daardoor vloeiender. Dat betekent ook iets voor onze eigen ontwikkeling. Daarom stuurde ik een mail naar alle 25+ mensen van het UX-team.

Collega, denk je mee over onze veranderende rol?

Tot nu toe heb ik al 12 mailtjes terug met ‘ik ben erbij’. In maart/ april plannen Suus, Roos en ik het vervolg om samen na te denken over de rol van UX coach. Wanneer we die duidelijk(er) hebben, kunnen we onze experimenten beter opzetten en inplannen, en kan het door het hele UX-team opgepakt worden.

Ben jij, of ken je andere organisaties die ook bezig zijn met de veranderende rol en het opschalen van UX? Ik ben heel benieuwd naar ervaringen en tips. Let me know.

Categories
De begripvolle ambtenaar Een begripvolle toekomst Werken met beeld

Beeldsprinten

Sprinten met beelden: ronde 1 is makkelijk, bij de derde ronde kreeg ik hoofdbrekens en op het eind viel alles ineens op z’n plek. In dit blog vertel ik hoe ik aan de hand van deze methode begon aan mijn vierde en laatste semester van de Design Master die ik doe. Dit semester staat in het teken van conclusies en een eindpublicatie. Hoe kan ik op basis van al mijn experimenten een antwoord beginnen te formuleren hoe de digitale overheid een begripvolle verbinding kan hebben met burgers?

Al mijn experimenten heb ik gedocumenteerd, vooral in foto’s en film. Voor deze oefening zocht ik alle beelden die ik van collega’s had bij elkaar uit 2 type experimenten. De voorloper van het foto-interview waren de touwgesprekken. Hier vroeg ik collega’s uit verschillende lagen van de digitale overheid om aan de hand van een touw te vertellen hoe ze zich verbonden voelden met Britt, een student. Later ging ik collega’s fotograferen als begripvolle ambtenaar waarbij we meer de diepte ingingen dan in het touwgesprek. Van alle collega’s in beide experimenten printte ik 1 beeld uit.

  • Het touwgesprek met Marianne
  • Het foto-interview met Rob

Ready, set, sprint

Beeldsprinten gaat in verschillende rondes. Het begint met een vraag waarmee je door beeld steeds opnieuw te ordenen een antwoord op formuleert. Ik koos de vraag: welke rol heeft begrip in de estafette van wet naar loket? Maar in ronde 1 merkte ik gelijk dat die te groot was. Er zit een vraag voor: hoe zit die estafette eigenlijk in elkaar?

De eerste ronde duurt 40 minuten. De rondes erna duren steeds korter. De onderzoeksvraag is voor elke ronde gelijk, de beelden moet je steeds opnieuw ordenen. Deze methode dwingt je om steeds met een andere invalshoek naar je beeld en de informatie in dit beeld te kijken. En dus ook steeds met een andere invalshoek naar je onderzoeksvraag en -opbrengsten.

Ronde 1

Ronde 1 begon simpel. Ik koos ervoor om beide type beelden te ordenen naar mate van begrip die collega’s zelf aangaven met het touw of in de foto. Jean zei bijvoorbeeld dat hij empathie een ingewikkeld thema vindt. Mijn collega Suus stond wel 4 meter naar achter met het touw. Zij mochten bovenaan. Elian wilde zo dichtbij mogelijk gefotografeerd worden. Het licht kon niet fel genoeg. Warner stond met het touw direct naast de student.

  • Beelden geordend naar begrip als schaal in de foto.
  • Beelden geordend naar lengte van het touw
  • Ik aan het werk op de academie.

Maar toen ik aan het einde van ronde 1 naar de foto’s kijk, voldeed het niet. Dit paste niet. In mijn onderzoek kom ik er juist achter dat begrip niet zwart-wit is, maar genuanceerd en in verschillende soorten en maten terugkomt in ieders rol. Natuurlijk zijn er collega’s die vinden dat ze op bepaalde momenten niet begripvol kunnen zijn en veel begripvoller willen zijn, maar wie ben ik om dat zo cru te ordenen? En wat vertel ik hier eigenlijk mee? Dat begrip fluctueert in de weg van wet naar loket? Dat is een open deur.

Ronde 2

Ik nam dus een stap terug. Hoe ziet die estafette van wet naar loket eigenlijk in elkaar? Wie krijgt als eerste het stokje en aan wie geeft die hem door? Mirjam zit als accountmanager vrij vroeg in het proces, ik begon met haar. Nico werkt meer achterin de keten op de communicatiekanalen van DUO, ik maakte hem een van de hekkensluiters.

Beelden geordend naar plek in de estafette van wet naar loket op basis van functie van de persoon.

In ronde 2 viel het me op dat sommige collega’s niet direct in de lijn van wet naar loket zitten. Wat doe ik bijvoorbeeld met Pauline? Zij is manager van collega’s die wel direct in de lijn zitten, maar zijzelf dus niet. Of waar plaats ik Gabe? Die ook niet direct in de lijn zit, maar zonder zijn infrateam is DUO überhaupt niet online. Ik begon te werken met lagen. De ene foto achter de ander, of juist hoger of lager op het papier. Pff… het werd steeds ingewikkelder.

  • Gelaagdheid toegevoegd van boven naar beneden
  • Gelaagdheid in bovenop of meer naar achter.

Ronde 3

Oke, weer een nieuwe invalshoek. Wat nu als ik er 1 uittrek en die als invalshoek neem? Zelden zie je namelijk de estafette in vogelperspectief, de meeste mensen zitten er middenin en zien alleen degene rond hen heen. In het echt is het natuurlijk ook niet braaf een rijtje maar werkt iedereen samen en soms ook door elkaar heen.

Ik koos Jean en Roos om te zien hoe de lijnen dan zouden lopen. Eerst alleen met de portretten, later voegde ik de touwgesprekken toe om te zien hoe het eruit zag met meer complexiteit. Het viel me dat dat de estafette vanuit Jeans perspectief heel anders was dan vanuit Roos perspectief. De ene collega stond veel dichterbij de een dan bij de ander.

  • De estafette vanuit het perspectief van Jean
  • Meer beelden vanuit het perspectief van Jean
  • De estafette vanuit het perspectief van Roos
  • Meer beelden vanuit het perspectief van Roos

Ronde 4

In ronde 4 keken we bij de beeldsprints van klasgenoten. De resultaten van de 3 rondes lagen naast elkaar zodat je de verschillen en ontwikkeling per ronde goed kon zien. We stelden vragen aan elkaar en moesten uitleggen wat we bedacht hadden.

Dit idee om overzicht vanuit verschillende perspectieven te bieden vond ik interessant. Door de beelden (en daarmee de experimenten) op die manier te ordenen krijg je overzicht op de hele estafette maar ook vanuit het perspectief van 1 plek. Door die 2 perspectieven te wisselen kun je als individu je eigen plek in het geheel beter begrijpen.

Een klasgenoot merkte op dat het overbodig is om de begripvolle schaal per persoon uitvoerig te benoemen. Doordat collega’s zichzelf laten zien en ik ze orden op de plek waar ze hun werk doen in de digitale overheid krijg je door in te zoomen op hun plek hun verhaal sowieso al mee. De foto’s geven het overzicht menselijkheid, zoals de ambtenaren de digitale overheid haar menselijkheid geeft.

De overheid openschroeven

In de trein terug naar Groningen las ik dit interview met Marleen Stikker. Door al mijn collega’s te fotograferen en hen te bevragen over hun werk en hun begrip voor de burger voel ik me soms alsof ik de digitale overheid aan het openschroeven ben om te kijken wat erin zit. Welke radartjes draaien en hoe maken die radartjes hun keuzes? Hoe kunnen al deze radartjes begripvol draaien?

Op de houten zolderkamer waar Stikker en ik praten, hangen twee kunstwerken. Allereerst een replica van Rembrandts schilderij De anatomische les van Dr. Nicolaes Tulp, waarop de dokter in 1632 voor de ogen van zijn studenten een lichaam opensnijdt. Het doek hangt hier niet zomaar, de anatomische lessen vonden plaats in dit gebouw midden in de stad. Nu is het het hoofdkwartier van Stikker en haar mensen, en dat is terug te zien in het andere kunstwerk: een gigantisch paneel waarop een Alexa (de spraakassistent van Amazon) is ontleed door de Amerikaanse professor Kate Crawford. Alle microfoontjes, datastromen, benodigde fossiele grondstoffen, menselijke arbeid en financiële belangen zijn minutieus in kaart gebracht – het is de anatomie van een moderne machine.

Je bent pas echt eigenaar van een apparaat als je het kunt openmaken om het te repareren of veranderen. Als dat niet kan, zoals bij de meeste hedendaagse technologie zoals Alexa, dan bezit het apparaat jou. 

Uit ‘Schroef het internet open’, interview van Coen van de Ven met Marleen Stikker in de Groene Amsterdammer van 19 februari 2020.

Die tweede alinea deed me denken aan het touwgesprek dat ik in week 1 van mijn opleiding aanknoopte met voorbijgangers in Rotterdam. “Wie heeft de touwtjes in handen,” vroeg deze jongen me. “In het echt,” zei hij, “ben ik natuurlijk vastgebonden, en jij niet.” Wie is eigenaar over de verbinding met de overheid? Dat begint met elkaar kennen en jezelf laten zien. Openschroeven dus.

Ik als ambtenaar zoek verbinding met burgers.

De komende tijd

ga ik aan de slag om die estafette te maken. Er zijn ook nog veel lege plekken, letterlijk collega’s die ik nog niet in beeld heb. Maar dat is oké. Het fotograferen hoeft niet te stoppen in juli. Op dit moment zie ik een digitale levende atlas van begripvolle ambtenaren voor me die inzicht geven in de digitale overheid. Per rol kun je inzoomen, zien wat die rol inhoudt, welke rol begrip daar heeft en vertelt een ambtenaar hoe die dat ervaart als conversatie starter.

De volgende stap (waar ik stiekem ook al mee begon) is om samen met elkaar te kijken of, hoe en waar we verandering willen. Maar dat is voor een ander blog.

Wil je meedenken in het ontwerpen van deze estafette, meelezen met de inhoud en feedback geven, let me know. Ik kan je hulp goed gebruiken :).

Categories
Hoe doe je onderzoek? Werken met beeld

Workshop dataverhalen

“Data is numbers people. Data will make us more efficient human.” Deze zinnen haal ik uit het Data Humanism Manifesto van Giorgia Lupa. Eerder volgde ik een masterclass over het Dear Data project van haar en Stefanie Posavec. Mijn collega Ruth volgde later ook een masterclass bij Stefanie, en samen dachten we: hier willen we bij DUO iets mee doen.

Vorige week gaven we aan collega-onderzoekers een workshop offscreen datavisualisatie. Hoe kunnen we anders naar de data uit onze onderzoeken kijken en er verhalen mee maken die impact hebben in onze organisatie? In deze blog de opzet van de workshop en een paar uitkomsten.

Houtskool

Ruth en ik gebruikten de slides van de masterclass om de theorie over offscreen datavisualisatie te vertellen gecombineerd met een paar oefeningen. Die begonnen makkelijk, bijvoorbeeld ’teken 100 niet rechte lijnen in een cirkel’, maar werden al snel abstracter ‘bedenk verschillende manieren om 75 en 37 uit te beelden’. Over de theorie achter offscreen dataviz schreef ik eerder deze blog.

De oefeningen doen denken aan het werk van Sol de Witt. Zijn kunst zit ‘em vooral in de regels die hij bedenkt, die anderen gebruiken om steeds nieuwe uitwerkingen te maken. We gebruikten deze verwijzing omdat wij met ons onderzoek binnen DUO graag mensen de inzichten willen uitleggen, en het is onze taak dat de ander die dan snapt en ook ziet. Het is niet genoeg om je data ‘gewoon over de schutting te gooien’, want iedereen heeft een eigen interpretatie.

Van data naar verhaal

Na het oefenen gingen we aan de slag met een echte dataset. Ik gebruikte een onderzoekje die ik zelf 2 jaar eerder deed naar de behoefte van ontwikkelteams bij DUO naar klantinzichten. Een oud onderzoek, maar het was de kleinste die ik ooit had gedaan. Voor een workshop van 3 uur ideaal. En hij paste heel goed bij de workshop, want voor die behoefte van ontwikkelteams zijn we juist aan de slag.

De vragenlijst stuurde ik destijds naar 40 ontwikkelteams die allemaal een plek hadden in de estafette van de wet studiefinanciering. Iedereen bouwde op een bepaald stukje mee aan het uitvoeren van dat proces. Ik kreeg van 31 teams een ingevulde versie terug. De vragen gingen over hun wens om ‘meer van de klant te zien’. Van de uitkomsten van dat onderzoek maakte ik een simpele excelsheet. Ben je benieuwd naar de uitkomsten van dat onderzoekje kun je hier de samenvatting bekijken.

De opdracht was om uit die data 1 invalshoek te kiezen. Wat valt je op en vind je interessant? Daar kies je vervolgens een manier voor uit om dat te visualiseren. Bepaal een set regels, bijvoorbeeld als ontwikkelteams meer inzicht willen, teken ik open oogjes, en als ze dat niet willen teken ik dichte oogjes (dat deed mijn collega Roos). De impact van je tekening wordt groter als je voor een visuele taal kiest die ook te maken heeft met het onderwerp. De balans tussen mooi en juist moet kloppen en wordt bepaald door de context van je verhaal. Zorg ervoor dat alles een reden heeft.

Verbonden lijnen

Aan de slag. Ik koos er zelf voor om een link te leggen tussen de teams die vonden dat ze wel of niet voldoende inzicht hadden in hun doelgroep. Die zette ik af tegen de teams die wel of niet graag zelf contact wilden met hun doelgroep. Ik verkleinde de dataset naar die 4 variabelen en begon te schetsen hoe ik dit kon visualiseren.

Ik koos het beeld van verbonden zijn dat ik in mijn onderzoek naar de begripvolle ambtenaar ook gebruik. Ik tekende een schuine lijn op het papier. Voor de eerste vraag of je voldoende inzicht in de klant hebt, tekende ik lijntjes die wel of niet aan die grote lijn vastzaten. Bij de teams die zelf contact wilden, tekende ik de lijn diffuus. Teams die dat niet hoefden, tekende ik strakker. Alle 31 teams kregen zo een plek in mijn tekening.

Deze tekening is een versimpeling van de hele dataset. Zelf contact met je doelgroep was 1 van de 4 manieren in de vragenlijst om meer inzicht in je doelgroep te krijgen. In deze tekening zijn er 8 teams die meer inzicht willen, maar niet door persoonlijk contact. Persoonlijk contact is ook geen heilige graal zoals ik eerder in mijn eigen onderzoek al ontdekte. Deze tekening maakt het voor mij interessant om verder te onderzoeken wat wel een goede manier is voor deze teams om hen te helpen meer inzicht in hun doelgroep te krijgen.

Hoe verder

Deze workshop met ons team is een oefening om op een andere manier naar data te kijken. Data gaat over mensen en die mensen verdienen dat hun verhaal goed verteld wordt. Daarnaast helpt het ons als onderzoekers om op een andere manier tijd met data door te brengen. Op die manier verandert data van abstracte getallen of woorden naar levende verhalen die je zelf beter begrijpt en daardoor beter kunt overbrengen.

Categories
De begripvolle ambtenaar

Van foto-interview naar expo

Krap een jaar geleden begon ik mijn collega’s te foto-interviewen. Deze portretserie groeide uit tot een verzameling die ik in november exposeerde op de International Design in Government conferentie. In deze blog vertel ik meer over de opzet en de bedoeling achter de expo, waar ik twee weken geleden op school zelfs een cijfer voor kreeg :).

Bij de beoordeling van de expo op de academie gaf ik deze presentatie. Ik vertelde waarom ik de estafette van de digitale overheid in beeld wilde brengen. Ik citeerde Marleen Stikker die in haar boek schreef dat het uitmaakt wie er achter de tekentafel zitten en hoe zij hun keuzes maken. Door collega’s te vragen om zelf de regie te nemen in hun portret maken we dit zichtbaar. Hoe deze foto-expo en het ‘open gesprek’ mijn andere onderzoekslijnen ondersteunt, schreef ik eerder in mijn strategie.

Een belangrijk onderdeel van het foto-interview is reflectie-in-actie. Ik las over deze manier van werken in het boek The reflective practitioner van Donald Schon. Door met beeld te reflecteren gaan we in het gesprek de diepte in. Door deze beeldreflecties te delen, ontstaat er vervolgens ook een groter reflecterend gesprek. Dit wilde ik doorzetten in de foto-expo. Daarom vroeg ik Britt Hoogenboom, een klasgenoot mij met het artwork te helpen. Britt doet namelijk onder de titel The bigger picture onderzoek naar ‘hoe we kijken naar wat we zien’. Zij onderzoekt beeld en beeldvorming om vervolgens een nieuwe manier van kijken te ontwerpen die zorgt voor verbinding en empathie. Dát wilde ik met de foto-expo.

Vast in het systeem

Ik vertelde Britt over de spanning tussen de menselijke maat en het overheidssysteem. Dit speelt in de eerste plaats natuurlijk in de verbinding met burgers. Maar ook de systemen waar we zelf inzitten: de cultuur, de wet, manier van werken en organisatiestructuren.

Britt ontwierp een grid die ze over de portretten heen legde. Het lijkt hierdoor alsof mijn collega’s achter een scherm zitten, net zoals in het echt. Het zijn de ambtenaren die achter de overheidscomputer zitten. Deze grids bepalen hoe de geportretteerde te zien is, zowel de foto als het verhaal. Bijvoorbeeld in de quote bovenin, die heeft ook een vast stramien. Bij de een komt dat prachtig uit, en bij de ander ongelukkig. Maar ja, dat is het systeem, he. Het logo van de begripvolle ambtenaar maakte ze zo, dat een ander daar handgeschreven zijn eigen naam kan plaatsen. In de kaartjes die bij de expo horen, kan publiek daar zelf ook hun naam aan toevoegen.

Docenten en klasgenoten die de expo bekeken.

In de ruimte werkte dit prachtig. De begripvolle ambtenaren trekken je vanaf een afstand naar hen toe. De indringende blik van Mechteld houdt je blik dwars door de ruimte vast. Eenmaal dichtbij moet je moeite doen om haar verhaal te lezen. Het dwingt je vaker en langzamer te kijken. Het verhaal krijgt de tijd zijn werk te doen, je gaat erover nadenken en zelf reflecteren.

Ieder mens is anders en ieder verhaal is eigen. Het grid stond vaak op gespannen voet met deze menselijkheid. De ‘je’ in de wenkbrauw van Roos. Het paradoxale portret van Cees-Jan. Hij had in zijn eigen kleding al een grid, zowel in zijn bloes als in zijn bril. Prachtig. En ook in de tekst was dat fantastisch wringend. Hij vertelt over de afweging tussen computerbesluiten en menselijke inbreng en juist bij zijn tekstblok had ik sterk de neiging om even een enter toe te voegen (menselijke inbreng) omdat het grid (computerbesluit) gewoon ronduit ruk was.

Voor een digitale versie van de expo werkte ik samen met Nathan Schuuring. Door het concept van Britt te combineren met het responsieve karakter van het web bracht hij de expo een stap verder. De computer bepaalt nu echt hoe je de begripvolle ambtenaar te zien krijgt. Het device waarmee je debegripvolleambtenaar.nl bezoekt, bepaalt de vorm van de beelden, de quotes en de verhalen. Bij sommige devices vallen een aantal mensen letterlijk van de pagina af. Het systeem houdt geen rekening met hen.

Alle portretten samen roepen op tot reflectie

Voor de beoordeling van deze expo vroeg ik mijn docenten en klasgenoten om de portretten zelf te ervaren. Op kaarten schreven ze hun observaties waarom ambtenaren wel of niet begripvol konden zijn. Een greep uit hun reflecties op de portretten:

Het complex aan politiek, beleid, juridisch, vertalen naar techniek en verschillende beroepen die de uitvoering vormgeven. Dáár is mijn ruimte voor begripvol zijn allemaal afhankelijk van. Daar verdwijn ik als mens in.

Het systeem waarin ik werk is zo ver van de burger verwijderd, het is een gevangenis waarin andere belangen primeren: efficiëntie, kosten, politiek klimaat, promotie… De taal waarin ik werk is niet begripvol: klant, in plaats van burger en mens. Ik ben alleen de uitvoerder, ik maak het beleid niet. Maar als civil servant kan ik zelf bepalen en beslissen om in dialoog te gaan met burgers.

Wanneer ze nadenken/ reflecteren op hoe ze werken en hun werkwijze ervaren, zijn er dingen die ze wel of niet vinden werken, zich wel of niet goed bij voelen. Dan zijn de mensen van DUO ineens heel menselijk en empatisch. Ook door hoe jij ze in beeld hebt gebracht en hun verhaal laat doen.

Zo’n beoordeling is toch een beetje gek. Op de conferentie liepen er 100en mensen langs de foto (omg!) en nu een stuk of 10, maar omdat er opeens een cijfer in het spel zit, ben ik er net zo nerveus voor. Ik merk dat het project leeft, alleen al omdat veel mensen meeleven, haha. Lief! Daarom deel ik de beoordeling en feedback ook maar gewoon hier: een dikke 9, woot woot.

On tour, misschien wel bij jou?

De komende tijd gaat de foto-expo op reis. De reis begint bij DUO zelf, in de kantine. In deze lokale expo’s wil ik gaan kijken of ik rond de expo iteraties kan ontwerpen om het gesprek in een organisatie op gang te brengen en wat dit kan opleveren. Natuurlijk blog ik hier ook weer over. En, wil je dat de expo ook naar je toe komt, en zelf met je organisatie je mengen in dit gesprek, superleuk. Stuur me een bericht via maike . klip @ duo.nl.

Categories
Geen onderdeel van een categorie Hoe doe je onderzoek?

Alles wat we weten over de klant, weten we allemaal

Meerdere begripvolle ambtenaren wezen me erop. Om echt begripvol te kunnen zijn als digitale overheid, moeten we de ander, in het geval van DUO de student, goed kennen. Dat is een inkopper. Alleen het lukt vaak niet, omdat alles wat we weten over de klant versnipperd is over de hele organisatie. Iedere afdeling probeert te luisteren en probeert samen te werken, maar in de waan van de dag zijn er allemaal hordes in de estafette die we samen lopen.

Ik sprak hier bijvoorbeeld met Nico over. Hij heeft toegang tot data en inzicht over al het contact tussen de helpdesk van DUO en studenten. Ik, als UX onderzoeker bezoek scholen en spreek studenten over hun achterliggende motieven. Aan zijn ‘wat-gebeurt-er’, kan ik het ‘waarom-gebeurt-dit’ toevoegen. In ons gesprek droomden we over hoe het zou zijn als we dit vaker deden. Ik schreef:

Hoe kunnen we het inzicht in de klant, en alle onderzoeken die overal gedaan worden, centraliseren in onze organisatie? Ik zet deze vraag op mijn to-do-list.

In deze blog vertel ik over de eerste pogingen die we, iedereen die onderzoekt bij DUO, tot nu toe gedaan hebben om daar te komen. En wat daaruit kwam.

De Research Ops community

Een jaar geleden ontdekte ik de Research Ops community. Dit is een slack-groep met allerlei researchers uit kleine en grote organisaties. Het onderwerp van gesprek: hoe kun je research organiseren in je organisatie. In een klein team is die vraag niet zo ingewikkeld, maar hoe groter het team, de afdeling of het bedrijf, hoe complexer.

Ik zit zelf bij DUO in een team van 25 collega’s. Wij werken samen met tientallen andere teams die of zelf onderzoeken of gebruik maken van onderzoek. Bij DUO werken bijna 3000 mensen. DUO werkt zelf ook in een keten met andere organisaties die ook weer samenwerken, informatie uitwisselen en beslissingen maken. In de onderzoeksstrategie voor 2019 schreef ik eerder over deze uitdaging.

Aansluiten bij de Research Ops community voelde als een warm bad. Ik sprak andere researchers die dezelfde vragen hadden als ik, en sommige hadden, mazzel, zelfs antwoorden. Ik skypte bijvoorbeeld met Brigette Metzler, Lead Research Ops bij de Australische overheid. Met haar dacht ik na over een DUO-vertaling van het internationale Research Ops framework. Ze stuurde mij een aantal workshoptemplates door die ze in haar organisatie had gedaan. Al dit materiaal kun je vinden op de Research Ops medium.

Ik trommelde mijn collega’s op, Roos en Nico, en nog een stuk of tien van andere afdelingen. Wie houdt zich nog meer bezig met onderzoek doen, vroegen we ons af. Roos organiseerde een aantal van de Research Ops workshops.

Meer uitwisseling

We ontdekten van elkaar dat een aantal antwoorden op vragen er al waren. We maakten bijvoorbeeld een overzicht van alle tools om onderzoek te doen en wisselden die met elkaar uit. Sommigen hadden ineens een twee keer zo grote toolkit. Alle opbrengsten verwerkten we in deze overzichtsspin.

In het midden: onderzoek bij DUO. Niet per se UX onderzoek, of data-onderzoek, of klanttevredenheidsonderzoek (ja, ja, dit zijn 3 afdelingen). Maar, gewoon onderzoek. Inclusief, iedereen hoort erbij en niet 1 type onderzoek is belangrijker dan het andere. De grijze bollen zijn de redenen waarom we deze plaat maken. Dit betekent niet dat we één afdeling moeten worden, maar dat we vanaf onze plek samenwerken en een gecentraliseerde aanpak hebben.

De paarse, blauwe en gele bollen gaan over thema’s die steeds concreter worden. Sommigen zijn nog vragend, anderen zijn al duidelijker en ingevuld. Het komende jaar hopen we het steeds concreter te maken. Per gebied kijken we hoe je dit centraal kunt opzetten, de samenwerking kunt organiseren en wie, of welke afdeling die kar het beste kan trekken.

Nieuwe rollen

Een van de gebieden waar we in 2019 veel aandacht aan hebben gegeven is de linkerbovenhoek: inzichtmanagement. Hoe kunnen alle inzichten over de klant bij elkaar komen, elkaar versterken en zo dat iedereen er bij kan? We zijn met Sticktail gaan werken om inzichten te bevrijden uit rapporten en deelbaar te maken. We vertellen in Sticktail verhalen over de klant waardoor collega’s zich kunnen inleven en een fundament hebben voor beslissingen.

DUO’s Sticktail

In het begin deden we dat alleen als UX onderzoekers, maar na de eerste workshop vroeg iedereen of ze hun onderzoek er ook in mochten opslaan. Ja, natuurlijk! Dat leidde tot een nieuwe uitdaging: wie gaat Sticktail beheren? Het werd snel groot en daarmee ook chaotisch. Iedereen heeft een eigen schrijfstijl, de een gebruikt wel tags, de ander vergeet het en voor je het weet is het niet meer bruikbaar. We gingen samenwerken met de webredactie die de rol van ‘Research Librarian’ op zich nam. Zij zijn een ster in hoofd- en bijzaken scheiden, kritisch doorvragen naar wat je nu wilt vertellen en het helder (en kort) opschrijven van de inzichten.

Dit is een nieuwe rol. Ik kan me voorstellen dat er nog meer van dit soort nieuwe ‘ops’-rollen gaan ontstaan. We zijn bijvoorbeeld ook in gesprek met de afdeling Relatiebeheer die met veel enthousiasme hun expertise op respondenten met ons deelt. Vorige maand, op de Leading Design conferentie in Londen, hoorde ik er alles over dit soort nieuwe rollen. Ik wil me komend jaar meer gaan verdiepen in dit soort nieuwe rollen en hoe die samenwerken in je organisatie.

Mixed methods

In de weken na de workshops gebeurde er iets tofs. Als automatisch gevolg werd er meer uitgewisseld en gevraagd aan elkaar. “Hey, ik heb net een onderzoek gedaan naar x. Heb jij toevallig aanvullende documentatie?” “Ja, maar dat is wel van vorig jaar. Hm… dat zou een interessante vervolgvraag zijn.” Meer uitwisseling leidt tot het combineren van verschillende onderzoeksmethodes met elkaar. Onderzoek verdiept zich en wordt beter. Wanneer dat ook allemaal op een centrale plek gedocumenteerd wordt, is dat extra sterk. Tegenstrijdige resultaten gaan geen eigen leven meer leiden maar worden direct kritisch bevraagd op het moment van documentatie. Ons zelflerend vermogen wordt groter.

Deze uitwisseling leidt ook tot meer enthousiasme. We willen meer van elkaar leren. Er werden de afgelopen maanden workshops onderling georganiseerd. Iemand die een cursus buiten de deur volgde, organiseerde de week erop een mini-editie voor wie interesse had. In februari staat een mini-editie van mijn Dear Data avontuur gepland met collega’s.

Onderzoek inclusief maken

Dit enthousiasme moet gedeeld worden met teams die gebruik maken van onderzoek. Bij DUO zijn we begonnen met UX-coaching voor ontwikkelteams. De teams die zich hiervoor hebben opgegeven (inmiddels al 5) zijn ook enthousiast om meer van onderzoek gebruik te maken. Ze stellen vragen en zijn nieuwsgierig.

Deze twee groepen moeten bij elkaar komen. De onderzoekers en de makers. In 2020 organiseren we meet-ups, gewoon in de kantine, om informatie uit te wisselen, vragen te stellen en elkaar enthousiast te maken. De eerste is eind januari. Er komen ook twee designers van Booking.com die vertellen over data driven design.

Deze blog sluit ik af met twee tips als je meer over Research Ops wilt weten. Op 16 januari is er bij Bol.com in Utrecht een researchmeet-up over hoe zij dit organiseren met als titel ‘Iedereen is een researcher’. En op UX Insight (6-8 april in Breda) staat dit jaar de derde dag helemaal in het teken van Research Ops. Ik ben bij beide van de partij, misschien zie ik je daar?