Categorieën
De lerende overheid Hoe doe je onderzoek?

Onderzoek op afstand

Het is mijn life goal om overheid en burger te verbinden en dichter bij elkaar te brengen. Maar sinds een week moeten we fysiek afstand houden. Ai… Bij DUO werken we nu bijna allemaal verplicht thuis en dat betekent dat alles digitaal gaat. Maandag zat ik bij de pakken neer, dinsdag vroeg ik op LinkedIn hoe anderen dat deden en woensdag kreeg ik nieuwe energie want er stroomden veel ideeën binnen. In dit blog een voorzet hoe we het UX-research vak op afstand, maar niet afstandelijk, kunnen doen.

Wil je direct naar het overzicht met alle ideeën over onderzoek op afstand? In dit openbare Google Doc vind je ze allemaal. Vul de lijst aan met je eigen ideeën en best practices.

Tools

De meeste tips die ik kreeg gingen over tools. Mijn collega Ruth merkte op via Slack: ‘ik kan door de tools de research bijna niet zien.” Daar moest ik erg om grinniken, want ik vond het heel herkenbaar. We duiken snel op tools, maar veel interessanter is hoe die tools werken of niet werken.

Ilse Blom van Funda reageerde op LinkedIn dat ze daarom eerst een grondige dry-run deed: “zo kwamen we er bijvoorbeeld tijdig achter dat via de web-app van Teams je niet tegelijk een scherm (met prototype) en camerabeeld kan delen en we de respondent vooraf moeten vragen de applicatie te installeren. En dat diegene die de sessie opneemt geen notities kan typen omdat dat de opname van de sessie verstoort. Diegene moet dus old-school pen en papier paraat hebben :). Kleine dingen, maar als je deze van te voren uitvindt, ben ik ervan overtuigd dat het een stuk soepeler verloopt. Nu alleen nog hopen dat Teams de verbinding een beetje stabiel kan krijgen…”

Heel goed, Suus! Afstand houden 🙂

Voordat we verplicht remote moesten werken was ik geen fan van remote onderzoek doen. Ik schreef eerder deze blog over een experiment met mobiel testen op afstand dat helemaal misging. Ik kon de mensen niet zelf aankijken, lichaamstaal vervalt en er was gedoe met dingen installeren (niet heel inclusief). Maar, eerlijk gezegd, heb ik me nog niet eerder heel goed verdiept in remote onderzoek doen. Tot nu. Nu moet ik wel.

Voorbij usability onderzoek

Voor usability onderzoek is ontzettend veel te vinden. Ik schreef eerder op dit blog al over de opzet die we bij DUO gebruiken en die relatief eenvoudig op afstand uit te voeren is. De basis die we gebruiken is OBS, een recording en streaming tool die gamers ook veel gebruiken. Collega’s kunnen op afstand meekijken.

We doen bij DUO ook ander type onderzoek. Hoe je dat op afstand kunt opzetten en uitvoeren, vind ik een grotere uitdaging. Bijvoorbeeld een focusgroep, diepte-interview en generatief onderzoek. Of hoe je workshops organiseert met je team, teams coacht en bevindingen uit onderzoek overdraagt in je organisatie. Hoe vertaal je dat allemaal naar ‘remote’? Zouden we misschien zelfs een digitale meet-up kunnen organiseren bij DUO?

De komende tijd ga ik wat nieuwe dingen uitproberen. Bovenaan mijn lijst staan creatief samenwerken met Miro, meet-ups en demo’s organiseren met Hopin en al bekende onderzoekstools inzetten om een gesprek te faciliteren. Bijvoorbeeld in plaats van een fysieke discussie in een zaaltje een digitale card sort naar iedereen sturen en na afloop via Miro de resultaten delen en digitaal bespreken. Hoe dit in de praktijk gaat werken, kom ik vast nog op terug.

Rol van de researcher

Door zelf als onderzoeker niet meer fysiek aanwezig te zijn, kunnen we ook reflecteren op onze rol. In eerste instantie was ik dus nooit zo’n fan van onderzoek op afstand omdat ik dacht dat het minder persoonlijk was. Maar een collega van mij, Ruth, bewees het tegendeel. Zij heeft (toevallig!) net een onderzoek afgerond met respondenten uit Caribisch Nederland. Via Experience Fellow stuurden respondenten dagboekberichten naar haar. Via Skype interviewde ze hen. Ruth werd lid van Facebookgroepen om gesprekken te kunnen volgen en het lokale nieuws bij te houden. Dat deed ze ruim een maand en het leverde persoonlijke en authentieke inzichten op. In alle verhalen kwam ze zelf bijna niet voor, de participant des te meer.

Uit The Convivial Toolbox

In The Convivial Toolbox staat een prachtige mapping van verschillende types onderzoek. Generatieve methodes staan aan de kant van participerend onderzoek: de respondent is mede-expert in plaats van ‘slechts’ gebruiker. Nu wij als onderzoekers op afstand moeten blijven vraagt dat van ons meer vertrouwen in de respondent om ons te helpen leren. Een flinke stap naar het rechterdeel van dit spectrum. In plaats van dat ik als onderzoeker kan observeren, moet ik afgaan op wat iemand met me wilt delen en als foto bijvoorbeeld instuurt. We worden gelijkwaardiger en daarmee is het onderzoek misschien juist authentieker.

Een jaar geleden interviewde ik een student die net klaar was met haar studie en begon aan het terugbetalen van haar studieschuld. We spraken af via Facetime. Ze zat in haar studentenkamer met een kop thee op haar bed. In het echt zou ik haar daar natuurlijk nooit gesproken hebben. Ongemakkelijk. Maar nu keek ik zo haar leven in. Ruth kreeg prachtige berichten via Experience Fellow. Respondenten schreven hun zorgen van zich af via de app. Ze reageerden niet op de onderzoeker, maar op het thema wat op dat moment centraal stond in hun leven terwijl ze thuis in hun eigen omgeving waren.

Misschien is remote research wel iets heel goeds voor ons vak. Het vraagt vertrouwen van ons als onderzoekers en meer gelijkwaardigheid tussen respondent en onderzoeker. Ik ben benieuwd wat dat met ons gaat doen.

Hoe ga jij op afstand onderzoeken?

De komende tijd moeten we even schakelen. Mentaal is dat best een ding, dat mag er zijn, en het vraagt creativiteit en inventiviteit om die stap te maken. Ik ben benieuwd naar jullie aanpak en ideeën. Vul ze aan in de openbare Google doc zodat we een mooie lijst krijgen en van elkaar leren. Zet er ook je ervaringen bij.

Categorieën
De lerende overheid Hoe doe je onderzoek? Werken met beeld

Waarom film fan-tas-tisch werkt als researchmateriaal

Vorige week hadden mijn collega van DUO Janneke en ik een super idee. We gaan elke week op maandag een uurtje ‘How to research’ doen. Dat betekent dat we delen met elkaar (en andere collega researchers en designers die het interessant vinden) wat we weten en wat we kunnen. De bedoeling: beter worden in ons werk en meer structuur en eenheid.

Vanmiddag begonnen we. Het uurtje werd anderhalf uur en het was te gek. Voor mij heel leuk om weer eens zo diep op een onderwerp in te duiken en voor Janneke super om vanaf de basis van alles uitgelegd te krijgen. In het begin dat ik user research deed, heb ik avonden zitten googlen hoe alles moet. Om jou het gegoogle te besparen, vanaf nu elke maandag ook een How to research blog.

S01.E01 van How to research over filmpjes maken: waarom en hoe.

Als onderzoeker kun je natuurlijk prima naast de testpersoon zitten, goed observeren en notities maken. Niks mis mee. De bevindingen vertel je later aan het team en zo kun je een prima geslaagde user test doen. Zo deed ik het ook altijd. Tot ik eind vorig jaar zomaar een keer een filmpje opnam met mijn telefoon. Die stuurde ik rond naar een aantal collega’s en ik kreeg bizarre reacties terug. “Je had altijd zulke extreme verhalen,” zeiden collega’s, “maar nu zie ik dat je niet overdreef.”

Sindsdien film ik praktisch alles. Liever teveel dan te weinig, ik kan het altijd weer weggooien. Zien hoe een gebruiker struggled of horen wat hij of zij te vertellen heeft over je product of dienst, doet zoveel meer met je dan via via horen wat bevindingen zijn. Een filmpje zorgt voor empathy. Je weet het niet alleen, je voelt het ook.

Ik heb eerder geblogd over waarom filmpjes zo cool zijn. Het afgelopen jaar heb ik mensen gefilmd die boos werden over iets, die moesten huilen in een interview, die keihard moesten lachen om een strikvraag of waarbij het stoom uit de oren kwam tijdens inlog problemen. Zien doet geloven.

Oke, filmen is cool, hoe pak je het aan?

De meeste gebruikerstesten doe ik op de laptop of mobiel. Voor beide is mijn eigen laptop de basis. Ik film alles met OBS. OBS is gratis en je kunt er veel mee. Voor desktoptesten film ik het scherm, neem ik de audio op en film ik de testpersoon via de ingebouwde webcam. Test je een mobiele versie kun je 1 of meerdere webcams aansluiten op je laptop. Een van de webcams kun je op een statief plaatsen boven de telefoon van je testpersoon. Hoe je dit precies kunt instellen, lees je in de blog die Auke Molendijk hier over heeft geschreven: Create your own professional usability lab. Met OBS film ik usability testen en interviews die ik op afstand afneem. Bijvoorbeeld via Facetime of Skype, of, als ik het scherm van de andere persoon ook wil zien, via Appear.in.

Heb je bovenstaande onder de knie kun je erover nadenken om je gebruikerstesten te live streamen zodat het team op afstand mee kan kijken. Collega’s kunnen dan gelijk bevindingen noteren en eventueel extra vragen doorsturen naar jou als onderzoeker (bijvoorbeeld via Whatsapp). Live streamen doe ik meestal via een verborgen link op Youtube. Hoe je dat kunt doen, zie je in deze video tutorial. Vind je het leuk om meer te leren over filmpjes maken en live streamen, kun je ook terecht bij Freerk Lap van Online Video Academy.

Voor losse interviews heb ik deze vlog camera op statief mee. Hij is prettig in gebruik en ideaal voor opnames waar je met het interview bezig wilt zijn en niet met de techniek. Je kunt natuurlijk ook filmpjes maken met je telefoon op een statief.

En dan heb je filmpjes, wat doe je er dan mee?

Ik appte laatst met een Jeroen, front-ender bij Zwitserleven. We hadden het over wel of niet usability testen filmen. Hij schreef terug: “We filmen onze tests nu niet omdat er geen extra waarde in gezien wordt. We hebben een paar keer gefilmd, maar nooit teruggekeken. Waarom zou je het dan doen?”

En dat is gelijk het grootste nadeel van film. Je hebt uren aan materiaal en dat moet je allemaal terugkijken. Dat is vreselijk. Ik snap dat wel. Filmpjes maken betekent filmpjes terugkijken, editen en op de juiste manier met de juiste context delen. Je hebt een grote server nodig waar je alles kunt opslaan en na 3 maanden filmen kom je erachter dat je alles een betere naam had moeten geven omdat je het overzicht kwijt bent. Wanneer je als ux team of als solo ux designer besluit om je testen te gaan filmen, levert je dat een bak extra werk op waar je gewoon geen tijd voor hebt.

Toch blijf ik erbij dat dit een van mijn beste ideeën van het afgelopen jaar is geweest. Neem de tijd om je filmpjes terug te kijken, te editen en te delen. Het maakt uiteindelijk je werk een stuk beter onderbouwd en daarmee makkelijker en leuker.

Categorieën
Hoe doe je onderzoek? Werken met beeld

Over FBTO en waarom filmpjes zo cool zijn

Ik zat met mijn zusje in het café en vertelde dat ik vanmiddag een filmpje had opgenomen over FBTO. Het was een usability testje van mezelf in MijnFBTO over mijn zorgverzekering. “Nou,” riep ze, “ik zit bij Univé en ik ging van de week mijn vaccinaties checken (ze gaat deze zomer naar Indonesië). En wist je dat ze daar 2 portalen hebben…?! Pffff.” “Ja,” zei ik, “bij FBTO ook, why?” “Je weet gewoon niet wat je waar moet vinden. Echt…” zei ze, terwijl ze rolde met haar ogen.

Nu weet ik wel dat wettelijk je zorginformatie goed beveiligd moet zijn en bijvoorbeeld je polissen wat minder. En ik weet vanuit mijn werk dat portalen technisch zoveel mogelijk voor iedereen hetzelfde gemaakt worden. Maar in dit blog laat ik zien waarom dat heel erg vanuit de organisatie gedacht is en niet vanuit de gebruiker. En zoals ik al zei: ik heb ook een filmpje gemaakt. Super leuk!

Onbetrouwbare mensen

Gisteren schreef Jasper van Kuijk een hele goede column in zijn serie ‘Hoe moeilijk kan ’t zijn’ voor de Volkskrant. “De gebruiker is een heel onbetrouwbare schakel in het systeem.” In zijn verhaal legt hij uit dat wanneer er een systeem gemaakt wordt alle schakels goed gemaakt en getest worden. Een systeem dat maar 60% betrouwbaar is, daar heb je niks aan. Maar een systeem werkt vaak pas als een gebruiker er iets mee doet. Op een knopje drukt, in een veldje iets typt of wat dan ook. En die laatste stap, de interactie met de gebruiker, daar lijk je weinig invloed op te hebben als bouwer.

via GIPHY

Er is altijd wel iemand in de ruimte die roept ‘oh wat dom’ als ik filmpjes van een usability test aan opdrachtgevers laat zien. “Zo is het niet bedoeld.” “Aah, die is ook niet handig met internet, haha.” Of, zoals Jasper in zijn column schrijft: “Het systeem werkt prima, maar de gebruiker moet eraan wennen. Dan werkt ’t dus niet prima.” Hoe je gebruiker het ervaart, of hij ermee kan werken en of hij er überhaupt mee wilt werken, maakt of breekt je systeem.

Ander brilletje

Wanneer je een systeem bedenkt en maakt door human centered design toe te passen, ga je anders kijken. Ja, natuurlijk is de techniek erg belangrijk. Het is ook belangrijk hoe je organisatie is, wat je product is en waar je je wettelijk aan moet houden. Maar voeg een derde ‘lens’ aan het plaatje toe: de gebruiker. Zorg dat alle drie partijen aan tafel zitten bij brainstormsessies over een nieuwe MijnOmgeving. Maak user stories vanuit alle drie de lenzen. Het is voor bouwers of beleidsmedewerkers heel verfrissend om eens door de gebruikerslens te kijken. (Het is trouwens ook verfrissend om als ux’ers eens door een andere lens te kijken, trust me). Met dit plaatje werk ik heel vaak om dit principe uit te leggen.

Voor het echie

Als je nog nooit (onbevooroordeeld) door die gebruikerslens hebt gekeken, hoe begin je dan? Maak eens een filmpje van een nietsvermoedende gebruiker die met het systeem van jou of je organisatie omgaat. Vraag je partner, je kind, je broer, je buurman. Het maakt eigenlijk niet uit wie; iedereen is goed. Of ga zelf eens achter de knoppen zitten. Kies een taak om te regelen, film je scherm (bijvoorbeeld met OBS) en kijk het samen met een paar collega’s terug. Ik weet zeker dat je zelf al een aantal dingen doet ‘die jullie niet zo bedoeld hadden’.

Waarom een filmpje? Omdat het bizar is hoe confronterend filmpjes zijn om terug te kijken hoe die domme gebruikers het fout doen.

Afgelopen week heb ik kennis gemaakt met de ux’ers van FBTO. Echt een leuk gesprek, heel gezellig en heel cool om over ux te praten. Hoe zij werken, hoe ik werk. Aan het eind beloofde ik zo’n filmpje te maken hoe ik naar hun website en portalen keek. Toevallig kreeg ik laatst een mailtje dat mijn schadevrije jaren van de autoverzekering opnieuw waren berekend, maar had ik daar niks mee gedaan. Waarom? Geen zin in, teveel gedoe, ik had dingen te doen, plaatsen te zijn. Vandaag was dat het startpunt om eens te kijken wat FBTO voor mij in petto had. Here I go.

TL:DR. Het inloggen duurt 5 minuten. Sorry, domme gebruiker :). Op 7.26 begint FBTO for real. 

Dit was mijn eerste UX review van een bedrijf. Misschien maak ik in de toekomst wel meer, want ik vond het superleuk. Ik ben heel benieuwd wat je ervan vond en hoe jij erover denkt om op deze manier gebruikers te betrekken in je organisatie.