Hoe bol.com een eigen experimentatie tool ontwikkelt

Guido: Denise, leuk dat we na jouw collega Melle ook jou hier in het café mogen ontvangen. Je bent bij Bol niet met CRO begonnen, dus ik ben allereerst wel even benieuwd wat voor rol je toen ooit had toen je bij Bol.com en hoe je van daaruit de CRO bediggeld?

Denise: allereerst natuurlijk bedankt voor de uitnodiging dat ik hier vandaag mag komen vertellen. Ik ben bijna twaalf jaar bij Bol.com begonnen als Business Analyst in de User Experience afdeling. En mijn taak was toen vooral het beschrijven van functionaliteiten die we wilden toevoegen op de website. Dus zowel het technische stuk als het business stuk wat erbij hoort. Een super leuke baan, er zijn nog vacatures voor. Het idee van <> vacatures plugged. 

Guido: Zetten we in de shownotes.
 
Denise: En zo elke keer elke keer andere projecten onder mijn hoede. Op een gegeven moment was het project van de check out, waar ik de hele dag mee bezig was. Het doel was om de check out te vervangen. Bij Bol.com hebben wij best een succesvolle checkout. Destijds hadden we een heel complex ding voor nieuwe klanten; als je een nieuwe klant was moest je eerst een account aanmaken, en daarna mocht je pas je bestelling maken. Dat wilden we meer integreren met wat we eindelijk deden voor bestaande klanten. Kies eerst je adres en dan gaan we later nog zorgen dat er een account wordt aangemaakt. Maar het wijzigen van de checkout is natuurlijk best wel een spannende onderneming, dus het was allemaal zeer data gedreven. Of het nou een wijs besluit was. Dat het voor de nieuwe klanten beter was stond echt als een paal boven water. Dat het voor bestaande klanten ook een duidelijke verbetering was, was voor meerdere interpretaties vatbaar. Uiteindelijk hebben we dezelfde nieuwe checkout geïmplementeerd met de belofte: we blijven het continue optimaliseren van de bestaanden klanten flow. Dat was het zaadje bij mij dat je aan de hand van data de link maken naar mijn UX expertise en zo experimenten doen, dat maakte me echt super enthousiast. Dat het dan ook nog in de checkout mag, het leukste stukje van de website, dan gaat het vuurtje snel branden.
 
Guido: Dan kun je in ieder geval de meeste impact maken.
 
Denise: Ja, dus een kleine wijziging heeft al groot succes.
 
Guido: En deden jullie dat dan al inhouse, of waren er speciale tools die jullie gebruikten?

Denise: Nee bij Bol.com zijn we niet zo heel gek op tools.<> maken we zelf. En toen ook eigenlijk al. Welliswaar allemaal erg gefragmenteerd. Zo hebben we een losse tool waarmee je de buggeting regelt. Daarmee zet je ook een test uit en aan. We hebben een losse tool waarin dingen geadministreerd worden, we hebben dat net uitgefaseerd. We hebben een losse tool voor de datacollectie en weer iets los om de significantie te bepalen. Dus het is er allemaal wel, maar je moet wel even weten hoe het werkt. De drempel om het te gebruiken is wel hoog. De dingen die we konden experimenteren was dat we teksten of een stijlsheet aanpassen. Dat was de hele checkout. Bij PHP konden we de volgorde van sloten aanpassen, maar niet één tool die alles kan manipuleren. Dat is eigenlijk een mooi bruggetje naar waar ik nu mee bezig ben: een experimentation tool ontwikkelen waarbij we het wel voor iedereen bij Bol.com zo makkelijk mogelijk maken om te testen.

Guido: het is dus echt het doel dat de verschillende productteams zelf aan de slag gaan met experimenten runnen.

Denise: Dus waar Melle over heeft verteld binnen de CRO podcast over Bol.com, is vooral wat we doen in webshop teams. Dat zijn nu zes of acht teams die daar aan meedoen, maar we hebben inmiddels geloof ik 100 scrum teams bij Bol.com en we proberen wel zo duidelijk mogelijk de producten af te bakenen per scrum team, dat er een duidelijk doel is, dat het geldig is voor iedereen wanneer je succesvol bent, welke KPI’s horen daarbij en aan welke knoppen kan ik draaien om dat succes te beïnvloeden. En daar hoort ook experimenteren bij. Als ik nou dit verander, wat is daar nou het effect van. En voor de frontend gaat dat weliswaar gefragmenteerd, maar het gaat. Voor de backend systemen gaat het eigenlijk helemaal niet. Als je een onderzoek algoritme of een andere titel voor een product, dus echt dingen die uit de backend komen, daar hebben we eigenlijk nog geen oplossing voor. En daar gaat die experimentation tool in voorzien.
 
Guido: Je zei net dat al die productteams hun eigen KPI’s moeten verbeteren. Wat wel vaker terugkomt in de podcasts bij de gasten die ik heb, is dat het best wel lastig is om goede KPI’s te stellen en er te voor zorgen dat die teams elkaar aansluiten en niet tegen gaan werken. Kun je iets vertellen over hoe jullie teams dat doen?

Denise: Ja, dat is hier ook niet allemaal gesneden koek, maar we proberen wel om dat transparanter te maken door een KPI tree aan te bieden, waarin het duidelijk is waar je invloed op kan uitoefenen en hoe dat valt in de totale bon die je op moet tellen die je moet zien als winst voor Bol.com. Ik ben ook nog wel aan het zoeken hoe streng je moet zijn als iemand een experiment regelt dat hij gaat testen op CTR. Het liefst heb ik dat iemand een KPI kiest, waar een euroteken aan verbonden is. Als hij echt geen idee heeft hoe hij het gedrag van de bezoeker kan beïnvloeden, dan is het ook wel geoorloofd hoe je de CTR kan beïnvloeden en de bezoeker in beweging kan krijgen. Daar is de scheidingslijn tussen wat je zou moeten doen en wat logisch is. Dat is ook nog wel ingewikkeld, met het kiezen van de juiste KPI. Maar we proberen er wel samenhang in te krijgen.
 
Guido: Sowieso is data een belangrijk ding. Julie harken ongetwijfeld bakken met data binnen. Zoals heel veel online partijen dat natuurlijk doen. Experimenteren is leuk, maar je moet ook wel die inzichten eruit halen. Hoe doen jullie dat?

Denise: Deze tool wordt nu gebouwd binnen de data science afdeling. Dat is op zich wel grappig, want ik heb bijna de hele periode in de marketing afdeling gewerkt. Voor data science is een tijdje geleden gestart, dat ze daar hun eigen data measurement tooling gingen ontwikkelen. Voor diegene die dat hebben bedacht, we noemen het M2, meter 2.0, hun mening over dobie en analytics en google analytics is echt niet mals. Het is niet betrouwbaar genoeg. Zij hebben zoiets dat ze 100% accurate data willen vastleggen voor Bol.com. Juist omdat het voor ons zo belangrijk is om de goede data te hebben. Er zijn heel veel technische redenen waarom deze manier van meten beter is, maar er is voor mij een super belangrijke reden waarom ik ermee wil werken. Met de data die wordt vastgelegd in dat Meter 2.0, is dat we onderscheid kunnen maken of een pagina geladen is en de elementen daarop, en/of dat die elementen daadwerkelijk zijn gezien door de klant, de bezoeker. Daarmee kun je veel duidelijker afbakenen dat je experiment betrekking heeft op dat element, dus dat je alleen maar mensen in je evaluatie wil meenemen die het element daadwerkelijk hebben gezien. Dat is voor mij de reden dat ik erg blij ben met Meter 2.0. Het bestaat al een tijd, we doen het al een paar jaar, maar van meten naar weten dat is wel echt nog een flinke kluif waar we nu onze tanden in aan het zetten zijn en waar we als experimentation team een katalysator in kunnen zijn. We hebben dus ook een data scientist in het team. Die kan perfect chocolade maken van alle data die we vastleggen. Daarmee helpen we ook meer het belang van het goed registreren van alle data meer in de lift te krijgen binnenkort.
 
Guido: En als jullie nu die nieuwe experimenteren tool gaan ontwikkelen, die kan natuurlijk 100% inhaken op dat M2 systeem wat jullie al hebben. Dat is wel lekker.

Denise: Dus het is helemaal geïntegreerd. Wat dan supergaaf is dat je je experimenten uitvoert. Maar doordat alle experimenten via dezelfde tool en dezelfde data worden geregistreerd, kunnen we ook, het precieze ei heb ik nog niet gelegd, maar wel interactie bepalen tussen die verschillende experimenten. Nu hebben we er soms wel een handje van dat we wachten met een experiment, omdat er iemand binnen dezelfde pagina bijvoorbeeld met iets soortgelijks bezig, dus ik wacht even rustig op mijn beurt. We hebben natuurlijk zoveel data bij Bol.com, dat is zo’n enorme luxe, die kunnen we nog veel beter benutten. Ik ben ervan overtuigd; zet maar alles aan en we zien wel of er impact was ja of nee. Op een gegeven moment heb ik dan het idee dat we een soort trash hold kunnen bepalen. Als het zo’n impact op elkaar heft, dan moeten we het misschien nog wel een keer los testen of meer multivariaat analyseren. Als het daaronder ligt, prima. Dan beschouwen we het gewoon als ruis. Dus dat biedt wel enorm veel kansen.
 
Guido: Ik kan me voorstellen dat het een hoop discussies over de data voorkomt, als je allemaal in hetzelfde system werkt. Dat zie je ook nog wel bij genoeg bedrijven. Het is leuk dat je dat ziet in optimising, maar Google Analytics vertelt weer iets anders. Als er een aantal orders in onze EEP system zien we het überhaupt niet terug.

Denise: Als je nu een experiment doet met de huidige oplossing, dan heb je je data in global analytics zitten. Dan kun je zelf analyseren wat er is gebeurd. De tool die we nu bouwen geeft meer meteen de uitkomst: het is waar of niet waar. Ik kan me voorstellen, vooral in het scenario dat het niet waar is, dat mensen veel meer willen weten. Dat ze dan nog meer in die M2 data moeten gaan graven. We hebben op dit moment geen presentatie laag over die data liggen. Je moet nu flink aan de query wil je er iets uit kunnen halen. Maar goed, het voorkomt ook weer dat er KPI shopping wordt gedaan. Dat mensen net zo lang gaan klikken tot ze uitvinden dat het in dit uithoekje wel succesvol is, wat we niet willen promoten.
 
Guido: Is legal dan een belangrijke overweging om alles in huis te doen? Want qua GDPR dat is natuurlijk lekker als je alles in huis hebt. Is dat een belangrijk onderdeel van die beslissing of een leuke bijvangst?

Denise: Dat speelt zeker mee. In het contract staat meestal dat je nog steeds eigenaar bent van de data, maar dat weet je pas zeker als je het echt zelf in huis hebt. Dat is ook een component. Maar ook wel een technische oplossing, dus dat veel van die metingen met cookies worden gedaan en dat dat ons wellicht steeds moeilijker gaat worden, dus daar hebben we een alternatief voor. De snelheid is ook een issue, dus er zijn wel meerdere redenen dat we dit doen. Ik snap ook dat niet iedereen dit doet. Voor de volumes bij Bol.com is dit interessant, maar als je een kleinere partij bent snap ik ook dat je voor andere oplossingen kiest.
 
Guido: Jullie hebben dus veel data. Daarmee kun je dan in ieder geval achteraf bij de analyse een stuk beter segmenteren dan de gemiddelde webwinkel. Gebruiken jullie dat ook om experimenten te targetten of gebruiken jullie meestal de hele doelgroep om meer experimenten op live te zetten?

Denise: We doen heel veel op iedereen. Het is een beetje afhankelijk van de volwassenheid van het product of die echt aan segmentatie doen. We hebben wel een customer insight afdeling binnen bol.com die echt profielen maakt en daar doen we met mail campagnes wel veel dingen mee, maar op de site valt dat nog wel mee.
 
Guido: En het ontwikkelen van een nieuwe experimentatie tool, in welke staat is die nu? Zijn jullie er al mee bezig?

Denise: In December zijn we gestart met een proef concept. We hebben het verhaal verteld waarom we dachten dat een eigen tool noodzakelijk was. En we kregen goedkeuring om die pok te gaan doen. We hebben een klein team geformeerd met een software architect, een young professional en twee mensen van CBA. We hebben binnen een half jaar de tool neergezet die aan de ene kant de administratie deed en aan de aan de andere kant de budgeting deed en waarbij we de datacollectie en analyse allemaal in place hebben. Het werkt nog niet voor heel bol.com. we moeten nu kijken per type experiment wat we daarvoor kunnen coveren, maar de eerste experimenten zijn al live en is het resultaat al binnen. Wat dat betreft echt fantastisch. Het eerste experiment wat we deden was een algoritme testen. Iets wat we in de oude situatie niet konden doen. Het was een slot, element, wat onderaan een lijstpagina van zoekresultatenpagina stond. Daarmee wat ik eerder vertelde, van is het geladen of ook echt gezien, konden we meteen toepassen. We hadden van tevoren geen idee wat de looptijd zou moeten zijn en hoeveel mensen het zien en wat de verandering zou kunnen zijn wat we teweeg kunnen brengen. Dat bleek uiteindelijk binnen twee weken wel significant te krijgen. Welliswaar was de hypothese verworpen, maar het was wel het significante resultaat.
 
Guido: Kunnen al die teams overal testen waar ze willen of hebben ze een bepaald afgekaderd deel waarin ze experimenten runnen?

Denise: Ik ga er wel van uit dat iedereen binnen zijn eigen product experimenteert en dat je niet per se in het domein van iemand anders zit. Dat doen we eigenlijk alleen als CRO team. Dan zijn we overstijgend over alle domeinen heen. Daar zijn we met een groepje, vooral mensen die met de webshop betrokken zijn, en proberen we zoveel mogelijk experimenten live <> met de tools die we al hebben. De oude oplossing, dus die hele gefragmenteerde oplossing. Uiteindelijk is het doel om ook die gefragmenteerde oplossing te vervangen door de nieuwe experimentation tool. Mijn logica is wat we hebben hoeven we nog niet meteen weg te gooien. Laten we eerst nieuw gebied ontginnen waar we nog helemaal niet actief zijn of experimenteren. En dat kan heel breed zijn. Dus ook bij wijze van spreke: in welke volgorde we orders moeten pikken in het magazijn, is wat mij betreft ook een experiment.
 
Guido: En deze week hadden jullie al een eerste win, wat te vieren.

Denise: We hebben dat experiment wat ik net vertelde al gevierd, en deze week ging de champagne open. Het search team is bezig met kijken of er een position vice is, een plek waar het product van de lijst van invloed is op het gedrag van de klant. Die experimenten stonden opeens live. In mijn doel om iedereen autonoom aan het testen te krijgen was dit natuurlijk fantastisch. Want de tool werkte natuurlijk zo voorspelbaar. Dus dat zij er gewoon zelf mee aan de slag kunnen. Dus daar hebben we ook nog een fles champagne voor open getrokken.
 
Guido: Als al die honderd teams lekker gaan experimenteren en ze zetten er een per week live, dat zijn heel veel experimenten. 52 weken, 100 teams, 2 testen per week,  dan zitten we al bijna de 10.000 experimenten per jaar. Hoe ga je in vredesnaam om met alle learnings daarvan?

Denise: Ik heb al een keer de grap gemaakt dat ik zelf een bibliothecaris wordt van alle learnings. Het is nu ook omdat ik best wel lang bij Bol.com werk of we dit of dat niet al een keer hebben gedaan. Die experimentation tool is een groot extern geheugen van mij, dat ik alle learnings daarin terug kan vinden. Maar dat wordt zeker wel een uitdaging. We hebben het vaak over de experimenteer cultuur, maar netjes taggen en weer terug vindbaar maken, dat is ieders verantwoordelijkheid. Ik ben benieuwd hoe dat gaat lukken. Dus we hebben net de migratie afgerond, de gebruikte eerste effects of  experiments, en nu zit dat allemaal in onze nieuwe tool. Het effect of experiments is een goede tool, maar niet voor bol.com. Daarin merkten we ook al dat er veel experimenten inzaten die in de fase waren van: de resultaten moeten nog toegevoegd worden, maar het is wel al afgerond. Om daar weer echte learnings uit te halen. We moeten een beetje strenger zijn.
 
Guido: In jullie volume aantallen dan moeten dingen verder geautomatiseerd worden.
 
Denise: Jazeker, dat is dus met die nieuwe tooling. Daarin zit de data meteen gekoppeld aan het experiment. Dan kun je überhaupt niet vergeten om het resultaat eraan te taggen. Meer de interpretatie wat je er echt van hebt is geleerd is ook fijn, als mensen daar meer een verhaaltje over schrijven.
 
Guido: Met effect of experiments kun je die data wel koppelen mits je gebruikt maakt van optimizing FWO expect van Google Analytics. Dat werkt voor de meeste mensen prima, maar bij jullie ga je nat omdat je je eigen custom analytics tool hebben.

Denise: Dat was waarom het bij ons niet werkte. Er kan een goede integratie gemaakt worden, maar wij gebruikten die niet. Toen was het een duurbetaalde database.
 
Guido: Over het delen van die kennis. Ik hoorde bij Booking dat ze niet kijken naar wat ze ooit getest hebben. Als ze het nu een goed idee vinden, dan testen ze het, want de situatie kan veranderd zijn. Aan de andere kant lijkt het mij dat je daar een mix in wilt vinden van dat je die knop kunt blijven testen, maar als iedereen elke maand opnieuw met die test komt, is het ook niet de beste besteding van tijd. Je wilt binnen je bedrijf ook wel een soort kennis opbouwen van wat algemeen werkt. Dat ga jij dus als bibliothecaris destilleren.
 
Denise: bol.com groeit gewoon sterk. Er komen steeds nieuwe medewerkers bij. Voor hen is het ook prettig dat zij zich ergens kunnen inlezen wat er ooit is geëxperimenteerd. Ik ben het er mee eens dat je dingen mag hertesten, maar toch een beetje zuinig moet omgaan met verschil, dat is ook wel fijn. Ik hoop erg op een kruisbestuiving van kennis. Als ze binnen de CRM iets testen met titels van mails, daar kan het de CRH afdeling ook wel wat van leren.

Guido: Ja precies. En ook bij jullie is die testcapaciteit natuurlijk beperkt. Volgens mij zij Ton dat een keer in een aflevering. Hij was op een meeting van Facebook waar mensen ook klaagden dat ze te weinig capaciteit hadden om te testen. Het is maar net hoe specifiek je die testen maakt. Als je die kans hebt dan wil je niet de helft van de test op je website live willen staan van dingen die je eigenlijk al weet.
 
Denise: Klopt. Soms moet je kijken hoe streng je moet zijn met KPI’s of dingen testen die je misschien al weet. Ik heb ook wel gemerkt in de loop der Jaren dat alleen maar te zeggen ook niet voldoende is. Als mensen het zelf ook moeten denken is het krachtiger dan dat ze het aan moeten horen.
 
Guido: Zeker. Het zijn nu een paar teams die zelfstandig experimenten live hebben gezet, soms zonder dat je je er bewust van was. Hoe zorg je ervoor dat jullie binnen het bedrijf een cultuur krijgen van dat experimenteren en dat dat de standaard is? 

Denise: De timing zit erg mee. Er smult dan een vuurtje die aangeeft dat experimenteren ons echt veel inzicht gaat geven. Het is nu nog de situatie dat veel mensen automatisch naar ons toekomen dat ze ook graag willen experimenteren en of wij ze kunnen helpen. Dat is natuurlijk fantastisch. Ik realiseer me ook wel dat er een groep aangehaakt moet worden die meer zoiets heeft dat hij zijn werk doet en hoe dat moet en dat hij dat niet hoeft te valideren. Nu heb ik vooral dat je juist inzicht kan geven in wat de toegevoegde waarde is van een verandering. Dat moet bij iedereen de ogen openen. Ik hoop dat zo het woord verspreid wordt.
 
Guido: Het is natuurlijk wel mooi dat een deel van het bedrijf het doet en het goede voorbeeld kan geven en laten zien hoe krachtig het is.
 
Denise: We zijn nu vooral erg druk met de webshop en app, maar we hebben ook nog een portal voor partners. Ook daar zijn we nu bezig met het opzetten van experimenten, dat is ook wel erg super gaaf. Dat we niet alleen maar de klantfacing dingen meenemen, maar ook die achterkant waarmee we ons assortiment weer moeten aanvullen. Voor dat laatste onderdeel van de organisatie zijn wij nog niet gewend om te experimenteren. Dat bidet wel erg veel kansen.
 
Guido: Jullie platform is natuurlijk erg data gedreven. Zit er ook een hoek voor kwalitatieve data in?

Denise: We hebben kwalitatieve gebruiksonderzoeken, NPS vragen, dat soort dingen. Ik wil wel graag de link leggen tussen wat ik aan het faciliteren ben en die kwalitatieve onderzoeken. Als we een kwantitatief onderzoek hebben gedaan dat we geloven maar opvallend vinden, en dat linken aan het kwalitatieve onderzoek, om het daar nog eens terug te laten komen en de voice over van de klanten bij te horen. Dan wellicht je hypothese nog eens bij te passen of een nieuw experiment te doen.
 
Guido: En wat staat er de komende maanden op de backlog van jullie tool om door te ontwikkelen?

Denise: Vooral teams die bij ons komen en vragen of we experimenteren voor hen ook mogelijk kunnen maken. We hebben best wel een verweven landschap binnen bol.com. Stel je de titels wilt experimenteren, en je gaat als backend twee titels naar de voorkant sturen, dan moeten zij daar natuurlijk wel wat mee doen. Aan de voorkant moet er ook wat aangepast worden. Eigenlijk willen wij dat zo ontwikkelen dat er geen aanpasssingen meer mogelijk zijn dat als je voor meerdere winkels die titels wilt aanpassen, er aan de frontend niks veranderd hoeft te worden, maar een generieke oplossing is. Waardoor je vanuit de contenthoek kunt testen zonder dat die afhankelijkheid met het weergeven bestaat. We merken dat we vooral pragmatische oplossingen kiezen dat we die experimenten live kunnen krijgen, maar daar fundamenteel wat dingen voor op poten moeten zetten. Daar kunnen wij ons de komende maanden wel mee vermaken. Dat zorgt er wel voor dat we meer teams de capaciteit geven om te experimenteren. Het is de vraag aan mijzelf wanneer ik met het experimentation team succesvol ben. Bij mezelf vind ik dat wel erg ingewikkeld. Alleen het aantal experimenten is niet zo boeiend. Als het eenmaal gefaciliteerd kan worden dan geloof ik wel dat het gaat vliegen. Search heeft inmiddels 14 experimenten live. Bij het aantal teams en de verschillende domeinen is het belangrijk om de olievlek zo snel mogelijk zo groot te maken. Dan is het makkelijker om later meer mensen aan te laten sluiten.
 
Guido: Hoeveel teams zijn over twaalf maanden aan het testen, denk je?
 
Denise: De helft.
 
Guido: Super leuk om te horen. Volgens mij sprak ik jou vier/vijf jaar geleden bij een shop tomorrow groep. Je was hier toen al mee bezig en zei dat CRO voor Bol.com op dit moment niet erg interessant is. Bol.com groeit veel sneller door het aansluiten van nieuwe product categorieën en die marketplace is waar we nu de groei uit halen. Het lijkt erop dat dat moment wel daar is, als ik dit zo hoor. 

Denise: Dat weet ik niet. Ik denk wel dat we als bol.com meer een organisatie zijn die innovatie belangrijker vindt dan optimalisatie. Dat is een soort luxe probleem, met nieuwe winkels aansluiten of het voor partners mogelijk maken om meer assortiment toe te voegen. Dat levert meer geld op. Beter maken wat je hebt heeft net zoveel potentie.
 
Guido: Hoe groter je wordt hoe interessanter dat wordt, natuurlijk.
 
Denise: Hoe meer ruimte ontstaat. Dat is wel onderdeel van de cultuurverandering die we willen, dat het niet per se nieuw, maar beter moet, voor groei.
 
Guido: Superleuk om te horen. Waar haal jij je inspiratie vandaan?
Denise: aan de ene kant kun je zeggen dat ik al super lang bij bol.com zit, waardoor het wel een ingedutte bedoeling zal zijn. Juist een organisatie als bol.com waar veel mogelijk is en de kansen kan benutten die er zijn, geeft mij inspiratie. Ook met een groepje enthousiastelingen ervoor kunnen gaan zonder dat je langs allerlei directies en MT’s moet om er goedkeuring voor te krijgen. Het enthousiasme van iedereen om de winkel beter te maken, dat is super inspirerend. Verder probeer ik extra kennis te vergaren. Ik schrijf mij regelmatig in voor een cursus bij Course zera. Ik doe nu iets met de experimentation en dan moet ik zelf programmeren in AR. Het valt misschien niet helemaal binnen mijn verantwoordelijkheden maar het geeft wel weer een completer beeld. Ik koop ook nog wel boeken. Ik kan niet beloven dat ik ze allemaal lees. Ik kan geloof ik nog iets van jou leren, want jij hebt ooit een challenge gedaan met elke week een boek?

Guido: Ik doe het met audioboeken, dat gaat me wat makkelijker af.

Denise: Ik hoef maar een kwartiertje naar huis, dus dan kan ik net zo goed lezen. Ik vind het erg leuk om bij werkgroepen te zitten. Wij kennen elkaar van shopping tomorrow van lang geleden. Nu zit ik bij DWMA, een CRO-commissie. Dat is ook een enthousiaste groep. Je merkt dan ook aan zowel de bureau- als klant kant wat er allemaal speelt. Ik vind CRO’s een soort schaap met vijf poten. Mensen die veel ondernemerschap in zich hebben en veel interesse op verschillende gebieden. Dat in zijn geheel vind ik super inspirerend.

Guido: Ja precies. En je had ook nog een leuke deal geregeld met conversion XL met de cursussen die ze daar geven?

Denise: Dat klopt. Ik heb zelf ooit bij Peplaya met 10/15 mensen een online course gevolgd. Pep bleek echt een strenge leermeester. Tijdverschil of niet; je moet voor die computer zitten en braaf je dingen doen. Ik ging er wel redelijk in van dat doe ik wel even. Alle kennis die ik heb wordt weer even mooi gebundeld. Ik moest wel echt aan de bak. Hij had wel goede inzichten waar ik veel van heb geleerd. Ik ben heel enthousiast over zijn kennis. Hij heeft nu het conversion xl institute bedacht. Daar kun je als bedrijf aan mee doen. De eerste betaalt 2500 dollar. Elke volgende wordt steeds goedkoper. Binnen dit vakgebied zitten veel zelfstandig ondernemers. Ik dacht dat is ook niet aardig. Ik had hem een mailtje gestuurd met het voorstel om een virtueel bedrijf op te richten, waarin we allemaal die zelfstandige ondernemers binnen dit vakgebied vergaren en de kosten kunnen verdelen over elkaar. Dat vond hij een goed idee. Hij is natuurlijk ook een ambassadeur van het vakgebied. Ik geloof dat je nu voor 300 euro per jaar toegang kan krijgen als het via mij gaat voor dat conversion xl institute. Dat is echt fantastisch. De groep mensen die dat nu doet is er ook erg enthousiast over. Ik hoop dat het nog een paar jaar door mag gaan.
 
Guido: We zullen zeker een link delen in de shownotes hoe je je daarvoor op kan geven. Je doet dus zowel de cursussen als wat je net bij bol.com hebt uitgelegd in vier dagen?

Denise: Dat klopt. Ik mag hier vier dagen komen en daarnaast ook nog een beetje freelancen. Dat vind ik superleuk, omdat je dan ook nog energie kan krijgen van in andere keukens kijken. Ik heb niet elke week een opdracht, dus dat is fijn dat ik nog tijd heb om extra dingen te doen.
 
Guido: Dat is leuk dat je maar een werkgever hebt, dan verdrink je soms in hoe het daar gaat, maar het is ook leuk om te kijken hoe het in de keuken bij anderen gaat. Ik vind het zelf erg leuk om bij b2b bedrijven te kijken. Enorme bedrijven waar je nog nooit van hebt gehoord, die pallets maken, een b2b trucker rijden of whatever. Enorme faciliteiten. Erg gaaf om te zien hoe dat dan gaat.
 
Denise: Ik ben nu ook bij andere flying doctors aan het meekijken met hun online propositie en dat is ook grappig. Bij bol.com is het verkopen, verkopen, verkopen. Met zo’n goede doelen organisatie liggen wel dezelfde ideeën eraan ter grondslag, maar het is toch anders. In die zin breng je ook wel extra informatie terug bij je werkgever. Ik gun iedereen stapelbanen. De zekerheid van een baan in loondienst en de flexibiliteit van nog iets ernaast. Voor die opdrachtgever is het leuk, maar ook voor jouw werkgever, omdat je continue geïnspireerd wordt.
 
Guido: Over inspiratie gesproken. De trigger van dit gesprek en onderwerp was jouw sessie op emmerce live. Gaan we jouw binnenkort nog ergens op een podium zien?

Denise: Ik ben wel gevraagd voor interne dingen, zoals een leveranciers event. Zoals naar conversion xl ga ik als gast, maar ik kan daar zelf nog wel iets organiseren. Ik heb nog geen snode plannen.
 
Guido: Ik denk dat we je wel gaan zien bij de dutch CRO awards op 3 oktober.
 
Denise: Dat ook. Maar dan als jurylid, dus dan hoor ik niet het hele podium te pakken.
 
Guido: Dankjewel, super leuk om te horen waar jullie mee bezig zijn. Heel veel succes en we spreken je over een jaar weer dan.
 
Denise: Ja gezellig.
 
Guido: Dankjewel!

Denise: Dankjewel.

‍