Laat weten wat je van deze aflevering vind op onze Facebookgroep!
Dit is even een andere aflevering dan je gewend bent: in deze aflevering zul je het even met mij alleen moeten doen. No worries, de volgende aflevering zit er gewoon weer een gast in het CRO.CAFE maar vandaag drink ik even een drankje alleen met jou.
Tot nu toe ben ik elke aflevering begonnen met waar de podcast over gaat en dat is data en mensgedreven optimalisatie en het neerzetten van een cultuur van experimenteren en valideren.
Ik heb een kleine rant over een cultuur dingetje. En die gaat over bedrijven die wel experimenteren, maar niet tijdens bezoekers pieken. Denk aan kerst, moederdag of de laatste jaren ook Black Friday. Die pieken zijn voor iedere markt anders, maar de meeste B2C bedrijven ervaren wel een soort van seizoenaliteit en met soms hele duidelijke pieken. Maar er zijn dus bedrijven die juist op die pieken alles stilleggen als het gaat om hun validatieprocess.
En daar krijg ik een beetje jeuk van.
In deze aflevering ga ik je vertellen waarom, en als het bij jouw bedrijf ook het geval is kan ik je hopelijk want handvatten geven om je manager ervan te overtuigen waarom je toch echt wel zou moeten experimenteren tijdens pieken. Sterker nog: als ik zou moeten kiezen tussen experimenteren tijdens pieken of buiten de pieken om zou ik juist kiezen voor experimenteren tijdens die pieken.
Goed, ik neem even een slokje en dan vertel ik je dat ook deze aflevering van het CRO.CAFE uiteraard ook mede mogelijk gemaakt door onze partners Online Dialogue, Convert.com en Effective Experiments. Mocht jij nou ook partner van de podcast willen worden zodat we jouw bedrijf of diensten ook hier kunnen promoten: dat kan zowel zakelijk als privé en daarvoor ga je naar cro.cafe/partner.
Welkom, bij seizoen 1, aflevering 21.
Goed, testen tijdens piekmomenten. De argumenten tegen testen tijdens pieken klinken meestal als volgt:
En er zijn ongetwijfeld meer redenen die je hebt gehoord, dit zijn in ieder geval degene die ik het meeste gehoord hebt. Ik ga ze 1 voor 1 met je langs en ik ben erg benieuwd naar jouw mening hierover dus laat her op de CRO CAFE facebook pagina vooral horen wat je er van vind en hoe we elkaar kunnen helpen dit toch voor elkaar te krijgen.
Ok geen verdere argumentatie maar enkel het statement dat veranderingen slecht zijn.
Ik zou zeggen: welkom in 2019. Websites en zeker webshops veranderen continue:
Al die dingen die continue de website veranderd gaan gewoon door tijdens piekmomenten.
Als veranderingen slecht zouden zijn zou je al deze dingen ook niet moeten doen en dat gaat natuurlijk niet gebeuren. Ofwel: je bent en blijft continue vanalles aan het veranderen op je website. En dikke kans dat een groot deel van al die andere veranderingen überhaupt niet eens gemeten wordt dus als die een effect hebben (pos or neg) dan weet je het niet eens.
Het tijdelijk stoppen van je experimenteren verandert dus niets aan het feit dat er nog steeds ontelbaar veel veranderingen plaatsvinden op je website. Wat het stoppen van je experimenten wel doet is dat je stopt met valideren en leren van de veranderingen die je maakt.
Het uitvoeren van gecontroleerde experimenten is niet gevaarlijker voor je business dan dingen doen op basis van gut feeling. En ok, experimenteren kun je niet op alles en is ook niet perfect, maar je bent op z’n minst je best aan het doen om te proberen uit te vogelen wat de impact van je veranderingen is op je bezoekergedrag en je bedrijfsresultaten.
Het stopzetten van experimenteren is naar mijn idee de equivalent van je kop in het zand steken en hopen dat alles maar goed blijft gaan.
Goed, even ademhalen, en door naar mythe 2: “Klantgedrag tijdens pieken is anders, dus de resultaten van je experiment zijn waardeloos.”
En ja, klantgedrag tijdens pieken is inderdaad anders, daar ben ik het helemaal mee eens.
Als voorbeeld, als je last minute inkopen aan het doen bent voor sinterklaas of kerst, dan zie je bij kopers prioriteiten verschuiven. Hoe dichter je bij de deadline komt, hoe lager prijs komt te staan, en hoe hoger voorraad & vertrouwen in tijdige levering komt te staan.
Waar ik het echter niet mee eens ben is de conclusie dat je dan dus niets aan je experimenten hebt. Ik heb voor bedrijven gewerkt waar die enkele piekperiodes in het jaar verantwoordelijk zijn voor 60% of meer van de totale jaarlijkse omzet. Wellicht is dat bij jou hoger of lager, maar ALS je in een business zit met pieken, dan zijn dat bijna per definitie hele belangrijke momenten voor je business. Zou je dan niet JUIST moeten testen gedurende die piekperiodes?
Het is vele malen efficiënter om je waardepropositie en het gedrag dat klanten vertonen te optimaliseren voor tijdens drukke periodes. Doe je dat niet dan ben je dus de perfecte webshop aan het maken voor die momenten dat het rustig is op je website. Je optimaliseert je website toch ook niet voor het verkeer dat je tussen 2 en 5 uur ‘s nachts hebt?
Optimaliseren doe je voor je grootste groep gebruikers en daarna werk je door naar kleinere en specifieke segmenten, niet andersom.
Hiermee wil ik niet zeggen dat testen gedurende piekperiodes exact dezelfde aanpak heeft, je zal je onderzoek en validatie methodes moeten aanpassen aan de situatie. Je hebt meer traffic, een veel hogere of wellicht zelfs veel lagere conversie ratio en je klanten hebben zoals ik net aangaf andere prioriteiten en behoeftes. Dus ja daar moet je zeker op letten. Maar het is overall gewoonweg veel efficiënter om te optimaliseren voor je grootste groep orders. Tijdens die pieken dus.
Ok Mythe 3: “De meeste experimenten die we doen hebben een negatief resultaat, en door te testen met veel meer volume op je site vergroot dat negatieve effect.”
Ok hier gaan het dus om 2 beweringen: ten eerste dat de meeste testen negatief zouden zijn en ten tweede dat je daardoor meer risico loopt.
Laten we beginnen met die negatieve testen: Als jij een goed optimalisatieprocess hebt en test op basis van gebruikersdata en je doet een paar 100 experimenten per jaar dan kan ik me dat bijna niet voorstellen. De enige situatie waarin heel veel experimenten negatief kunnen zijn is wanneer je continue random dingen op je website aan het veranderen bent. En dan nog is mijn ervaring dat het gros van die veranderingen überhaupt geen meetbaar effect heeft. En dat is eigenlijk nog erger, want in de meeste gevallen leer je van een negatief effect meer dan wanneer er überhaupt geen meetbaar effect is.
Of jullie website is natuurlijk zo ultiem perfect dat er niets aan te verbeteren valt en alles wat je verandert altijd negatief zal zijn. Kan, maar meestal is dit meer ignorence of arrogantie dan werkelijkheid.
Sowieso moet je je optimalisatieproces zien als een lange termijn plan en dat moet je intern ook zo verkopen. Je wilt voorkomen dat je manager dit process gaat beoordelen op basis van individuele experimenten. Misschien zorgt bij jou maar 5 of 10% van de experimenten die je doet voor een significantie uplift. Niet mis mee, want het zijn uiteraard alleen die uplifts die je gaat doorvoeren waardoor je uiteindelijk je orderaantallen en omzet omhoog zal zien gaan.
En trouwens een kleine sidenote: als mensen je vertellen dat ze een succesratio hebben van hun experimenten van meer dan 25%, dan klinkt dat misschien heel stoer van die persoon, maar naar mijn idee test je dan gewoon te weinig. Dan ben je te conservatief in wat je test of je aantallen liggen gewoon te laag.
Goed, terug naar de mythe: het lijkt me dus sterk dat de meeste experimenten een negatief effect hebben, meestal heeft het gross gewoon geen effect.
Maar stel dat dat wel het geval is en meer dan de helft van jouw testen een negatief effect hebben. Dan komen we bij het tweede deel van deze stelling die zegt dat je dan meer risico loopt.
Als het goed is bereken je voordat je je experiment start hoeveel bezoekers je nodig hebt om een effect te kunnen meten op basis van je de effect size waar je interesse in hebt. Ofwel: je sample size. Meer traffic heb je niet nodig om je hypothese te bewijzen of te ontkrachten, daarna kan je test gewoon uitgezet worden.
Natuurlijk heb je veel meer traffic en wellicht wat afwijkende KPI waardes tijdens die piekperiode, maar dit is vast niet jullie eerste piek dus kwestie van even de data van de piek van vorig jaar er bij halen, op basis daarvan je sample size berekening doen en je weet wat je ongeveer kan verwachten.
En als je net als ik wil testen in meervouden van hele weken en bij voorkeur 4 weken, dan is het een kwestie van je experiment niet live zetten op 100% van je traffic, maar terugschalen naar het percentage dat genoeg moet zijn om de benodigde sample size van je test te behalen. Dan hou je dus een groep bezoeker over die dit experiment niet ziet en daar kun je dan weer mooi een ander experiment op loslaten. (Wat dan dus veel meer experimenten kunnen zijn wat testen tijdens pieken echt een goudmijntje kunnen maken)
En - ik weet dat dit voor de strikte researchers onder ons een no-go area is - maar je kan natuurlijk altijd tijdens het runnen van de test in de gaten houden of het effect niet onverwacht ver naar beneden uitslaat, dan zou je de test eventueel nog kunnen stopzetten voordat ie klaar is. We zijn een business aan het optimaliseren en geen wetenschappelijk onderzoek aan het doen dus if that’s what it takes en als je manager daar beter van slaapt, prima. Zolang je je experiment maar kan doen.
Dus wat ik eerder al zei: ja testen tijdens piekperiodes verwacht wellicht wat andere methodes of extra aandacht dan je normaal gewend bent, maar overall zou het risico minimaal moeten zijn en niet groter dan buiten piekperiodes.
------------
En nu denk je misschien: ja, maar Guido, leuk die 3 mythes en ja dat zou ik moeten doen maar ik moet eigenlijk eerst nog mijn meting verbeteren, ik moet het vertrouwen in het process nog omhoog zien te krijgen en ik wil mijn success ratio eerst omhoog zien te krijgen.
Jah. I know. Daar ben je niet alleen in. Dat willen we allemaal. Dat is de last die wij als CRO specialisten dragen omdat we dagelijks met die data bezig zijn en zien wat er nog allemaal beter kan.
Maar als je naar deze podcast luistert is dat waarschijnlijk ook iets waar je al lang mee bezig bent. En dit blijft een continue process en de enige manier om er echt beter in te worden is om het process met grote regelmaat door te lopen, te fixen wat er allemaal mis ging en het dan nog een keer doen. En zeker niet wachten tot alles perfect is opgezet. Besteed 80% van je tijd aan het runnen van die experimenten en besteed 20% aan het optimaliseren van het process. Dat is hoe jij en je team binnen de kortste keren het klanten kennis centrum zullen worden van jullie bedrijf.
Zo hehe, ik ben er vanaf, dank dat ik je even mocht lastigvallen en ik hoop dat ik je heb weten te overtuigen waarom testen tijdens pieken wel kan en sterker nog: dat al die extra traffic en piek in orders juist een argument is om meer experimenten te doen. En hopelijk helpt dit jou weer om het intern te verkopen…
Ik heb deze rant ook in het Engels in blogvorm gepost mocht je die willen doorsturen, de link daarna staat in de shownotes...
Dank voor het luisteren naar mijn minirant, stel ik zeer op prijs en zoals gezegd hoor ik graag op onze CRO CAFE Facebook pagine wat jullie ervan vinden en hoe jullie dit oplossen.
In de volgende afleveringen praat ik gelukkig weer met een gast, binnenkort in het cafe o.a.
Henk-Jan Journee van user research dienst Fibeo.
Tot dan en always be optimizing.
