Wat is A/B testen?

Voorwaarden om te kunnen A/B testen

Het is niet voor iedere webpagina of online advertentie mogelijk om een betrouwbare A/B test te kunnen uitvoeren. Voor het uitvoeren van een A/B test gelden de volgende voorwaarden.

1. Steekproefgrootte: Per variant heb je voldoende mensen nodig om met zekerheid uitspraken te kunnen doen over het effect van de wijziging die je hebt getest. Voor het bepalen van de benodigde steekproefgrootte kan je gebruik maken van deze calculator.
2. Aantal conversies: Sommige conversie specialisten houden hier als vuistregel aan dat je honderd conversies per maand nodig hebt om te kunnen A/B testen. Het benodigde aantal hangt echter sterk samen met de steekproefgrootte van je experiment.

Hoe lang moet een A/B test lopen?

Een experiment dient in ieder geval minimaal een week live te staan om zo het day of the week effect uit te sluiten. Zo kopen mensen bijvoorbeeld eerder bioscoopkaartjes in en rond het weekend, dan op maandag. Zorg er verder voor dat een experiment maximaal 28 dagen loopt. Door sample pollution en cookie deletion krijg je anders te veel vervuiling in de steekproef. Kortweg betekent dit dat bezoekers dan zowel in de controle- als testvariant van het experiment terecht kunnen komen.

Alternatieven voor A/B testen

Onvoldoende traffic op je website of een te laag bereik in je online advertising campagne? Niet getreurd! Er zijn genoeg alternatieven om aan conversie optimalisatie te doen:

• Zachte conversies: In tegenstelling tot harde conversies (sales), kan je ook experimenteren op basis van zachte conversies. Hierbij kan je denken aan het aantal bezoekers dat doorklikt naar de afrekenpagina, een inschrijving voor de nieuwsbrief of het invullen van het contactformulier.
• 0/1 testen: In tegenstelling tot de gelijke verdeling van verkeer bij een A/B-test wordt er bij een 0/1-test 100% van het verkeer naar de test-variant gestuurd. Bij een 0/1 test worden vaak grotere wijzigingen doorgevoerd op een pagina. Hebben deze wijzigingen een positief effect? Dan wordt het test-design definitief doorgevoerd in de back-end van de website. Geen effect, of een negatief effect? Terug naar de tekentafel. Je hebt in dat geval weer veel van je doelgroep geleerd en hebt slechts te maken met een negatief effect van 28 dagen. Dat is altijd nog beter dan op basis van onderbuikgevoel zomaar wijzigingen doorvoeren en er niet meer naar omkijken.
• Usability onderzoek: Zet de mensen die tot de doelgroep behoren eens achter de computer en laat hen door je website klikken. Wat is hun eerste indruk? Kunnen ze gemakkelijk de informatie vinden waar zij naar op zoek zijn? Hoe beoordelen zij het afrekenproces? Probeer bij een usability test altijd minimaal vier respondenten per device te hebben. Heb je geen budget voor een dergelijke opzet van gebruikersonderzoek? Probeer dan eens wat vragen aan je bezoekers te stellen in een poll op de website. Dit doe je gemakkelijk en voor niets met tools zoals Hotjar. Hotjar maakt het tevens mogelijk om heatmaps en recordings van je website te maken. Op deze manier vergroot je de kennis omtrent bezoekers en geef je de cijfers in Google Analytics meer context.
• Conversie plan: Middels de kennis van Joost (consumentenpsycholoog) en de data analyse van Daan geven wij je advies over het doorvoeren van quick wins op je website. Denk hierbij aan voorbeelden van winnende experimenten bij bedrijven in een vergelijkbare branche. Door de kennis van psychologie kunnen we concretere uitspraken doen over de bevindingen in de data analyse.

Wanneer is een A/B test significant?

Bij een wetenschappelijk benadering wordt de nulhypothese aangenomen indien de p-waarde kleiner of gelijk is aan 0,05 (p ≤ 0,05). De kans dat het gevonden effect dan aan toeval is te wijten is in dat geval kleiner of gelijk aan 5%. Dit wordt statistisch significant genoemd.

Het doel van dergelijke experimenten is echter het verbeteren van de interactie in je online campagne of het rendement van je website. De wetenschappelijke grens van 95% zekerheid is daarom erg hoog. Wij adviseren je om als ondergrens 80% aan te houden. Voor de berekening van dit percentage hanteren wij de Bayesiaanse statistiek. Middels deze tool achterhaal je gemakkelijk de kans dat het effect aan toeval is te wijten. Tevens achterhaal je zo de financiële meerwaarde die de wijziging in de test-variant met zich heeft meegebracht.

Growth chart and prgresso leading to success

Wil je meer weten over experiment gedreven marketing en de mogelijkheden voor jouw bedrijf? Neem dan gerust contact met ons op. Wel helpen je graag!