Voorwaarden om te kunnen A/B testen

Het is niet voor iedere webpagina of online advertentie mogelijk om een betrouwbare A/B test te kunnen uitvoeren. Voor het uitvoeren van een A/B test gelden de volgende voorwaarden.

  1. Steekproefgrootte: Per variant heb je voldoende mensen nodig om met zekerheid uitspraken te kunnen doen over het effect van de wijziging die je hebt getest. Voor het bepalen van de benodigde steekproefgrootte kan je gebruik maken van deze calculator.
  2. Aantal conversies: Sommige conversie specialisten houden hier als vuistregel aan dat je honderd conversies per maand nodig hebt om te kunnen A/B testen. Het benodigde aantal hangt echter sterk samen met de steekproefgrootte van je experiment.

CRO Bureau AB test

Hoe lang moet een A/B test lopen?

Een experiment dient in ieder geval minimaal een week live te staan om zo het day of the week effect uit te sluiten. Zo kopen mensen bijvoorbeeld eerder bioscoopkaartjes in en rond het weekend, dan op maandag. Zorg er verder voor dat een experiment maximaal 28 dagen loopt. Door sample pollution en cookie deletion krijg je anders te veel vervuiling in de steekproef. Kortweg betekent dit dat bezoekers dan zowel in de controle- als testvariant van het experiment terecht kunnen komen.

0 gemiddeld Bekijk onze reviews, onze klanten waarderen onze diensten met een 10
0 % Ons winnaarspercentage van tests.
0 jaar klant Meer dan 3 jaar blijft een klant gemiddeld bij ons - daar zijn we trots op!

Alternatieven voor A/B testen

Onvoldoende traffic op je website of een te laag bereik in je online advertising campagne? Niet getreurd! Er zijn genoeg alternatieven om aan conversie optimalisatie te doen:

  • Zachte conversies: In tegenstelling tot harde conversies (sales), kan je ook experimenteren op basis van zachte conversies. Hierbij kan je denken aan het aantal bezoekers dat doorklikt naar de afrekenpagina, een inschrijving voor de nieuwsbrief of het invullen van het contactformulier.
  • 0/1 testen: In tegenstelling tot de gelijke verdeling van verkeer bij een A/B-test wordt er bij een 0/1-test 100% van het verkeer naar de test-variant gestuurd. Bij een 0/1 test worden vaak grotere wijzigingen doorgevoerd op een pagina. Hebben deze wijzigingen een positief effect? Dan wordt het test-design definitief doorgevoerd in de back-end van de website. Geen effect, of een negatief effect? Terug naar de tekentafel. Je hebt in dat geval weer veel van je doelgroep geleerd en hebt slechts te maken met een negatief effect van 28 dagen. Dat is altijd nog beter dan op basis van onderbuikgevoel zomaar wijzigingen doorvoeren en er niet meer naar omkijken.
  • Usability onderzoek: Zet de mensen die tot de doelgroep behoren eens achter de computer en laat hen door je website klikken. Wat is hun eerste indruk? Kunnen ze gemakkelijk de informatie vinden waar zij naar op zoek zijn? Hoe beoordelen zij het afrekenproces? Probeer bij een usability test altijd minimaal vier respondenten per device te hebben. Heb je geen budget voor een dergelijke opzet van gebruikersonderzoek? Probeer dan eens wat vragen aan je bezoekers te stellen in een poll op de website. Dit doe je gemakkelijk en voor niets met tools zoals Hotjar. Hotjar maakt het tevens mogelijk om heatmaps en recordings van je website te maken. Op deze manier vergroot je de kennis omtrent bezoekers en geef je de cijfers in Google Analytics meer context.
  • Conversie plan: Middels de kennis van Joost (consumentenpsycholoog) en de data analyse van Daan geven wij je advies over het doorvoeren van quick wins op je website. Denk hierbij aan voorbeelden van winnende experimenten bij bedrijven in een vergelijkbare branche. Door de kennis van psychologie kunnen we concretere uitspraken doen over de bevindingen in de data analyse.

Onze diensten

  • Ons werk strategie
    Strategie
  • Social media
  • Ons werk Website optimalisatie
    SEO
  • SEA
  • Analyse
  • Website

Wanneer is een A/B test significant?

Bij een wetenschappelijk benadering wordt de nulhypothese aangenomen indien de p-waarde kleiner of gelijk is aan 0,05 (p ≤ 0,05). De kans dat het gevonden effect dan aan toeval is te wijten is in dat geval kleiner of gelijk aan 5%. Dit wordt statistisch significant genoemd.

Het doel van dergelijke experimenten is echter het verbeteren van de interactie in je online campagne of het rendement van je website. De wetenschappelijke grens van 95% zekerheid is daarom erg hoog. Wij adviseren je om als ondergrens 80% aan te houden. Voor de berekening van dit percentage hanteren wij de Bayesiaanse statistiek. Middels deze tool achterhaal je gemakkelijk de kans dat het effect aan toeval is te wijten. Tevens achterhaal je zo de financiële meerwaarde die de wijziging in de test-variant met zich heeft meegebracht.

Growth chart and prgresso leading to success

Wil je meer weten over experiment gedreven marketing en de mogelijkheden voor jouw bedrijf? Neem dan gerust contact met ons op. Wel helpen je graag!

Succesvolle A/B test klanten

De (best ingewikkelde) techniek werd helder en prettig uitgelegd!
Fridy Visser Knof
Fridy Visser Knof GoldenSports
ODIV is een erg dynamisch team dat ons geholpen heeft onze doelen en visies te vertalen naar een professioneel marketing plan. De gevraagde leads zijn ruimschoots geleverd maar zeker zo belangrijk ook is de vooraf geplande target groep is bereikt.
Rens Dilven Sales Manager bij MS Schippers
Wij hadden nog niet eerder een campagne op deze manier opgezet en zo uitgevoerd. Wij hebben daarom ook veel geleerd en de resultaten waren boven verwachting. Veel mensen hebben ook hun mailadres achtergelaten, zodat we hen direct op de hoogte kunnen houden van de voortgang en van de participatiemomenten die nog komen.
Clara van Foreest Communicatieadviseur bij Provincie Utrecht
ODIV heeft ons ondersteund met hun kennis en ideeën op het gebied van online marketing. Ze zijn eerlijk over wat ze verwachten te kunnen bereiken, denken altijd met je mee, communiceren snel en de campagnes die ze opleveren zijn professioneel. Een fijne partner!
Madelon Schepers Communicatie bij NTFU
We zien elkaar maandelijks in een creatieve sessie. ODIV is heel transparant in alle stappen die ze zetten. Ik kan de gegevens altijd inzien en zij denken voortdurend vooruit.
Sjoerd van Barneveld Marketingmanager bij DEBUUT
Je leert van elkaar, vult elkaar aan en werkt in nauwe samenwerking aan een succesvol online marketingplan dat gericht is op onze doelstellingen. Het is niet: u vraagt wij draaien, het is een heus partnership met wederzijds leereffect.
Evelyne Middleton Salesmanager bij Van Aetsveld
ODIV heeft een SEO workshop aan onze communicatiemensen gegeven. Dat was een heel helder verhaal met duidelijke stappen om te volgen. En ook niet onbelangrijk, het nodigde direct uit om tot actie te komen. Aanrader dus!
Alma Streefkerk Projectleider Educatie, Communicatie en Participatie
Ik ben het totaal met @yukiko eens. ODIV is een prettig en effectief bedrijf. Denkt mee met de klant en gaan verder dan de rest. Oprechte interesse in je product en hoe deze waarde kan geven aan de potentiële consument. Proactieve houding, alertheid, goede communicatie en ze houden ons scherp. Denken sneller dan de rest en zijn niet te nuffig om echt zich te verdiepen in het waarom van alles.
Anna-Maria Giannattasio Eigenaar bij Puur Events
ODIV ondersteunt en adviseert ons op het gebied van online marketing. Hun transparante werkwijze en persoonlijke aandacht is erg fijn. Kennis delen is voor hun geen probleem, ze nemen de tijd om je op te leiden zodat je samen steeds meer stappen kan zetten. Een leuke club mensen met veel kennis en ervaring op de verschillende gebieden van online marketing.
Anouk Boekhoff Marketeer bij Global Talk
Heldere communicatie, afspraken worden goed nagekomen en ze zijn zeer pro-actief. Tot nu toe onwijs tevreden over de samenwerking.
Maartje Brokking Eigenaar bij Brokking
Wij zijn erg blij met ODIV. Zij hebben brede kennis, geven goed en werkbaar advies en zijn prettig om mee samen te werken.
Djony Jurg Marketing manager bij UBN Uitzendbureau
ODIV is een professioneel bedrijf met kundige adviezen en vooral altijd een prettige samenwerking. Het is meer een partnership dan een adverteerder - bureau relatie. Ik kan ODIV van harte aanbevelen.
Geert Pelsma Eigenaar bij ACLARO
Met Stuurlui werken we al jaren samen met ODIV. Een betrouwbare partner op het gebied van online marketing. Onze klanten worden erg goed geholpen, dankzij de inzet van ODIV weten zij de juiste doelgroep te bereiken én kunnen ze als bedrijf verder groeien. Een absolute aanrader!
Sjoerd Kuipers Eigenaar van Stuurlui
De jongens bij ODIV namen goed de tijd om me alles uit te leggen en dachten goed mee over wat het beste zou zijn voor mijn bedrijf in de fase waarin het zich bevindt. Ook als ik vragen had tussendoor reageerden ze op korte termijn. Zeer tevreden is de juiste beschrijving!
Richard van der Put Eigenaar bij Mindelevators
Experts in hun vak en prettig om mee samen te werken! Samen met Joost, Daan en Martijn al vele mooie resultaten behaald!
René Zandvliet Marketing Manager bij Puur Events
Fijn bureau! Schakelt snel, veel kennis in huis en denkt goed mee van doel naar resultaat. Absolute aanrader!
Maurice Romijn Marketing Manager bij One Fox
Professionele organisatie met superfijne mensen om mee samen te werken. Een half jaar geleden gestart met de samenwerking en nu al hele mooie resultaten bereikt. We kijken uit naar wat 2020 ons gaat brengen maar zijn al positief!
Céleste Romijn Corporate Recruiter bij ZHGA
Wat een fijne club mensen om mee samen te werken! Naast het uitstekende inhoudelijke werk wat ze voor mijn bedrijven hebben gedaan en blijven doen ben ik voornamelijk erg te spreken over hun transparante en persoonlijke werkwijze. Ik kan een samenwerking met ODIV van harte aanbevelen!
Remco Hergaarden Eigenaar bij 100ms
Leerzame & praktische marketingtraining gevolgd over o.a. Google Grants & Google Display. Was top!
Thijs Waardenburg Online Marketeer bij Red een Kind
Opleiding gehad van Timothy en Duco. Goed gebracht. Interactief, open en inspirerend! En ook gewoon toffe gasten :)
Jeff Jacobs Digital Strateeg bij The Online Nut Company
Joost en Martijn communiceren prettig en heel snel. We staan nu weer lekker hoog bovenaan in Google. :-)
Hugo Kranenburg Eigenaar bij Florencius
Het team van ODIV helpt ons altijd fantastisch! Ook voor de kleinere vraagstukken kunnen we altijd bij ze aankloppen. ????
Joris Vermeulen Sales Manager @ Gloryfy
ODIV denkt met ons mee over onze internetmarketing- dat doen ze op een manier die wij nodig hebben: vernieuwend, onderzoekend & professioneel. Écht een aanvulling op onze eigen activiteiten. Gastvrij en ondersteunend op velden die je niet meteen zou verwachten.
Marco Tankink Eigenaar van Salsaparilla