The Conference formerly known as Conversion Hotel 2019

Martijn Hoekstra 26 November 2019 16 November 2021

The Conference formerly known as Conversion Hotel, dat heeft wat uitleg nodig. Ton Wesseling, host en organisator van het congres, onderbouwde de naamsverandering door te onderstrepen dat de focus van dit weekend meer dan ooit ligt op het delen van kennis en dat de capaciteit daarom is verlaagd om zo te waarborgen dat de echte vakmensen overblijven. Daan en Joost waren er dit weekend bij en delen in dit blog hun key take aways.

1. Experimenteren als framework voor product development

Stephen Pavlovich van Conversion.com trapte vrijdagmiddag af met zijn key note over een CRO-discussie die al een tijdje menigeen bezig houdt: het breder trekken van experimenteren. Waar het merendeel van de huidige CRO-programma’s is gefocust op het omzetten van bezoekers naar conversies, benadrukte Stephen het belang van experimenteren bij de (door)ontwikkeling van een product. Waar het onderbuikgevoel bij on-site aanpassingen langzaam afneemt, is dit bij de ontwikkeling van (nieuwe) producten nog te weinig het geval. Voorbeelden van Domino’s Pizza lieten zien dat je ook heel goed kan experimenteren op producten. Daarnaast onderstreepte Stephen de meerwaarde van het betrekken van klanten bij de ontwikkeling. Hierbij stipte hij aan dat on-site surveys hierbij van grote waarde kunnen zijn. Er is tegenwoordig geen tekort aan kwantitatieve data, onderschat daarmee niet de toegevoegde waarde van kwalitatieve data!

2. Doorlopend valideren

Guy Yalif van Intellimize zette de “deep dive” kracht bij met zijn presentatie over personalisatie middels artificial intelligence. Personalisatie geldt al een tijdje als de grote belofte binnen conversie optimalisatie. Desalniettemin stond dit onderwerp ook dit jaar bovenaan de wensenlijst van het publiek op Texel. Guy gaf in zijn presentatie een inkijk in hoe personalisatie binnen zijn bedrijf wordt aangepakt middels machine learning. Hierbij lichtte hij uit dat winnende experimenten vaak worden doorgevoerd zonder hier vervolgens nog naar om te kijken. Het is echter belangrijk om in het achterhoofd te houden dat het experiment een momentopname is geweest. Des te hoger te significantie, hoe zekerder je bent dat de wijziging ook in de weken/maanden hierna een positieve effect realiseert. De kans blijft echter bestaan op een toevalstreffer. Door een klein percentage van je bezoekers te blijven confronteren met het controle-design valideer je de resultaten van het winnende experiment doorlopend en kan je met grotere zekerheid stellen wat hiervan de impact is.

Wat denken wij bij ODIV van AI voor optimalisatie? Het is alleen voor de allergrootste bedrijven weggelegd, met de hoogste volumes. Het MKB (90% van alle bedrijven) zullen geen baat hebben bij een AI tool, omdat de kans op verkeerde uitspraken door een te lage power heel groot is.

3. Privacy bewustzijn

Waar de Nederlandse regering druk bezig is met de herziening van de AVG privacywetgeving, is menig partij nog niet complaint aan de huidige regels. Aurélie Pols van mParticle nam ons mee in de huidige werkwijze van veel bedrijven op het gebied van privacy. Een belangrijke boodschap in haar verhaal was om zelf actief na te denken over wat je nu precies echt nodig hebt aan klantdata om je online werkzaamheden optimaal te kunnen uitvoeren. Waar veel cookiemeldingen nu nog dusdanig breed zijn ingestoken opteert Aurélie voor een meer bewuste aanpak van dit gevoelige onderwerp. Welke informatie heb je nu écht nodig voor een succesvolle analyse?

4. Don’t forget to check for Sample Ratio Mismatch

Niemand minder dan Lukas Vermeer van Booking.com deelde in zijn key note dé truc voor het runnen van betere experimenten. Lukas doelde hiermee op de invloed van een Sample Ratio Mismatch (SRM). Bij een Sample Ratio Mismatch is de verhouding van je sample sizes niet in lijn met het ontwerp van een experiment. De verdeling tussen de controle- en testvariant is nooit exact 50/50. Desalniettemin is het van groot belang om te controleren of dit verschil door toeval is ontstaan. Dit controleer je aan de van een SRM-check. Lukas gaf in zijn presentatie voorbeelden van wat de invloed van SRM is en hoe je hiermee dient om te gaan. Om te beginnen adviseerde hij om te gaan huilen. Eenmaal uitgehuild kan je starten met het lezen van zijn paper.

5. Multi-channel CRO

Maurice Beerthuyzen weidde een break-out session aan multi-channel CRO. Kortom: verder kijken dan de website en het breder trekken van A/B testen. Hierbij kan je denken aan experimenteren met de copy van landingspagina’s van je Adwords-campagne. CRO inrichten op basis van het kanaal is zeker een optie, is het niet dat de intenties van gebruikers per kanaal overeenkomstig kunnen zijn. Er werd daarom geopteerd je CRO-programma op basis van interesse in te steken. Denk hierbij aan hoge mate van interesse van gebruikers die direct, organisch of paid binnenkomen versus gebruikers met een (mogelijk) minder hoge interesse die je weten te vinden via een advertentie op social media.

6. Automatiseer om je hersencapaciteit optimaal te benutten

Nee het is geen inzicht dat nieuw voor je zal zijn, maar toch is het goed om hier aan te blijven werken. Zeker als bureau worden wij ingehuurd vanwege onze specifieke kennis over online marketing. Het is dan ook zaak om te automatiseren waar mogelijk. Wij gaan aan de slag met het automatiseren van een Sample Ratio Mismatch-check en het automatiseren van de na-analyse.

Op deze manier bespaar je veel energie die je veel beter kan benutten om campagnes eens extra onder de loep te nemen, je te verdiepen in nieuwe ontwikkelingen en uit te zoomen!

(7) Texels Skuumkoppe als ultieme brandstof

Hier kunnen we kort over zijn. De feestjes op Conversion Hotel zijn altijd de moeite waarde waard, en de maandag na Conversion Hotel kan je beter vrij houden.