Client-Side AB testen is inmiddels de standaard bij het optimaliseren van een customer experience. CXO specialisten optimaliseren de klantbeleving middels statistisch onderbouwde validatie, terwijl development en andere marketeers aanpassingen doorvoeren op het platform zonder AB test. Sander staat stil bij de methode om de business impact in kaart te brengen van elke aanpassing. Hij legt uit wat de verschillen zijn tussen client-side en server-side testing en hoe dit impact heeft op ontwikkelingen als Intelligent Tracking Prevention (ITP). Tevens laat hij zien hoe je een volledig validatieproces kunt inrichten in je OTAP straat.

1. DATA DRIVEN DIGITAL MARKETING
De onmisbare waarde
van Integrated Testing
Digital Marketing Trends 2020
Sander Heilbron, 17 oktober 2019

2. De onmisbare waarde van Integrated Testing
De 6 trends voor 2020
Lifecycle Marketing
Conversational Marketing
Insights-driven marketing
Technological Advantage
Rules & Regulations
Digital Transformation

3. Client-side
A/B Testing tools
De manier om data-driven je
website te optimaliseren

4. De onmisbare waarde van Integrated Testing
Waarom de keuze voor client-side A/B testing tools?
JavaScript snippet implementeren op elke paginaEenvoudige implementatie
Iedereen kan experimenten ontwikkelen en live
zetten (visual editors)
‘Skipping IT’
Korte doorlooptijd van concept naar livegangSnel A/B testen
Veel aanbieders, sommige tools zelfs gratisLage investering

5. De onmisbare waarde van Integrated Testing
Wie maakt gebruik van client-side A/B testing tools?
Optimizely AB TastyVWOGoogle
Optimize
Convert Adobe Target
32% 32% 21% 5% 5% 5%

6. In 2020 business
successen blijven boeken?
Vraagt om een andere manier van optimaliseren

7. Waarom?
Er kleven beperkingen aan het gebruik van
client-side A/B testing tools

8. De onmisbare waarde van Integrated Testing
Client-side scripting en infrastructuur van een ander

9. De onmisbare waarde van Integrated Testing
Maken gebruik van veel JavaScript
JavaScript
CSS
HTML Structural layer
Semantics
Presentational layer
Styling
Behavioral layer
Functionality

10. De onmisbare waarde van Integrated Testing
Bij smartphones met minder krachtige processors kost dat meer laadtijd

11. JavaScript is van invloed om in een vroeg stadium met pagina's te kunnen werken
De onmisbare waarde van Integrated Testing
Click rage!
Elke keer dat een gebruiker in
korte tijd overdreven vaak klikt

12. De onmisbare waarde van Integrated Testing
Steeds meer vraag naar goedkopere smartphones
Source: Telegraaf / Gartner
„De vraag naar smartphones voor
instap- en midprice bleef sterk op alle
markten, maar de vraag naar de
high-end smartphones vertraagde”.
Anshul Gupta, onderzoeksdirecteur
bij Gartner

13. De onmisbare waarde van Integrated Testing
Budget smartphones worden goedkoper...
iPhone 11 Pro Galaxy S10 Moto G7 Nokia 3.2
€1159,-
€656,-
€249-
€119-
Budget smartphones
Gemiddeld device

14. De onmisbare waarde van Integrated Testing
...maar niet sneller
Source: Geekbench

15. De onmisbare waarde van Integrated Testing
Bezoekers van jouw website gebruiken deze budget smartphones
Android: 64%
iOS: 35%

16. De onmisbare waarde van Integrated Testing
Aandeel Android devices groeit naar ruim 87% in 2023
Source: IDC

17. De onmisbare waarde van Integrated Testing
Ruim 41% van webverkeer komt vanaf smartphones
Desktop: 51,3%
Mobile: 41,4%
Tablet: 7,2%

18. Snelle website Tevreden gebruikers
Gebruikers doen meer op snelle websites
De onmisbare waarde van Integrated Testing
Kopen Abonneren
Info aanvragen
DownloadenAanmelden
Toename conversies

19. De onmisbare waarde van Integrated Testing
First-party cookies verliezen hun geldigheid al na 7 dagen
Safari ITP Mozilla ETP Edge Tracking Prevention
Bewaart A/B testing tools cookies
max. 7 dagen
Gaat A/B testing tools cookies op
korte termijn max. 7 dagen bewaren
Onbekend of Edge client-side
first-party cookies korter gaat
bewaren
Bij paid traffic al na 1 dag!

20. De onmisbare waarde van Integrated Testing
Gevolg: kans dat gebruikers zowel ‘control’ als ‘variant’ zien is groot
Control Variant

21. De onmisbare waarde van Integrated Testing
Marktaandeel van Safari (iOS, macOS en iPadOS)
Chrome: 54%
Safari: 24,5%

22. De onmisbare waarde van Integrated Testing
Foutgevoelig
Techniek
Marketeer met beperkte web dev
kennis en ervaring ontwikkelt test
Bugs
Test loopt buiten releases om, test
gaat kapot bij wijziging code
Flickering
Gebruiker ziet control voordat
browser variant gereed heeft

23. Met client-side testing is het onmogelijk om changes op
bijvoorbeeld SEO, SEA en performance (WPO) metrics te
valideren
De onmisbare waarde van Integrated Testing
Geïsoleerd: alleen focus op conversie (CXO)
SEO
WPOSEA

24. De onmisbare waarde van Integrated Testing
Beperkt tot kleine features
Control Variant
A/B Test Multivariate Test
Control V1 V2 V3

25. Hoe dan wel?
Sprake van verschuiving binnen conversietesting
Van client-side naar server-side testen

26. De onmisbare waarde van Integrated Testing
Via een Proxy Server

27. De onmisbare waarde van Integrated Testing
Via een CDN (at the edge)

28. De onmisbare waarde van Integrated Testing
Via integratie van framework in backend

29. Waarom server-side testen?
Verbetering van UX
De onmisbare waarde van Integrated Testing
✔ Geen flickering
De variant komt direct vanaf de server
✔ Geen laadfouten
Geen third-party client-side scripting die fouten kan
veroorzaken
✔ Snelle laadtijden
Geen client-side scripting die weergave- en
interactietijden blokkeren
Verbetering in kwaliteit van testen
✔ Impact van laadtijd is beperkt
Als factor heeft laadtijd minder invloed op conversies
✔ Geen flickering
De variant komt direct vanaf de server
✔ Geen ITP issue
Server-side cookies blijven wel bewaard in de
browser

30. Welke beperkingen heeft server-side testen?
Foutgevoelig
De onmisbare waarde van Integrated Testing
✘ Testen lopen buiten releases om
Test gaat kapot bij wijziging van code door developer
✘ Infrastructuur van derden
Afhankelijk van kwaliteit software/hardware/netwerk
✘ Marketeer kan test ontwikkelen
Beperkte kennis van web development en web
performance
Testmogelijkheden
✘ Alleen focus op conversie
Geen mogelijkheid om SEO, SEA en performance
(WPO) metrics te valideren
✘ Testen van grote (site-wide) features
Complex om volledig aangepaste funnels of sites te
testen

31. Oplossing
Beperkingen van Server-side Testing wegnemen
middels Integrated Testing

32. Integrated Testing
is een concept
Een platform dat je zelf dient te ontwikkelen

33. De onmisbare waarde van Integrated Testing
Van traditionele webservers naar cloudhosting
Google Cloud Amazon Web Service Microsoft Azure

34. De onmisbare waarde van Integrated Testing
Features branches in productie testen
Production branch
Master
Feature branch
Kopie van Master
+
Nieuwe feature
Feature branch
Kopie van Master
+
Nieuwe feature
M F F
Feature branch
Kopie van Master
+
Nieuwe feature
F

35. De onmisbare waarde van Integrated Testing
Wat is een feature?
Feature branch
Kopie van Master
+
Nieuwe feature
F
PAGE
Content Design Functie
WEBSITE
Pagina-
laadtijden
Compleet
nieuw design
Nieuwe
Checkout

36. De onmisbare waarde van Integrated Testing
Een load balancer om het verkeer te splitsen
Production branch Feature branch Feature branch
M F F
Feature branch
F
Load balancer
50% 10%
20% 20%

37. De onmisbare waarde van Integrated Testing
Succesvolle feature branches samenvoegen in master
Production branch
Master
Feature branch
Kopie van Master
+
Nieuwe feature
Feature branch
Kopie van Master
+
Nieuwe feature
M F F
Feature branch
Kopie van Master
+
Nieuwe feature
F
✔ ✔ ✘

38. De onmisbare waarde van Integrated Testing
Totaal datagedreven platform management
SEO SEA
WPO
DISPLAY
Integrated testing
CXO
Beheer van een totaal datagedreven
online platform
A/B-testen zonder de beperkingen van
client-side tooling
Mogelijkheid om testen op andere metrics
dan alleen conversie af te rekenen

39. De onmisbare waarde van Integrated Testing
Key takeaways
Client side tooling is een
goede optie voor
verkenning van
A/B-testing en live
validatie.
Het is geen
langetermijnoplossing
Met server-side testing
kun je een aantal
beperkingen van
client-side tooling
wegnemen
Echter lijkt dit een
tussenoplossing
Met integrated testing
weet je o.b.v. meerdere
KPI's de impact van elke
verandering binnen jouw
online platform
De oplossing voor
data-driven testing

40. OrangeValley
De Corridor 27
3621 ZA Breukelen
030 - 8 200 200
info@orangevalley.nl
DATA DRIVEN DIGITAL MARKETING
Bedankt!