Massimo Fubini workshop at IAB Forum 2012.

1. TESTARE, ANALIZZARE,
INTERPRETARE
Il valore dell’A/B oltre le apparenze

2. SCUSATEMI,
Dobbiamo rispolverare un po’ di
TEORIA DEGLI INSIEMI

3. “C’erano una volta 2 campagne effettuate su uno stesso DB.
Entrambe le campagne avevano avuto il 10% di apertura”
Questo è il
100% del mio
DB

4. Potrebbe essere così
10% di
10% di
apertura della
apertura della
campagna A
campagna B

5. Ma potrebbe essere anche così
10% di
10% di
apertura della
apertura della
campagna A
campagna B

6. Semplice. Giusto?
Significa che:
• nel primo caso le campagne hanno colpito utenti diversi
• nel secondo caso le campagne hanno in gran parte colpito gli stessi utenti
ma entrambe le campagne hanno avuto il 10% di performance.
Bene, quale delle 2 campagne è andata meglio?

7. Dal punto di vista QUANTITATIVO delle aperture, le 2 campagne sono uguali,
hanno prodotto uguale risultato non c’è differenza.
Proviamo quindi a fare un passo avanti -un’ulteriore ottimizzazione- e
vediamo quale delle due ha avuto il maggior tasso di click.

8. Potrebbero aver avuto risultati
quantitativamente uguali anche nei click
10% di
10% di
apertura della
apertura della
campagna A
campagna B
2% 2%
Utenti che
cliccherebbero
se aprissero la
campagna

9. Oppure magari no…
10% di
10% di
apertura della
apertura della
campagna A
campagna B
4% 1%
Utenti che
cliccherebbero
se aprissero la
campagna

10. E se oltre che sulle aperture e sui click
iniziassimo a ragionare anche sulle “conversioni”?

11. Potrebbe essere così
10% di
10% di
apertura della
apertura della
campagna A
campagna B
Utenti che
cliccherebbero
se aprissero la Utenti che
campagna comprerebbero se
arrivassero sul sito

12. Ma potrebbe essere così
10% di
10% di
apertura della
apertura della
campagna A
campagna B
Utenti che
cliccherebbero
se aprissero la Utenti che
campagna comprerebbero se
arrivassero sul sito

13. Oppure così
10% di
10% di
apertura della
apertura della
campagna A
campagna B
Utenti che
cliccherebbero
se aprissero la Utenti che
campagna comprerebbero se
arrivassero sul sito

14. 1° TEOREMA DI FUBINI:
Due campagne con lo stesso OR e CTR
possono darvi soddisfazioni molto diverse
@contactlab #iabforum @massimofubini
SUGGERIMENTO Sono 136 caratteri, in un tweet ci stanno

15. COROLLARIO DEL 1° TEOREMA DI FUBINI:
Per la campagna che vi soddisfi
preparatevi a fare tanti test
@contactlab #iabforum @massimofubini
SUGGERIMENTO  Anche qui sono solo 138 caratteri, in un tweet ci stanno

16. È tutto logico e semplice, vero?
(Lo ammettete però che poi alla fine spesso vi distraete e guardate solo la
campagna che ha ottimizzato le aperture o i click…)?

17. È quindi importante che passiate da un approccio
quantitativo ad uno qualitativo
Oppure, se preferite restare sul quantitativo, dovete dare
pesi diversi alle diverse quantità…

18. BANALITÀ DI FUBINI n° 1
Un acquisto vale più di un click,
un click vale più di una apertura
@contactlab #iabforum @massimofubini
SUGGERIMENTO  Qui siamo scesi a 128 caratteri precisi, in un tweet ci stanno

19. COROLLARIO ALLA BANALITÀ DI FUBINI n°1
Una mail non inviata non può generare azioni
@contactlab #iabforum @massimofubini
SUGGERIMENTO  Qui il counter si ferma a 121, in un tweet ci stanno

20. 2° COROLLARIO ALLA BANALITÀ DI FUBINI n°1
Una mail non inviata non vale un cazzo nulla
@contactlab #iabforum @massimofubini
SUGGERIMENTO  Qui il counter si ferma a 124, in un tweet ci stanno

21. Ok, ma nell’A/B test?
(dopotutto siete entrati qui perché la promessa era quella di parlare di A/B test)

22. Nell’A/B test le porzioni di DB sono diverse
e quindi coloro che aprono non possono essere le
stesse persone
Porzione di DB Porzione di DB
del test A del test B
10% di 10% di
apertura della apertura della
campagna A campagna B

23. Aggiungiamo un parametro di profilazione
(sesso per esempio)
Con la situazione sotto descritta il parametro aggiunto ci aiuta a prendere una decisione? NO
Altra domanda: l’estrazione dei due gruppi di test vi sembra corretta? NO
Porzione di DB Porzione di DB
del test A del test B
UOMINI
DONNE
10% di 10% di
apertura della apertura della
campagna A campagna B

24. Ma se analizzando i cluster fosse così?
Quale delle due campagne utilizzereste per mandare a tutti gli altri utenti?
Porzione di DB Porzione di DB
del test A del test B
UOMINI
DONNE
10% di 10% di
apertura della apertura della
campagna A campagna B
(100% uomini) (100% donne)

25. 2° TEOREMA DI FUBINI:
A/B testing is fucking hard
@contactlab #iabforum @massimofubini
SUGGERIMENTO  Qui abbiamo fermato il contatore a 86 caratteri, in un tweet ci stanno

26. Ok, quindi, in sintesi ho capito che:
1) Devo fare dei test e scegliere quello che ha
performato meglio
1) Oppure posso utilizzare più di una versione andando
a spedire sulla porzione del db che ha funzionato
meglio
3) Per scegliere il test che ha performato meglio devo
analizzare (se posso) il dato di conversione

27. Sì… ma attenzione a come viene
misurata la conversione
Quale dato Oppure
Questo dato? O questo?
devo usare? quest’altro?

28. RIVISITAZIONE DEL 2° TEOREMA DI FUBINI:
Serious A/B testing is seriously fucking hard
@contactlab #iabforum @massimofubini
SUGGERIMENTO  Qui abbiamo fermato il contatore a 122 caratteri, in un tweet ci stanno

29. BASTA.
Per oggi ho fatto anche troppo il professorino.
Ora vi meritate la merenda qualche case history.

30. Case Fiera Milano BIT: test multivariato
Target: agenti di viaggio
Obiettivo: invito a una survey di BIT
Metodologia: test multivariato su 8 combinazioni grafiche
Elementi variabili: CTA (posizionamento e colore) + HEADER

31. Case Fiera Milano BIT: test multivariato
1 2 3 4
5 6 7 8

32. Case Fiera Milano BIT: test multivariato
RISULTATI
Elementi valutati:
Contenuto dell’header
Posizione della CTA
Colore della CTA
WINNER (combinazione 3) WORST (combinazione 2)
CTR: 10.63% CTR: 3.75%

33. IBL Banca – A/B test multivariato
Tipologia: DEM su mutuo
Obiettivo: testare subject, copy ed elementi grafici
Data invio: 06/2012
Metodologia: Fase unica: A/B/C/D test su tutti gli
elementi (dovuta a tempi ridotti del cliente)

34. IBL Banca – A/B/C/D test multivariato
A B C D

35. IBL Banca – A/B/C/D test multivariato
A B C D
Scopri il Gusto Fino al 30 Rate piccole per Scegli Rata
delle Piccole giugno il tuo prestiti fino a Bassotta: il
Rate prestito ha la 75mila euro prestito
sua Rata conviene di più
Bassotta con IBL
Consegnate 74.938
Aperture
Open Rate% 15,0% 14,8% 14,6% 13,7%
Click unici
Click Rate% 2,5% 1,6% 5,1% 2,6%
La versione del cliente Ma è la versione C con il Subject B quella che ha
(A) ha massimizzato le massimizzato il numero di utenti portati sulla landing page,
aperture ! di fatto RADDOPPIANDO il risultato

36. IBL Banca – A/B/C/D test multivariato
30 MAGGIO 5 GIUGNO 11 GIUGNO 19 GIUGNO
Scopri il Genio Scopri il Genio Fino al 30 giugno Fino al 30
delle Piccole Rate – delle Piccole Rate il tuo prestito ha giugno il tuo
la sua Rata prestito ha la
Bassotta sua Rata
Bassotta
Gestione Cliente Subject e creatività ContactLab
Consegnate
Aperture
Open Rate% 13,7% 1,4% 11,4% 9,2%
Click Rate‰ 1,68‰ 0,30‰ 3,58‰ 2,38‰
L’intervento di ContactLab sulla creatività ha PIU’ CHE RADDOPPIATO i risultati

37. DeAgostini – A/B multivariato subject + layout
Campagna di Recall – prodotto La Sovrana dei Mari
Test urgenza vs omaggio
Subject A (inviato al 30% del DB):
Ultimi giorni per ricevere la Sovrana dei Mari!
Subject B (inviato al 30% del DB):
Il kit per il modellismo, in regalo con la Sovrana dei Mari!
Subject C (inviato al 30% del DB):
Ultimi giorni per avere in omaggio il kit per il modellismo

38. LA SOVRANA DEI MARI – NUOVI LAYOUT

39. ANALISI CLICK – SOVRANA TRADIZIONALE - LEGNO - NUVOLE
3,3% 3,4% 7,5% 1,3% 4,3% 6,9% 14,8% 3,7%
408- 65,4% 241- 52,5%
188 – 80,3%
0,5% 0,5% 052%
32 - 5,1% 74 - 11,9% 57 - 12,2% 16 - 3,5%
0,4% 0,3% 0,2% 0,2% 0,2% 0,2%

40. DeAgostini – A/B multivariato subject + layout
Valore Versione A Versione B Versione C
Email ricevute
Open Rate 11% 14% 13%
Click/Aperture 5% 11% 8%
Ordini tot x + 100% +66%
Ordini main x +33% +33%
Ordini cross sell - +67% +33%
Conclusioni:
- citare l’omaggio ha valore, l’urgenza non ha lo stesso impatto
- i layout multipli sono vincenti
- il box d’immagine e il tab hanno differenze minime in termini di click
- le vendite arrivano più dai box che dal menu

41. DeAgostini – A/B multivariato subject + layout
Email di recall – Dragon Ball
Test su urgenza vs omaggio
Subject A (inviato al 30% del DB):
Scopri come ricevere i dvd di Dragon Ball Z e in regalo l'esclusivo cappellino!
Subject B (inviato al 30% del DB):
Un omaggio ancora per pochi, il cappellino di Dragon Ball, scopri come averlo!
Subject C (inviato al 30% del DB):
Ancora pochi giorni per avere il cappellino di DragonBall in regalo!

42. DRAGON BALL – NUOVI LAYOUT E METRICHE

43. ANALISI CLICK – DRAGON BALL TRADIZIONALE – SFERE - STELLE
2,1% 3%
7,8% 10,7% 0% 0,7% 9,6% 17% 5,9% 7,4%
48- 34,3% 44 – 32,4%
66 – 95 %
4,2% 0% 0%
39 – 27,9% 23- 16,4% 17 – 12,5% 17- 12,5%
0% 0% 0% 0% 0% 0%

44. DeAgostini – A/B multivariato subject + layout
Conclusioni:
- I risultati confermano i risultati del test precedente, l’urgenza non influisce tanto quanto
l’omaggio
- I layout multipli sono vincenti
- La versione con testo più descrittivo (versione B) ha generato più conversioni
Valore Versione A Versione B Versione C
Email ricevute
Open Rate 10% 11% 11%
Click/Aperture 3% 4% 4%
Ordini tot x +600% +350%
Ordini main x +200% +150%
Ordini cross sell - +400% +200%

45. Per arrivare alla conclusione...
Pensate anche a coloro che
-per un motivo o per un altro-
NON ricevono le mail.
C’è un potenziale enorme!

46. Company A – 14 months

47. PAPAAAAAA… SONO LE 4…
HAI FINITO DI GIOCARE CON LE EMAIL????
DAI VIENI CHE QUI CHE TI ASPETTIAMO…