Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 1385
Warning: preg_match_all(): Compilation failed: invalid range in character class at offset 4 in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 690
Warning: Invalid argument supplied for foreach() in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 697
Warning: preg_match_all(): Compilation failed: invalid range in character class at offset 4 in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 690
Warning: Invalid argument supplied for foreach() in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 697
Warning: preg_match(): Compilation failed: invalid range in character class at offset 4 in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 1385
Warning: preg_match_all(): Compilation failed: invalid range in character class at offset 4 in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 690
Warning: Invalid argument supplied for foreach() in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 697
Warning: preg_match_all(): Compilation failed: invalid range in character class at offset 4 in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 690
Warning: Invalid argument supplied for foreach() in /home/customer/www/fabiopiccigallo.com/public_html/wp-content/plugins/smart-image-loader/simple_html_dom.php on line 697
Lo so, sto diventando monotono con questa storia dell'A/B testing.
Inizialmente avevo pubblicato un solo articolo, tempo fa, dedicato ai principi di analisi del margine di errore, per spiegarti come si fa a determinare quando un test ha prodotto o meno risultati statisticamente rilevanti. Poi, più di recente, ho pubblicato su questo blog un altro articolo, dedicato a quale atteggiamento mentale si deve ricorrere quando si vuole valutare la necessità di effettuare un A/B test.
Ora, se proprio hai stabilito che il prossimo test sarà quello che cambierà definitivamente il volto al tuo business, provo a darti qualche piccolo consiglio per non partire con il piede sbagliato.
4 consigli per un A/B testing efficace
1. Cambia una variabile alla volta
No: l'ho detto male.
Sarebbe più corretto dire: cambia solo e solamente una ed una sola variabile alla volta.
Sì, anche l'immagine è una variabile. Anche il colore. Certo, anche il testo della Call to Action.
Non farti tentare dal pensiero per cui una piccola variazione è poco significativa: tutte le varianti sono significative, e non lo è nessuna.
Accade spessissimo, purtroppo, che in fase di test, per sbrigarsi, per ottimizzare i tempi, o semplicemente per scarsa conoscenza delle tecniche di A/B test, si finisca per valutare più variabili insieme.
Il risultato è ovvio:non saprai mai se l'eventuale differenza del risultato sia da attribuirsi alla variabile 1, alla variabile 2 o alla combinazione delle due. Il caso tipico è che la variabile 1 ti porti ad un aumento del 5%, e la variabile due ad un calo del 6%. Testando insieme le due variabili, sarai quindi portato a scartare il test, ed a perdere di conseguenza i benefici che la variabile 1 avrebbe apportato al tuo business.
Qual è allora la tecnica corretta?
Ovviamente, quella che ho descritto nel mio recente articolo sul kaizen.
Insomma, per farla breve: testa continuamente, e porta a casa tutti i miglioramenti possibili uno alla volta.
La fretta, mai come in questo caso, è nemica del bene.
2. Fai attenzione a come distribuisci i panel di test
Uno dei classici errori di quando si prova a realizzare un A/B test sul web è quello di non dare peso alla distribuzione dei panel. Certo: nel caso di una DEM o di una newsletter la distribuzione è semplice: si ordina in modo casuale la lista target e si inizia a distribuirla sulle liste dei panel di test in modo altrettanto casuale. Insomma, hai un solo test da effettuare? Mandi tutti i pari nel controllo e tutti i dispari nel test, ed ecco distribuito correttamente il panel di test.
Che succede, però, su una landing page?
Qui si scatena la fantasia.
C'è chi utilizza la prima landing page per le prime due settimane del mese e la seconda landing page per il restante periodo; c'è chi divide tra mattina e pomeriggio... insomma, i comportamenti sbagliati si sprecano.
Il problema è che il principio base di ogni test è dato da contemporaneità e da assoluta casualità di distribuzione dei contatti nei panel di test e di controllo.
Altrimenti, il test non sarà valido.
Alla fine del test, il risultato ideale dovrà essere che ogni landing page (o ogni campagna) oggetto di test dovrà essere stata sottoposto allo stesso tipo di traffico nello stesso periodo di tempo. Le soluzioni tecniche (mediante l'utilizzo di script di redirect, ad esempio) non mancano. Attenzione, però, ad adottarle in modo corretto!
Se hai dubbi su come stai distribuendo il tuo panel, risolvili con un "test zero".
In pratica, applica la tua tecnica di distribuzione dei panel per testare due processi (pagine, ads) identici. Se non ottieni gli stessi risultati, allora la tua tecnica di distribuzione contiene probabilmente delle falle che finirebbero con il pregiudicare il test reale.
3. Attenzione a trarre le giuste conclusioni
Quando si effettua un test, gli strumenti più importanti a disposizione sono: un tool di web analytics in grado di misurare ogni singolo passaggio all'interno del tuo funnel di conversione, e il buon senso.
A che serve il buon senso?
Serve, principalmente, a ragionare in modo approfondito sui dati a tua disposizione.
Voglio dire: per quanto sembri banale, stai sempre attento che le differenze che noti lungo i diversi step del tuo funnel di conversione tra test e controllo siano effettivamente attribuibili alla variante in opera. Se vedi molte piccole differenze diffuse all'interno del tuo funnel di conversione a seguito di una variazione che hai adottato nel primo step, è molto probabile che tu stia solamente percependo del rumore di fondo poco significativo. Se vedi una importante differenza nel passaggio dal primo al secondo step, invece, sarai sicuro che essa è una diretta conseguenza del tuo operato.
4. Non avere fretta
Effettuare A/B test è una pratica lunga e costosa. Punto.
Ottenere risultati statisticamente rilevanti (con una confidenza di almeno il 95%) può richiedere giorni o settimane di lavoro. Per questo è importante testare subito grandi varianti, e posticipare i test su piccole varianti solo ad un secondo momento.
Per sapere quali sono i numeri in gioco, e in particolare di che tipo di traffico hai bisogno per essere sicuro che i risultati del tuo A/B test siano statisticamente rilevanti, puoi provare ad utilizzare il form qui sotto.
Inserisci il tipo di precisione di cui hai bisogno (io consiglio sempre il 95%), la redemption attesa e il margine di errore che ti mette al sicuro da conclusioni sbagliate: otterrai come risultato il traffico che dovrà generare ogni variante per ottenere un risultato valido.
Una considerazione sul margine di errore: normalmente, quando si fanno delle ipotesi si stabilisce che non debba essere inferiore al 20%. Ad esempio, se la redemption che ti attendi dal processo che stai testando è dello 0,5%, dovrai lavorare su test che abbiano un margine di errore quantomeno di 0,5% +- 0,1%. In questo modo, se il test otterrà una redemption dello 0,63%, potrai essere sicuro (al 95%) che il risultato sia veritiero, a patto di aver generato un traffico di 19.111 visitatori.
A/B test: il consiglio più importante
Se segui queste piccole indicazioni, è probabile che tu riesca ad ottenere continuamente risultati utili e davvero in grado di apportare miglioramenti sostanziali al tuo business e al tuo web marketing.
Oggi sono disponibili sul web molti strumenti in grado di semplificare in modo sostanziale il lavoro del web analyst che si voglia cimentare in modo accurato nella pratica dell'A/B testing. Nessuno strumento, però, potrà mai aiutarti in una cosa: nell'elaborazione di una strategia di testing che sia davvero in grado di portare dei risultati.
Ecco: il consiglio più importante di tutti è proprio questo.
Non iniziare a testare, a meno che tu non sappia esattamente ciò che stai facendo, e in quale strategia di ottimizzazione i tuoi test si vanno ad inscrivere.
In caso contrario, finirai quasi sicuramente per perdere tempo e denaro.
