Un A/B test è un test che permette di valutare le prestazioni (performance) di una pagina rispetto ad un altra. Giusto un paio di settimane fa ho deciso di lanciare proprio un A/B test: una cosa molto semplice, che ha inaspettatamente coinvolto un bel po’ di persone online, forse più per il copy della promo sociale (la stupidità premia)  che per la qualità del test, peraltro non ho svelato il fine del test.

Partiamo dalle regole base di un A/B test. Per valutare l’efficacia di un A/B test servono:

1. un sistema di tracciamento del test
2. un sistema di bilanciamento
3. un’unica variabile in test
4. un numero sufficiente di “prove”

Se volete saltarvi il pippone teorico e andare ai risultati: risultati test bottone »

1) Sistema di tracciamento A/B Test

Come ogni cosa da testare, per testarla, bisogna avere qualcosa da testare e soprattutto qualcosa in grado di misurare. Anche per l’A/B test è necessario che vengano almeno misurate:

• numero visite per versione
• numero di conversioni (azioni) per versione

Nel caso del mio piccolo test ho voluto approfondire l’uso di Analytics, che ha uno strumento dedicato a questo tipo di funzionalità. Prima cosa ho preparato una pagina e una sua versione leggermente differente, attivabili tramite un parametro in querystring (es: pagina.php e pagina.php?var=1).
Quindi ho impostato che la Conversione fosse il click su un bottone tracciata tramite gli eventi di Analytics: banale, banalissimo.
La pagina differenziava solo per quel bottone, come da immagine:

L’azione era veramente un nosense: chi accedeva doveva banalmente leggere e cliccare. Inizialmente pensavo che non ci fosse nemmeno senso di provarlo, ma poi alla fine un po’ di senso l’ha preso.

Analytics > Comportamento > Esperimenti

Non vi resta che seguire le indicazioni di GA. Solo una piccola annotazione: nel primo step del wizard di configurazione (wizard = procedura passo passo…) c’è un link “opzioni avanzate”: assicuratevi che sia attiva l’opzione “Distribuisci uniformemente il traffico su tutte le varianti”. Ora non sto qui a spiegarvi ogni singola manovra da fare: è abbastanza semplice e basta che leggiate, al più potete fare un saltino alla guida ufficiale.

Vi basta sapere che fatte tutte le configurazioni, Analytics vi fornirà un codice da inserire prima della chiamata del codice di Google Analytics di tracciamento.

2) Sistema di Bilanciamento

Anche in questo caso ho usato Google Analytics. Il sistema di bilanciamento, è quello strumento che vi consente di distribuire le versione delle pagine in test in modo uniforme sulla vostra utenza. Non solo, quelli più evoluti come Analytics, consentono anche di mostrare ad un utente sempre la medesima versione della pagina, in modo da dare coerenza alla visita nel tempo (cookie permettendo!).

3) Unica Variabile di Test

Altro fondamento del A/B test. Perché una sola variabile? Perché se ne mettete più di una, al più che siate dotati di sfera magica o strumenti di tracciamento eccelsi, potreste non essere in grado di capire quale elemento ha inciso alla modifica del tasso di conversione, ovvero del rapporto tra visite/conversioni.

4) Numero Sufficiente di Prove

Purtroppo qui non so darvi un numero, è uno di quei concetti come chiedere alla massaia “Quanto Sale?” o al buon padre di famiglia “Quanto Buono”. Diciamo che se la pagina fa poche visite o se l’azione richiede un forte impegno da parte del visitatore, fare il test risulta difficile: se dovete fare un A/B test su un tasso di conversione dello 0,1% probabilmente vi serviranno una milionata di accessi. Se il tasso di conversione originale è del 40%, probabilmente con un migliaio di visitatori avete raggiunto il vostro scopo.

Anche qui Analytics vi viene in aiuto: fissato un periodo minimo di test, lo strumento conclude il test al raggiungimento di un risultato accettabile o al suo NON raggiungimento, ovvero quando il test non si è rivelato rivelatore.

Il test del bottone

Siamo giunti quindi all’epicolo del test del bottone. Voglio deludervi subito prima di arrivare all’ultima riga: secondo Google Analytics il test non ha prodotto un risultato sufficiente per essere veritiero.

La cosa che invece a me ha affascinato è stato il tasso di conversione, mediamente di poco superiore al 60%: significa che 4 su 10 di voi che siete entrati per farmi un piacere, approfittando della gratuità del test, non hanno cliccato: dove siete fuggiti? 🙂

Come vedete la differenza è minima: diciamo che la conversione di quello tondo è leggermente superiore a quella di quello con i bordi quadrati. E’ un dato significativo? Bah… l’azione era piuttosto insensata e le visite forse sono ancora pochine per trarre delle conclusioni. Come vedete anche il tempo sulla pagina è abbastanza  un dato assurdo, al più che siate veramente molto molto lenti a leggere.

In ogni caso la vera finalità del test era quella di dimostrare a Martin che avevo ragione e che il tondo convertiva di più: missione raggiunta. Il ROI? Mica sono Cappello io, sono solo un Merlinox qualunque!

Grazie però a tutti quegli amici che hanno creduto nel test, nella sua gratuità e hanno partecipato a questo gioco: siete troppi per essere citati tutti ma stasera, prima di addormentarvi, prometto un pensierino per ognuno di voi. Anzi… vi regalo lo screenshot dell’eco di Google+.

Qualche social dato (fonte SeoChat):
4 condivisioni FB, 32 Mi Piace, 3 commenti FB, 42 Tweet e 69 +1

 

Conversioni e Sorgente / Mezzo

Accontento l’amico Michele Baldoni pubblicando l’analisi del tasso di conversione all’obiettivo “click sul bottone” in base alla sorgente mezzo. Farlo diviso per tipo di pagina è un delirio, in quanto Analytics pone una valanga di querystring che rendono inumana la suddivisione per bottone tondo/quadrato.

photo credits hberends