A/B Testing : les clés pour se lancer !

Auteur

Johan

Date

15/01/2020

Partager sur facebook
Partager sur twitter
Partager sur linkedin
Partager sur pinterest
Partager sur email

Démarrer une démarche AB Testing, ce n’est pas simple. Et une fois lancé, on se rend compte que le plus dur, c’est de garder la cadence.

Alors, comment vous lancer et tenir le rythme ? On vous dit tout.

C’est quoi un test AB ?

Pour commencer, reprenons la définition d’un test A/B :

Un test A/B permet de comparer plusieurs variantes d’un produit (page web / application) afin d’identifier la plus performante. Ces variations sont présentées de manières aléatoires aux utilisateurs.

La pratique de l’A/B Testing peut se décliner à travers deux méthodes : le test A/B et le test multivarié. Il est essentiel de bien saisir les nuances :

Et donc pourquoi AB tester?

La motivation première, c’est d’optimiser le taux de conversion de certains éléments clés de son site ou de son application (on parlera parfois de CRO pour « « ).


Les tests AB permettent d’éliminer tous les éléments externes, et donc de mesurer le vrai gain lié au changement. Si comme moi, vous avez déjà entendu dire « Oui, les conversions ont légèrement baissé suite à la refonte, mais il a fait vraiment beau ce week-end, donc on peut difficilement comparer… », vous voyez exactement le cas de figure que l’on souhaite éliminer !


Au-delà de ça, les tests A/B vous permettront de prendre des décisions rationnelles, et de laisser de côté le feeling. Cela permet de facilement arbitrer entre différentes options, et donc d’avoir à disposition un super outil de décision, totalement objectif.

C'est décidé, je me lance !

Quelles sont les compétences à mobiliser ?

Vous allez déjà devoir vous assurer de posséder les compétences nécessaires. Se lancer dans une démarche d’A/B testing, ça demande les compétences croisées d’un UX Designer, pour vous permettre d’effectuer des propositions d’optimisations pertinentes, et d’un Data Analyst, pour estimer le potentiel des tests, et surtout pouvoir les analyser en retour.

Quelles outils pour faciliter la démarche ?

De nombreuses solutions sont disponibles sur le marché. Je retiens pour ma part les solutions suivantes :

Une méthode pas-à-pas

Vous êtes équipé, prêt à démarrer : vous pouvez maintenant lancer votre premier test ! Je vous propose de suivre ces quelques étapes pour structurer votre démarche.

1. Analyse

Cette première phase vous permettra de trouver et quoi tester :

2. Hypothèse

Suite à l’analyse de vos données, vous avez à présent tous les éléments en votre possession pour identifier un test à fort potentiel. Vous allez pouvoir formuler une hypothèse. Rédigez-là sous la forme : 

Si je modifie [variable], alors je dois obtenir [résultat] parce que [raisonnement].

3. Mise en place

Lors de la mise en place de votre test, vous allez prendre en compte 3 variables pour imaginer comment le mettre en oeuvre :

Un bon test, c’est souvent un mélange des 3 ! Alors n’hésitez pas à tester des hypothèses fortes pour obtenir des résultats.

 

💡 Astuce : La plupart des outils d’AB testing proposent une fonctionnalité “preview”. Utilisez-là pour tester vos variantes auprès quelques utilisateurs avant de lancer votre test.

4. Résultats

Vous avez lancé votre test, il est en cours : avant d’analyser les résultats, il va d’abord falloir savoir quand l’arrêter ! 

 

La taille de l’échantillon (le nombre de visiteurs exposés à votre test) est clé pour pouvoir atteindre un niveau de confiance suffisant sur les résultats. On parlera de significativité. Un test significatif à 95% signifie qu’il y a 5% de chances que le résultat soit dû au hasard. Plus vous augmentez la taille de l’échantillon, plus votre test sera significatif ! Généralement, on part du principe qu’il faut à minima quelques milliers de visiteurs sur un test. 

 

Mais la taille de l’échantillon n’est toutefois pas un critère suffisant pour arrêter votre test. Vous devez aussi prendre en compte :

Ça y est ? Vous avez arrêté votre test ? Place au verdict :

Passé le premier test AB

Vous avez lancé votre premier test. Super ! Mais vous n’êtes qu’au tout début du tunnel. Il va encore falloir structurer la démarche dans vos équipes pour pouvoir tenir la cadence dans le temps, et mettre en place une vraie démarche d’amélioration continue.

L'apprentissage de l'A/B Testing

Après votre premier test, vous allez vous rendre compte qu’il est très simple de lancer un test AB. Très vite, vous allez lancer pleins d’autres tests (un peu trop) simples…et vous rendre compte que vous avez peu de résultats positifs. Si cela peut vous décourager, ces tests sont avant tout une super opportunité pour progresser dans votre pratique de l’AB Testing. Ils vous permettront de :

Au début, n’hésitez donc pas à vous fixer des objectifs de quantité, plus que de qualité, afin de gagner en efficacité. Naturellement, les tests de qualité viendront ensuite en étant plus regardant sur les phases d’analyse et de formulation de l’hypothèse. Une fois la dynamique lancée, vous progresserez en continue sur la pratique.

L'importance de tenir une roadmap

Ensuite, il va falloir structurer votre roadmap de tests AB. L’idée, c’est que vous ayez toujours sous le coude un test à lancer quand il y en a un en cours.

Cette roadmap, il faudra la prioriser. Et pour cela, utilisez les indicateurs “PIF”. Ils vous permettront de remettre en haut de liste les tests rapides à mettre en place et porteurs de valeur pour votre business.

Motiver les équipes dans le durée

La roadmap en place, reste à garder les équipes motivées dans la durée. Pour ce faire, vous pouvez gamifiez votre pratique de l’A/B Testing !

En résumé

Vous l’avez compris, l’A/B testing est une pratique clé pour améliorer votre produit digital. En structurant votre démarche, vous maximiserez vos chances d’obtenir de bons résultats. Mais le plus dur, finalement, ce sera d’être efficient dans la durée. Charge à vous donc d’animer vos équipes pour tenir la cadence.

 

Voilà, vous savez (presque) tout. À vous de jouer ! 🚀

CRÉONS ENSEMBLE !

N'hésitez pas à nous contacter, nous ferons de votre projet, une performance.
JE ME LANCE