Le test A/B est la méthode scientifique de la publicité : on compare deux versions d’un même élément pour savoir laquelle fonctionne le mieux. C’est un classique des cours de marketing digital, souvent mal appliqué. Ce guide donne une démarche rigoureuse et des exemples chiffrés.
Le principe
On expose deux groupes comparables à deux variantes différentes, en changeant un seul élément à la fois, puis on compare un indicateur choisi à l’avance. Si la seule différence entre A et B est le visuel, alors l’écart de résultat peut raisonnablement lui être attribué.
Ce qu’il est possible de tester :
- la création : visuel, vidéo, accroche, premier plan ;
- le texte : titre, argument, ton ;
- le bouton d’action ;
- l’audience ;
- l’emplacement ou le format ;
- la page d’arrivée.
Étape 1 : formuler une hypothèse
Un test sérieux commence par une phrase de la forme : « Si je change X, alors Y devrait évoluer, parce que Z. »
Exemple. « Si je remplace le visuel produit par une vidéo de 10 secondes, le CTR devrait augmenter, parce que le mouvement attire davantage l’attention dans le fil. »
Sans hypothèse, on ne sait pas ce que l’on cherche, et on risque de tirer des conclusions à partir du hasard.
Étape 2 : choisir une seule variable
Tester deux publicités qui diffèrent à la fois par le visuel, le texte et l’audience ne permet aucune conclusion : impossible de savoir ce qui a produit l’écart. Une variable à la fois. Pour tester plusieurs éléments, on enchaîne les tests : visuel d’abord, puis texte, puis bouton.
Étape 3 : choisir l’indicateur de réussite
Choisissez l’indicateur avant de lancer, en cohérence avec l’objectif :
| Ce que vous testez | Indicateur adapté |
|---|---|
| Création (attention) | CTR, taux de visionnage |
| Audience | Coût par résultat |
| Page d’arrivée | Taux de conversion |
| Offre | CPA, ROAS |
Choisir l’indicateur après coup, parmi ceux qui donnent raison à la variante préférée, est un biais classique. Voir Formules du marketing digital.
Étape 4 : répartir équitablement budget et audience
Les deux variantes doivent recevoir un budget comparable et être diffusées auprès d’audiences comparables, sur la même période. Meta et TikTok proposent des outils de test qui séparent les audiences pour éviter qu’une même personne voie les deux versions. Voir Tester avec un test A/B et Tests fractionnés TikTok.
Étape 5 : laisser le test durer
Arrêter un test dès que l’une des variantes prend l’avantage est l’erreur la plus fréquente. Les premiers jours sont instables, notamment à cause de la phase d’apprentissage (Optimiser sans casser l’apprentissage). Repères :
- laisser tourner plusieurs jours, idéalement au moins une semaine complète pour lisser les variations entre jours ouvrés et week-end ;
- viser un nombre de résultats suffisant par variante ;
- ne pas modifier les variantes en cours de route.
Étape 6 : lire le résultat avec prudence
Un écart observé n’est pas forcément un écart réel : le hasard produit des différences.
Exemple chiffré. Deux visuels sont diffusés à 10 000 impressions chacun.
| Impressions | Clics | CTR | |
|---|---|---|---|
| Variante A | 10 000 | 100 | 1,0 % |
| Variante B | 10 000 | 130 | 1,3 % |
B semble meilleure de 30 %. Un test statistique classique de comparaison de deux proportions donne ici une probabilité d’environ 5 % d’observer un tel écart par pur hasard : on est à la limite de ce que l’on considère habituellement comme significatif. Conclusion raisonnable : B est probablement meilleure, mais prolonger le test avant de généraliser serait prudent.
Si les mêmes pourcentages avaient été obtenus avec 1 000 impressions et 10 contre 13 clics, la conclusion serait nulle : trois clics d’écart relèvent du hasard. Plus l’échantillon est petit, moins l’écart est fiable.
Les plateformes affichent souvent un niveau de confiance ou une probabilité de victoire ; utilisez-les comme aide, sans les prendre pour une certitude.
Étape 7 : documenter et enchaîner
Notez pour chaque test l’hypothèse, la variable, la durée, les résultats et la décision. Ces notes évitent de refaire les mêmes erreurs. Un test gagnant devient la nouvelle référence, que l’on tente de battre au test suivant.
Les huit erreurs classiques
- Tester plusieurs variables à la fois.
- Arrêter trop tôt.
- Comparer des périodes ou des budgets différents.
- Choisir l’indicateur après avoir vu les résultats.
- Conclure sur trop peu de données.
- Modifier une variante pendant le test.
- Généraliser un résultat à un autre produit, une autre audience ou une autre saison sans le revérifier.
- Oublier que la copie la plus cliquée n’est pas toujours la plus rentable : suivez aussi la conversion.
Questions fréquentes
Combien de temps faut-il laisser durer un test A/B publicitaire ? Plusieurs jours, idéalement une semaine complète, et jusqu’à obtenir assez de résultats par variante.
Peut-on tester plus de deux variantes ? Oui (test A/B/C), mais chaque variante supplémentaire dilue le budget et demande plus de données.
Quelle différence entre test A/B et optimisation automatique ? Le test A/B est un protocole que l’on contrôle ; l’optimisation automatique répartit la diffusion en continu selon la performance, sans protocole comparable.
Vous enseignez la publicité en ligne ? Demandez un accès.