Confidence Level
Probabilité que le résultat observé lors d'un test soit réel et reproductible (95% = standard).
Le niveau de confiance indique la probabilité que le résultat d'un test soit réel et reproductible, et non dû au hasard.
Comment le lire correctement
Un niveau de confiance de 95 % ne signifie pas que la variante a 95 % de chances de gagner. Il signifie que vous acceptez de vous tromper une fois sur vingt en déclarant un écart réel là où il n’y en a aucun. C’est un curseur de tolérance au faux positif, pas une probabilité de victoire.
Quel seuil choisir selon l’enjeu
Adaptez le seuil au coût d’une erreur. Sur une itération rapide et réversible, un titre ou un visuel, 90 % suffisent souvent pour avancer. Sur une refonte de tunnel, une grille tarifaire ou un changement d’offre, montez à 99 %. Le standard à 95 % reste le compromis par défaut pour la grande majorité des tests marketing.
Confiance vs puissance statistique
La confiance vous protège des faux positifs, la puissance vous protège des faux négatifs. Un test peut être calibré à 95 % de confiance tout en n’ayant qu’une chance sur deux de détecter un gain réel mais modeste. Visez au moins 80 % de puissance, sinon vous conclurez à une absence d’effet qui n’existe que dans votre échantillon.
Exemple concret
Une boutique convertit à 4 % et espère atteindre 4,6 % avec une nouvelle page produit. Pour trancher à 95 % de confiance et 80 % de puissance, il faut environ 20 000 visiteurs par variante. À 6 000 visiteurs hebdomadaires par version, comptez un peu plus de trois semaines de test.
Termes associés
Statistical Significance
Seuil de confiance (95%) confirmant qu'un résultat de test n'est pas dû au hasard.
A/B Test
Test comparant deux versions (A et B) pour déterminer laquelle performe le mieux.
Control Group
Groupe d'utilisateurs non exposé à une modification lors d'un test, servant de référence.
Variant
Version alternative testée contre le contrôle dans un A/B test ou test multivarié.
CRO
Conversion Rate Optimization. L'optimisation du taux de conversion de votre site ou landing page.
CTA
Call To Action. Le bouton ou lien qui incite l'utilisateur à passer à l'action (acheter, s'inscrire, demander un devis).
Confidence Level en pratique : Conversion
Pour aller au-delà de la définition, découvrez notre pilotage CRO produit et checkout.