L’effet minimum détectable
C’est le plus petit écart relatif que le test peut distinguer du hasard. Si l’uplift visé est plus faible, le test risque de conclure qu’il n’y a aucune différence alors qu’il y en a une.
CALCULATEUR PRÉ-TEST
Combien de temps doit durer votre test A/B ?
Renseignez votre trafic et l’effet que vous espérez obtenir. Le calculateur estime la durée nécessaire et le plus petit uplift que votre test pourra détecter.
Comment lire ce calcul
Deux semaines au minimum
Même avec beaucoup de trafic, faites tourner le test sur des semaines complètes. Vous lissez ainsi les écarts de comportement entre la semaine et le week-end.
Plus de variantes, plus de trafic
Au-delà d’une variante, le seuil de significativité est corrigé (Bonferroni) pour limiter les faux positifs. Chaque variante ajoutée allonge donc la durée.
Méthode : test de comparaison de deux proportions, approximation normale. La durée affichée est arrondie à la semaine complète supérieure, avec un minimum de deux semaines.
Besoin d’un regard expert sur vos tests ?
On cadre avec vous les hypothèses, la durée et la lecture des résultats, en 30 minutes.
