Comment calculer la taille d'échantillon pour un test A/B avant de lancer

Comment calculer la taille d'échantillon pour un test A/B?

Trois données fixent la taille d'échantillon pour un test A/B avant même qu'un seul visiteur ne voie le test : le taux de conversion de référence, l'effet minimal détectable et la puissance statistique requise. Intégrez ces trois valeurs dans la formule de la taille d'échantillon avec un niveau de signification choisi, et la formule renvoie le nombre de visiteurs dont chaque variante a besoin avant que le test puisse être lu. Calculez ce chiffre avant le lancement, pas après une semaine de test quand quelqu'un veut une réponse anticipée, et utilisez-le pour fixer l'objectif d'un bon taux de conversion du test avant de comparer le résultat à une référence externe.

Qu'est-ce que le taux de conversion de référence?

Le taux de conversion de référence est le taux actuel de la métrique testée, mesuré sur la page avant qu'aucun changement ne soit publié, avec la même formule du taux de conversion déjà suivie par l'entreprise. Une page de paiement qui convertit aujourd'hui à 5% est la référence pour un test sur cette même page, et la formule définit toute autre donnée par rapport à ce chiffre de départ. Prenez la référence sur au moins deux à quatre semaines de trafic habituel plutôt que sur une seule journée inhabituelle.

Qu'est-ce que l'effet minimal détectable?

L'effet minimal détectable est le plus petit changement de taux de conversion que le test est conçu pour repérer, exprimé comme l'écart entre le taux de référence et le taux cible. Choisir un effet minimal détectable de 1 point de pourcentage sur une référence de 5% signifie que le test est conçu pour détecter de façon fiable un passage à 6%, et il ne repérera pas de façon fiable un mouvement plus petit comme 5.3%. Un effet minimal détectable plus petit exige un échantillon plus grand, car la formule doit séparer un écart plus fin du bruit aléatoire.

Que signifie la puissance statistique dans un test A/B?

La puissance statistique est la probabilité que le test détecte un effet réel de la taille choisie, quand cet effet existe vraiment. Une puissance de 80%, la valeur par défaut courante, signifie que le test manque un effet réel une fois sur cinq, donc faire passer la puissance à 90% détecte plus d'effets réels, mais exige un échantillon plus grand pour y parvenir.

Que signifie le niveau de signification dans un test A/B?

Le niveau de signification est la probabilité de déclarer un gagnant alors qu'il n'y a pas de différence réelle entre les variantes, généralement fixé à 5%, ce qui correspond à un niveau de signification de 95%. Abaisser ce taux de faux positifs à 1% rend le test plus prudent et, comme augmenter la puissance, accroît la taille d'échantillon nécessaire pour arriver à un verdict, le même compromis qui façonne plus largement les tests A/B sur du trafic réel.

Quelle est la formule de la taille d'échantillon?

La formule de la taille d'échantillon combine le taux de référence, le taux cible et les scores Z de la puissance et du niveau de signification choisis en un seul calcul par variante.

n = (Z(1-alpha/2) + Z(1-beta))^2 x [p1(1-p1) + p2(1-p2)] / (p2 - p1)^2

Appliquez-la à un test de paiement. Le taux de conversion de référence p1 est 5% (0.05), le taux cible p2 est 6% (0.06) après un effet minimal détectable de 1 point de pourcentage, la signification est de 95% (Z = 1.96) et la puissance est de 80% (Z = 0.84).

(1.96 + 0.84)^2 = 7.84, et [0.05 x 0.95 + 0.06 x 0.94] = 0.1039. Diviser 7.84 x 0.1039 par (0.01)^2 donne 8,145.76, arrondi à 8,146 visiteurs par variante, soit environ 16,292 au total sur les deux variantes. Diviser par deux l'effet minimal détectable, à 0.5 point de pourcentage, quadruple à peu près ce chiffre, car le dénominateur élève au carré la taille de l'effet.

Pourquoi regarder les résultats trop tôt fausse-t-il le calcul de la taille d'échantillon?

Regarder les résultats avant d'atteindre la taille d'échantillon calculée fausse le test, parce que chaque coup d'œil anticipé est une nouvelle occasion pour le bruit aléatoire de franchir le seuil de signification. Un test vérifié chaque jour pendant deux semaines donne à la variation aléatoire quatorze occasions distinctes de produire un faux positif, si bien que le taux réel de faux positifs finit largement au-dessus des 5% que le test devait respecter, même si chaque vérification isolée utilisait un seuil valide de 95%. Fixez la taille d'échantillon avant le lancement, laissez tourner le test jusqu'à ce chiffre sans chercher de verdict en chemin, et utilisez les données de tunnel et d'objectifs pour vérifier le rythme de trafic quotidien nécessaire pour l'atteindre dans les temps.

Questions fréquentes

Quelle taille d'échantillon me faut-il pour un test A/B?

La taille d'échantillon dépend de votre taux de conversion de référence, de l'effet minimal détectable et de la puissance et du niveau de signification choisis, sans chiffre fixe qui vaille pour tous les tests. Un test qui fait passer une référence de 5% de 1 point de pourcentage à 80% de puissance et 95% de signification nécessite environ 8,146 visiteurs par variante.

Qu'est-ce qu'un bon effet minimal détectable?

Un bon effet minimal détectable est le plus petit changement qui vaudrait quand même la peine d'être publié, pas le plus petit changement théoriquement mesurable. Le fixer trop bas impose une taille d'échantillon déraisonnablement grande ; le fixer trop haut laisse passer des améliorations réelles et plus petites sans que le test les détecte.

Pourquoi les effets plus petits exigent-ils des échantillons plus grands?

Les effets plus petits exigent des échantillons plus grands parce que la formule de la taille d'échantillon élève au carré l'effet minimal détectable au dénominateur, donc diviser l'effet par deux quadruple à peu près l'échantillon requis. Un test conçu pour repérer un mouvement de 0.5 point de pourcentage nécessite environ quatre fois plus de visiteurs qu'un test conçu pour repérer 1 point de pourcentage.

Que se passe-t-il si j'arrête un test A/B trop tôt?

Arrêter un test A/B trop tôt, sur la base d'un résultat qui semble favorable avant d'atteindre la taille d'échantillon calculée, gonfle le taux réel de faux positifs au-delà du niveau de signification que le test devait respecter. La confiance de 95% annoncée ne reflète plus les chances réelles d'un faux gagnant une fois que l'équipe vérifie les résultats et agit dessus de façon répétée.

Une puissance de 80% est-elle toujours le bon choix?

Une puissance de 80% est une valeur par défaut courante, pas une obligation, et cela signifie que le test manque un effet réel sur cinq de la taille choisie. Faire passer la puissance à 90% détecte plus d'effets réels, au prix d'une taille d'échantillon requise plus grande.

Puis-je utiliser un échantillon plus petit si je veux juste un signal directionnel?

Faire tourner le test en dessous de la taille d'échantillon calculée pour une lecture directionnelle est possible, mais le résultat porte alors une probabilité nettement plus élevée d'être du bruit, pas une version réduite de la même confiance. Traitez toute lecture prise avant d'atteindre la taille d'échantillon cible comme informelle, et ne l'utilisez pas pour prendre une décision permanente.

Combien de temps faut-il pour atteindre la taille d'échantillon nécessaire?

La formule donne un nombre de visiteurs, pas un nombre de jours, le délai dépend donc du trafic déjà reçu par la page testée. Une page de paiement qui a besoin de 8 146 visiteurs par variante atteint ce chiffre plus vite sur une page à fort trafic que sur une page à faible trafic. Consulter les données d'entonnoir et d'objectifs avant le lancement montre si le taux de trafic quotidien actuel peut atteindre la cible dans un délai raisonnable.

Pourquoi mesurer la référence sur deux à quatre semaines plutôt qu'un seul jour?

Un seul jour peut être anormalement haut ou bas pour des raisons sans rapport avec le test, comme un week-end creux ou une campagne marketing. Deux à quatre semaines de trafic habituel lissent ces variations et donnent à la formule un taux de conversion de référence qui représente vraiment la page. Chaque autre valeur de la formule, y compris le taux cible et l'effet minimal détectable, se définit par rapport à ce chiffre de départ.

La formule de la taille d'échantillon suppose-t-elle un trafic égal entre les variantes?

La formule calcule n comme le nombre de visiteurs nécessaires par variante, et l'exemple du paiement applique ces mêmes 8 146 au témoin et à la variante, soit 16 292 au total. Cela signifie que le calcul suppose une répartition égale du trafic entre les deux versions comparées. Un test qui envoie un trafic inégal à chaque variante n'atteindra pas les deux tailles d'échantillon en même temps.

Le taux de conversion de référence peut-il venir d'une page différente de celle testée?

Non, la référence doit venir exactement de la page où le test va tourner, mesurée sur la métrique pour laquelle cette page est testée. Une page de paiement qui convertit à 5% est la référence pour un test sur cette même page de paiement, pas un taux emprunté à une autre page ou à une autre métrique. Utiliser un taux venu d'ailleurs casse la relation dont la formule a besoin entre la référence et le taux cible.