Taille d'échantillon pour un test A/B Shopify : Formule et exemple détaillé

À retenir

• La taille de l’échantillon de votre test A/B Shopify est le nombre de visiteurs dont chaque variante a besoin avant que le résultat ne veuille dire quelque chose. Si vous désignez un gagnant trop tôt, vous ne lisez que du bruit.
• Quatre éléments la déterminent : votre taux de conversion de base, l’effet minimum détectable (MDE) que vous voulez capter, le seuil de signification (généralement 95 %) et la puissance statistique (généralement 80 %).
• Un taux de conversion de base plus faible et un effet détectable plus petit font tous deux grimper rapidement l’échantillon requis. De petits changements sur des boutiques à faible trafic peuvent nécessiter des dizaines de milliers de visiteurs par variante.
• Utilisez un calculateur gratuit comme celui d’Evan Miller pour obtenir ce chiffre, puis planifiez le test sur des semaines complètes de trafic pour que les variations selon les jours de la semaine ne faussent pas les résultats.
• Fudge déploie votre variante de test sous forme de code de thème natif en quelques minutes. Ce qui prend du temps, c’est le trafic, pas le développement.

La taille de l’échantillon de votre test A/B Shopify est le chiffre clé qui détermine si un test peut vous apprendre quelque chose. C’est le nombre de visiteurs que chaque version de la page doit recevoir avant que la différence entre elles soit réelle et non due au hasard.

Si vous vous trompez, tout l’exercice n’est que du théâtre.

Pourquoi vous pouvez nous faire confiance

Nous travaillons dans l’écosystème Shopify depuis plus de quatre ans et avons aidé des centaines de marques à améliorer leurs boutiques. Nous développons Fudge, l’opérateur IA pour les boutiques Shopify, noté 4.9 sur le Shopify App Store. Nous sommes donc au niveau du thème, là où ces tests s’exécutent réellement, et nous voyons à quelle fréquence ils sont arrêtés avant que les données ne le justifient.

Pourquoi la taille de l’échantillon est si importante

Un test A/B compare deux versions d’une page et mesure laquelle convertit le mieux. Le piège, c’est que la conversion fait du « bruit ». Lancez une pièce équilibrée 20 fois et vous obtiendrez rarement exactement dix fois pile. Les petits échantillons fluctuent beaucoup autour du taux réel.

La taille de l’échantillon est votre protection contre ce bruit. En dessous du seuil de significativité, une variante peut sembler gagnante de 15 % par pur hasard.

Il existe deux risques principaux quand on l’ignore.

Les tests sous-dimensionnés (underpowered). Si vous arrêtez avec trop peu de visiteurs, une véritable amélioration peut se cacher dans le bruit et ressembler à une « absence de différence ». Vous concluez que le changement n’a pas fonctionné, vous ne déployez rien, et vous passez à côté de l’augmentation de vos ventes.

Le “peeking” et l’arrêt prématuré. L’erreur la plus tentante est de vérifier le tableau de bord tous les jours et d’arrêter le test dès que la significativité passe au vert. Chaque vérification supplémentaire est une nouvelle occasion pour une variation aléatoire de franchir la ligne. Par conséquent, des vérifications répétées gonflent le taux réel de faux positifs bien au-delà des 5 % que vous croyez cibler.¹ La solution ? Fixer la taille de l’échantillon à l’avance et faire preuve de patience.

C’est la différence entre faire des tests au hasard et gérer un vrai programme de testing. Pour une vision plus globale, consultez notre guide sur l’optimisation des conversions Shopify.

Les 4 variables pour calculer la taille de l’échantillon

Tous les calculateurs demandent les quatre mêmes éléments. Comprenez-les et ce chiffre cessera d’être une boîte noire.

Le taux de conversion de base

C’est votre point de départ, tiré de vos propres données (analytics) pour la page et l’audience exactes que vous comptez tester. Une page produit testée sur du trafic mobile a une base de référence (baseline) différente de la même page sur ordinateur, vous devez donc l’adapter spécifiquement à votre test.

L’effet minimum détectable (MDE)

L’effet minimum détectable (MDE - Minimum Detectable Effect) est la plus petite amélioration qui vaille la peine d’être détectée, souvent exprimée en pourcentage relatif. Un MDE de 20 % sur une baseline de 3 % signifie que vous voulez repérer de façon fiable un passage à 3,6 %.

C’est la variable que les gens évaluent le plus mal. Un MDE plus faible signifie un test plus sensible, et la sensibilité coûte cher. Réduire de moitié l’effet que vous voulez détecter multiplie par quatre le nombre de visiteurs dont vous avez besoin.

Significativité et puissance

La significativité (95 %) définit à quel point vous voulez être sûr qu’une victoire détectée n’est pas le fruit du hasard. La puissance (80 %) définit la probabilité de détecter une victoire qui existe réellement. Ce sont des conventions, pas des lois, mais ce sont les valeurs par défaut standards et un point de départ raisonnable pour la plupart des boutiques.

La formule de taille d’échantillon et un exemple concret

Pour un test comparant deux taux de conversion, l’approximation standard du nombre de visiteurs nécessaires par variante est :

n = (z_alpha + z_beta)^2 x [ p1(1-p1) + p2(1-p2) ] / (p2 - p1)^2

où :
  p1        = taux de conversion de base
  p2        = baseline x (1 + MDE)
  z_alpha   = 1,96   (bilatéral, significativité de 95 %)
  z_beta    = 0,84   (puissance de 80 %)

Prenons un cas concret. Vous avez un taux de conversion de base de 3 %, et vous voulez détecter une augmentation relative de 20 %, à 95 % de significativité et 80 % de puissance.

• p1 = 0,03, donc p2 = 0,03 x 1,20 = 0,036
• (1,96 + 0,84)^2 = 2,8^2 = 7,84
• p1(1-p1) = 0,0291, et p2(1-p2) = 0,0347, ce qui donne une somme d’environ 0,0638
• (p2 - p1)^2 = 0,006^2 = 0,000036

En combinant tout cela, on obtient 7,84 x 0,0638 / 0,000036, soit environ 13 900 visiteurs par variante, ou grossièrement 27 800 au total.

C’est le nombre que vous renvoie le calculateur. L’intérêt de le faire à la main au moins une fois, c’est de comprendre exactement ce qui fait varier le résultat.

Comment la baseline et le MDE modifient le calcul

Les deux moteurs sont votre taux de conversion de base et l’effet que vous souhaitez capter. Les deux peuvent faire exploser la taille de l’échantillon très rapidement. Le tableau ci-dessous applique la même formule avec une signification de 95 % et une puissance de 80 % sur quelques scénarios.

Deux tendances se dégagent de ces calculs.

Les petits effets coûtent beaucoup plus cher. Passer d’un MDE de 20 % à 10 % sur une base de 3 % fait passer le besoin d’environ 13 900 à 53 100 visiteurs par variante. Courir après une toute petite amélioration est le moyen le plus rapide de concevoir un test que vous ne pourrez jamais terminer.

Un taux de base plus faible est punitif. Avec un taux de base de 1 %, même une hausse de 20 % nécessite environ 42 600 visiteurs par variante, soit trois fois plus que dans le cas à 3 %, car les événements rares comportent plus de bruit relatif.

La dernière colonne traduit ce nombre en temps calendaire. Elle suppose 4 000 visiteurs éligibles au test par semaine, répartis sur les deux variantes, arrondis à des semaines complètes. C’est dans cette colonne que la plupart des plans de test Shopify se heurtent à la réalité.

Créez votre propre modèle de calcul

Vous n’avez pas besoin d’un outil complexe pour planifier tout ça. Un simple tableur avec la formule ci-dessus fait l’affaire et vous permet de vérifier la cohérence de n’importe quel calculateur.

Configurez ces cellules :

• CVR de base (entrée) : votre taux actuel, par exemple 0,03
• MDE (entrée) : l’augmentation relative espérée, par exemple 0,20
• p2 (calculé) : baseline * (1 + MDE)
• z_alpha (constante) : 1,96 pour 95 % bilatéral
• z_beta (constante) : 0,84 pour une puissance de 80 %
• n par variante (calculé) : (z_alpha + z_beta)^2 * (p1*(1-p1) + p2*(1-p2)) / (p2 - p1)^2

Ajoutez ensuite une entrée pour le trafic hebdomadaire et une cellule pour la durée qui divise 2 * n par le nombre de vos visiteurs hebdomadaires éligibles au test. Vous pouvez maintenant modifier le MDE et voir la durée d’exécution évoluer avant de vous lancer dans un test.

Gardez une deuxième feuille listant chaque test : l’hypothèse, la page, les dates de début et de fin, la taille d’échantillon prévue, et le résultat. Ce journal de bord (log) vous évite de retester des choses déjà prouvées et rend votre programme auditable. Cela va naturellement de pair avec un plan CRO Shopify plus large.

Les calculateurs de tests A/B gratuits qui valent le coup

Si vous préférez ne pas gérer de tableur, deux outils gratuits très connus font le même travail.

Le calculateur de taille d’échantillon d’Evan Miller prend votre taux de base et le MDE, et vous donne l’échantillon par variante, en utilisant les mêmes paramètres de signification et de puissance.² C’est une référence historique dans la communauté du testing et un bon moyen de vérifier vos propres calculs.

Le calculateur d’Optimizely est une autre option gratuite sur navigateur qui demande les mêmes données et renvoie un nombre par variante. Le calculateur d’Optimizely utilise sa propre méthode séquentielle, attendez-vous donc à un chiffre différent de celui de la formule ci-dessus.

Quel que soit celui que vous utilisez, renseignez votre vrai taux de base et un MDE réaliste. Un calculateur nourri de données optimistes renverra un chiffre optimiste, et généralement inatteignable.

La réalité du manque de trafic sur Shopify

Voici la dure réalité pour les petites boutiques. Le tableau de scénarios montre que détecter une amélioration modeste sur un taux de conversion classique peut nécessiter des dizaines de milliers de visiteurs par variante. Beaucoup de boutiques Shopify n’atteignent pas ce trafic dans un laps de temps raisonnable.

Cela ne veut pas dire que faire des tests ne sert à rien. Cela signifie qu’il faut tester intelligemment.

• Testez des changements plus marqués. Une refonte complète de page ou une nouvelle offre feront bien plus bouger les lignes qu’un simple changement de couleur de bouton. Cela demandera donc un plus petit échantillon pour être détecté. Gardez les tests hyper-spécifiques pour les boutiques à fort trafic.
• Testez les pages avec le plus de trafic. Lancez vos tests sur les pages générant le plus de sessions, comme la page d’accueil, la collection principale ou la page produit phare, plutôt que sur un petit recoin de votre site peu visité.
• Faites des cycles de semaines complètes. Effectuez toujours vos tests sur des semaines entières (du lundi au dimanche). Les acheteurs de week-end et de semaine se comportent différemment. Un test qui commence un lundi et finit un jeudi intégrera naturellement ce biais.
• Acceptez de faire moins de tests, mais plus longs. Une boutique à faible trafic qui lance un test propre de quatre semaines s’en tirera toujours mieux qu’une autre qui en lance cinq mais les arrête prématurément (sous-dimensionnés).
• Appuyez-vous aussi sur des signaux qualitatifs. Les cartes de chaleur (heatmaps), les enregistrements de sessions et les sondages n’ont pas besoin de puissance statistique et peuvent vous orienter vers de gros changements qui justifient un test A/B.

Pour découvrir des outils adaptés au budget d’une boutique Shopify, consultez notre sélection des meilleures applications Shopify pour le CRO.

La place de Fudge dans tout ça

La taille de l’échantillon détermine la durée d’un test. L’autre moitié de l’équation est le temps nécessaire pour développer la variante en premier lieu, et c’est là que la plupart des tests bloquent avant même de commencer.

Fudge est l’opérateur IA pour les boutiques Shopify, et il écrit du code de thème natif. Vous décrivez la variante que vous souhaitez tester — une nouvelle mise en page de fiche produit, une bannière différente, une offre restructurée — et il écrit le Liquid, le CSS et le JavaScript directement dans votre thème en tant que brouillon séparé, prêt pour l’outil d’A/B testing que vous utilisez déjà. Pas de file d’attente chez les devs, pas de widget.

Comme le résultat est du vrai code de thème, la variante se comporte comme le reste de votre boutique pendant le test, sans script tiers qui ralentit la page et fausse le résultat. Vous pouvez lancer le challenger, y connecter votre outil de test et concentrer vos efforts sur ce qui prend vraiment du temps : attendre que l’échantillon se remplisse. Il en va de même pour tout ce que vous créez avec l’éditeur de boutique Shopify.

Fudge n’est pas un outil de test en soi. Pour les pages qui n’atteindront jamais l’échantillon requis par un test A/B, son travail sur la conversion compare le taux de conversion et les achats avant et après chaque changement, et vous indique quand il n’y a pas encore assez de données. Ce sont des changements observés, pas des tests contrôlés, alors considérez-les comme une direction plutôt que comme une preuve.

FAQ