Shopify A/B-Test Sample Size: Formel und Rechenbeispiel

Wichtigste Erkenntnisse

• Deine Shopify A/B-Test Sample Size (Stichprobengröße) ist die Anzahl an Besuchern, die jede Variante braucht, bevor das Ergebnis überhaupt Aussagekraft hat. Erklärst du den Gewinner zu früh, interpretierst du nur Rauschen.
• Vier Faktoren bestimmen sie: deine Baseline Conversion Rate (Ausgangs-Konversionsrate), der Minimum Detectable Effect (MDE - kleinster erkennbarer Effekt), den du erfassen willst, das Signifikanzniveau (meist 95 %) und die statistische Power (meist 80 %).
• Eine niedrigere Baseline Conversion Rate und ein kleinerer erkennbarer Effekt treiben die benötigte Stichprobe schnell in die Höhe. Kleine Änderungen bei Shops mit wenig Traffic können Zehntausende von Besuchern pro Variante erfordern.
• Nutze einen kostenlosen Rechner wie den von Evan Miller, um die Zahl zu ermitteln, und plane den Test dann in vollen Traffic-Wochen, damit Wochentags-Muster das Ergebnis nicht verfälschen.
• Fudge liefert deine Testvariante in Minuten als nativen Theme-Code aus, das Langsame ist also der Traffic, nicht der Aufbau.

Deine Shopify A/B-Test Sample Size ist die eine Zahl, die entscheidet, ob dir ein Test überhaupt etwas sagen kann. Sie bestimmt, wie viele Besucher jede Version der Seite sehen muss, bevor der Unterschied zwischen ihnen echt und nicht bloß Zufall ist.

Machst du das falsch, ist die ganze Übung reines Theater.

Warum du uns vertrauen kannst

Wir arbeiten seit über vier Jahren im Shopify-Bereich und haben Hunderten von Brands geholfen, ihre Storefronts zu verbessern. Wir bauen Fudge, den KI-Operator für Shopify-Shops, mit einer Bewertung von 4.9 im Shopify App Store. Wir sitzen also direkt auf der Theme-Ebene, wo diese Tests tatsächlich laufen, und sehen, wie oft sie abgebrochen werden, bevor die Daten es belegen.

Warum die Sample Size wichtig ist

Ein A/B-Test vergleicht zwei Versionen einer Seite und misst, welche besser konvertiert. Der Haken daran ist, dass Conversions natürlichen Schwankungen unterliegen (Noise). Wenn du eine faire Münze 20 Mal wirfst, bekommst du selten genau zehnmal Kopf. Kleine Stichproben schwanken stark um die tatsächliche Rate.

Die Sample Size ist dein Schutz gegen dieses Rauschen. Unterhalb des Schwellenwerts kann eine Variante reiner Zufall sein, aber fälschlicherweise wie ein 15%iger Gewinner aussehen.

Zwei Fehlerquellen entstehen, wenn man sie ignoriert.

Underpowered Tests (zu wenig Power). Wenn du den Test mit zu wenigen Besuchern beendest, kann sich eine echte Verbesserung im Rauschen verstecken und als “kein Unterschied” gelesen werden. Du schlussfolgerst, dass die Änderung nicht funktioniert hat, setzt nichts live und lässt den Uplift auf der Strecke.

Peeking und zu frühes Stoppen. Der verlockendere Fehler ist, täglich aufs Dashboard zu schauen und den Test zu stoppen, sobald die Signifikanz grün aufleuchtet. Jeder zusätzliche Blick (Peeking) ist eine weitere Chance für eine zufällige Schwankung, die Ziellinie zu überqueren. Wiederholtes Überprüfen treibt die echte Falsch-Positiv-Rate weit über die 5 %, von denen du denkst, dass du sie hast.¹ Die Lösung: Leg die Sample Size im Voraus fest und warte ab.

Das ist der Unterschied zwischen dem bloßen Ausführen von Tests und dem Führen eines echten Testing-Programms. Das große Ganze findest du in unserem Guide zu Shopify Conversion Testing.

Die vier Faktoren der Sample-Size-Berechnung

Jeder Rechner fragt nach denselben vier Dingen. Wenn du sie verstehst, ist die Zahl keine Blackbox mehr.

Baseline Conversion Rate

Das ist dein Startpunkt, gezogen aus deinen eigenen Analytics für genau die Seite und Zielgruppe, die du testen willst. Eine Produktseite, die mit Mobile-Traffic getestet wird, hat eine andere Baseline als dieselbe Seite auf dem Desktop. Grenze den Wert also exakt auf deinen Test ein.

Minimum Detectable Effect

Der Minimum Detectable Effect ist der kleinste Uplift, bei dem sich die Erkennung lohnt, meist als relativer Prozentsatz angegeben. Ein MDE von 20 % bei einer Baseline von 3 % bedeutet, dass du einen Sprung auf 3,6 % zuverlässig erkennen möchtest.

Diesen Faktor schätzen die Leute am häufigsten falsch ein. Ein kleinerer MDE bedeutet einen empfindlicheren Test, und Empfindlichkeit ist teuer. Wenn du den Effekt, den du erfassen willst, halbierst, vervierfacht sich die Anzahl der benötigten Besucher ungefähr.

Signifikanz und Power

Die Signifikanz (95 %) legt fest, wie sicher du sein möchtest, dass ein erkannter Gewinner kein Zufall ist. Die Power (80 %) bestimmt, wie wahrscheinlich es ist, dass du einen Gewinner entdeckst, der tatsächlich existiert. Beides sind Konventionen, keine Gesetze, aber sie sind bewährte Standards und ein vernünftiger Startpunkt für die meisten Stores.

Die Sample-Size-Formel und ein Rechenbeispiel

Für einen Test, der zwei Conversion Rates vergleicht, lautet die Standardnäherung für die benötigten Besucher pro Variante:

n = (z_alpha + z_beta)^2 x [ p1(1-p1) + p2(1-p2) ] / (p2 - p1)^2

wobei:
  p1        = Baseline Conversion Rate
  p2        = Baseline x (1 + MDE)
  z_alpha   = 1,96   (zweiseitig, 95 % Signifikanz)
  z_beta    = 0,84   (80 % Power)

Gehen wir einen konkreten Fall durch. Bei einer Baseline Conversion Rate von 3 % möchtest du einen relativen Uplift von 20 % erfassen, bei 95 % Signifikanz und 80 % Power.

• p1 = 0,03, also p2 = 0,03 x 1,20 = 0,036
• (1,96 + 0,84)^2 = 2,8^2 = 7,84
• p1(1-p1) = 0,0291, und p2(1-p2) = 0,0347, ergibt in Summe etwa 0,0638
• (p2 - p1)^2 = 0,006^2 = 0,000036

Setzt man das zusammen, ergibt das 7,84 x 0,0638 / 0,000036. Das entspricht etwa 13.900 Besuchern pro Variante oder rund 27.800 insgesamt.

Das ist die Zahl, die der Rechner ausspuckt. Der große Vorteil, das einmal per Hand durchzurechnen, liegt darin, dass du genau siehst, wie die einzelnen Faktoren das Ergebnis beeinflussen.

Wie Baseline und MDE die Zahl verändern

Die beiden Treiber sind deine Baseline Conversion Rate und der Effekt, den du erfassen willst. Beide können die Sample Size schnell explodieren lassen. Die folgende Tabelle wendet dieselbe Formel bei 95 % Signifikanz und 80 % Power auf verschiedene Szenarien an.

Aus der Mathematik ergeben sich zwei Muster.

Kleinere Effekte kosten viel mehr. Wenn du den MDE bei einer Baseline von 3 % von 20 % auf 10 % senkst, steigt die Anforderung von etwa 13.900 auf 53.100 pro Variante. Jagd auf eine winzige Steigerung zu machen, ist der schnellste Weg, einen Test zu entwerfen, den du nie beenden kannst.

Eine niedrigere Baseline wird bestraft. Bei einer Baseline von 1 % benötigt selbst eine 20-prozentige Steigerung etwa 42.600 Besucher pro Variante – dreimal so viel wie im 3 %-Fall, weil seltene Ereignisse relativ gesehen mehr Rauschen mit sich bringen.

Die letzte Spalte übersetzt die Anzahl in Kalenderzeit. Sie geht von 4.000 testberechtigten Besuchern pro Woche aus, aufgeteilt auf beide Varianten, aufgerundet auf volle Wochen. In dieser Spalte trifft die Realität auf die meisten Shopify-Testpläne.

Baue dein eigenes Sample-Size-Template

Du brauchst kein ausgefallenes Tool, um das zu planen. Ein Spreadsheet mit der obigen Formel reicht vollkommen aus und lässt dich die Ergebnisse jedes Rechners auf Plausibilität prüfen.

Lege folgende Zellen an:

• Baseline CVR (Input): deine aktuelle Rate, zum Beispiel 0,03
• MDE (Input): relativer Uplift, zum Beispiel 0,20
• p2 (Berechnet): Baseline * (1 + MDE)
• z_alpha (Konstante): 1,96 für 95 % zweiseitig
• z_beta (Konstante): 0,84 für 80 % Power
• n pro Variante (Berechnet): (z_alpha + z_beta)^2 * (p1*(1-p1) + p2*(1-p2)) / (p2 - p1)^2

Füge dann noch ein Feld für den wöchentlichen Traffic und eine Zelle für die Dauer hinzu, die 2 * n durch deine wöchentlichen testberechtigten Besucher teilt. Jetzt kannst du den MDE verändern und sofort sehen, wie sich die Laufzeit anpasst, bevor du dich auf einen Test festlegst.

Führe ein zweites Sheet, in dem jeder Test protokolliert wird: Hypothese, betroffene Seite, Start- und Enddatum, geplante Sample Size und das Ergebnis. Dieses Log verhindert, dass du geklärte Fragen erneut testest, und macht dein CRO-Programm überprüfbar. Es passt perfekt zu einem umfassenderen Shopify CRO-Plan.

Kostenlose A/B-Test-Rechner, die sich lohnen

Wenn du keine Tabelle pflegen möchtest, erledigen zwei bekannte, kostenlose Tools denselben Job.

Der Sample Size Calculator von Evan Miller nimmt deine Baseline Rate und den MDE und berechnet die Stichprobe pro Variante, basierend auf denselben Eingaben für Signifikanz und Power.² Er ist eine etablierte Referenz in der Testing-Community und ein guter Gegencheck für deine eigene Tabelle.

Der Sample Size Calculator von Optimizely ist eine weitere kostenlose, browserbasierte Option, die nach denselben Eingaben fragt und dir eine Zahl pro Variante liefert. Der Rechner von Optimizely verwendet eine eigene sequenzielle Methode, erwarte also eine etwas andere Zahl als bei der obigen Formel.

Welchen du auch nutzt, füttere ihn mit deiner echten Baseline und einem realistischen MDE. Ein Rechner, der mit optimistischen Eingaben gefüttert wird, liefert eine optimistische und meist unerreichbare Zahl.

Die Low-Traffic-Realität bei Shopify

Hier ist die harte Wahrheit für kleinere Stores: Die Szenarien-Tabelle zeigt, dass die Erfassung eines bescheidenen Uplifts bei einer typischen Conversion Rate schnell Zehntausende von Besuchern pro Variante erfordern kann. Viele Shopify-Shops erreichen das in einem vernünftigen Zeitfenster einfach nicht.

Das heißt aber nicht, dass Testing völlig sinnlos ist. Es bedeutet nur, dass du intelligenter testen musst.

• Teste größere Veränderungen. Ein komplettes Page-Redesign oder ein völlig neues Angebot bewegt die Nadel deutlich mehr als eine angepasste Button-Farbe. Daher ist eine kleinere Sample Size nötig, um den Effekt nachzuweisen. Hebe dir feinkörnige Detail-Tests für Stores mit viel Traffic auf.
• Teste Seiten mit mehr Traffic. Führe Experimente auf den Seiten durch, die die meisten Sessions abbekommen, wie der Startseite, der Haupt-Collection und der Top-Produktseite, anstatt in einer wenig besuchten Ecke deines Shops.
• Lass Tests volle Wochen laufen. Teste immer in Blöcken von ganzen Wochen. Wochenend- und Werktagsshopper verhalten sich unterschiedlich. Ein Test, der an einem Montag startet und an einem Donnerstag endet, ist von vornherein durch diesen Bias verfälscht.
• Akzeptiere weniger, dafür längere Tests. Ein Low-Traffic-Store, der einen sauberen, vierwöchigen Test durchzieht, ist besser dran als einer, der fünf Underpowered Tests startet und wieder abbrechen muss.
• Verlass dich auch auf qualitative Signale. Heatmaps, Session-Recordings und Umfragen brauchen keine statistische Power. Sie können dir den Weg zu den großen Stellschrauben weisen, die einen echten A/B-Test wert sind.

Tools, die das auch mit einem kleineren Shopify-Budget unterstützen, findest du in unserer Übersicht der besten Shopify-Apps für CRO.

Wo Fudge ins Spiel kommt

Die Sample Size legt fest, wie lange ein Test laufen muss. Die andere Hälfte der Gleichung ist, wie lange es dauert, die Variante überhaupt zu bauen, und hier geraten die meisten Tests ins Stocken, bevor sie anfangen.

Fudge ist der KI-Operator für Shopify-Shops und schreibt nativen Theme-Code. Du beschreibst die Variante, die du testen willst – ein neues Layout für die Produktseite, einen anderen Hero-Bereich, ein umstrukturiertes Angebot – und er schreibt Liquid, CSS und JavaScript direkt als separaten Entwurf in dein Theme, bereit für das A/B-Testing-Tool, das du ohnehin schon nutzt. Keine Entwickler-Warteschlange, kein Widget.

Weil der Output echter Theme-Code ist, verhält sich die Variante während des Tests wie der Rest deines Shops, ohne dass ein Drittanbieter-Skript die Seite verlangsamt und das Ergebnis verfälscht. Du kannst den Herausforderer (Challenger) hochfahren, dein Testing-Tool darauf ansetzen und deine Mühe auf den Teil verwenden, der tatsächlich Zeit kostet: darauf warten, dass sich die Stichprobe füllt. Dasselbe gilt für alles andere, was du mit dem Shopify Store Editor baust.

Fudge selbst ist kein Testing-Tool. Bei Seiten, die niemals die Stichprobe erreichen, die ein Split-Test benötigt, vergleicht seine Conversion-Arbeit die Conversion Rate und die Käufe vor und nach jeder Änderung und sagt dir, wenn es noch nicht genug Daten gibt. Das sind beobachtete Änderungen, keine kontrollierten Tests, behandle sie also eher als Richtung denn als Beweis.

FAQ