So berechnen Sie die Stichprobengröße für A/B-Tests vor dem Start

Wie berechnet man die Stichprobengröße für A/B-Tests?

Drei Eingaben legen die Stichprobengröße für A/B-Tests fest, bevor auch nur ein Besucher den Test sieht: die Baseline-Conversion-Rate, der minimal nachweisbare Effekt und die erforderliche statistische Power. Setzen Sie diese drei Werte zusammen mit einem gewählten Signifikanzniveau in die Formel für die Stichprobengröße ein, und die Formel liefert die Anzahl an Besuchern, die jede Variante braucht, bevor der Test ausgewertet werden kann. Berechnen Sie diese Zahl vor dem Start, nicht erst, nachdem der Test eine Woche gelaufen ist und jemand eine frühe Antwort will, und nutzen Sie sie, um vor dem Vergleich mit einem externen Benchmark ein Ziel für eine gute Conversion-Rate für den Test festzulegen.

Was ist die Baseline-Conversion-Rate?

Die Baseline-Conversion-Rate ist die aktuelle Rate der getesteten Kennzahl, gemessen auf der Seite vor jeder Änderung, mit derselben Formel für die Conversion-Rate, die das Unternehmen bereits verfolgt. Eine Checkout-Seite, die heute mit 5% konvertiert, ist die Baseline für einen Test auf genau dieser Seite, und die Formel definiert jede andere Eingabe relativ zu dieser Ausgangszahl. Ziehen Sie die Baseline aus mindestens zwei bis vier Wochen typischem Traffic statt aus einem einzelnen ungewöhnlichen Tag.

Was ist der minimal nachweisbare Effekt?

Der minimal nachweisbare Effekt ist die kleinste Veränderung der Conversion-Rate, die der Test zuverlässig erkennen soll, angegeben als Differenz zwischen der Baseline und der Zielrate. Ein minimal nachweisbarer Effekt von 1 Prozentpunkt bei einer Baseline von 5% bedeutet, dass der Test darauf ausgelegt ist, einen Anstieg auf 6% zuverlässig zu erkennen, und eine kleinere Bewegung wie 5.3% wird er nicht zuverlässig erfassen. Ein kleinerer minimal nachweisbarer Effekt braucht eine größere Stichprobe, da die Formel eine kleinere Lücke vom Zufallsrauschen trennen muss.

Was bedeutet statistische Power in einem A/B-Test?

Statistische Power ist die Wahrscheinlichkeit, dass der Test einen echten Effekt der gewählten Größe erkennt, wenn dieser Effekt tatsächlich existiert. Eine Power von 80%, der übliche Standardwert, bedeutet, dass der Test einen echten Effekt einmal von fünf Malen verpasst, sodass eine Erhöhung der Power auf 90% mehr echte Effekte erfasst, dafür aber eine größere Stichprobe braucht.

Was bedeutet Signifikanzniveau in einem A/B-Test?

Das Signifikanzniveau ist die Wahrscheinlichkeit, einen Gewinner zu erklären, obwohl es keinen echten Unterschied zwischen den Varianten gibt, meist auf 5% gesetzt, was einem Signifikanzniveau von 95% entspricht. Senkt man diese Falsch-Positiv-Rate auf 1%, wird der Test konservativer und braucht, wie eine höhere Power, eine größere Stichprobe, um zu einem Ergebnis zu kommen. Das ist derselbe Kompromiss, der auch A/B-Tests auf Live-Traffic allgemein prägt.

Was ist die Formel für die Stichprobengröße?

Die Formel für die Stichprobengröße kombiniert die Baseline-Rate, die Zielrate und die Z-Werte für die gewählte Power und das gewählte Signifikanzniveau zu einer Berechnung pro Variante.

n = (Z(1-alpha/2) + Z(1-beta))^2 x [p1(1-p1) + p2(1-p2)] / (p2 - p1)^2

Rechnen Sie es an einem Checkout-Test durch. Die Baseline-Conversion-Rate p1 liegt bei 5% (0.05), die Zielrate p2 bei 6% (0.06) nach einem minimal nachweisbaren Effekt von 1 Prozentpunkt, die Signifikanz liegt bei 95% (Z = 1.96) und die Power bei 80% (Z = 0.84).

(1.96 + 0.84)^2 = 7.84, und [0.05 x 0.95 + 0.06 x 0.94] = 0.1039. 7.84 x 0.1039 geteilt durch (0.01)^2 ergibt 8,145.76, aufgerundet auf 8,146 Besucher pro Variante, oder etwa 16,292 insgesamt über beide Varianten. Wird der minimal nachweisbare Effekt auf 0.5 Prozentpunkte halbiert, vervierfacht sich diese Zahl ungefähr, da der Nenner die Effektgröße quadriert.

Warum bricht ein früher Blick auf die Ergebnisse die Berechnung der Stichprobengröße?

Ein Blick auf die Ergebnisse, bevor die berechnete Stichprobengröße erreicht ist, bricht den Test, weil jeder frühe Blick eine neue Chance für Zufallsrauschen ist, die Signifikanzschwelle zu überschreiten. Ein Test, der zwei Wochen lang täglich geprüft wird, gibt der zufälligen Streuung vierzehn separate Gelegenheiten, ein falsch-positives Ergebnis zu erzeugen, sodass die tatsächliche Falsch-Positiv-Rate am Ende deutlich über den 5% liegt, die der Test einhalten sollte, obwohl jede einzelne Prüfung eine gültige 95%-Schwelle verwendet hat. Legen Sie die Stichprobengröße vor dem Start fest, führen Sie den Test bis zu dieser Zahl, ohne unterwegs nach einem Urteil zu schauen, und nutzen Sie Funnel- und Zieldaten, um die tägliche Traffic-Rate zu bestätigen, die nötig ist, um sie planmäßig zu erreichen.

Häufig gestellte Fragen

Welche Stichprobengröße brauche ich für einen A/B-Test?

Die Stichprobengröße hängt von der Baseline-Conversion-Rate, dem minimal nachweisbaren Effekt sowie der gewählten Power und dem Signifikanzniveau ab, es gibt keine feste Zahl, die für jeden Test gilt. Ein Test, der eine Baseline von 5% um 1 Prozentpunkt bei 80% Power und 95% Signifikanz verschiebt, braucht etwa 8,146 Besucher pro Variante.

Was ist ein guter minimal nachweisbarer Effekt?

Ein guter minimal nachweisbarer Effekt ist die kleinste Veränderung, die es noch wert wäre, live zu gehen, nicht die kleinste Veränderung, die theoretisch messbar ist. Wird er zu klein gesetzt, erzwingt das eine unangemessen große Stichprobe; wird er zu groß gesetzt, rutschen echte, kleinere Verbesserungen unentdeckt durch den Test.

Warum brauchen kleinere Effekte größere Stichproben?

Kleinere Effekte brauchen größere Stichproben, weil die Formel für die Stichprobengröße den minimal nachweisbaren Effekt im Nenner quadriert, sodass eine Halbierung des Effekts die benötigte Stichprobe etwa vervierfacht. Ein Test, der auf eine Bewegung von 0.5 Prozentpunkten ausgelegt ist, braucht etwa viermal so viele Besucher wie einer, der auf 1 Prozentpunkt ausgelegt ist.

Was passiert, wenn ich einen A/B-Test vorzeitig beende?

Wird ein A/B-Test vorzeitig beendet, weil ein Zwischenstand günstig aussieht, bevor die berechnete Stichprobengröße erreicht ist, steigt die tatsächliche Falsch-Positiv-Rate über das Signifikanzniveau, das der Test einhalten sollte. Die gemeldeten 95% Konfidenz spiegeln die echten Chancen auf einen falschen Gewinner nicht mehr wider, sobald das Team Ergebnisse wiederholt prüft und danach handelt.

Ist eine Power von 80% immer die richtige Wahl?

80% Power ist ein üblicher Standardwert, keine Pflicht, und bedeutet, dass der Test einen von fünf echten Effekten der gewählten Größe verpasst. Eine Erhöhung der Power auf 90% erfasst mehr echte Effekte, kostet aber eine größere benötigte Stichprobe.

Kann ich eine kleinere Stichprobe verwenden, wenn ich nur ein Richtungssignal will?

Es ist möglich, unterhalb der berechneten Stichprobengröße für eine grobe Richtungsablesung zu bleiben, aber das Ergebnis trägt eine deutlich höhere Chance, Rauschen zu sein, nicht einfach eine kleinere Version derselben Sicherheit. Behandeln Sie jede Ablesung vor Erreichen der Ziel-Stichprobengröße als informell und treffen Sie darauf keine dauerhafte Entscheidung.

Wie lange dauert es, bis die nötige Stichprobengröße erreicht ist?

Die Formel liefert eine Anzahl an Besuchern, keine Anzahl an Tagen, der Zeitrahmen hängt also vom bestehenden Traffic der getesteten Seite ab. Eine Checkout-Seite, die 8.146 Besucher pro Variante braucht, erreicht diese Zahl auf einer Seite mit viel Traffic schneller als auf einer mit wenig. Ein Blick auf Funnel- und Goal-Daten vor dem Start zeigt, ob die aktuelle tägliche Traffic-Rate das Ziel in einem angemessenen Zeitraum erreichen kann.

Warum die Baseline über zwei bis vier Wochen messen statt an einem einzigen Tag?

Ein einzelner Tag kann ungewöhnlich hoch oder niedrig ausfallen, aus Gründen, die nichts mit dem Test zu tun haben, etwa ein schwacher Wochenendtag oder eine Marketingaktion. Zwei bis vier Wochen typischen Traffics gleichen solche Ausschläge aus und liefern der Formel eine Baseline-Conversion-Rate, die die Seite tatsächlich abbildet. Jeder andere Wert in der Formel, einschließlich der Zielrate und des minimal nachweisbaren Effekts, wird relativ zu dieser Ausgangszahl definiert.

Geht die Formel für die Stichprobengröße von einer gleichmäßigen Traffic-Verteilung aus?

Die Formel berechnet n als Anzahl der Besucher pro Variante, und das Checkout-Beispiel wendet dieselben 8.146 auf Kontrolle und Variante an, macht 16.292 insgesamt. Das bedeutet, die Berechnung geht von einer gleichmäßigen Aufteilung des Traffics zwischen beiden Versionen aus. Ein Test, der den Varianten ungleich viel Traffic zuweist, erreicht beide Stichprobengrößen nicht zur gleichen Zeit.

Kann die Baseline-Conversion-Rate von einer anderen Seite stammen als der getesteten?

Nein, die Baseline muss von genau der Seite stammen, auf der der Test läuft, gemessen an der Metrik, für die diese Seite getestet wird. Eine Checkout-Seite mit 5% Conversion-Rate ist die Baseline für einen Test auf derselben Checkout-Seite, nicht eine Rate von einer anderen Seite oder einer anderen Metrik. Eine Rate von woanders zu verwenden zerstört die Beziehung, auf die sich die Formel zwischen Baseline und Zielrate stützt.