W skrócie
6 min czytaniaWielkość próby w teście A/B ustala się przed startem na podstawie trzech danych: bazowego współczynnika konwersji, minimalnego wykrywalnego efektu i wymaganej mocy statystycznej, zwykle 80%, przy wybranym poziomie ufności, zwykle 95%. Test przesuwający bazowe 5% o minimalny wykrywalny efekt 1 punktu procentowego wymaga około 8 146 odwiedzających na wariant. Sprawdzanie wyników przed osiągnięciem tej liczby i zatrzymanie testu przy korzystnym wahnięciu podnosi odsetek wyników fałszywie dodatnich ponad poziom, który test miał utrzymać.
Jak obliczyć wielkość próby w teście A/B?
O wielkości próby w teście A/B decydują trzy dane, zanim pierwszy odwiedzający zobaczy test: bazowy współczynnik konwersji, minimalny wykrywalny efekt i wymagana moc statystyczna. Wstaw je do wzoru razem z wybranym poziomem istotności, a otrzymasz liczbę odwiedzających potrzebną na każdy wariant, zanim wynik będzie można odczytać. Oblicz ją przed startem, a nie po tygodniu działania testu, gdy ktoś chce szybkiej odpowiedzi, i na jej podstawie ustal, jaki współczynnik konwersji uznać za dobry jako cel testu, zanim porównasz wynik z zewnętrznymi punktami odniesienia.
Czym jest bazowy współczynnik konwersji?
Bazowy współczynnik konwersji to obecna wartość testowanego wskaźnika, zmierzona na stronie przed wprowadzeniem zmiany, tym samym wzorem na współczynnik konwersji, z którego firma już korzysta. Strona płatności konwertująca dziś na poziomie 5% wyznacza punkt wyjścia dla testu na tej stronie, a wszystkie pozostałe dane wzór określa względem tej liczby. Bazę wyznacz na podstawie co najmniej dwóch do czterech tygodni typowego ruchu, a nie jednego nietypowego dnia.

Czym jest minimalny wykrywalny efekt?
Minimalny wykrywalny efekt to najmniejsza zmiana współczynnika konwersji, jaką test ma wychwycić, podana jako różnica między wartością bazową a docelową. Wybór efektu 1 punktu procentowego przy bazie 5% oznacza, że test ma niezawodnie wykryć wzrost do 6%, ale nie wykryje niezawodnie mniejszej zmiany, na przykład do 5,3%. Mniejszy efekt wymaga większej próby, bo wzór musi oddzielić mniejszą różnicę od przypadkowego szumu.
Co oznacza moc statystyczna w teście A/B?
Moc statystyczna to prawdopodobieństwo, że test wykryje rzeczywisty efekt o wybranej wielkości, jeśli taki efekt istnieje. Moc 80%, powszechna wartość domyślna, oznacza, że test przeoczy rzeczywisty efekt raz na pięć przypadków. Podniesienie jej do 90% pozwala wychwycić więcej prawdziwych efektów, ale wymaga większej próby.
Co oznacza poziom istotności w teście A/B?
Poziom istotności to prawdopodobieństwo wskazania zwycięzcy, gdy między wariantami nie ma rzeczywistej różnicy. Zwykle wynosi 5%, co odpowiada poziomowi ufności 95%. Obniżenie tego odsetka wyników fałszywie dodatnich do 1% czyni test bardziej zachowawczym i, podobnie jak podniesienie mocy, zwiększa próbę potrzebną do rozstrzygnięcia. Ten sam kompromis kształtuje szerzej testy A/B na żywym ruchu.
Jak wygląda wzór na wielkość próby?
Wzór łączy wartość bazową, wartość docelową i wartości Z dla wybranej mocy i poziomu istotności w jedno obliczenie na wariant.
n = (Z(1-alpha/2) + Z(1-beta))^2 x [p1(1-p1) + p2(1-p2)] / (p2 - p1)^2Policzmy to na teście strony płatności. Bazowy współczynnik konwersji p1 to 5% (0,05), wartość docelowa p2 to 6% (0,06) po minimalnym wykrywalnym efekcie 1 punktu procentowego, poziom ufności to 95% (Z = 1,96), a moc to 80% (Z = 0,84).
| Dane | Symbol | Wartość |
|---|---|---|
| Bazowy współczynnik konwersji | p1 | 5% |
| Docelowy współczynnik konwersji | p2 | 6% |
| Minimalny wykrywalny efekt | p2 minus p1 | 1 punkt procentowy |
| Poziom istotności | alpha | 5% (Z = 1,96) |
| Moc statystyczna | beta | 80% (Z = 0,84) |
| Wielkość próby na wariant | n | 8 146 odwiedzających |
(1,96 + 0,84)^2 = 7,84, a [0,05 x 0,95 + 0,06 x 0,94] = 0,1039. Podzielenie 7,84 x 0,1039 przez (0,01)^2 daje 8 145,76, czyli po zaokrągleniu w górę 8 146 odwiedzających na wariant, łącznie około 16 292 w obu wariantach. Zmniejszenie minimalnego wykrywalnego efektu o połowę, do 0,5 punktu procentowego, mniej więcej czterokrotnie zwiększa tę liczbę, bo w mianowniku wielkość efektu jest podnoszona do kwadratu.

- Jeden odczyt, przy liczbie wyznaczonej przez wzór
- Poziom ufności 95% działa zgodnie z założeniem
- Werdykt można uznać za decyzję
- Codzienne sprawdzanie przez dwa tygodnie: czternaście okazji, by szum przekroczył próg
- Rzeczywisty odsetek wyników fałszywie dodatnich jest wyraźnie wyższy niż 5%
- Korzystne wahnięcie to luźna obserwacja, a nie werdykt
Dlaczego wczesne podglądanie wyników psuje obliczenia?
Podglądanie wyników przed osiągnięciem obliczonej próby psuje test, bo każde wczesne spojrzenie to nowa szansa, że przypadkowy szum przekroczy próg istotności. Test sprawdzany codziennie przez dwa tygodnie daje losowej zmienności czternaście okazji do wyniku fałszywie dodatniego, więc rzeczywisty odsetek takich wyników jest wyraźnie wyższy niż zakładane 5%, choć każde pojedyncze sprawdzenie używało poprawnego progu 95%. Ustal wielkość próby przed startem, prowadź test do tej liczby bez szukania werdyktu po drodze i na podstawie danych o lejkach i celach potwierdź dzienny ruch potrzebny, by zdążyć w terminie.
Najczęściej zadawane pytania
Jakiej wielkości próby potrzebuję do testu A/B?
Zależy ona od bazowego współczynnika konwersji, minimalnego wykrywalnego efektu oraz wybranej mocy i poziomu istotności, więc nie ma jednej liczby dla każdego testu. Test przesuwający bazowe 5% o 1 punkt procentowy przy mocy 80% i poziomie ufności 95% wymaga około 8 146 odwiedzających na wariant.
Jaki minimalny wykrywalny efekt jest dobry?
Dobry to najmniejsza zmiana, którą nadal warto wdrożyć, a nie najmniejsza, jaką teoretycznie da się zmierzyć. Zbyt mały wymusza nierozsądnie dużą próbę, a zbyt duży przepuszcza niewykryte rzeczywiste, mniejsze usprawnienia.
Dlaczego mniejsze efekty wymagają większych prób?
Bo we wzorze minimalny wykrywalny efekt w mianowniku jest podnoszony do kwadratu, więc zmniejszenie go o połowę mniej więcej czterokrotnie zwiększa wymaganą próbę. Test wychwytujący zmianę o 0,5 punktu procentowego potrzebuje około cztery razy więcej odwiedzających niż test wychwytujący zmianę o 1 punkt.
Co się stanie, jeśli zatrzymam test A/B wcześniej?
Zatrzymanie testu po korzystnie wyglądającym wyniku, przed osiągnięciem obliczonej próby, podnosi rzeczywisty odsetek wyników fałszywie dodatnich ponad zakładany poziom. Podawane 95% ufności przestaje oddawać prawdziwe ryzyko fałszywego zwycięzcy, gdy zespół wielokrotnie sprawdza wyniki i na nie reaguje.
Panel w czasie rzeczywistym
Śledzenie celów
Śledzenie bez cookie
Czy moc 80% to zawsze dobry wybór?
To powszechna wartość domyślna, a nie wymóg, i oznacza, że test przeoczy jeden na pięć rzeczywistych efektów o wybranej wielkości. Podniesienie mocy do 90% wychwytuje więcej prawdziwych efektów, ale wymaga większej próby.
Czy mogę użyć mniejszej próby, jeśli chcę tylko poznać kierunek?
Można, ale taki wynik ma znacznie większą szansę okazać się szumem i nie jest po prostu mniejszą wersją tej samej pewności. Każdy odczyt przed osiągnięciem docelowej próby traktuj jako luźną obserwację i nie opieraj na nim trwałej decyzji.
Ile trwa zebranie próby potrzebnej do testu A/B?
Wzór podaje liczbę odwiedzających, a nie dni, więc czas zależy od ruchu na testowanej stronie. Strona płatności potrzebująca 8 146 odwiedzających na wariant osiągnie tę liczbę szybciej przy dużym ruchu niż przy małym. Dane o lejkach i celach sprawdzone przed startem pokażą, czy obecny dzienny ruch pozwoli osiągnąć cel w rozsądnym czasie.
Dlaczego mierzyć wartość bazową przez dwa do czterech tygodni, a nie przez jeden dzień?
Pojedynczy dzień może być nietypowo wysoki lub niski z powodów niezwiązanych z testem, na przykład przez weekendowy spadek lub akcję marketingową. Dwa do czterech tygodni typowego ruchu wygładza te wahania i daje wzorowi współczynnik naprawdę reprezentujący stronę. Wszystkie pozostałe dane we wzorze, w tym wartość docelowa i minimalny wykrywalny efekt, określa się względem tej liczby.
Czy wzór zakłada równy ruch na każdy wariant?
Wzór oblicza n jako liczbę odwiedzających na wariant, a przykład ze stroną płatności stosuje te same 8 146 do wersji kontrolnej i testowej, łącznie 16 292 odwiedzających. Obliczenie zakłada więc równy podział ruchu między porównywane wersje. Test z nierównym podziałem nie osiągnie obu wielkości próby w tym samym czasie.
Czy bazowy współczynnik konwersji może pochodzić z innej strony niż testowana?
Nie. Wartość bazowa musi pochodzić z dokładnie tej strony, na której odbędzie się test, i dotyczyć testowanego wskaźnika. Strona płatności konwertująca na poziomie 5% wyznacza bazę dla testu na tej samej stronie, a nie współczynnik zapożyczony z innej strony lub innego wskaźnika. Dane z innego miejsca zrywają związek między wartością bazową a docelową, na którym opiera się wzór.
Czy ten artykuł był pomocny?
Chętnie poznamy opinię!
Częściej widoczni w Google
Jedno kliknięcie ustawia Flowsery jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych artykułach, trybie AI i Przeglądach od AI.
Jeszcze jedno...
Flowsery
Analityka witryny skupiona na przychodach
Każdy odwiedzający, źródło i konwersja w czasie rzeczywistym. Prosto, skutecznie i bez plików cookie.
Panel w czasie rzeczywistym
Śledzenie celów
Śledzenie bez cookie
Powiązane hasła ze słownika


Jak segmentacja użytkowników zamienia jeden raport w kilka odpowiedzi
W analityce segmentacja użytkowników dzieli raport na grupy o wspólnej cesze. Poznaj typy segmentów, sposób ich budowy i moment, gdy segment jest za mały.


Jak mierzyć współczynnik porzuceń formularza, pole po polu
Współczynnik porzuceń formularza porównuje formularze rozpoczęte z wysłanymi. Wzór, definicje rozpoczęcia w GA4 i Zuko oraz przykład na poziomie pól.


Analiza lejka checkoutu na etapach, które naprawdę przeciekają
Analiza lejka checkoutu obejmuje tylko etapy od begin_checkout do purchase, bo tam wyciek da się naprawić, a nazwy zdarzeń są ustandaryzowane.


Wzór na średnią wartość zamówienia krok po kroku
Wzór na średnią wartość zamówienia dzieli przychód przez liczbę zamówień, a jeden kod rabatowy lub zasady zwrotów mogą po cichu zniekształcić każdą raportowaną liczbę.


Wzór na typowy współczynnik porzuceń koszyka
Około siedem na dziesięć koszyków w sklepach internetowych nie kończy się zamówieniem, a wzór na współczynnik porzuceń pokazuje, ile przychodu ta luka oznacza w danym miesiącu.


Gdzie naprawdę dochodzi do odpływów w lejku konwersji
Konwersja etapu i konwersja całkowita odpowiadają na różne pytania o lejek konwersji, a różnica między nimi pokazuje dokładnie, gdzie dochodzi do odpływów.
Powiązane artykuły


Wzór na współczynnik konwersji na prawdziwym ruchu
Wzór na współczynnik konwersji to konwersje podzielone przez sesje lub unikalnych odwiedzających, razy 100. Tydzień ruchu w obu mianownikach daje dwa wyniki.


Jak ocenić, jaki współczynnik konwersji jest dobry dla twojej witryny
Benchmarki różnie odpowiadają na pytanie, jaki współczynnik konwersji jest dobry dla e-commerce, SaaS i generowania leadów, a jedna mediana ukrywa więcej, niż pokazuje.


Co ścieżka konwersji pokazuje, zanim ktoś kupi
Ścieżka konwersji to uporządkowana lista kanałów, z którymi kupujący się zetknął. Jak GA4 dzieli ją na punkty wczesne, środkowe i późne oraz co z tym zrobić.

