Słownik

Jak obliczyć wielkość próby w teście A/B przed jego uruchomieniem

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •6 min czytania
Jak obliczyć wielkość próby w teście A/B przed jego uruchomieniemJak obliczyć wielkość próby w teście A/B przed jego uruchomieniem

W skrócie

6 min czytania

Wielkość próby w teście A/B ustala się przed startem na podstawie trzech danych: bazowego współczynnika konwersji, minimalnego wykrywalnego efektu i wymaganej mocy statystycznej, zwykle 80%, przy wybranym poziomie ufności, zwykle 95%. Test przesuwający bazowe 5% o minimalny wykrywalny efekt 1 punktu procentowego wymaga około 8 146 odwiedzających na wariant. Sprawdzanie wyników przed osiągnięciem tej liczby i zatrzymanie testu przy korzystnym wahnięciu podnosi odsetek wyników fałszywie dodatnich ponad poziom, który test miał utrzymać.

Jak obliczyć wielkość próby w teście A/B?

O wielkości próby w teście A/B decydują trzy dane, zanim pierwszy odwiedzający zobaczy test: bazowy współczynnik konwersji, minimalny wykrywalny efekt i wymagana moc statystyczna. Wstaw je do wzoru razem z wybranym poziomem istotności, a otrzymasz liczbę odwiedzających potrzebną na każdy wariant, zanim wynik będzie można odczytać. Oblicz ją przed startem, a nie po tygodniu działania testu, gdy ktoś chce szybkiej odpowiedzi, i na jej podstawie ustal, jaki współczynnik konwersji uznać za dobry jako cel testu, zanim porównasz wynik z zewnętrznymi punktami odniesienia.

Czym jest bazowy współczynnik konwersji?

Bazowy współczynnik konwersji to obecna wartość testowanego wskaźnika, zmierzona na stronie przed wprowadzeniem zmiany, tym samym wzorem na współczynnik konwersji, z którego firma już korzysta. Strona płatności konwertująca dziś na poziomie 5% wyznacza punkt wyjścia dla testu na tej stronie, a wszystkie pozostałe dane wzór określa względem tej liczby. Bazę wyznacz na podstawie co najmniej dwóch do czterech tygodni typowego ruchu, a nie jednego nietypowego dnia.

Laptop z internetową stroną płatności, czyli strona, na której mierzy się bazowy współczynnik konwersji.

Czym jest minimalny wykrywalny efekt?

Minimalny wykrywalny efekt to najmniejsza zmiana współczynnika konwersji, jaką test ma wychwycić, podana jako różnica między wartością bazową a docelową. Wybór efektu 1 punktu procentowego przy bazie 5% oznacza, że test ma niezawodnie wykryć wzrost do 6%, ale nie wykryje niezawodnie mniejszej zmiany, na przykład do 5,3%. Mniejszy efekt wymaga większej próby, bo wzór musi oddzielić mniejszą różnicę od przypadkowego szumu.

Co oznacza moc statystyczna w teście A/B?

Moc statystyczna to prawdopodobieństwo, że test wykryje rzeczywisty efekt o wybranej wielkości, jeśli taki efekt istnieje. Moc 80%, powszechna wartość domyślna, oznacza, że test przeoczy rzeczywisty efekt raz na pięć przypadków. Podniesienie jej do 90% pozwala wychwycić więcej prawdziwych efektów, ale wymaga większej próby.

Co oznacza poziom istotności w teście A/B?

Poziom istotności to prawdopodobieństwo wskazania zwycięzcy, gdy między wariantami nie ma rzeczywistej różnicy. Zwykle wynosi 5%, co odpowiada poziomowi ufności 95%. Obniżenie tego odsetka wyników fałszywie dodatnich do 1% czyni test bardziej zachowawczym i, podobnie jak podniesienie mocy, zwiększa próbę potrzebną do rozstrzygnięcia. Ten sam kompromis kształtuje szerzej testy A/B na żywym ruchu.

Jak wygląda wzór na wielkość próby?

Wzór łączy wartość bazową, wartość docelową i wartości Z dla wybranej mocy i poziomu istotności w jedno obliczenie na wariant.

n = (Z(1-alpha/2) + Z(1-beta))^2 x [p1(1-p1) + p2(1-p2)] / (p2 - p1)^2

Policzmy to na teście strony płatności. Bazowy współczynnik konwersji p1 to 5% (0,05), wartość docelowa p2 to 6% (0,06) po minimalnym wykrywalnym efekcie 1 punktu procentowego, poziom ufności to 95% (Z = 1,96), a moc to 80% (Z = 0,84).

DaneSymbolWartość
Bazowy współczynnik konwersjip15%
Docelowy współczynnik konwersjip26%
Minimalny wykrywalny efektp2 minus p11 punkt procentowy
Poziom istotnościalpha5% (Z = 1,96)
Moc statystycznabeta80% (Z = 0,84)
Wielkość próby na wariantn8 146 odwiedzających

(1,96 + 0,84)^2 = 7,84, a [0,05 x 0,95 + 0,06 x 0,94] = 0,1039. Podzielenie 7,84 x 0,1039 przez (0,01)^2 daje 8 145,76, czyli po zaokrągleniu w górę 8 146 odwiedzających na wariant, łącznie około 16 292 w obu wariantach. Zmniejszenie minimalnego wykrywalnego efektu o połowę, do 0,5 punktu procentowego, mniej więcej czterokrotnie zwiększa tę liczbę, bo w mianowniku wielkość efektu jest podnoszona do kwadratu.

Analityk przeglądający wykresy i arkusze przy biurku, co oddaje dyscyplinę czekania na pełną próbę zamiast wczesnego sprawdzania wyników.

Dwa sposoby odczytywania trwającego testu
Do 8 146 na wariant
  • Jeden odczyt, przy liczbie wyznaczonej przez wzór
  • Poziom ufności 95% działa zgodnie z założeniem
  • Werdykt można uznać za decyzję
Podglądanie przed tą liczbą
  • Codzienne sprawdzanie przez dwa tygodnie: czternaście okazji, by szum przekroczył próg
  • Rzeczywisty odsetek wyników fałszywie dodatnich jest wyraźnie wyższy niż 5%
  • Korzystne wahnięcie to luźna obserwacja, a nie werdykt
Próg 95% chroni wynik tylko wtedy, gdy sprawdzasz go raz, przy wielkości próby ustalonej przed startem.

Dlaczego wczesne podglądanie wyników psuje obliczenia?

Podglądanie wyników przed osiągnięciem obliczonej próby psuje test, bo każde wczesne spojrzenie to nowa szansa, że przypadkowy szum przekroczy próg istotności. Test sprawdzany codziennie przez dwa tygodnie daje losowej zmienności czternaście okazji do wyniku fałszywie dodatniego, więc rzeczywisty odsetek takich wyników jest wyraźnie wyższy niż zakładane 5%, choć każde pojedyncze sprawdzenie używało poprawnego progu 95%. Ustal wielkość próby przed startem, prowadź test do tej liczby bez szukania werdyktu po drodze i na podstawie danych o lejkach i celach potwierdź dzienny ruch potrzebny, by zdążyć w terminie.

Wymiarowanie testu przed startem
1
Zmierz wartość bazową. Dwa do czterech tygodni typowego ruchu na testowanej stronie.
2
Ustal minimalny wykrywalny efekt. Najmniejszą zmianę wartą wychwycenia, jako różnicę w punktach procentowych.
3
Określ moc i poziom ufności. Typowe wartości domyślne to moc 80% i poziom ufności 95%.
4
Trzymaj się liczby, a nie kalendarza. Nie traktuj wyników jako werdyktu przed osiągnięciem wielkości próby.
Cztery kroki, dzięki którym decyzja o wielkości próby nie kończy się kłótnią nad arkuszem.

Najczęściej zadawane pytania

Jakiej wielkości próby potrzebuję do testu A/B?

Zależy ona od bazowego współczynnika konwersji, minimalnego wykrywalnego efektu oraz wybranej mocy i poziomu istotności, więc nie ma jednej liczby dla każdego testu. Test przesuwający bazowe 5% o 1 punkt procentowy przy mocy 80% i poziomie ufności 95% wymaga około 8 146 odwiedzających na wariant.

Jaki minimalny wykrywalny efekt jest dobry?

Dobry to najmniejsza zmiana, którą nadal warto wdrożyć, a nie najmniejsza, jaką teoretycznie da się zmierzyć. Zbyt mały wymusza nierozsądnie dużą próbę, a zbyt duży przepuszcza niewykryte rzeczywiste, mniejsze usprawnienia.

Dlaczego mniejsze efekty wymagają większych prób?

Bo we wzorze minimalny wykrywalny efekt w mianowniku jest podnoszony do kwadratu, więc zmniejszenie go o połowę mniej więcej czterokrotnie zwiększa wymaganą próbę. Test wychwytujący zmianę o 0,5 punktu procentowego potrzebuje około cztery razy więcej odwiedzających niż test wychwytujący zmianę o 1 punkt.

Co się stanie, jeśli zatrzymam test A/B wcześniej?

Zatrzymanie testu po korzystnie wyglądającym wyniku, przed osiągnięciem obliczonej próby, podnosi rzeczywisty odsetek wyników fałszywie dodatnich ponad zakładany poziom. Podawane 95% ufności przestaje oddawać prawdziwe ryzyko fałszywego zwycięzcy, gdy zespół wielokrotnie sprawdza wyniki i na nie reaguje.

Flowsery
Flowsery

Rozpocznij 14-dniowy okres próbny

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Czy moc 80% to zawsze dobry wybór?

To powszechna wartość domyślna, a nie wymóg, i oznacza, że test przeoczy jeden na pięć rzeczywistych efektów o wybranej wielkości. Podniesienie mocy do 90% wychwytuje więcej prawdziwych efektów, ale wymaga większej próby.

Czy mogę użyć mniejszej próby, jeśli chcę tylko poznać kierunek?

Można, ale taki wynik ma znacznie większą szansę okazać się szumem i nie jest po prostu mniejszą wersją tej samej pewności. Każdy odczyt przed osiągnięciem docelowej próby traktuj jako luźną obserwację i nie opieraj na nim trwałej decyzji.

Ile trwa zebranie próby potrzebnej do testu A/B?

Wzór podaje liczbę odwiedzających, a nie dni, więc czas zależy od ruchu na testowanej stronie. Strona płatności potrzebująca 8 146 odwiedzających na wariant osiągnie tę liczbę szybciej przy dużym ruchu niż przy małym. Dane o lejkach i celach sprawdzone przed startem pokażą, czy obecny dzienny ruch pozwoli osiągnąć cel w rozsądnym czasie.

Dlaczego mierzyć wartość bazową przez dwa do czterech tygodni, a nie przez jeden dzień?

Pojedynczy dzień może być nietypowo wysoki lub niski z powodów niezwiązanych z testem, na przykład przez weekendowy spadek lub akcję marketingową. Dwa do czterech tygodni typowego ruchu wygładza te wahania i daje wzorowi współczynnik naprawdę reprezentujący stronę. Wszystkie pozostałe dane we wzorze, w tym wartość docelowa i minimalny wykrywalny efekt, określa się względem tej liczby.

Czy wzór zakłada równy ruch na każdy wariant?

Wzór oblicza n jako liczbę odwiedzających na wariant, a przykład ze stroną płatności stosuje te same 8 146 do wersji kontrolnej i testowej, łącznie 16 292 odwiedzających. Obliczenie zakłada więc równy podział ruchu między porównywane wersje. Test z nierównym podziałem nie osiągnie obu wielkości próby w tym samym czasie.

Czy bazowy współczynnik konwersji może pochodzić z innej strony niż testowana?

Nie. Wartość bazowa musi pochodzić z dokładnie tej strony, na której odbędzie się test, i dotyczyć testowanego wskaźnika. Strona płatności konwertująca na poziomie 5% wyznacza bazę dla testu na tej samej stronie, a nie współczynnik zapożyczony z innej strony lub innego wskaźnika. Dane z innego miejsca zrywają związek między wartością bazową a docelową, na którym opiera się wzór.

Czy ten artykuł był pomocny?

Chętnie poznamy opinię!

Częściej widoczni w Google

Jedno kliknięcie ustawia Flowsery jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych artykułach, trybie AI i Przeglądach od AI.

Jeszcze jedno...

Flowsery

Flowsery

Analityka witryny skupiona na przychodach

Każdy odwiedzający, źródło i konwersja w czasie rzeczywistym. Prosto, skutecznie i bez plików cookie.

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Powiązane hasła ze słownika

Jak segmentacja użytkowników zamienia jeden raport w kilka odpowiedziJak segmentacja użytkowników zamienia jeden raport w kilka odpowiedzi
Słownik

Jak segmentacja użytkowników zamienia jeden raport w kilka odpowiedzi

W analityce segmentacja użytkowników dzieli raport na grupy o wspólnej cesze. Poznaj typy segmentów, sposób ich budowy i moment, gdy segment jest za mały.

•9 min czytania
Jak mierzyć współczynnik porzuceń formularza, pole po poluJak mierzyć współczynnik porzuceń formularza, pole po polu
Słownik

Jak mierzyć współczynnik porzuceń formularza, pole po polu

Współczynnik porzuceń formularza porównuje formularze rozpoczęte z wysłanymi. Wzór, definicje rozpoczęcia w GA4 i Zuko oraz przykład na poziomie pól.

•9 min czytania
Analiza lejka checkoutu na etapach, które naprawdę przeciekająAnaliza lejka checkoutu na etapach, które naprawdę przeciekają
Słownik

Analiza lejka checkoutu na etapach, które naprawdę przeciekają

Analiza lejka checkoutu obejmuje tylko etapy od begin_checkout do purchase, bo tam wyciek da się naprawić, a nazwy zdarzeń są ustandaryzowane.

•8 min czytania
Wzór na średnią wartość zamówienia krok po krokuWzór na średnią wartość zamówienia krok po kroku
Słownik

Wzór na średnią wartość zamówienia krok po kroku

Wzór na średnią wartość zamówienia dzieli przychód przez liczbę zamówień, a jeden kod rabatowy lub zasady zwrotów mogą po cichu zniekształcić każdą raportowaną liczbę.

•6 min czytania
Wzór na typowy współczynnik porzuceń koszykaWzór na typowy współczynnik porzuceń koszyka
Słownik

Wzór na typowy współczynnik porzuceń koszyka

Około siedem na dziesięć koszyków w sklepach internetowych nie kończy się zamówieniem, a wzór na współczynnik porzuceń pokazuje, ile przychodu ta luka oznacza w danym miesiącu.

•7 min czytania
Gdzie naprawdę dochodzi do odpływów w lejku konwersjiGdzie naprawdę dochodzi do odpływów w lejku konwersji
Słownik

Gdzie naprawdę dochodzi do odpływów w lejku konwersji

Konwersja etapu i konwersja całkowita odpowiadają na różne pytania o lejek konwersji, a różnica między nimi pokazuje dokładnie, gdzie dochodzi do odpływów.

•7 min czytania

Powiązane artykuły