Przewodniki

Testy A/B na stronach: co testować i jak czytać wyniki

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •7 min czytania
Testy A/B na stronach: co testować i jak czytać wynikiTesty A/B na stronach: co testować i jak czytać wyniki

W skrócie

7 min czytania

Test A/B pozwala porównać dwie wersje elementu strony i sprawdzić, która działa lepiej. Ustal jasny cel, zmieniaj jedną rzecz naraz, dziel ruch równo i prowadź test na tyle długo, by wyniki były istotne statystycznie.

Cały sens testów A/B na stronach polega na zamianie zmiany w witrynie w kontrolowany eksperyment. Sam podział ruchu jest łatwy. Trudniej nie wmówić sobie wyniku, którego nigdy nie było.

Testy A/B są przydatne, bo zamiast sporu o gust dają kontrolowany eksperyment. Dyscyplina jest prosta: zdecyduj, jaki wynik biznesowy chcesz poprawić, pokaż porównywalnym odwiedzającym różne wersje i zmierz, czy zmiana dała rzeczywisty wzrost. Najtrudniej jest uniknąć fałszywej pewności.

Analityka szanująca prywatność wystarczy do dobrych eksperymentów i nie zamienia każdego odwiedzającego w długotrwały profil reklamowy. Zwykle potrzebujesz odsłon, stron odsyłających, parametrów kampanii, przypisania wariantu i zdarzenia konwersji. Do większości eksperymentów nie potrzebujesz śledzenia międzywitrynowego, wrażliwych atrybutów ani grafu tożsamości.

Czym jest dobry eksperyment na stronie

Użyteczny test A/B ma cztery części: hipotezę, główny wskaźnik, metodę losowego przypisania i regułę zakończenia. Na przykład: "Jeśli przesuniemy dowody wiarygodności w cenniku bliżej przycisku rejestracji, liczba rozpoczętych okresów próbnych ze strony cennika wzrośnie, bo odwiedzający zobaczą ograniczenie ryzyka przed podjęciem decyzji." To lepsze niż "przetestujmy nową stronę cennika", bo mówi, co ma się zmienić i dlaczego.

Wybierz jeden główny wskaźnik przed startem. Wskaźniki dodatkowe nadal się przydają, ale nie powinny stać się listą, z której po fakcie wybierasz pozytywny wynik. Test strony cennika w SaaS może mieć jako główny wskaźnik współczynnik rejestracji na okres próbny, a jako wskaźniki kontrolne śledzić błędy płatności, kliknięcia w pomoc, głębokość przewijania i prośby o zwrot.

Losowe przypisanie ma znaczenie. Jeśli powracający odwiedzający zawsze widzą wersję kontrolną, a nowi wariant, wynik miesza zmianę projektu z różnicami między grupami odbiorców. Zacznij od przypisania po stronie serwera na bieżącą sesję albo, dla zalogowanych użytkowników, na podstawie wewnętrznego identyfikatora konta, który nie opuszcza twoich systemów. Jeśli zapisujesz wariant w pliku cookie własnej domeny, pamięci lokalnej lub podobnej pamięci przeglądarki, zakładaj, że może to wymagać zgody na podstawie przepisów ePrivacy, chyba że obowiązuje wąskie lokalne wyłączenie.

Dwie osoby oglądające wykres na ekranie laptopa i rozmawiające o tym, który element strony przetestować najpierw.

Czego potrzebuje poprawny test
1
Hipoteza. Powiedz, co ma się zmienić i dlaczego, a nie tylko że testujesz coś nowego.
2
Główny wskaźnik. Wybierz jeden przed startem, żeby wskaźniki dodatkowe nie stały się listą do wybierania pozytywnego wyniku.
3
Losowe przypisanie. Dziel odwiedzających po stronie serwera, żeby wynik pokazywał zmianę projektu, a nie różnice między odbiorcami.
4
Reguła zakończenia. Ustal czas trwania, minimalną liczbę konwersji i wykrywalny efekt przed startem i się ich trzymaj.
Test jest dowodem tylko wtedy, gdy wszystkie cztery elementy ustalono przed startem.

Co testować najpierw

Zacznij od zmian związanych z momentem decyzji. Kolory przycisków rzadko są najlepszym pierwszym eksperymentem. Lepsi kandydaci to jasność przekazu, struktura cennika, długość formularza, dowody przy CTA o wysokiej intencji, wybór między okresem próbnym a demo, utrudnienia w płatności i metody płatności.

Na początek wybieraj testy z wystarczającym ruchem i kontrolą ryzyka. Test płatności może szybko dać sygnał, ale zepsuta płatność kosztuje realne pieniądze. Używaj flag funkcji, sprawdź oba warianty i monitoruj liczbę błędów od pierwszych minut po starcie.

Wielkość próby i czas

Nie zatrzymuj testu, gdy panel po raz pierwszy zaświeci się na zielono. Wielokrotne podglądanie zwiększa szansę na wynik fałszywie dodatni. Badacze z Microsoftu Ronny Kohavi, Diane Tang i Ya Xu podkreślają w swojej pracy o kontrolowanych eksperymentach online, że programy eksperymentów wymagają jasnych wskaźników, randomizacji i dyscypliny statystycznej, a nie tylko dzielenia ruchu (Trustworthy Online Controlled Experiments).

W praktyce ustal przed startem takie zasady:

  1. Minimalny czas trwania: co najmniej jeden pełny cykl biznesowy, zwykle siedem dni, żeby uwzględnić zachowania w dni robocze i weekendy.
  2. Minimalna liczba konwersji: tyle konwersji w każdym wariancie, by wynik coś znaczył. Test z 20 konwersjami łącznie zwykle wskazuje tylko kierunek i niczego nie rozstrzyga.
  3. Minimalny wykrywalny efekt: najmniejszy wzrost, na który faktycznie zareagujesz. Jeśli wzrost o 1% nie zmieniłby twojej mapy drogowej, nie projektuj testu pod wykrycie 1%.
  4. Wskaźniki kontrolne: takie, które mogą unieważnić zwycięzcę, na przykład wolniejsze ładowanie strony, więcej zwrotów, niższa aktywacja lub więcej zgłoszeń do pomocy.

W witrynach z małym ruchem testy A/B mogą być złym narzędziem. Jeśli strona cennika ma 300 wizyt miesięcznie i 9 rejestracji, statystycznie czysty test potrwa bardzo długo. Zacznij od badań jakościowych, lejków na poziomie sesji, ankiet, notatek z rozmów sprzedażowych i testów użyteczności. Potem prowadź większe, odważniejsze eksperymenty, w których spodziewany efekt będzie dość duży, by go wykryć.

Osoba zmieniająca ustawienia prywatności i plików cookie na telefonie, co oddaje wybory dotyczące zgody w eksperymencie szanującym prywatność.

Wdrożenie z myślą o prywatności

Minimalne wdrożenie wymaga trzech zdarzeń: ekspozycji na eksperyment, realizacji celu i zdarzeń kontrolnych. Właściwości zdarzeń niech będą nudne: wystarczą strona, nazwa eksperymentu, wariant, znacznik czasu, źródło i klasa urządzenia.

Nie zbieraj adresów e-mail, imion, surowych adresów IP ani pełnych adresów URL z danymi osobowymi. Jeśli parametry kampanii są potrzebne, zachowaj UTM, ale usuń zbędne identyfikatory. Jeśli URL może zawierać token, numer zamówienia lub adres e-mail, wyczyść go, zanim trafi do analityki.

Flowsery
Flowsery

Rozpocznij 14-dniowy okres próbny

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Zasady zgody zależą od wdrożenia. W prawie UE zapisywanie informacji na urządzeniu użytkownika i dostęp do nich reguluje zwykle prawo krajowe wdrażające dyrektywę o prywatności i łączności elektronicznej, a dalsze przetwarzanie danych osobowych podlega RODO. Wytyczne EROD do art. 5 ust. 3 i wytyczne ICO o zapisie i dostępie podkreślają, że te zasady obejmują nie tylko pliki cookie, ale też pamięć lokalną, piksele, SDK i inny dostęp do urządzenia końcowego (wytyczne EROD do art. 5 ust. 3, wytyczne ICO o technologiach zapisu i dostępu). Raport grupy zadaniowej EROD ds. banerów cookie wskazuje na rozdział między zasadami dostępu do plików cookie a zasadami przetwarzania z RODO (EDPB Cookie Banner Taskforce).

Jeśli eksperyment korzysta z opcjonalnych plików cookie, pamięci lokalnej, śledzenia przez podmioty trzecie lub miejsc docelowych reklam, możesz potrzebować zgody. Jeśli prowadzisz po stronie serwera ściśle niezbędny eksperyment bez profilowania osób, analiza wygląda inaczej, ale udokumentuj swoje rozumowanie i nie pozwól, by przypisanie stało się ukrytym identyfikatorem.

Odczytywanie wyniku

Zwycięski wariant powinien odpowiedzieć na trzy pytania: czy główny wskaźnik się poprawił, czy wskaźniki kontrolne pozostały w normie i czy efekt jest dość duży, by miał znaczenie. Uważaj na analizę segmentów. Jeśli po teście podzielisz wyniki na dziesięć segmentów, jeden może wyglądać imponująco przez przypadek. Segmenty służą do stawiania kolejnych hipotez, a nie do ratowania słabego wyniku.

Ustal też, co się dzieje po porażce. Nieudany test jest przydatny, gdy usuwa zły pomysł z mapy drogowej albo pokazuje, że hipoteza była błędna. Zapisz wynik, interpretację i następny krok. Z czasem archiwum eksperymentów staje się bazą wiedzy o produkcie.

Testy A/B to nie magia. To sposób na mniej kruche decyzje dotyczące strony. Najlepsze zespoły używają ich oszczędnie, mierzą tylko to, czego potrzebują, a ograniczenia prywatności traktują jako wymóg projektowy, a nie przeszkodę.

Lista kontrolna zgodności eksperymentu

Przed wdrożeniem testu potwierdź metodę przypisania, sposób przechowywania, moment uruchamiany zgodą, treść zdarzeń, okres retencji i dostawców otrzymujących dane. W czystej przeglądarce sprawdź pierwsze załadowanie strony przed wyborem, po odmowie i po akceptacji. Zgodny eksperyment jest nie tylko poprawny statystycznie, ale też dowodzi, że opcjonalna pamięć i tagi respektują wybór użytkownika.

Powiąż każdy wskaźnik z decyzją. Odsłony powinny kierować pracą nad treściami i nawigacją, strony odsyłające inwestycjami w kanały, tagi kampanii wydatkami, a zdarzenia konwersji powinny zgadzać się z zapisami w systemie. Jeśli wskaźnik nie może zmienić decyzji, usuń go z głównego panelu.

Najczęściej zadawane pytania

Co wyróżnia dobrą hipotezę testu A/B?

Dobra hipoteza mówi, co ma się zmienić i dlaczego, a nie tylko że testujesz coś nowego. Na przykład: przesuwamy dowody wiarygodności bliżej przycisku rejestracji, bo odwiedzający muszą zobaczyć ograniczenie ryzyka przed decyzją. Takie ujęcie mówi, co zbudować i jaki wynik ją potwierdzi.

Jak długo prowadzić test A/B?

Co najmniej jeden pełny cykl biznesowy, zwykle siedem dni, żeby w danych znalazły się zachowania z dni roboczych i weekendów. Wcześniejsze zatrzymanie, bo panel zrobił się zielony, zwiększa ryzyko wyniku fałszywie dodatniego.

Ile konwersji potrzeba, by zaufać wynikowi?

Nie ma jednej liczby dobrej wszędzie, ale każdy wariant musi mieć tyle konwersji, by wynik coś znaczył. Test z 20 konwersjami łącznie w obu wariantach zwykle wskazuje co najwyżej kierunek i nie jest podstawą do działania.

Dlaczego wczesne sprawdzanie wyników jest problemem?

Wielokrotne podglądanie testu przed końcem zwiększa szansę, że wynik fałszywie dodatni uznasz za wygraną. Regułę zakończenia, czas trwania, minimalną liczbę konwersji i minimalny wykrywalny efekt ustal przed startem i się ich trzymaj.

Co testować na stronie najpierw?

Pomiń kolory przycisków i zacznij od elementów związanych z momentem decyzji: jasności przekazu, struktury cennika, długości formularza i dowodów przy CTA o wysokiej intencji. Potem przetestuj wybór między okresem próbnym a demo, utrudnienia w płatności i metody płatności. Mają one większą wagę, bo dotyczą tego, o czym odwiedzający naprawdę decydują.

Czy testy A/B mają sens przy małym ruchu?

Raczej nie. Strona cennika z 300 wizytami miesięcznie i 9 rejestracjami będzie długo czekać na statystycznie czysty wynik. Badania jakościowe, lejki sesji, ankiety i testy użyteczności odpowiedzą na więcej pytań w krótszym czasie, a testy A/B zostaw na zmiany o dużym spodziewanym efekcie.

Zgoda jest wymagana, gdy test korzysta z opcjonalnych plików cookie, pamięci lokalnej lub śledzenia przez podmioty trzecie, które zwykle wymagają jej na podstawie przepisów ePrivacy. Ściśle niezbędny eksperyment po stronie serwera bez profilowania osób to inna sytuacja, ale w każdym przypadku udokumentuj swoje rozumowanie.

Co to jest wskaźnik kontrolny?

Wskaźniki kontrolne mogą unieważnić pozornego zwycięzcę: wolniejsze ładowanie strony, więcej zwrotów, niższa aktywacja lub więcej zgłoszeń do pomocy. Obserwowanie ich obok głównego wskaźnika sprawia, że wzrost jednej liczby nie ukryje szkód gdzie indziej.

Flowsery
Flowsery

Rozpocznij 14-dniowy okres próbny

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Jakich danych naprawdę potrzebuje test A/B szanujący prywatność?

Do większości eksperymentów wystarczą odsłony, strony odsyłające, parametry kampanii, przypisanie wariantu i zdarzenie konwersji. Śledzenie międzywitrynowe, wrażliwe atrybuty i graf tożsamości nie są do tego potrzebne.

Co zrobić po przegranym teście?

Zapisz wynik, interpretację i następny krok, tak samo jak przy wygranej. Nieudany test i tak się opłaca, gdy usuwa zły pomysł z mapy drogowej albo pokazuje, że pierwotna hipoteza była błędna.

Czy ten artykuł był pomocny?

Chętnie poznamy opinię!

Częściej widoczni w Google

Jedno kliknięcie ustawia Flowsery jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych artykułach, trybie AI i Przeglądach od AI.

Jeszcze jedno...

Flowsery

Flowsery

Analityka witryny skupiona na przychodach

Każdy odwiedzający, źródło i konwersja w czasie rzeczywistym. Prosto, skutecznie i bez plików cookie.

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Powiązane artykuły