Słownik

Test, który odróżnia metryki próżności od metryk przydatnych w decyzjach

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •9 min czytania
Test, który odróżnia metryki próżności od metryk przydatnych w decyzjachTest, który odróżnia metryki próżności od metryk przydatnych w decyzjach

W skrócie

9 min czytania

Eric Ries spopularyzował ten termin w 2009 roku w odniesieniu do liczb, które "make you feel good, but they don't offer clear guidance for what to do". Test nie polega na tym, o jaką metrykę chodzi, tylko na tym, czy przed spojrzeniem na liczbę potrafisz wskazać decyzję, którą ona zasila, i próg, który tę decyzję zmienia. Odsłony są próżnością dla SaaS, a dla wydawcy źródłem wypłat. Wskaźnika otwarć e-maili nie da się rzetelnie mierzyć od 2021 roku, gdy Apple zaczęło otwierać pocztę w imieniu czytelnika. Sumy skumulowane to jedyna forma próżna z samej konstrukcji, bo mogą tylko rosnąć.

Co sprawia, że metryka jest metryką próżności?

Nic z typowej listy metryk próżności nie jest próżne samo w sobie, a liczba zasługuje na tę etykietę dopiero wtedy, gdy żadna jej realna wartość nie zmieniłaby twojego kolejnego kroku. To cały test. Jest on cechą decyzji, a nie metryki, dlatego ta sama wartość może być w jednej firmie poważną daną operacyjną, a w innej ozdobą.

Popularne ujęcie stawia sprawę na głowie. „Polubienia są próżnością, a przychody czymś realnym” brzmi stanowczo, ale niczego nie wyjaśnia: zespół wzrostu, który kupuje i sprzedaje uwagę, może działać na podstawie polubień, a założycielowi czytającemu przychód brutto bez retencji schlebia liczba z symbolem waluty.

Skąd pochodzi termin „metryki próżności”?

Spopularyzował go Eric Ries we wpisie gościnnym opublikowanym 19 maja 2009 roku, dowodząc, że niektóre liczby poprawiają samopoczucie, ale nie mówią, co robić: "make you feel good, but they don't offer clear guidance for what to do." Jego przykłady były skumulowane i zagregowane: miliardy wysłanych wiadomości, dziesięć tysięcy trafień, łączna liczba odsłon, łączna liczba zarejestrowanych użytkowników.

Proponowane przez niego zamienniki dotyczyły struktury, a nie wyboru metryki. Testy podziału dają najbardziej użyteczne wyniki, bo porównanie jest w nie wbudowane. Widoki na klienta i na segment wygrywają z agregatami. Analiza kohortowa śledzi grupy w czasie, zamiast wrzucać wszystkich użytkowników do jednego worka. Ruch można też segmentować według słowa kluczowego, które go przyniosło, aby pozyskanie i zachowanie pozostały powiązane. Podsumowując, stwierdził, że metryki to także ludzie, a tę część większość zespołów pomija.

Zauważ, czego nie zrobił: nie opublikował listy zakazanych liczb. Każda z jego poprawek bierze rzekomo próżną liczbę i przycina ją do postaci, która może udźwignąć decyzję.

Test w trzech częściach

Zastosuj te kroki po kolei i zapisz odpowiedzi, zanim otworzysz panel.

  1. Nazwij decyzję. Co konkretnie zmieni się zależnie od tej liczby? „Przesunęlibyśmy budżet z X na Y” to decyzja. „Wiedzielibyśmy, jak nam idzie” nią nie jest.
  2. Z góry określ próg. Przy jakiej wartości działasz i w którym kierunku? Jeśli nie potrafisz zobowiązać się do liczby, zanim ją zobaczysz, zracjonalizujesz cokolwiek się pojawi.
  3. Zapytaj, czy może rosnąć, gdy biznes spada. Każda metryka, która może rosnąć podczas załamania, potrzebuje metryki równoważącej, bo inaczej prędzej czy później posłuży do ukrycia tego załamania.

Metryka, która nie przechodzi żadnego z trzech punktów, jest próżna. Metryka, która odpada tylko na trzecim, nie jest próżna, lecz niepełna, a rozwiązaniem jest dobranie pary, a nie usunięcie.

Zespół wspólnie przegląda panel z metrykami i ocenia, które liczby naprawdę wpływają na kolejną decyzję.

Co rozstrzyga test w trzech częściach
Nie przechodzi żadnego punktu
  • Brak nazwanej decyzji
  • Brak ustalonego progu
  • Metryka równoważąca jest zbędna, bo nic nie jest zagrożone
Odpada tylko na trzecim pytaniu
  • Decyzja i próg istnieją
  • Może rosnąć, gdy biznes spada
  • Nie jest próżna, tylko niepełna i wymaga metryki równoważącej
Przechodzi wszystkie trzy
  • Wskazuje decyzję
  • Wskazuje próg
  • Ma parę chroniącą przed ukryciem załamania
Te same trzy pytania klasyfikują metrykę jako próżną, niepełną lub przydatną w decyzjach.

Które metryki nazywa się próżnymi i jakie argumenty mają obie strony?

MetrykaArgument za uznaniem jej za próżnąWarunek, w którym przydaje się w decyzjach
Skumulowana liczba zarejestrowanych użytkownikówZ natury monotoniczna, nie może spaść, więc nigdy nie sygnalizuje problemuNigdy w formie skumulowanej; po podziale na kohorty staje się retencją
OdsłonyBrak związku z pieniędzmi w biznesie subskrypcyjnymTo dosłownie jednostka sprzedaży w wydawnictwach finansowanych z reklam
Obserwujący w mediach społecznościowychZasięg ogranicza algorytm, nad którym nie masz kontroliPotrafisz powiązać obserwujących z kanałem o przypisanym przychodzie
WyświetleniaDefiniowane przez platformę, zmieniane bez uprzedzenia, nie do zweryfikowaniaKupujesz je, a cena jest liczona za wyświetlenie
Pobrania aplikacjiLiczą intencję, a nie użycie; instalacja i usunięcie pozostają niewidoczneW parze z aktywacją po 7 lub 30 dniach w tej samej kohorcie
Wskaźnik otwarć e-mailiZawyżany przez maszyny od 2021 roku; odbiorca mógł w ogóle nie spojrzećPorównanie dwóch wariantów w tym samym niezakłóconym segmencie
Średni czas trwania sesjiZniekształcany przez sposób mierzenia ostatniej strony i bezczynne kartyPodział według szablonu na stronach, gdzie czas spędzony jest produktem
Współczynnik odrzuceńDefinicja zmieniła się pod tą samą nazwą, więc trend jest artefaktemJeden szablon, jedno źródło ruchu, jedna definicja, porównanie z samym sobą
NPSPojedynczy opóźniony wynik, małe próby, duże zaokrągleniaCzytanie dosłownych komentarzy stojących za wynikiem, a nie samego wyniku
Przychód bruttoRośnie razem z rezygnacjami, jeśli pozyskanie wyprzedza odpływRaportowany obok retencji przychodu netto, nigdy osobno

Cztery z nich warto omówić szerzej, bo argument nie jest oczywisty.

Sumy skumulowane to jedyna forma próżna z samej konstrukcji

„Łączna liczba użytkowników, którzy się kiedykolwiek zarejestrowali” nie może spaść. Podobnie łączna liczba rejestracji, pobrań czy opublikowanych postów. Liczba, która matematycznie nie jest w stanie przynieść złych wieści, nie może wspierać decyzji, bez względu na to, co liczy. To jedyny przypadek, w którym etykieta jest uczciwa bez żadnej wiedzy o twoim biznesie. Naprawa jest zawsze taka sama: zamień sumę na wskaźnik w kohorcie, aby zły miesiąc mógł wyglądać jak zły miesiąc.

Odsłony to wypłaty dla wydawcy i szum dla SaaS

Ta sama metryka całkowicie zmienia stronę zależnie od modelu biznesowego. Jeśli sprzedajesz wyświetlenia, odsłony są przychodem po jednym kroku konwersji, a traktowanie ich jak próżności jest błędem w sztuce. Jeśli sprzedajesz licencje na stanowiska, skok odsłon nic nie mówi, dopóki nie wiesz, czy pochodzi od kupujących, z wątku na Hacker News czy od scrapera. Zanim zaczniesz się o to spierać, upewnij się, że wszyscy liczą to samo: różnice między odsłonami, sesjami i użytkownikami odpowiadają za zaskakująco wiele takich sporów.

Osoba zerka na powiadomienie o e-mailu w telefonie, czyli otwarcie, którego piksel śledzący nie może już potwierdzić.

Wskaźnik otwarć e-maili przestał być pomiarem w 2021 roku

To nie kwestia oceny, tylko mechanizm. Apple ogłosiło Mail Privacy Protection 7 czerwca 2021 roku, opisując tę funkcję jako ukrywającą przed nadawcami moment otwarcia wiadomości i maskującą adres IP: "helps users prevent senders from knowing when they open an email, and masks their IP address so it can't be linked to other online activity or used to determine their location." Mail pobiera piksel śledzący niezależnie od tego, czy odbiorca cokolwiek przeczytał. Metryka nie stała się mniej ważna, stała się częściowo fikcyjna, a żadna staranność w narzędziu e-mailowym tego nie odwróci. Wskaźnik otwarć przetrwał tylko jako porównanie w ramach eksperymentu na niezakłóconym segmencie, a jako raportowany KPI jest martwy.

Współczynnik odrzuceń i wskaźnik zaangażowania to ryzyko definicji, a nie próżność

Google Analytics 4 definiuje sesję z zaangażowaniem jako taką, która "lasts longer than 10 seconds, has a key event, or has 2 or more screen or page views", wskaźnik zaangażowania jako odsetek takich sesji, a współczynnik odrzuceń jako "the percentage of sessions that were not engaged". Każdy z tych progów jest decyzją projektową. Dodaj drugi krok do procesu wdrożenia, a współczynnik odrzuceń się poprawi, choć żaden odwiedzający nie zostanie lepiej obsłużony. Liczba nie jest próżna, tylko wrażliwa na definicję, którą można przypadkiem przesunąć. To inna awaria i wymaga innego zabezpieczenia: zamroź definicję, wersjonuj ją i oznacz na wykresie dzień zmiany. Nasze omówienie sposobu obliczania wskaźnika zaangażowania pokazuje, gdzie te progi dają się we znaki.

Średni czas na stronie ma ten sam problem, ale z powodu strukturalnego, a nie progowego: zegar zależy od kolejnego zdarzenia, które na ostatniej stronie wizyty nigdy nie następuje. Rachunki omówiliśmy w tekście o tym, dlaczego metryka czasu na stronie jest wadliwa.

Flowsery
Flowsery

Rozpocznij 14-dniowy okres próbny

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Jak zamienić metrykę próżności w metrykę użyteczną?

Cztery ruchy wystarczają niemal w każdym przypadku i są to te same cztery, po które Ries sięgnął w 2009 roku.

  • Podziel na kohorty. Zamień „wszystkich użytkowników” na „użytkowników zarejestrowanych w tygodniu N, nadal aktywnych w tygodniu N+4”. Suma staje się krzywą, a krzywe mogą spadać.
  • Podziel na segmenty. Agregat mieszający ruch płatny, organiczny i bezpośredni ukrywa jedyną rzecz, na którą możesz zareagować. Podział ruchu według źródła zwykle odróżnia liczbę, na którą się patrzy, od liczby, na podstawie której wydaje się pieniądze, i właśnie o to chodzi w przypisywaniu przychodów do poszczególnych kanałów.
  • Zamień na wskaźnik. Liczby bezwzględne rosną wraz z wydatkami. Wskaźniki nie. Rejestracje na tysiąc sesji przetrwają skok ruchu, a same rejestracje nie.
  • Dobierz metrykę równoważącą. Każda liczba, którą podkręcasz, powinna mieć partnera, który się pogorszy, jeśli podkręcasz ją nieuczciwie. Współczynnik konwersji łączy się ze wskaźnikiem zwrotów. Czas trwania sesji z ukończeniem zadań. Tempo prac ze wskaźnikiem defektów.

Kiedy tak zwana metryka próżności jest właściwą metryką?

Gdy to właśnie ją sprzedajesz, gdy kupujesz ją po znanej cenie albo gdy jest jedynym dostępnym wskaźnikiem wyprzedzającym dla czegoś, co pojawia się w przychodach dopiero po kwartale. Uczciwym przykładem są kampanie budujące rozpoznawalność. Wyświetlenia i liczba wyszukiwań marki rzeczywiście wyprzedzają przychód, który w końcu przynoszą, a żądanie od nich atrybucji w tym samym tygodniu prowadzi do gorszych decyzji niż akceptacja miękkiej liczby ze wskazanym opóźnieniem.

Błędem nie jest raportowanie miękkiej metryki. Jest nim raportowanie jej bez przypisanej decyzji, gdy istnieje po to, by ją pokazywać, a nie po to, by z niej korzystać.

Najczęściej zadawane pytania

Czy polubienia i obserwujący to zawsze metryki próżności?

Nie. Są nimi wtedy, gdy przy żadnej ich wartości nic w planie się nie zmienia, co jest typowe dla produktu B2B z długim cyklem sprzedaży. Przydają się w decyzjach, gdy potrafisz powiązać je z przypisanym lejkiem sprzedaży albo gdy twój biznes dosłownie zarabia na zasięgu.

Czym różni się metryka próżności od wskaźnika opóźnionego?

Wskaźnik opóźniony raportuje rzeczywisty wynik z opóźnieniem. Metryka próżności raportuje coś, co nie zmieniłoby twojego zachowania przy żadnej wartości, wcześnie czy późno. Przychód jest opóźniony i użyteczny, a łączna liczba zarejestrowanych użytkowników jest wczesna i bezużyteczna.

Czy przychód może być metryką próżności?

Przychód brutto może nią być, gdy jest raportowany osobno. Firma może co miesiąc zwiększać przychód, podczas gdy retencja się załamuje, bo nowe pozyskanie wyprzedza odpływ. W parze z retencją przychodu netto przestaje schlebiać, a zaczyna informować.

Dlaczego wskaźnik otwarć e-maili nadal jest na panelach?

Bo piksel nadal się uruchamia, a narzędzie nadal podaje procent. Mail Privacy Protection od Apple wczytuje ten piksel w imieniu czytelnika, więc duża część zarejestrowanych otwarć nie odpowiada niczyjemu spojrzeniu. Liczba nadal powstaje, co nie znaczy, że nadal cokolwiek mierzy.

Ile metryk zespół powinien naprawdę śledzić?

Tyle, aby przy każdej dało się zapisać nazwaną decyzję i nazwany próg. Liczba jest mniej ważna niż zasada: jeśli nie potrafisz powiedzieć, co zrobisz inaczej przy innej wartości, metryka nie powinna trafić na panel.

Kto ukuł termin „metryki próżności”?

Spopularyzował go Eric Ries w 2009 roku, definiując tę kategorię jako liczby poprawiające samopoczucie, ale niedające jasnych wskazówek do działania, i proponując w zamian testy podziału, widoki na klienta, analizę kohortową i segmentację według słów kluczowych.

Czy odsłony to zawsze metryka próżności?

To zależy od modelu biznesowego, a nie od samej liczby. Dla wydawcy odsłony są jednostką sprzedawaną reklamodawcom, więc traktowanie ich jak próżności jest błędem. Dla SaaS rozliczanego za stanowiska skok odsłon nic nie mówi, dopóki nie wiesz, czy pochodzi od kupujących, z przypadkowego wątku na Hacker News czy od scrapera.

Dlaczego sumy skumulowane nie mogą ujawnić problemu?

Łączna liczba użytkowników, rejestracji i pobrań może tylko rosnąć, więc nie pokaże złego miesiąca, nawet gdy taki nastąpi. Ries wskazał właśnie tę formę, bo liczba niezdolna do spadku nie może wspierać żadnej decyzji. Rozwiązaniem jest zamiana sumy na wskaźnik w kohorcie, aby spadek miał gdzie się pojawić.

Z czym połączyć metrykę skłonną do próżności, aby stała się przydatna?

Z metryką równoważącą, która się pogarsza, gdy główną liczbę podkręca się nieuczciwie. Współczynnik konwersji łączy się ze wskaźnikiem zwrotów, czas trwania sesji z ukończeniem zadań, a tempo prac ze wskaźnikiem defektów. Bez takiego partnera każda metryka, która może rosnąć podczas załamania, w końcu posłuży do jego ukrycia.

Czy NPS jest metryką próżności?

Sam NPS to pojedynczy opóźniony wynik oparty na małej próbie z dużymi zaokrągleniami, który więcej ukrywa, niż pokazuje. Staje się przydatny, gdy przestajesz czytać liczbę, a zaczynasz czytać stojące za nią dosłowne komentarze.

Czy ten artykuł był pomocny?

Chętnie poznamy opinię!

Częściej widoczni w Google

Jedno kliknięcie ustawia Flowsery jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych artykułach, trybie AI i Przeglądach od AI.

Jeszcze jedno...

Flowsery

Flowsery

Analityka witryny skupiona na przychodach

Każdy odwiedzający, źródło i konwersja w czasie rzeczywistym. Prosto, skutecznie i bez plików cookie.

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Powiązane hasła ze słownika

Jak działa analityka internetowa i gdzie się kończyJak działa analityka internetowa i gdzie się kończy
Słownik

Jak działa analityka internetowa i gdzie się kończy

Prosta definicja analityki internetowej, co zbiera skrypt śledzący, główne metryki i ich typowe błędne odczytania oraz miejsce, w którym zaczyna się analityka produktowa.

•8 min czytania
Dlaczego współczynnik odrzuceń w GA4 to odwrócony współczynnik zaangażowaniaDlaczego współczynnik odrzuceń w GA4 to odwrócony współczynnik zaangażowania
Słownik

Dlaczego współczynnik odrzuceń w GA4 to odwrócony współczynnik zaangażowania

Współczynnik odrzuceń w GA4 to odsetek sesji bez zaangażowania. Sprawdź, jak definiuje go Google, czym różni się od Universal Analytics i gdzie go dodać.

•8 min czytania
Co liczy raport stron docelowych w GA4 i gdzie pojawiają się puste wierszeCo liczy raport stron docelowych w GA4 i gdzie pojawiają się puste wiersze
Słownik

Co liczy raport stron docelowych w GA4 i gdzie pojawiają się puste wiersze

Raport stron docelowych w GA4 pokazuje pierwszą stronę każdej sesji. Gdzie go znaleźć, jakie ma domyślne wskaźniki, skąd (not set) i jak dodać źródło.

•8 min czytania
Jak GA4 rejestruje to, co odwiedzający wpisują w wyszukiwarkę witrynyJak GA4 rejestruje to, co odwiedzający wpisują w wyszukiwarkę witryny
Słownik

Jak GA4 rejestruje to, co odwiedzający wpisują w wyszukiwarkę witryny

Skonfiguruj wyszukiwanie w witrynie w GA4 przez pomiar zaawansowany, dodaj własne parametry zapytań, znajdź wymiar Search term i śledź wyszukiwania bez adresu URL.

•8 min czytania
Jak ustawiać właściwości użytkownika w GA4 i raportować o nichJak ustawiać właściwości użytkownika w GA4 i raportować o nich
Słownik

Jak ustawiać właściwości użytkownika w GA4 i raportować o nich

Ustaw właściwości użytkownika w GA4 przez gtag lub Tag Manager, zarejestruj je jako wymiary niestandardowe o zakresie użytkownika i zmieść się w limicie 25.

•9 min czytania
Jak połączyć Search Console z GA4 i opublikować raportyJak połączyć Search Console z GA4 i opublikować raporty
Słownik

Jak połączyć Search Console z GA4 i opublikować raporty

Jak połączyć Search Console z GA4 w sekcji Administracja, jakie role są potrzebne, jak opublikować dwa raporty w Library i czego te dane nie połączą.

•8 min czytania

Powiązane artykuły