Słownik

Co zapisują dane clickstream, wiersz po wierszu

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •8 min czytania
Co zapisują dane clickstream, wiersz po wierszuCo zapisują dane clickstream, wiersz po wierszu

W skrócie

8 min czytania

Dane clickstream to niezagregowany eksport z platformy analitycznej na poziomie pojedynczych trafień: jeden wiersz na interakcję, ze znacznikiem czasu, identyfikatorem odwiedzającego, adresem URL, user agentem i często surowym adresem IP. Adobe dostarcza je przez data feeds z kolumnami takimi jak hit_time_gmt, visid_high, post_page_url i user_agent, a Google Analytics 4 udostępnia odpowiednik przez eksport do BigQuery z polami event_timestamp, event_name i user_pseudo_id. Każdy wiersz nadal zawiera identyfikator internetowy, więc art. 4 ust. 1 RODO (GDPR) oraz kalifornijski Civil Code 1798.140(v)(1)(F) obejmują ten plik definicją danych osobowych, a to prawnie odróżnia go od zagregowanego raportu.

Czym są dane clickstream?

Każdy wiersz danych clickstream to jedna interakcja jednego odwiedzającego w jednym momencie, zapisana bez agregacji, wciąż z identyfikatorem, znacznikiem czasu i adresem URL. Nic nie zostało policzone, uśrednione ani zsumowane. Raport mówi, że w zeszłym tygodniu 4 812 sesji trafiło na /pricing. Clickstream pod tym raportem to 4 812 osobnych wierszy, z których każdy wskazuje odwiedzającego, sekundę i stronę, a do tego dziesiątki kolumn opisujących urządzenie i źródło ruchu.

Nazwa wynika z kształtu tych danych. Posortuj wiersze według identyfikatora, a potem znacznika czasu, a otrzymasz strumień kliknięć: dosłowną sekwencję tego, co jedna osoba zrobiła w twojej witrynie, krok po kroku. Ta sekwencja jest surowcem, z którego oblicza się każdą inną liczbę w analityce. To także powód, dla którego analityka behawioralna istnieje jako dyscyplina odrębna od raportowania, bo na pytania o kolejność nie da się odpowiedzieć na podstawie tabeli sum.

Co zawiera pojedynczy rekord clickstream?

Rekord clickstream zawiera znacznik czasu, identyfikator odwiedzającego, identyfikator trafienia, adres URL, stronę odsyłającą, urządzenie oraz wartości wszystkich zmiennych niestandardowych ustawionych przy tym trafieniu. Adobe Analytics publikuje pełną listę kolumn swoich data feeds, a oto jej własne opisy:

KolumnaOpis Adobe
hit_time_gmt"The timestamp of the hit Adobe data collection servers received the hit, based in UNIX time."
hitid_high"Used with hitid_low to identify a hit."
visid_high"Used with visid_low to uniquely identify a visitor."
visit_num"Starts at 1, and increments each time a new visit starts per visitor."
page_url"The URL of the hit."
post_page_url"Stripped for link tracking image requests."
page_event"The type of hit that is sent in the image request (standard hit, download link, custom link, exit link)."
user_agent"The user agent string sent in the HTTP header of the image request."
ip"The IPv4 address, based on the HTTP header of the image request."
geo_city"The name of the city that the hit came from, based on IP."
referrer"The Referrer dimension."
post_evar1Zmienna niestandardowa 1 po przetworzeniu po stronie serwera, jedna z zakresu od eVar1 do eVar250

Adobe opisuje cały mechanizm jednym zdaniem: "Data feeds are a powerful way to get raw data out of Adobe Analytics", dostarczane "in hourly batches at the conclusion of each hour, or in daily batches at the conclusion of each day."

Google Analytics 4 oferuje to samo pod innymi nazwami przez eksport do BigQuery. Pola na poziomie wiersza to tam event_timestamp, "the time (in microseconds, UTC) when the event was received by Google Analytics"; event_name, "the name of the event"; oraz user_pseudo_id, "the pseudonymous id (e.g., app instance ID) for the user. A unique identifier that is assigned to a user when they first open the app or visit the site." Parametry są dołączone do każdego wiersza jako powtarzane pary event_params.key i event_params.value.string_value, a geo.city jest wypełniane "based on IP address."

Dwa słowniki, jedna struktura. Adobe liczy trafienia, GA4 liczy zdarzenia, a oba dają jeden wiersz na każdą rzecz, która się wydarzyła.

Analityk przewija na monitorze wiersze surowych danych, czyli niezagregowaną tabelę, jaką daje eksport clickstream.

Czym dane clickstream różnią się od analityki zagregowanej?

Analityka zagregowana odpowiada na pytania zapisane przed zbieraniem danych, a dane clickstream na te, które przychodzą do głowy później. Na tym polega cały kompromis. Raport ma już ustalone, które wymiary łączą się z którymi metrykami, a liczby, której nigdy nie policzono, nie da się z niego odzyskać. Surowe wiersze niczego takiego nie przesądzają, więc możesz je łączyć, filtrować i układać na nowo tak, jak wymaga tego nowe pytanie.

Raport zagregowanyEksport clickstream
ZiarnistośćJeden wiersz na kombinację wymiarówJeden wiersz na trafienie lub zdarzenie
IdentyfikatorUsunięty lub objęty progamiObecny w każdym wierszu
KolejnośćUtraconaZachowana dzięki znacznikowi czasu
Nowe pytaniaWymagają nowego planu zbierania danychWystarczy nowe zapytanie
Rozmiar przy 1 mln sesji miesięcznieKilobajtyDziesiątki gigabajtów
Kto to czytaKażdy z dostępem do interfejsuKażdy z SQL i dostępem do hurtowni

Google egzekwuje ten podział we własnym produkcie. Ustawienie przechowywania danych oferuje "2 months" lub "14 months" dla danych na poziomie użytkownika i zdarzenia, a Google stwierdza, że "the data retention setting does not affect standard aggregated reports (including primary and secondary dimensions) in your Google Analytics property." Agregaty żyją dłużej niż wiersze, z których powstały, i o to właśnie chodzi: agregaty przestały być danymi osobowymi, a wiersze nigdy nimi być nie przestały. Co i kiedy wygasa, opisujemy w tekście o przechowywaniu danych w Google Analytics.

Warto wspomnieć jeszcze o sesjonizacji. Plik clickstream w ogóle nie zawiera sesji, tylko uporządkowane trafienia, a sesja to reguła nakładana na nie później. Zmień regułę, a liczba sesji się zmieni, choć żaden wiersz nawet nie drgnie. Ten mechanizm wyjaśniamy w tekście co liczy się jako sesja.

Jakie obowiązki prywatności wiążą się z danymi clickstream?

Dane clickstream są w UE danymi osobowymi, ponieważ każdy wiersz zawiera identyfikator internetowy. Art. 4 ust. 1 RODO definiuje dane osobowe jako "any information relating to an identified or identifiable natural person", przy czym osoba możliwa do zidentyfikowania "is one who can be identified, directly or indirectly, in particular by reference to an identifier such as a name, an identification number, location data, an online identifier." Motyw 30 usuwa wątpliwości co do znaczenia identyfikatora internetowego: "Natural persons may be associated with online identifiers provided by their devices, applications, tools and protocols, such as internet protocol addresses, cookie identifiers or other identifiers." Kolumny visid_high i user_pseudo_id to właśnie takie identyfikatory, a kolumnę ip motyw wymienia wprost. Szerzej omawiamy to w tekście o tym, czy adres IP jest daną osobową.

Kalifornia dochodzi do tego samego inną drogą. Civil Code 1798.140(v)(1)(F) wymienia wśród kategorii danych osobowych "Internet or other electronic network activity information, including, but not limited to, browsing history, search history, and information regarding a consumer's interaction with an internet website application, or advertisement." Plik clickstream to historia przeglądania w najbardziej dosłownym sensie.

Wynikają z tego wprost trzy obowiązki. Art. 5 ust. 1 lit. c wymaga, aby dane osobowe były "adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed", więc każdą kolumnę zbieraną tylko dlatego, że była w domyślnym schemacie, trzeba uzasadnić. Art. 5 ust. 1 lit. e wymaga przechowywania danych "in a form which permits identification of data subjects for no longer than necessary", co zamienia retencję z decyzji o kosztach przechowywania w decyzję prawną. Art. 17 ust. 1 daje osobie, której dane dotyczą, "the right to obtain from the controller erasure of personal data concerning him or her without undue delay", więc potrzebujesz sposobu na odnalezienie każdego wiersza należącego do jednego identyfikatora we wszystkich partycjach, kopiach w hurtowni i utworzonych backupach.

Dłoń stuka w komunikat o zgodzie na pliki cookie na smartfonie, czyli moment, w którym witryna prosi odwiedzającego o pozwolenie na śledzenie.

Czy zbieranie tych danych wymaga zgody?

Zapisywanie lub odczytywanie identyfikatora na urządzeniu odwiedzającego wymaga w UE zgody niezależnie od tego, czy dane są osobowe. Art. 5 ust. 3 dyrektywy 2002/58/WE obejmuje "the storing of information, or the gaining of access to information already stored, in the terminal equipment of a subscriber or user" i dopuszcza to "only on condition that the subscriber or user concerned has given his or her consent, having been provided with clear and comprehensive information." Reguła dotyczy samego sięgania do urządzenia, a nie wrażliwości tego, czego się dowiadujesz.

Flowsery
Flowsery

Rozpocznij 14-dniowy okres próbny

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Ten sam artykuł przewiduje dwa wyjątki: przechowywanie lub dostęp "for the sole purpose of carrying out the transmission of a communication over an electronic communications network, or as strictly necessary in order for the provider of an information society service explicitly requested by the subscriber or user to provide the service." Pomiar analityczny nie jest usługą, o którą odwiedzający wyraźnie poprosił, dlatego pomiar oparty na plikach cookie stoi za banerem. Zbieranie danych, które niczego nie odczytuje z urządzenia, w ogóle nie podlega art. 5 ust. 3, i to jest strukturalny argument za śledzeniem bez plików cookie.

Czy można usunąć tożsamość i zachować plik?

Usunięcie bezpośrednich identyfikatorów daje dane spseudonimizowane, a nie anonimowe, a dane spseudonimizowane nadal podlegają przepisom. Zahashowanie visid_high wciąż pozostawia stały klucz łączący wszystkie wiersze z historii jednej osoby, a stały klucz umożliwiający powiązanie to z definicji pseudonim, a nie usunięcie. Plik wychodzi poza zakres przepisów dopiero przy nieodwracalnej agregacji, po której nie da się odtworzyć wierszy dotyczących pojedynczych osób, a to z założenia operacja niszcząca. Różnicę i jej koszt analityczny omawiamy w tekście pseudonimizacja a anonimizacja.

Między tymi biegunami są praktyczne środki ograniczające ryzyko. Skracaj oktet adresu IP przed zapisaniem wiersza, a nie po. Usuń user_agent, jeśli odczytujesz z niego tylko nazwę przeglądarki. Ustaw dla surowej tabeli krótszą retencję niż dla pochodnych agregatów. Każdy z tych kroków jest bezpośrednią odpowiedzią na art. 5 ust. 1 lit. c i każdy łatwiej wykonać przy zbieraniu danych, niż wprowadzać później w całej hurtowni.

Od identyfikatora do anonimowości
visid_high
Zahashowany pseudonim
Zagregowane wiersze
Poza zakresem
Tylko ostatni krok wyłącza plik spod RODO i jest to jedyny krok, którego nie można cofnąć.

Najczęściej zadawane pytania

Czy dane clickstream są danymi osobowymi w rozumieniu RODO?

Tak, o ile każdy wiersz zawiera stały identyfikator odwiedzającego lub adres IP. Art. 4 ust. 1 RODO obejmuje każdego, kogo można zidentyfikować "indirectly" poprzez "an online identifier", a motyw 30 wprost podaje adresy IP i identyfikatory plików cookie jako przykłady takich identyfikatorów.

Czym dane clickstream różnią się od logu serwera?

Log serwera zapisuje żądania obsłużone przez serwer, a dane clickstream interakcje zaobserwowane przez tag analityczny. Log pomija strony z pamięci podręcznej, zdarzenia przewijania, kliknięcia niewysyłające żądań i wszelkie zmienne niestandardowe, a clickstream pomija boty i zasoby, których tag nigdy nie widział.

Ile danych clickstream generuje średniej wielkości witryna?

Wolumen rośnie wraz z trafieniami, a nie z liczbą odwiedzających. Witryna ze średnio sześcioma trafieniami na sesję i milionem sesji miesięcznie zapisuje sześć milionów wierszy miesięcznie, a data feeds Adobe i eksport GA4 do BigQuery mają znacznie ponad sto kolumn na wiersz, zanim dodasz jakiekolwiek zmienne niestandardowe.

Czy raporty zagregowane przetrwają usunięcie surowych wierszy?

W Google Analytics 4 tak. Google podaje, że ustawienie przechowywania danych "does not affect standard aggregated reports (including primary and secondary dimensions) in your Google Analytics property", więc agregaty obliczone przed wygaśnięciem pozostają dostępne po zniknięciu wierszy na poziomie zdarzeń.

Art. 5 ust. 3 dyrektywy ePrivacy dotyczy "the storing of information, or the gaining of access to information already stored, in the terminal equipment" użytkownika. Zbieranie danych, które ani nie zapisuje niczego na urządzeniu, ani z niego nie odczytuje, nie uruchamia tego artykułu, choć RODO nadal reguluje wszystkie dane osobowe przetwarzane po stronie serwera.

Które kolumny warto usunąć w pierwszej kolejności?

Zacznij od ip i user_agent. Obie są wymienione lub dorozumiane na liście identyfikatorów z motywu 30, obie zwykle wykorzystuje się tylko w przetworzonej postaci jako miasto i przeglądarkę, a obie można ograniczyć przy zbieraniu danych bez zmiany jakiegokolwiek raportu.

Jak często platforma analityczna dostarcza dane clickstream?

Adobe wysyła data feeds "in hourly batches at the conclusion of each hour, or in daily batches at the conclusion of each day." GA4 udostępnia te same szczegóły na poziomie wiersza przez eksport do BigQuery, z identyczną strukturą jednego wiersza na zdarzenie, ale pod innymi nazwami kolumn.

Czym różni się trafienie od zdarzenia w danych clickstream?

Trafienie (hit) to w Adobe nazwa jednego wiersza clickstream, a kolumna page_event wskazuje, czy było to trafienie standardowe, link pobierania, link niestandardowy czy link wyjścia. GA4 nazywa ten sam wiersz zdarzeniem i zapisuje jego nazwę w kolumnie event_name. Słownictwo się różni, ale ziarnistość jest identyczna: jeden wiersz na każdą rzecz, która się wydarzyła.

Czy eksporty clickstream z Adobe i GA4 można ze sobą zmapować?

Punkty odniesienia pokrywają się w przybliżeniu: hit_time_gmt odpowiada event_timestamp, przy czym to sekundy wobec mikrosekund, visid_high odpowiada user_pseudo_id, a page_url parametrowi page_location. Oba eksporty mają te same trzy punkty odniesienia, czyli znacznik czasu, identyfikator oraz adres URL lub nazwę zdarzenia, tylko pod innymi etykietami.

Czy wiersz clickstream ujawnia urządzenie odwiedzającego?

Wiersze Adobe zawierają surowy ciąg user_agent oraz dziesiątki kolumn dotyczących urządzenia i źródła ruchu, a eksport GA4 do BigQuery udostępnia zamiast tego przetworzone pola urządzenia. Kolumna user_agent w Adobe przechowuje ciąg dokładnie w postaci wysłanej w nagłówku HTTP, zanim ktokolwiek przetworzy go na nazwę urządzenia. Nic tu nie jest zagregowane, więc urządzenie stojące za pojedynczą wizytą pozostaje widoczne wiersz po wierszu.

Czy ten artykuł był pomocny?

Chętnie poznamy opinię!

Częściej widoczni w Google

Jedno kliknięcie ustawia Flowsery jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych artykułach, trybie AI i Przeglądach od AI.

Jeszcze jedno...

Flowsery

Flowsery

Analityka witryny skupiona na przychodach

Każdy odwiedzający, źródło i konwersja w czasie rzeczywistym. Prosto, skutecznie i bez plików cookie.

Panel w czasie rzeczywistym

Śledzenie celów

Śledzenie bez cookie

Powiązane hasła ze słownika

Jak działa test prawnie uzasadnionego interesu z art. 6 ust. 1 lit. f RODOJak działa test prawnie uzasadnionego interesu z art. 6 ust. 1 lit. f RODO
Słownik

Jak działa test prawnie uzasadnionego interesu z art. 6 ust. 1 lit. f RODO

Prawnie uzasadniony interes w art. 6 ust. 1 lit. f RODO, cytowany z EUR-Lex, wraz z trzyczęściowym testem EROD i wyjaśnieniem, dlaczego analityka wciąż budzi spory.

•10 min czytania
Co siedmiu dostawców publikuje o retencji danych z odtwarzania sesjiCo siedmiu dostawców publikuje o retencji danych z odtwarzania sesji
Słownik

Co siedmiu dostawców publikuje o retencji danych z odtwarzania sesji

Retencja danych z odtwarzania sesji według dokumentacji FullStory, Hotjar, Clarity, LogRocket, PostHog, Sentry i Datadog oraz wymagania RODO.

•8 min czytania
Co unieważnił wyrok Schrems II i co przyszło w zamianCo unieważnił wyrok Schrems II i co przyszło w zamian
Słownik

Co unieważnił wyrok Schrems II i co przyszło w zamian

Schrems II, sprawa C-311/18 z 16 lipca 2020 r.: sentencja TSUE, powody upadku Tarczy Prywatności, obecne wymogi SCC i Data Privacy Framework z 2023 r.

•10 min czytania
Czego RODO naprawdę wymaga od odtwarzania sesjiCzego RODO naprawdę wymaga od odtwarzania sesji
Słownik

Czego RODO naprawdę wymaga od odtwarzania sesji

Ocena odtwarzania sesji pod kątem RODO opiera się na czterech kwestiach: podstawie z art. 6, danych szczególnych kategorii z art. 9, zgodzie z art. 5 ust. 3 ePrivacy i DPIA.

•9 min czytania
Co pokazuje diagram Sankeya, czego nie pokaże lejekCo pokazuje diagram Sankeya, czego nie pokaże lejek
Słownik

Co pokazuje diagram Sankeya, czego nie pokaże lejek

Diagram Sankeya zachowuje przepływ: wszystko, co wchodzi do węzła, musi z niego wyjść. Kiedy pomaga w analityce, kiedy wprowadza w błąd i które narzędzia go rysują.

•9 min czytania
Co widzi atrybucja deklaratywna, czego nie pokażą dane o kliknięciachCo widzi atrybucja deklaratywna, czego nie pokażą dane o kliknięciach
Słownik

Co widzi atrybucja deklaratywna, czego nie pokażą dane o kliknięciach

Pole atrybucji deklaratywnej wyłapuje podcasty, polecenia i dark social, których śledzenie kliknięć nigdy nie zapisze. Skąd biorą się zniekształcenia i jak je uzgodnić.

•8 min czytania

Powiązane artykuły