Woordenlijst

Wat clickstreamdata vastlegt, rij voor rij

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •8 min leestijd
Wat clickstreamdata vastlegt, rij voor rijWat clickstreamdata vastlegt, rij voor rij

TL;DR, kort antwoord

8 min leestijd

Clickstreamdata is de niet-geaggregeerde export op hitniveau uit een analyseplatform: één rij per interactie, met een tijdstempel, een bezoekersidentifier, een URL, een user agent en vaak een ruw IP-adres. Adobe levert die via data feeds met kolommen als hit_time_gmt, visid_high, post_page_url en user_agent; Google Analytics 4 levert het equivalent via de BigQuery-export met event_timestamp, event_name en user_pseudo_id. Omdat elke rij nog een online identifier bevat, vallen de bestanden onder zowel artikel 4, lid 1, van de AVG als California Civil Code 1798.140(v)(1)(F) binnen de definitie van persoonsgegevens, en dat onderscheidt ze juridisch van een geaggregeerd rapport.

Wat is clickstreamdata?

Elke rij clickstreamdata is één interactie van één bezoeker op één moment, opgeslagen zonder aggregatie, met de identifier, het tijdstempel en de URL er allemaal nog aan vast. Er is niets geteld, gemiddeld of samengevoegd. Een rapport vertelt je dat vorige week 4.812 sessies op /pricing landden. De clickstream onder dat rapport bestaat uit 4.812 afzonderlijke rijen, die elk een bezoeker, een seconde en een pagina noemen, plus tientallen kolommen over het apparaat en de verkeersbron.

De naam komt van de vorm. Sorteer die rijen op identifier en daarna op tijdstempel en je krijgt een stroom van klikken: de letterlijke volgorde van wat één persoon op je site deed. Die volgorde is de grondstof waaruit elk ander analysecijfer wordt berekend. Het is ook de reden dat gedragsanalyse een eigen discipline is naast rapportage, want vragen over volgorde en opeenvolging zijn niet te beantwoorden vanuit een tabel met totalen.

Wat staat er in één clickstreamrecord?

Een clickstreamrecord bevat een tijdstempel, een bezoekersidentifier, een hit-identifier, de URL, de referrer, het apparaat en de waarden van elke custom variabele die op die hit was ingesteld. Adobe Analytics publiceert de volledige kolomlijst voor zijn data feeds, en dit zijn de eigen omschrijvingen:

KolomOmschrijving van Adobe
hit_time_gmt"The timestamp of the hit Adobe data collection servers received the hit, based in UNIX time."
hitid_high"Used with hitid_low to identify a hit."
visid_high"Used with visid_low to uniquely identify a visitor."
visit_num"Starts at 1, and increments each time a new visit starts per visitor."
page_url"The URL of the hit."
post_page_url"Stripped for link tracking image requests."
page_event"The type of hit that is sent in the image request (standard hit, download link, custom link, exit link)."
user_agent"The user agent string sent in the HTTP header of the image request."
ip"The IPv4 address, based on the HTTP header of the image request."
geo_city"The name of the city that the hit came from, based on IP."
referrer"The Referrer dimension."
post_evar1Custom variabele 1 na verwerking aan de serverkant, een van eVar1 tot en met eVar250

Adobe beschrijft het hele mechanisme in één zin: "Data feeds are a powerful way to get raw data out of Adobe Analytics," geleverd "in hourly batches at the conclusion of each hour, or in daily batches at the conclusion of each day."

Google Analytics 4 levert hetzelfde idee onder andere namen via de BigQuery-export. Daar zijn de velden op rijniveau event_timestamp, "the time (in microseconds, UTC) when the event was received by Google Analytics"; event_name, "the name of the event"; en user_pseudo_id, "the pseudonymous id (e.g., app instance ID) for the user. A unique identifier that is assigned to a user when they first open the app or visit the site." Parameters hangen aan elke rij als herhaalde paren event_params.key en event_params.value.string_value, en geo.city wordt gevuld "based on IP address."

Twee vocabulaires, één structuur. Adobe telt hits, GA4 telt events, en beide geven je één regel per ding dat gebeurde.

Een analist scrolt door rijen ruwe data op een monitor, het soort niet-geaggregeerde tabel dat een clickstream-export oplevert.

Hoe verschilt clickstreamdata van geaggregeerde analytics?

Geaggregeerde analytics beantwoordt vragen die je vóór het verzamelen opschreef; clickstreamdata beantwoordt vragen die achteraf bij je opkomen. Dat is de hele ruil. Een rapport heeft al besloten welke dimensies bij welke metrics horen, en een cijfer dat nooit is berekend, is er niet meer uit te halen. De ruwe rijen hebben zo'n besluit niet genomen, dus je kunt ze koppelen, filteren en opnieuw ordenen zoals een nieuwe vraag dat vraagt.

Geaggregeerd rapportClickstream-export
GranulariteitEén rij per combinatie van dimensiesEén rij per hit of event
IdentifierVerwijderd of afgedekt met drempelsAanwezig op elke rij
VolgordeVerlorenBewaard via tijdstempel
Nieuwe vragenVereisen een nieuw verzamelplanBeantwoord met een nieuwe query
Omvang bij 1M sessies per maandKilobytesTientallen gigabytes
Wie het leestIedereen met de UIIedereen met SQL en toegang tot het warehouse

Google dwingt die scheiding in zijn eigen product af. De instelling voor gegevensbewaring biedt "2 months" of "14 months" voor data op gebruikers- en eventniveau, en Google stelt dat "the data retention setting does not affect standard aggregated reports (including primary and secondary dimensions) in your Google Analytics property." De aggregaten leven langer dan de rijen waaruit ze kwamen, en dat is precies het punt: de aggregaten zijn geen persoonsgegevens meer en de rijen waren dat altijd. Zie gegevensbewaring in Google Analytics voor wat er verloopt en wanneer.

Sessievorming is het andere verschil dat het benoemen waard is. Een clickstreambestand bevat helemaal geen sessies, alleen geordende hits; de sessie is een regel die later op die hits wordt toegepast. Verander de regel en het aantal sessies verandert zonder dat er één rij verschuift, en dat is het mechanisme achter wat als sessie telt.

Welke privacyverplichtingen horen bij clickstreamdata?

Clickstreamdata is in de EU een persoonsgegeven omdat elke rij een online identifier bevat. Artikel 4, lid 1, van de AVG definieert persoonsgegevens als "any information relating to an identified or identifiable natural person," waarbij een identificeerbare persoon "is one who can be identified, directly or indirectly, in particular by reference to an identifier such as a name, an identification number, location data, an online identifier." Overweging 30 neemt de onduidelijkheid weg over wat een online identifier is: "Natural persons may be associated with online identifiers provided by their devices, applications, tools and protocols, such as internet protocol addresses, cookie identifiers or other identifiers." Je kolom visid_high en je kolom user_pseudo_id zijn die identifiers, en de kolom ip wordt in de overweging letterlijk genoemd. Dit punt wordt uitgewerkt in of een IP-adres een persoonsgegeven is.

Californië komt via een andere weg op dezelfde plek uit. Civil Code 1798.140(v)(1)(F) noemt onder de categorieën persoonlijke informatie "Internet or other electronic network activity information, including, but not limited to, browsing history, search history, and information regarding a consumer's interaction with an internet website application, or advertisement." Een clickstreambestand is browsegeschiedenis in de meest letterlijke zin die er bestaat.

Daar volgen direct drie plichten uit. Artikel 5, lid 1, onder c, eist dat persoonsgegevens "adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed" zijn, waardoor elke kolom die je verzamelt omdat hij in het standaardschema stond, een kolom wordt die je moet verantwoorden. Artikel 5, lid 1, onder e, eist dat data wordt bewaard "in a form which permits identification of data subjects for no longer than necessary," waardoor bewaring geen beslissing over opslagkosten meer is maar een juridische. Artikel 17, lid 1, geeft de betrokkene "the right to obtain from the controller erasure of personal data concerning him or her without undue delay," wat betekent dat je een manier nodig hebt om elke rij van één identifier terug te vinden in elke partitie, elke warehousekopie en elke back-up die je maakte.

Een hand tikt op een cookietoestemmingsmelding op een smartphone, het moment waarop sitetracking de bezoeker om toestemming vraagt.

Is er toestemming nodig om het te verzamelen?

Het opslaan of uitlezen van de identifier op het apparaat van de bezoeker vereist in de EU toestemming, ongeacht of de data persoonsgegevens zijn. Artikel 5, lid 3, van Richtlijn 2002/58/EG gaat over "the storing of information, or the gaining of access to information already stored, in the terminal equipment of a subscriber or user," en staat dat alleen toe "only on condition that the subscriber or user concerned has given his or her consent, having been provided with clear and comprehensive information." De regel hangt aan het aanraken van het apparaat, niet aan de gevoeligheid van wat je te weten komt.

Flowsery
Flowsery

Start je gratis proefperiode van 14 dagen

Realtime dashboard

Doelen bijhouden

Tracking zonder cookies

Hetzelfde artikel kent twee uitzonderingen: opslag of toegang "for the sole purpose of carrying out the transmission of a communication over an electronic communications network, or as strictly necessary in order for the provider of an information society service explicitly requested by the subscriber or user to provide the service." Analytische meting is niet de dienst waar de bezoeker uitdrukkelijk om vroeg, en daarom zit meting op basis van cookies achter een banner. Verzamelen dat niets van het apparaat uitleest, raakt artikel 5, lid 3, helemaal niet, en dat is het structurele argument voor tracking zonder cookies.

Kun je de identiteit eruit halen en het bestand houden?

Het verwijderen van directe identifiers levert gepseudonimiseerde data op, geen anonieme data, en gepseudonimiseerde data blijft binnen de reikwijdte. Een hash van visid_high laat nog steeds een stabiele sleutel over die elke rij uit de geschiedenis van één persoon aan elkaar koppelt, en een stabiele sleutel die koppeling mogelijk maakt is per definitie een pseudoniem en geen wissing. Alleen onomkeerbare aggregatie die rijen per persoon onherstelbaar maakt, haalt een bestand buiten de reikwijdte, en dat is bewust een destructieve bewerking. Het onderscheid, en wat elk ervan je analytisch kost, staat uitgelegd in pseudonimisering versus anonimisering.

Tussen die uitersten liggen praktische maatregelen. Kap het IP-octet af voordat je de rij wegschrijft, niet erna. Laat user_agent weg als je er alleen ooit de geparste browsernaam uit leest. Stel de bewaartermijn van de ruwe tabel korter in dan die van de afgeleide aggregaten. Elk daarvan is een direct antwoord op artikel 5, lid 1, onder c, en elk is makkelijker bij het verzamelen te regelen dan achteraf in een heel warehouse.

Van identifier naar anoniem
visid_high
Gehasht pseudoniem
Geaggregeerde rijen
Buiten de reikwijdte
Alleen de laatste stap haalt het bestand buiten de reikwijdte van de AVG, en het is de enige stap die je niet kunt terugdraaien.

Veelgestelde vragen

Is clickstreamdata een persoonsgegeven onder de AVG?

Ja, zodra elke rij een stabiele bezoekersidentifier of een IP-adres bevat. Artikel 4, lid 1, van de AVG rekent iedereen mee die "indirectly" identificeerbaar is via "an online identifier," en overweging 30 noemt IP-adressen en cookie-identifiers uitdrukkelijk als voorbeelden van die identifiers.

Wat is het verschil tussen clickstreamdata en een serverlog?

Een serverlog legt verzoeken vast die de server afhandelde; clickstreamdata legt interacties vast die de analysetag waarnam. Het log mist gecachte pagina's, scrollevents, klikken die geen verzoek afvuren en elke custom variabele, terwijl de clickstream bots en bestanden mist die de tag nooit zag.

Hoeveel clickstreamdata produceert een middelgrote site?

Het volume schaalt met hits, niet met bezoekers. Een site met gemiddeld zes hits per sessie en een miljoen sessies per maand schrijft zes miljoen rijen per maand, en zowel de data feeds van Adobe als de BigQuery-export van GA4 bevatten ruim honderd kolommen per rij voordat er custom variabelen bij komen.

Blijven geaggregeerde rapporten bestaan als ruwe rijen worden verwijderd?

In Google Analytics 4 wel. Google stelt dat de instelling voor gegevensbewaring "does not affect standard aggregated reports (including primary and secondary dimensions) in your Google Analytics property," dus aggregaten die vóór het verlopen zijn berekend, blijven leesbaar nadat de rijen op eventniveau weg zijn.

Artikel 5, lid 3, van de ePrivacyrichtlijn hangt aan "the storing of information, or the gaining of access to information already stored, in the terminal equipment" van de gebruiker. Verzamelen dat niets naar het apparaat schrijft en er niets van uitleest, valt niet onder dat artikel, al blijft de AVG gelden voor alle persoonsgegevens die je aan de serverkant verwerkt.

Welke kolommen kun je het best als eerste schrappen?

Begin met ip en user_agent. Beide worden in de lijst van identifiers in overweging 30 genoemd of geïmpliceerd, beide worden meestal alleen in geparste vorm gebruikt als stad en browser, en beide kun je bij het verzamelen inperken zonder dat er een rapport verderop verandert.

Hoe vaak levert een analyseplatform clickstreamdata?

Adobe levert zijn data feeds "in hourly batches at the conclusion of each hour, or in daily batches at the conclusion of each day." GA4 levert hetzelfde detail op rijniveau via de BigQuery-export, met precies dezelfde structuur van één rij per event onder andere kolomnamen.

Wat is het verschil tussen een hit en een event in clickstreamdata?

Een hit is Adobes naam voor één clickstreamrij, en de kolom page_event geeft aan of het een standaardhit, een downloadlink, een custom link of een exitlink was. GA4 noemt dezelfde rij een event en legt de naam vast in de kolom event_name. Het vocabulaire verschilt, maar de granulariteit is identiek: één regel per ding dat gebeurde.

Kun je clickstream-exports van Adobe en GA4 op elkaar mappen?

De ankers komen grofweg overeen: hit_time_gmt hoort bij event_timestamp, in seconden tegenover microseconden, visid_high hoort bij user_pseudo_id, en page_url hoort bij de parameter page_location. Beide houden dezelfde drie ankers aan, een tijdstempel, een identifier en een URL of eventnaam, alleen onder andere labels.

Laat een clickstreamrij zien welk apparaat een bezoeker gebruikte?

De rijen van Adobe bevatten een ruwe user_agent-string plus tientallen kolommen over apparaat en verkeersbron, terwijl de BigQuery-export van GA4 in plaats daarvan geparste apparaatvelden levert. De kolom user_agent van Adobe bewaart de string precies zoals die in de HTTP-header werd verstuurd, voordat iemand hem tot een apparaatnaam parset. Er is niets aan geaggregeerd, dus het apparaat achter één bezoek blijft rij voor rij zichtbaar.

Was dit artikel nuttig?

Laat ons weten wat je ervan vindt!

Zie ons vaker in Google

Met één klik markeer je Flowsery als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

Flowsery

Flowsery

Analytics voor je website, met omzet voorop

Volg elke bezoeker, bron en conversie in realtime. Eenvoudig, krachtig en zonder cookies.

Realtime dashboard

Doelen bijhouden

Tracking zonder cookies

Gerelateerde begrippen

Zo werkt de toets voor gerechtvaardigd belang onder artikel 6, lid 1, onder f), AVGZo werkt de toets voor gerechtvaardigd belang onder artikel 6, lid 1, onder f), AVG
Woordenlijst

Zo werkt de toets voor gerechtvaardigd belang onder artikel 6, lid 1, onder f), AVG

Gerechtvaardigd belang onder artikel 6, lid 1, onder f), AVG, geciteerd uit EUR-Lex, met de drietrapstoets van de EDPB en waarom webanalytics nog steeds een omstreden geval is.

•10 min leestijd
Wat zeven leveranciers publiceren over de bewaartermijn van session replay-dataWat zeven leveranciers publiceren over de bewaartermijn van session replay-data
Woordenlijst

Wat zeven leveranciers publiceren over de bewaartermijn van session replay-data

Bewaartermijnen van session replay-data vergeleken op basis van de docs van FullStory, Hotjar, Clarity, LogRocket, PostHog, Sentry en Datadog, plus wat de AVG vereist.

•8 min leestijd
Wat Schrems II ongeldig verklaarde, en wat ervoor in de plaats kwamWat Schrems II ongeldig verklaarde, en wat ervoor in de plaats kwam
Woordenlijst

Wat Schrems II ongeldig verklaarde, en wat ervoor in de plaats kwam

Schrems II, zaak C-311/18 van het HvJ-EU van 16 juli 2020: het dictum geciteerd, waarom Privacy Shield viel, wat SCC's nu vereisen en het Data Privacy Framework van 2023.

•10 min leestijd
Wat AVG-compliance voor session replay echt van je vraagtWat AVG-compliance voor session replay echt van je vraagt
Woordenlijst

Wat AVG-compliance voor session replay echt van je vraagt

Een AVG-beoordeling van session replay draait om vier dingen: een rechtsgrond uit artikel 6, bijzondere persoonsgegevens uit artikel 9, toestemming onder artikel 5, lid 3, ePrivacy en een DPIA.

•9 min leestijd
Wat een sankeydiagram laat zien dat een funnel niet kanWat een sankeydiagram laat zien dat een funnel niet kan
Woordenlijst

Wat een sankeydiagram laat zien dat een funnel niet kan

Een sankeydiagram behoudt de stroom, dus alles wat een knooppunt binnenkomt moet er ook weer uit. Waar dat helpt in analytics, waar het misleidt en welke tools er een tekenen.

•8 min leestijd
Wat zelfgerapporteerde attributie ziet dat klikdata mistWat zelfgerapporteerde attributie ziet dat klikdata mist
Woordenlijst

Wat zelfgerapporteerde attributie ziet dat klikdata mist

Een veld voor zelfgerapporteerde attributie vangt podcasts, mond-tot-mondreclame en dark social die kliktracking nooit vastlegt. Waarom antwoorden vertekenen en hoe je ze naast elkaar legt.

•8 min leestijd

Gerelateerde artikelen