Was Clickstream-Daten erfassen, Zeile für Zeile

Was sind Clickstream-Daten?

Jede Zeile in Clickstream-Daten ist eine Interaktion eines Besuchers in einem Moment, gespeichert ohne Aggregation, mit Kennung, Zeitstempel und URL noch daran. Nichts wurde gezählt, gemittelt oder zusammengefasst. Ein Bericht sagt Ihnen, dass letzte Woche 4.812 Sitzungen auf /pricing landeten. Der Clickstream unter diesem Bericht sind 4.812 einzelne Zeilen, jede mit einem Besucher, einer Sekunde und einer Seite, dazu Dutzende Spalten, die Gerät und Traffic-Quelle beschreiben.

Der Name kommt von der Form der Sache. Sortieren Sie diese Zeilen nach Kennung und dann nach Zeitstempel, und Sie bekommen einen Strom von Klicks: die buchstäbliche Abfolge dessen, was eine Person auf Ihrer Website tat, der Reihe nach. Diese Abfolge ist der Rohstoff, aus dem jede andere Analysezahl berechnet wird. Sie ist auch der Grund, warum Behavioral Analytics als eigene Disziplin neben dem Reporting existiert, denn Fragen nach Reihenfolge und Abfolge lassen sich aus einer Tabelle mit Summen nicht beantworten.

Was steckt in einem einzelnen Clickstream-Datensatz?

Ein Clickstream-Datensatz trägt einen Zeitstempel, eine Besucherkennung, eine Hit-Kennung, die URL, den Referrer, das Gerät und die Werte jeder benutzerdefinierten Variablen, die bei diesem Hit gesetzt war. Adobe Analytics veröffentlicht die vollständige Spaltenliste für seine Data Feeds, und dies sind Adobes eigene Beschreibungen:

Spalte	Adobes Beschreibung
hit_time_gmt	"The timestamp of the hit Adobe data collection servers received the hit, based in UNIX time."
hitid_high	"Used with hitid_low to identify a hit."
visid_high	"Used with visid_low to uniquely identify a visitor."
visit_num	"Starts at 1, and increments each time a new visit starts per visitor."
page_url	"The URL of the hit."
post_page_url	"Stripped for link tracking image requests."
page_event	"The type of hit that is sent in the image request (standard hit, download link, custom link, exit link)."
user_agent	"The user agent string sent in the HTTP header of the image request."
ip	"The IPv4 address, based on the HTTP header of the image request."
geo_city	"The name of the city that the hit came from, based on IP."
referrer	"The Referrer dimension."
post_evar1	Benutzerdefinierte Variable 1 nach serverseitiger Verarbeitung, eine von eVar1 bis eVar250

Adobe beschreibt den ganzen Mechanismus in einer Zeile: "Data feeds are a powerful way to get raw data out of Adobe Analytics," geliefert "in hourly batches at the conclusion of each hour, or in daily batches at the conclusion of each day."

Google Analytics 4 liefert dieselbe Idee unter anderen Namen über seinen BigQuery-Export. Dort heißen die Felder auf Zeilenebene event_timestamp, "the time (in microseconds, UTC) when the event was received by Google Analytics"; event_name, "the name of the event"; und user_pseudo_id, "the pseudonymous id (e.g., app instance ID) for the user. A unique identifier that is assigned to a user when they first open the app or visit the site." Parameter hängen an jeder Zeile als wiederholte Paare event_params.key und event_params.value.string_value, und geo.city wird befüllt "based on IP address."

Zwei Vokabulare, eine Struktur. Adobe zählt Hits, GA4 zählt Ereignisse, und beide geben Ihnen eine Zeile pro Ding, das passiert ist.

Wie unterscheiden sich Clickstream-Daten von aggregierter Analyse?

Aggregierte Analyse beantwortet Fragen, die Sie vor der Erfassung aufgeschrieben haben; Clickstream-Daten beantworten Fragen, die Ihnen danach einfallen. Das ist der gesamte Tausch. Ein Bericht hat bereits entschieden, welche Dimensionen mit welchen Kennzahlen zusammengehen, und eine Zahl, die nie berechnet wurde, lässt sich daraus nicht zurückgewinnen. Die Rohzeilen haben keine solche Entscheidung getroffen, also können Sie sie so verknüpfen, filtern und neu ordnen, wie es eine neue Frage verlangt.

	Aggregierter Bericht	Clickstream-Export
Granularität	Eine Zeile pro Dimensionskombination	Eine Zeile pro Hit oder Ereignis
Kennung	Entfernt oder per Schwelle unterdrückt	Auf jeder Zeile vorhanden
Abfolge	Verloren	Über Zeitstempel erhalten
Neue Fragen	Brauchen einen neuen Erfassungsplan	Werden durch eine neue Abfrage beantwortet
Größe bei 1 Mio. Sitzungen pro Monat	Kilobyte	Zig Gigabyte
Wer es liest	Jeder mit der Oberfläche	Jeder mit SQL und Zugriff auf das Warehouse

Google erzwingt die Trennung im eigenen Produkt. Die Einstellung zur Datenaufbewahrung bietet "2 months" oder "14 months" für Daten auf Nutzer- und Ereignisebene, und Google erklärt, dass "the data retention setting does not affect standard aggregated reports (including primary and secondary dimensions) in your Google Analytics property." Die Aggregate überleben die Zeilen, aus denen sie stammen, und genau das ist der Punkt: Die Aggregate hörten auf, personenbezogene Daten zu sein, und die Zeilen taten das nie. Siehe Datenaufbewahrung in Google Analytics dazu, was wann verfällt.

Die Sessionisierung ist der andere Unterschied, der eine Benennung verdient. Eine Clickstream-Datei enthält überhaupt keine Sitzungen, nur geordnete Hits; die Sitzung ist eine Regel, die später auf diese Hits angewendet wird. Ändern Sie die Regel, und die Sitzungszahl ändert sich, ohne dass sich eine einzige Zeile bewegt, was der Mechanismus hinter was als Sitzung zählt ist.

Welche Datenschutzpflichten hängen an Clickstream-Daten?

Clickstream-Daten sind in der EU personenbezogene Daten, weil jede Zeile eine Online-Kennung trägt. Artikel 4(1) DSGVO definiert personenbezogene Daten als "any information relating to an identified or identifiable natural person," wobei eine identifizierbare Person eine ist, die "is one who can be identified, directly or indirectly, in particular by reference to an identifier such as a name, an identification number, location data, an online identifier." Erwägungsgrund 30 nimmt die Mehrdeutigkeit darüber, was eine Online-Kennung bedeutet: "Natural persons may be associated with online identifiers provided by their devices, applications, tools and protocols, such as internet protocol addresses, cookie identifiers or other identifiers." Ihre Spalte visid_high und Ihre Spalte user_pseudo_id sind diese Kennungen, und die Spalte ip steht im Erwägungsgrund ausdrücklich. Der Punkt wird in ob eine IP-Adresse personenbezogene Daten sind durchgearbeitet.

Kalifornien kommt auf einem anderen Weg zum selben Ort. Civil Code 1798.140(v)(1)(F) führt unter den Kategorien personenbezogener Informationen auf: "Internet or other electronic network activity information, including, but not limited to, browsing history, search history, and information regarding a consumer's interaction with an internet website application, or advertisement." Eine Clickstream-Datei ist Browserverlauf im buchstäblichsten verfügbaren Sinn.

Drei Pflichten folgen unmittelbar. Artikel 5(1)(c) verlangt, dass personenbezogene Daten "adequate, relevant and limited to what is necessary in relation to the purposes for which they are processed" sind, was jede Spalte, die Sie erfassen, weil sie im Standardschema stand, zu einer Spalte macht, die Sie rechtfertigen müssen. Artikel 5(1)(e) verlangt, dass Daten "in a form which permits identification of data subjects for no longer than necessary" gehalten werden, was Aufbewahrung von einer Frage der Speicherkosten zu einer rechtlichen Frage macht. Artikel 17(1) gibt der betroffenen Person "the right to obtain from the controller erasure of personal data concerning him or her without undue delay," was bedeutet, dass Sie einen Weg brauchen, jede Zeile zu einer Kennung über jede Partition, jede Warehouse-Kopie und jedes Backup zu finden, das Sie angelegt haben.

Braucht die Erfassung eine Einwilligung?

Das Speichern oder Lesen der Kennung auf dem Gerät des Besuchers braucht in der EU eine Einwilligung, unabhängig davon, ob die Daten personenbezogen sind. Artikel 5(3) der Richtlinie 2002/58/EG deckt "the storing of information, or the gaining of access to information already stored, in the terminal equipment of a subscriber or user" ab und erlaubt es "only on condition that the subscriber or user concerned has given his or her consent, having been provided with clear and comprehensive information." Die Regel hängt am Akt des Zugriffs auf das Gerät, nicht an der Sensibilität dessen, was Sie erfahren.

Derselbe Artikel nimmt zwei Fälle aus: Speicherung oder Zugriff "for the sole purpose of carrying out the transmission of a communication over an electronic communications network, or as strictly necessary in order for the provider of an information society service explicitly requested by the subscriber or user to provide the service." Analysemessung ist nicht der Dienst, den der Besucher ausdrücklich angefordert hat, weshalb cookiebasierte Messung hinter einem Banner sitzt. Eine Erfassung, die nichts vom Gerät liest, berührt Artikel 5(3) überhaupt nicht, was das strukturelle Argument für cookieloses Tracking ist.

Können Sie die Identität entfernen und die Datei behalten?

Direkte Kennungen zu entfernen erzeugt pseudonymisierte Daten, keine anonymen Daten, und pseudonymisierte Daten bleiben im Anwendungsbereich. visid_high zu hashen lässt weiterhin einen stabilen Schlüssel übrig, der jede Zeile der Historie einer Person verbindet, und ein stabiler Schlüssel, der Verknüpfung trägt, ist die Definition eines Pseudonyms und keine Löschung. Nur eine unumkehrbare Aggregation, die Zeilen einzelner Personen unwiederbringlich macht, nimmt eine Datei aus dem Anwendungsbereich, und das ist von Natur aus ein zerstörender Vorgang. Die Unterscheidung und was jede analytisch kostet, legt Pseudonymisierung gegen Anonymisierung dar.

Zwischen diesen Polen gibt es praktische Abmilderungen. Kürzen Sie das IP-Oktett, bevor Sie die Zeile schreiben, nicht danach. Lassen Sie user_agent weg, wenn Sie daraus ohnehin nur den geparsten Browsernamen lesen. Setzen Sie die Aufbewahrung der Rohtabelle kürzer als die der abgeleiteten Aggregate. Jedes davon ist eine direkte Antwort auf Artikel 5(1)(c), und jedes ist zur Erfassungszeit leichter umzusetzen als quer über ein Warehouse nachzurüsten.

Vom Identifikator zur Anonymität

visid_high

Gehashter Pseudonym-Schlüssel

Aggregierte Zeilen

Außerhalb des Anwendungsbereichs

Häufig gestellte Fragen

Sind Clickstream-Daten personenbezogene Daten nach der DSGVO?

Ja, sobald jede Zeile eine stabile Besucherkennung oder eine IP-Adresse trägt. Artikel 4(1) DSGVO zählt jeden dazu, der "indirectly" über "an online identifier" identifizierbar ist, und Erwägungsgrund 30 nennt Internet-Protokoll-Adressen und Cookie-Kennungen ausdrücklich als Beispiele für solche Kennungen.

Was ist der Unterschied zwischen Clickstream-Daten und einem Serverlog?

Ein Serverlog erfasst Anfragen, die der Server bearbeitet hat; Clickstream-Daten erfassen Interaktionen, die das Analyse-Tag beobachtet hat. Dem Log fehlen gecachte Seiten, Scroll-Ereignisse, Klicks ohne Anfrage und jede benutzerdefinierte Variable, während dem Clickstream Bots und Assets fehlen, die das Tag nie gesehen hat.

Wie viele Clickstream-Daten erzeugt eine mittelgroße Website?

Das Volumen skaliert mit Hits, nicht mit Besuchern. Eine Website mit im Schnitt sechs Hits pro Sitzung und einer Million Sitzungen im Monat schreibt sechs Millionen Zeilen im Monat, und Adobe Data Feeds wie auch der GA4-BigQuery-Export tragen beide weit über hundert Spalten pro Zeile, bevor eine benutzerdefinierte Variable dazukommt.

Überleben aggregierte Berichte, wenn Rohzeilen gelöscht werden?

In Google Analytics 4 ja. Google erklärt, dass die Einstellung zur Datenaufbewahrung "does not affect standard aggregated reports (including primary and secondary dimensions) in your Google Analytics property," also bleiben vor dem Ablauf berechnete Aggregate lesbar, nachdem die Zeilen auf Ereignisebene weg sind.

Gilt das Einwilligungsrecht, wenn ich nie ein Cookie speichere?

Artikel 5(3) der ePrivacy-Richtlinie hängt an "the storing of information, or the gaining of access to information already stored, in the terminal equipment" des Nutzers. Eine Erfassung, die weder auf das Gerät schreibt noch von ihm liest, löst diesen Artikel nicht aus, wobei die DSGVO weiterhin regelt, welche personenbezogenen Daten Sie serverseitig verarbeiten.

Welche Spalten lohnt es sich zuerst zu streichen?

Beginnen Sie mit ip und user_agent. Beide sind in der Kennungsliste von Erwägungsgrund 30 genannt oder impliziert, beide werden meist nur in geparster Form als Stadt und Browser genutzt, und beide lassen sich zur Erfassungszeit reduzieren, ohne einen nachgelagerten Bericht zu verändern.

Wie oft liefern Analyseplattformen Clickstream-Daten?

Adobe liefert seine Data Feeds laut eigener Beschreibung "in stündlichen Batches am Ende jeder Stunde oder in täglichen Batches am Ende jedes Tages". GA4 liefert dieselbe Detailtiefe über den BigQuery-Export, mit derselben Zeile-pro-Ereignis-Struktur, nur unter anderen Spaltennamen.

Was unterscheidet einen Hit von einem Event bei Clickstream-Daten?

Bei Adobe heißt jede Zeile ein Hit, und die Spalte page_event zeigt, ob es sich um einen Standard-Hit, einen Download-Link, einen Custom-Link oder einen Exit-Link handelte. GA4 nennt dieselbe Zeile ein Event und trägt dessen Namen in der Spalte event_name ein. Der Wortschatz unterscheidet sich, aber die Granularität ist identisch, eine Zeile pro Vorgang.

Lassen sich Adobe- und GA4-Clickstream-Exporte aufeinander abbilden?

Die Anker passen nur grob zueinander: hit_time_gmt entspricht event_timestamp, Sekunden gegen Mikrosekunden, visid_high entspricht user_pseudo_id, und page_url entspricht dem Parameter page_location. Beide behalten dieselben drei Anker, einen Zeitstempel, eine Kennung und eine URL oder einen Ereignisnamen, nur unter anderen Bezeichnungen.

Zeigt eine Clickstream-Zeile, welches Gerät ein Besucher benutzt hat?

Adobes Zeilen tragen den rohen user_agent-String sowie Dutzende Spalten zu Gerät und Traffic-Quelle, während GA4s BigQuery-Export stattdessen bereits geparste Gerätefelder liefert. Adobes Spalte user_agent speichert diesen String genau so, wie er im HTTP-Header gesendet wurde, bevor ihn ein Bericht in einen Gerätenamen zerlegt. Nichts davon ist aggregiert, das Gerät hinter einem einzelnen Besuch bleibt Zeile für Zeile sichtbar.