Praxisnah erklärt - Verfolgen sie den Traffic von KI und LLM Chatbots

Hier wird das Thema Verfolgen sie den Traffic von KI und LLM Chatbots mit praktischen Beispielen erklärt. Vier Interaktionen lohnt es zu trennen, und genau darum geht es hier: Grundlegendes zu AI-Agenten, Crawlern, Antwortmaschinen und Zero-Click-Erwähnungen im Reporting.

AI-Verkehr ist keine einheitliche Sache. Ein ChatGPT-Verweisklick, eine Crawler-Anfrage von OpenAI, ein Quellenzitat von Perplexity, ein Browser-Automatisierungsagent und ein Scraper, der sich nie zu erkennen gibt, können alle Ihre Website berühren, bedeuten für die Analyse aber jeweils etwas anderes.

Der praktische Fehler besteht darin, sie alle in einem Bucket namens AI-Verkehr zusammenzufassen. Das verbirgt die Frage, die Ihr Dashboard beantworten sollte: War dies ein menschlicher Besuch, eine maschinelle Anfrage oder eine externe Erwähnung, die nie zu einem Besuch geführt hat?

Die vier AI-Wechselwirkungen, die es wert sind, getrennt zu werden

1. AI-Verweise von Antwortmaschinen

AI-Antwortprodukte können echte Besucher senden, wenn Benutzer auf einen Zitat- oder Quellenlink klicken. Diese Sitzungen erscheinen je nach Produkt und Browserkontext als Empfehlungsverkehr von Domains wie chatgpt.com, perplexity.ai, claude.ai oder gemini.google.com. Gehen Sie nicht davon aus, dass diese Referrer stabil oder vollständig sind. Einige App-, Browser- und Datenschutzkontexte entfernen sie oder schreiben sie neu.

Messen Sie diese als menschliche Sitzungen, sofern Ihre Bot-Steuerelemente nichts anderes sagen. Die nützlichen Fragen sind bekannt: Welche Seiten werden zitiert, welche AI Referrer konvertieren und ob sich diese Besucher anders verhalten als Such- oder Social-Besucher.

KI-Empfehlungssitzungen zählen oder prüfen

Als menschliche Sitzung behandeln

• Empfehlung von chatgpt.com, perplexity.ai, claude.ai oder gemini.google.com
• Führt zu Conversions oder wichtigen Seiten
• Verhält sich wie Such- oder Social-Besucher

Vor dem Zählen prüfen

• Referrer wird von App, Browser oder Datenschutzeinstellungen entfernt oder verändert
• Keine Bot-Kontrolle bestätigt menschliche Herkunft
• Verhalten weicht vom normalen Referral-Traffic ab

2. AI-Crawler und Indexierungs-Bots

AI-Unternehmen betreiben Crawler, um Webinhalte zu entdecken oder abzurufen. OpenAI dokumentiert separate Crawler-Identitäten, einschließlich GPTBot, OAI-SearchBot und ChatGPT-User, mit unterschiedlichen Zwecken und User-Agent-Tokens. Google dokumentiert den Googlebot für die Suche und separate gängige Crawler-Tokens wie Google-Extended für einige Gemini- und Vertex-AI-Anwendungsfälle (Google-Crawler).

Crawler-Hits sind keine Publikumsnachfrage. Sie können die Seitenaufrufe erhöhen, geografische Berichte verzerren und konvertierungsähnliche Ereignisse auslösen, wenn Ihr Analyse-Setup jede Anfrage aufzeichnet. Behalten Sie sie in Serverprotokollen oder Bot-Berichten, schließen Sie sie jedoch aus normalen Marketing-Leistungsmetriken aus.

3. Benutzergesteuerte Agenten

AI-Agenten sind schwieriger, da sie im Namen eines Menschen handeln. Ein Benutzer kann einen Assistenten bitten, Anbieter zu vergleichen, ein Formular auszufüllen, eine Besprechung zu buchen oder Preisseiten zusammenzufassen. In Protokollen ähnelt dieser Datenverkehr eher einem Browser als einem Crawler. Er ruft JavaScript ab, folgt Links und interagiert mit Formularen. Solche Assistenten lassen sich zudem so einfach wie nie bereitstellen: Mit einem Tool wie ClawOneClick kann ein Unternehmen seinen eigenen AI-Assistenten mit einem Klick auf Messaging-Kanälen wie WhatsApp, Telegram, Discord oder Slack einrichten.

Behandeln Sie den Agentenverkehr als separate Klasse, wenn Sie ihn identifizieren können. Es handelt sich weder um gewöhnlichen Bot-Spam noch um eine normale menschliche Sitzung. Die kommerzielle Absicht mag real sein, das Seitenerlebnis, die Verweildauer und die Ereignissequenz können jedoch synthetisch sein.

4. Zero-Click-AI-Erwähnungen

Der größte AI-Effekt erscheint nie in der Webanalyse. Wenn eine Antwortmaschine Ihren Inhalt zusammenfasst und der Benutzer zufrieden ist, erfolgt kein Empfehlungsklick. Ihr Inhalt hat die Entscheidung beeinflusst, aber Ihr Analysetool sieht nichts.

Dies ähnelt der Zero-Click-Suche, ist jedoch schwieriger zu messen, da die Antwortschnittstellen unterschiedlich sind und die Quellensichtbarkeit inkonsistent ist. Sie können dies indirekt durch Markensuchänderungen, Empfehlungsklicks von AI-Domains, Verkaufsgespräche mit Erwähnung von AI-Tools und manuelle Stichproben der Antwortabdeckung für hochwertige Themen überwachen.

Zero-Click-AI-Erwähnungen erfassen

Markenbezogene Suchveränderungen Verschiebungen bei der Suche nach Ihrem Markennamen

AI-Empfehlungsklicks Sitzungen, die doch von AI-Domains kommen

Erwähnungen in Verkaufsgesprächen Interessenten, die AI-Tools erwähnen

Manuelle Stichproben Antwortabdeckung für wichtige Themen

So konfigurieren Sie Analysen ohne verschmutzende Berichte

Beginnen Sie mit einer einfachen Taxonomie:

Signal	Beispiel	Als Zuschauerverkehr zählen?	Wo kann man es analysieren?
AI Empfehlungssitzung	Ein Benutzer klickt auf einen ChatGPT-Quelllink	Ja	Akquisitions- und Konvertierungsberichte
AI Crawler-Anfrage	GPTBot ruft einen Artikel ab	NEIN	Serverprotokolle, Bot-Analysen, CDN-Protokolle
AI Agentenaktion	Der Assistent öffnet Seiten für eine Benutzeraufgabe	Manchmal	Separates Segment oder Experimentprotokoll
AI Erwähnung ohne Klick	Ihr Leitfaden erscheint in einer Antwort	Es liegt kein Besuch vor	SEO/Markenüberwachung, qualitative Kontrollen

Passen Sie dann die Instrumentierung an:

• Schließen Sie bekannte Crawler-Benutzeragenten von der Seitenaufrufanalyse aus.
• Bewahren Sie rohe Serverprotokolle lange genug auf, um ungewöhnliche Spitzen zu erkennen.
• Segmentieren Sie AI-Referrer als ihre eigene Quellgruppe, anstatt sie in den generischen Referral-Traffic zu mischen.
• Vermeiden Sie es, serverseitige Seitenaufrufereignisse von Prefetchern, Link-Expandern und Crawlern als Sitzungen zu zählen.
• Fügen Sie Formularschutz hinzu, damit automatisierte Übermittlungen nicht zu Lead-Konvertierungen führen.

Wenn Sie ein CDN verwenden, kann Bot-Management hilfreich sein. Cloudflares AI Crawl Control meldet zum Beispiel Crawler-Kategorien wie GPTBot, ClaudeBot und Bytespider und hilft Website-Betreibern zu verstehen, wie AI-Crawler mit einer Zone interagieren. Das gehört neben die Analyse, aber nicht in dieselbe Metrik wie menschliche Seitenaufrufe.

Robots.txt hilft, ist aber keine Analyse

Robots.txt drückt Präferenzen gegenüber gut erzogenen Bots aus. Es authentifiziert nicht die Identität, blockiert nicht den gesamten Datenverkehr und beweist nicht, dass eine Anfrage rechtmäßig ist. Perplexitys eigenes Hilfezentrum sagt PerplexityBot honors robots.txt, während Cloudflare öffentlich Fälle gemeldet hat, bei denen es glaubte, dass ein Teil des AI-Verkehrs verschleiert wurde. Die Lehre ist nicht, dass sich jeder AI-Anbieter gleich verhält. Die Lehre daraus ist, dass sich Analytics bei der Klassifizierung nicht allein auf robots.txt verlassen sollte.

Verwenden Sie mehrere Signale: Benutzeragent, umgekehrte DNS- oder veröffentlichte IP-Bereiche, sofern verfügbar, Anforderungsrate, Pfadmuster, JavaScript-Ausführung, Cookie-Verhalten und CDN-Bot-Scores. Seien Sie vorsichtig bei aggressivem Blockieren, da benutzergesteuerte Abruffunktionen Teil des Arbeitsablaufs eines echten Benutzers sein können.

Was AI Traffic für die Content-Strategie bedeutet

Die AI-Erkennung verändert den Wert des Inhalts. Seiten, die bestimmte Fragen eindeutig beantworten, werden zitiert oder zusammengefasst, auch wenn sie keine klassischen organischen Sitzungen generieren. Deshalb sind Quellenqualität, strukturierte Überschriften, Aussagekraft und prägnante Definitionen wichtiger.

Für Datenschutzanalysen im Flowsery-Stil gilt das gleiche Datenschutzprinzip: Reagieren Sie nicht auf AI-Unsicherheiten, indem Sie weitere personenbezogene Daten sammeln. Sie können die Leistung der KI-Ära mit aggregierten Signalen messen:

• AI-Empfehlungssitzungen nach Quelldomäne.
• Zielseiten, die AI-Empfehlungen erhalten.
• Konversionsrate der durch KI empfohlenen Besucher.
• Bot-Crawling-Volumen nach Crawler-Identität.
• Serverlast durch automatisierte Anfragen.
• Inhaltsseiten, die in Verkaufsgesprächen, Supportgesprächen oder Kundenumfragen erwähnt werden.

Ein praktischer Wochenrückblick

Überprüfen Sie den AI-Verkehr getrennt vom SEO:

1. Listen Sie AI-Referrer-Domains und die Zielseiten auf, an die sie Traffic gesendet haben.
2. Überprüfen Sie, ob AI-Referrer-Sitzungen konvertiert wurden oder Seiten mit hoher Absicht erreicht haben.
3. Vergleichen Sie den Crawler-Verkehr in Serverprotokollen mit menschlichen Seitenaufrufen.
4. Untersuchen Sie Spitzen, die viele URLs schnell treffen, oder ignorieren Sie normale Navigationspfade.
5. Aktualisieren Sie robots.txt erst, nachdem Sie entschieden haben, welche Crawler Sie für die Suche, AI Antworten, Modelltraining oder benutzergesteuertes Surfen zulassen möchten.

Das Ziel besteht nicht darin, die AI-Analyse perfekt zu machen. Das Ziel besteht darin, eine Vermischung dreier unterschiedlicher Realitäten zu vermeiden: Menschen, die Ihre Website besuchen, Maschinen, die Ihre Website lesen, und AI Tools, die an anderer Stelle über Ihre Website sprechen.

AI Checkliste zur Verkehrsklassifizierung

Klassifizieren Sie jeden Anstieg oder jede neue Quelle, bevor Sie sie melden:

• Referrer-Sitzung: Behalten Sie Akquisitionsberichte bei, wenn es sich wie ein menschlicher Besuch verhält.
• Bekannter Crawler: Aus Zielgruppenmetriken ausschließen und in Protokollen oder CDN-Analysen überprüfen.
• Benutzergesteuerter Abruf: Separat segmentieren, wenn identifizierbar, da dies möglicherweise eine menschliche Absicht ohne normales Surfverhalten darstellt.
• Scraper oder Spam-Bot: Filtern Sie aus Marketingberichten und schützen Sie Formulare.
• Erwähnung ohne Klick: Verfolgen Sie über qualitative Kanäle wie Verkaufsmitteilungen, Umfragen und Markensuche.

Durch diese Taxonomie bleiben Dashboards ehrlich. Der AI-Einfluss kann real sein, ohne dass jede Maschinenanfrage zu „Verkehr“ wird.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einer AI-Empfehlung und einem AI-Crawler?

Eine AI-Empfehlung ist ein echter Besucher, der einen Zitat- oder Quellenlink in einem Produkt wie ChatGPT, Perplexity, Claude oder Gemini angeklickt hat. Diese Sitzung sollte als menschliche Sitzung zählen, sofern Ihre Bot-Kontrollen nichts anderes sagen. Ein AI-Crawler ist ein Bot wie GPTBot oder Googlebot, der Seiten abruft, um sie zu indexieren oder auszulesen, und gehört in Serverprotokolle statt in Zielgruppenkennzahlen. Wer beides in einen Topf namens AI-Traffic wirft, verdeckt, welche Zahl sich bewegt hat und warum.

Zählt GPTBot als Website-Traffic?

Nein, GPTBot ist eine Crawler-Identität, die OpenAI neben OAI-SearchBot und ChatGPT-User dokumentiert, und Crawler-Zugriffe sind keine echte Nachfrage. Sie können Seitenaufrufe aufblähen und geografische Berichte verzerren, wenn Ihre Analyse-Einrichtung jede Anfrage erfasst. Halten Sie sie deshalb in Serverprotokollen oder Bot-Berichten statt in Marketing-Kennzahlen.

Woran erkenne ich, ob eine ChatGPT-Empfehlung ein echter Besucher ist?

Prüfen Sie, ob die Sitzung von einer Domain wie chatgpt.com stammt und ob Ihre Bot-Kontrollen sie nicht markiert haben. App-, Browser- und Datenschutzkontexte entfernen oder verändern diese Referrer manchmal. Schauen Sie, ob der Besucher konvertiert oder sich wie ein normaler Such- oder Social-Besucher verhält, statt einem synthetischen Klickmuster zu folgen. Behandeln Sie ihn standardmäßig als menschliche Sitzung, sofern nichts in Ihrer Einrichtung dagegen spricht.

Was ist ein benutzergesteuerter AI-Agent in der Webanalyse?

Ein benutzergesteuerter Agent handelt im Auftrag einer echten Person, etwa wenn jemand einen Assistenten bittet, Anbieter zu vergleichen, ein Formular auszufüllen oder Preisseiten zusammenzufassen. Dieser Traffic kann in Protokollen browserähnlich wirken, weil er JavaScript lädt, Links folgt und mit Formularen interagiert, doch Verweildauer und Ereignisabfolge können trotzdem synthetisch sein. Segmentieren Sie ihn separat, sobald Sie ihn identifizieren können, statt ihn in gewöhnliche Bot- oder Menschen-Kategorien einzuordnen.

Warum kontrolliert robots.txt den Zugriff von AI-Crawlern nicht vollständig?

Robots.txt drückt nur Präferenzen gegenüber wohlerzogenen Bots aus, sie authentifiziert keine Identität, blockiert nicht allen Traffic und beweist nicht, dass eine Anfrage rechtmäßig ist. Perplexitys eigenes Hilfe-Center gibt an, dass PerplexityBot robots.txt befolgt, während Cloudflare öffentlich Fälle gemeldet hat, in denen es glaubte, dass AI-Traffic verschleiert wurde. Diese Lücke bedeutet, dass sich Analysen für die Klassifizierung nicht allein auf robots.txt verlassen sollten.

Was zeigt Cloudflares AI Crawl Control über AI-Crawler?

Cloudflares AI Crawl Control meldet Crawler-Kategorien wie GPTBot, ClaudeBot und Bytespider, damit ein Website-Betreiber sieht, wie AI-Crawler mit einer Zone interagieren. Es steht neben Ihrer Analyse als CDN-Bot-Bericht, nicht innerhalb derselben Kennzahl wie menschliche Seitenaufrufe.

Sollte ich Zero-Click-AI-Erwähnungen als Traffic zählen?

Es entsteht kein Besuch, wenn eine Antwortmaschine Ihren Inhalt zusammenfasst und der Nutzer nie klickt, also gibt es nichts, was ein Webanalyse-Tool zählen könnte. Sie können den Effekt trotzdem indirekt über Veränderungen bei der Markensuche, AI-Empfehlungsklicks, Erwähnungen in Verkaufsgesprächen und manuelle Stichproben der Antwortabdeckung für wichtige Themen verfolgen.

Welche Domains senden AI-Empfehlungs-Traffic?

Sitzungen von AI-Antwortprodukten erscheinen als Empfehlungs-Traffic von Domains wie chatgpt.com, perplexity.ai, claude.ai oder gemini.google.com, je nach Produkt und Browserkontext. Diese Referrer sind nicht immer stabil oder vollständig, da manche App-, Browser- und Datenschutzkontexte sie entfernen oder umschreiben, bevor die Sitzung Ihre Analyse erreicht.

Wie oft sollte ich AI-Traffic getrennt von SEO überprüfen?

Eine wöchentliche Überprüfung funktioniert gut: Listen Sie AI-Referrer-Domains und ihre Zielseiten auf und prüfen Sie dann, ob eine dieser Sitzungen konvertiert oder wichtige Seiten erreicht hat. Vergleichen Sie außerdem Crawler-Traffic in Serverprotokollen mit menschlichen Seitenaufrufen. Untersuchen Sie jeden Ausschlag, der viele URLs schnell trifft oder normale Navigationspfade überspringt, und aktualisieren Sie robots.txt erst, nachdem Sie entschieden haben, welche Crawler Sie tatsächlich zulassen wollen.

Was ist Google-Extended, und wie unterscheidet es sich von Googlebot?

Googlebot crawlt für die Suche, während Google-Extended ein separates Token ist, das Google für einige Gemini- und Vertex-AI-Anwendungsfälle dokumentiert. Wer beide als denselben Crawler behandelt, verwischt einen Bericht, der Suchindexierung eigentlich von AI-bezogenem Abruf trennen soll.