AI-Traffic und Datenqualität: Wie KI-Bots Ihre Daten verzerren

AI-Traffic-Serie · Teil 2 von 5

Die starke Zunahme von Bot-Traffic stellt ein erhebliches Risiko für die Güte Ihrer Web-Analyse-Daten dar. Im Folgenden betrachten wir die wichtigsten Kennzahlen, die durch AI-Crawler verzerrt werden – und warum unbereinigte Daten gefährliche Fehlschlüsse nach sich ziehen können.

Die Serie im Überblick

Vorige Artikel:

• Einführung: AI-Traffic entschlüsselt: eine Serie für Analytics-Profis

• Teil 1: AI-Bots vs. AI-SEO: die zwei Gesichter des AI-Traffics

Nächste Artikel:

• Teil 3: AI-Bot-Traffic filtern: So bereinigen Sie GA4, Adobe & Piano

• Teil 4: Pay-per-Crawl & Co.: Wie Unternehmen KI-Crawlern begegnen

• Teil 5: AI Agents und Web Analytics: neue Regeln für die Attribution

Verfälschtes Traffic-Volumen und Seitenaufrufe

Die offensichtlichste Auswirkung: Ihre Besucherzahlen werden künstlich in die Höhe getrieben. Wenn plötzlich Millionen von zusätzlichen Requests durch KI-Bots erfolgen, kann das Gesamt-Trafficvolumen explodieren, ohne dass auch nur ein einziger echter Kunde mehr auf Ihrer Seite war.

Ein aktuelles Beispiel: Der Hoster Vercel meldete, dass allein OpenAIs GPTBot in einem Monat 569 Millionen Requests verursacht hat, Anthropics Claude weitere 370 Millionen. Zusammengenommen sind das fast eine Milliarde Aufrufe – in einem Monat, auf nur einem Hosting-Netzwerk. Diese zwei Bots erreichten damit rund 28 % des monatlichen Googlebot-Traffics.

Cloudflare berichtete sogar, dass sämtliche AI-Crawler zusammen inzwischen über 50 Milliarden Requests pro Tag auf ihrem Netzwerk ausmachen – etwa 1 % des gesamten Web-Traffics, den Cloudflare verarbeitet. Und die Tendenz ist steigend; wir sind gerade erst am Anfang.

Für Ihr Analytics bedeutet das: Ohne Filter würde dieser Bot-Sturm Ihre Besucherstatistik dominieren. Sie laufen Gefahr zu glauben, Ihre Website habe einen riesigen Zuwachs an Interesse erfahren, während in Wahrheit vielleicht nur GPTBot & Co. fleißig gesammelt haben. Marketingkampagnen könnten fälschlich als extrem erfolgreich gelten, obwohl die „neuen Besucher“ keine Menschen, sondern Maschinen sind.

Kurz: Ungefilterte Traffic-Zahlen sind unter Umständen nicht mehr aussagekräftig, wenn AI-Bots nicht herausgerechnet werden.

Ein weiteres Problem sind die vielen 404-Fehler und sinnlosen Aufrufe, die KI-Crawler generieren. Da diese Bots oft allem folgen, was irgendwie nach einer URL aussieht – und teils sogar „halluzinierte“ Pfade ausprobieren –, belasten sie Ihre Server mit massenhaften Fehlanfragen. Vercel stellte fest, dass über 34 % der Requests von ChatGPT- und Claude-Bot zu 404-Fehlern führten. Diese Fehlzugriffe tauchen zwar nicht immer in Analytics-Tools auf, weil viele davon nicht per Tracking-Code erfasst werden. Sie können aber in Logfiles sichtbar sein und z. B. seitenlange Crawling-Statistiken in der Google Search Console ausfüllen.

Für die Datenqualität heißt das: Selbst wenn die Gesamtbesucherzahl nicht völlig aus dem Ruder läuft, können AI-Bots auf Seitenebene zu Trugschlüssen führen. Ein Beispiel: Manche Seiten wirken oft aufgerufen oder per Direktaufruf angesteuert, obwohl sie in Wirklichkeit kein Mensch je angesehen hat.

Beeinträchtigte Engagement-Kennzahlen (Bounce Rate, Session-Dauer)

Auch das Besuchsverhalten im klassischen Sinne wird durch KI-Traffic stark verzerrt. Viele Web-Analytics-Tools messen Kennzahlen wie Absprungrate, Sitzungsdauer oder Seiten pro Sitzung, um die Interaktion echter Nutzer*innen abzubilden.

KI-Crawler aber agieren vollkommen anders als menschliche Besucher*innen:

Bounce-Rate: Ein Bounce ist normalerweise ein Besuch, bei dem nur eine einzige Seite aufgerufen wird und die Website danach wieder verlassen wird. KI-Crawler rufen zwar oft zig Seiten in Serie ab. Weil sie aber in der Regel keine JavaScript-Trackingcodes ausführen, registriert Ihr Analytics-Tool viele dieser Hits u. U. gar nicht richtig.

Wird Analytics ausschließlich über clientseitiges JavaScript gemessen, erscheinen solche Aufrufe daher oft gar nicht in Tools wie Google Analytics.

In anderen Setups, etwa bei serverseitigem Tracking, Logfile-Analysen oder unzureichender Bot-Filterung, können Bot-Zugriffe dagegen als isolierte Seitenaufrufe oder ungewöhnliche Sessions auftauchen. Das kann Kennzahlen wie Bounce- oder Engagement-Raten verzerren und fälschlicherweise den Eindruck erwecken, echte Nutzer*innen würden Inhalte nur kurz oder oberflächlich nutzen.

Session-Dauer: Ähnlich verfälscht wird die durchschnittliche Sitzungsdauer. Manche Bots rauschen in Millisekunden durch mehrere Seiten. Die Analytics-Software kann daraus keine sinnvolle Verweildauer berechnen und wertet sie häufig als 0 Sekunden aus – was die Durchschnittszeit drückt.

Andere Bots halten eine Verbindung lange offen oder laden immer wieder nach, ohne dass es echte Interaktion gibt. In manchen Fällen ziehen sie so eine „Sitzung“ extrem in die Länge – die aus Analytics-Sicht aber kein Ende hat, weil kein sauberes Abschluss-Event kommt.

Insgesamt werden Metriken wie die durchschnittliche Zeit auf der Seite unbrauchbar, wenn ein signifikanter Teil der Sessions gar keine echten menschlichen Navigationsmuster aufweist.

Seiten pro Sitzung: Ein menschlicher Nutzer klickt vielleicht 2–5 Seiten pro Besuch – ein Bot kann in Sekunden 50 Seiten abgrasen oder ständig dieselbe Seite neu abrufen. So etwas kann Ihre Pages-per-Session-Metrik nach oben oder unten ausschlagen lassen.

Ein Beispiel: Wenn ein Bot jede Seite nur einmal abruft und sofort disconnectet, entstehen scheinbar sehr viele 1-Seiten-Sessions und damit Bounces. Crawlt er aber sequenziell die ganze Site, entstehen „Monster-Sessions“ mit Dutzenden Pageviews, die ein Mensch nie erreichen würde. In der Summe geht die Varianz hoch, und der Durchschnitt dieser Kennzahl verliert an Aussagekraft.

All das erschwert es, Probleme bei echten Nutzer*innen zu erkennen:

• Steigt Ihre Bounce Rate wegen Bots, könnten Sie fälschlich annehmen, Ihre Landing-Pages hätten inhaltliche Schwächen.

• Sinkt die durchschnittliche Sitzungsdauer, schlagen vielleicht Alarmglocken bezüglich der User Experience, wo in Wahrheit technische Bot-Aktivität dahintersteckt.

• Die Datenqualität leidet erheblich, weil Sie Signal (menschliches Verhalten) und Rauschen (Bot-Muster) ohne Gegenmaßnahmen nicht mehr sauber trennen können.

Verzerrte Conversion- und Erfolgskennzahlen

Am kritischsten für viele Unternehmen: Conversion-Daten können durch KI-Traffic entwertet werden. Die Conversion-Rate berechnet sich typischerweise aus der Anzahl der Conversions (z. B. Käufe, Formular-Abschlüsse) geteilt durch die Anzahl der Sitzungen oder Nutzer*innen.

Wenn nun der Nenner (Sessions) durch bot-generierte Besuche aufgebläht wird, fällt die Conversion-Rate scheinbar ab. Ihr Marketing-ROI sieht dadurch schlechter aus, obwohl die tatsächlichen menschlichen Conversion-Zahlen unverändert sind.

Beispiel: 100 echte Besucher*innen mit 5 Bestellungen ergäben eine Conversion-Rate von 5 %. Kommen 900 Bot-Sessions hinzu, natürlich ohne Käufe, sinkt die Rate rechnerisch auf 0,5 %. Ohne Filter könnte man nun meinen, die Kampagne oder die Website performe miserabel, was de facto falsch ist.

DoubleVerify, ein Ad-Analytics-Dienstleister, hat im Werbekontext beobachtet, dass sogenannter genereller Invalid Traffic (GIVT) – also erkennbare Bot-Impressions, die nicht als echte Ad Views zählen – in der zweiten Jahreshälfte 2024 um 86 % gestiegen ist. Dieser Anstieg wird stark auf KI-Crawler zurückgeführt.

Laut derselben Quelle waren 2024 16 % aller als „Known Bot“ identifizierten Ad-Impressions auf Bots zurückzuführen, die mit KI-Scraping assoziiert sind (GPTBot, ClaudeBot, Applebot etc.).

Überträgt man das auf Web-Analytics, wird klar: Ohne Bereinigung könnten 10–15 % Ihrer „Besucher*innen“ gar keine echten Besucher*innen sein. Das drückt jede Rate – Conversion, Click-Through, Engagement – nach unten.

Ein perfides Detail: Manchmal lösen Bots sogar fälschliche Conversions aus, etwa indem sie einen Warenkorbprozess technisch durchlaufen oder Tracking-Events antriggern, zum Beispiel durch den Aufruf einer „Thank-You-Page“.

Moderne KI-Agenten könnten Formularfelder auslesen oder bestimmte API-Calls auslösen, die Ihr System als Conversion wertet. Solche Fälle sind zwar seltener als ein genereller Traffic-Overload, aber sie kommen vor – und dann werden aus 0 % Conversion bei Bots plötzlich Scheinkonversionen.

Ein Analytics-Team könnte dann Erfolgskennzahlen überhöht sehen, etwa ungewöhnlich viele „Sign-ups“, die aber nie zu echten Kunden führen, weil sie vom Bot stammten. Generell zählen solche Conversions oft nicht in Sales-Systemen, da kein echter Kunde dahintersteht, aber der Funnel in Analytics wird verzerrt.

Schließlich darf man nicht vergessen, dass KI-basierte Systeme Traffic auch absaugen können, ohne dass Analytics es bemerkt. Ein Beispiel: Ein Nutzer stellt eine Frage bei ChatGPT, und die Antwort basiert auf Ihrem Website-Text, den GPT aus seinem Training reproduziert. Der Nutzer hat Ihren Content also genutzt, ohne Ihre Seite je zu besuchen. Solche „unsichtbaren“ Conversions – in Form von Wissenstransfer oder Markenwirkung – werden in keinem Dashboard erfasst. Ihre Webseite hat Wert geliefert, dem Nutzer und dem KI-Betreiber, aber Sie sehen keinen Pageview, keinen Besucher und keine Zeit auf der Seite.

Dies ist kein Bot-Traffic im klassischen Sinne, aber eine indirekte Auswirkung von AI auf Ihre Nutzungsstatistiken: weniger menschliche Zugriffe trotz gleichbleibendem Informationsbedarf.

In Ihrem Web-Analytics-Tool sieht es so aus, als würde Ihre Sichtbarkeit sinken.

In Wirklichkeit sind Ihre Inhalte aber möglicherweise so gut, dass sie von KI-Antworten aufgegriffen werden – und der User daher keinen Klick mehr braucht.

Dieses Phänomen wird künftig die Erfolgsmessung von Content erschweren, denn man misst nur noch einen Teil der tatsächlichen Reichweite.

Zwischenfazit: KI-Crawler und generative KI haben auf mehreren Ebenen negative Auswirkungen auf die Datenqualität in Analytics: überhöhte Besucherzahlen, entstellte Engagement-Metriken und unzuverlässige Conversion-Rates sind die Folge.

Entscheidungen, die auf solchen Rohdaten basieren, laufen Gefahr, falsch zu liegen – etwa Budget-Umschichtungen, Website-Optimierungen oder die Bewertung von Kampagnen.

Im nächsten Abschnitt betrachten wir daher, wie Sie KI-Traffic erkennen, filtern und getrennt analysieren können, um Ihre Daten wieder aussagekräftiger zu machen.

Zusammenfassung: Datenqualität sichern im Zeitalter der KI

KI-generierter Traffic – ob durch skrupellose Crawler oder durch verändertes Nutzerverhalten via Chatbots – ist gekommen, um zu bleiben. Für uns Daten- und Business-Analyst*innen bedeutet das eine doppelte Aufgabe: Schutzmaßnahmen ergreifen, um unsere Web-Analytics-Daten konsistent und vertrauenswürdig zu halten, und zugleich die Zeichen der Zeit erkennen, um neue Erfolgsmetriken zu etablieren.

Auf der Schutzseite haben wir entdeckt, dass man sich mit einer Kombination aus Tool-Features (eingebaute Botfilter), kundenspezifischen Regeln (User-Agent-/IP-Filter, Segmentierung) und ggf. technischen Maßnahmen (Rate Limiting, Bot-Blocking via Infrastruktur) gut wappnen kann.

Eine bereinigte Datenbasis ist unerlässlich, um weiterhin fundierte Entscheidungen zu treffen – sei es bei Marketingbudgets oder UX-Verbesserungen. Lassen Sie nicht zu, dass KI-Bots im Verborgenen Ihre KPIs ruinieren. Nutzen Sie die vorhandenen Möglichkeiten, um sie sichtbar zu machen und auszublenden.

Gleichzeitig eröffnen sich neue Chancen: Indem Sie AI-Traffic gezielt beobachten, können Sie herausfinden, welche Inhalte für KI-Modelle besonders interessant sind – vielleicht ein Fingerzeig dafür, welche Themen als Expert-Content wahrgenommen werden. Und durch Strategien wie Pay-per-Crawl oder Partnerschaften mit KI-Anbietern könnte es künftig sogar einen Ertrag für den Content-Geber geben. Noch ist das Zukunftsmusik, doch die Weichen werden jetzt gestellt.

Kurzum: Die Datenqualität im KI-Zeitalter zu sichern, ist zwar herausfordernd, aber machbar – mit klarem Blick, den richtigen Werkzeugen und einer Prise Kreativität.

Ihre Webstatistiken stimmen nicht mehr? Lassen Sie uns gemeinsam prüfen, welchen Anteil AI-Traffic an Ihren KPIs hat. Wir können Ihnen zeigen, wie Sie Ihre Datenqualität sichern und wieder verlässlich auswerten können.

Kontaktieren Sie uns

 

Zum nächsten Artikel:

Teil 3: Pay-per-Crawl & Co.: Wie Unternehmen KI-Crawlern begegnen