AI-Crawler und AI-SEO: die zwei Gesichter des AI-Traffics

AI-Traffic-Serie · Teil 1 von 5

Zu Beginn unserer fünfteiligen AI-Traffic-Serie lohnt sich ein Blick auf die beiden grundsätzlichen Phänomene, die hinter dem Begriff AI-Traffic stehen. AI-Bots und AI-Crawler sind automatisierte Bots, die mit Methoden der künstlichen Intelligenz selbstständig Websites besuchen, das Web durchkämmen und Inhalte absaugen.

Die Serie im Überblick

Voriger Artikel:

• Einführung: AI-Traffic entschlüsselt: eine Serie für Analytics-Profis

Nächste Artikel:

• Teil 2: AI-Traffic und Datenqualität: Wie KI-Bots Ihre Daten verzerren

• Teil 3: AI-Bot-Traffic filtern: So bereinigen Sie GA4, Adobe & Piano

• Teil 4: Pay-per-Crawl & Co.: Wie Unternehmen KI-Crawlern begegnen

• Teil 5: AI Agents und Web Analytics: neue Regeln für die Attribution

Demgegenüber bezeichnet AI-SEO den Einsatz von AI, um die Suchmaschinenoptimierung zu verbessern. Zugleich umfasst der Begriff die Optimierung von Inhalten für AI-basierte Suchergebnisse – damit Ihre Produkte und Ihre Website auch von ChatGPT und Co. gefunden und angezeigt werden.

Seitdem sich Recherchen immer mehr zu den AI-Plattformen wie Gemini oder ChatGPT verlagern, wird dieser Aspekt der Suchmaschinenoptimierung immer wichtiger. Beide Aspekte – AI-Crawler und AI-SEO – beeinflussen Ihre Web-Analytics, jedoch auf unterschiedliche Weise.

Kontaktieren Sie uns

AI-Crawler: Wenn Bots das Web leerfegen

AI-Crawler sind spezialisierte Bots, die Websites crawlen, um Daten für AI-Anwendungen zu sammeln.

Im Gegensatz zu klassischen Suchmaschinen-Crawlern (à la Googlebot), die primär dem Indexieren für die Websuche dienen, verfolgen viele AI-Crawler im Wesentlichen drei Ziele. Sie sammeln neue Trainingsdaten für die großen Sprachmodelle, unterstützen die Indexierung für die AI-Suche oder durchsuchen und agieren direkt auf der Seite, ausgelöst durch eine User-Aufforderung.

Prominente Beispiele sind:

• GPTBot von OpenAI oder ClaudeBot von Anthropic, die eingesetzt werden, um riesige Mengen Web-Content für das Training von Sprachmodellen zu scrapen.
• Andere Bots wie ChatGPT-User-Agent oder PerplexityBot besuchen gezielt Seiten, um live Informationen abzurufen – etwa wenn ein User einer generativen AI eine aktuelle Frage stellt, holt sich der Bot die Antwort frisch von einer Website.
• Google-Extended oder Applebot im AI-Modus dienen den beiden großen Tech-Konzernen dazu, Content für ihre hauseigenen AI-Systeme (Google Gemini, Apple Foundation Models etc.) einzusammeln.

Technisch gesehen unterscheiden sich AI-Crawler teils erheblich in ihrem Verhalten. Viele von ihnen führen kein JavaScript aus – d. h. sie laden zwar HTML und oft auch CSS/JS-Ressourcen, interpretieren aber keine clientseitigen Skripte.

So zeigte eine Analyse von Vercel: Keiner der großen AI-Crawler (GPTBot, ClaudeBot, PerplexityBot etc.) rendert derzeit aktiv JavaScript-Inhalte. Einige, etwa der Applebot, haben hingegen eine vollwertige Headless-Browser-Engine und können Seiten nahezu wie ein echter Browser rendern.

Zudem variiert der Fokus: Ein Blick auf 570 Mio. GPTBot-Requests vs. 370 Mio. Claude-Requests in einem Monat enthüllte, dass GPTBot ca. 58 % HTML anforderte, während ClaudeBot zu ca. 35 % Bilder präferierte – offenbar crawlen unterschiedliche AI-Bots unterschiedliche Content-Typen.

Eine Gemeinsamkeit haben jedoch fast alle: Sie sind extrem hungrig. So ergab der Vercel-Report, dass GPTBot und Claude zusammen auf knapp 1,3 Milliarden Seitenabrufe pro Monat kommen – das entspricht etwa 28 % des Volumens von Googlebot. Auf vier Crawling-Durchgänge von Google kommt demnach statistisch mehr als ein Besuch eines AI-Bots.

Deshalb wird aktuell auch neben der robots.txt eine llm.txt diskutiert. Während die robots.txt klassischen Webcrawlern Instruktionen gibt, welche Bereiche der Website durchsucht und indexiert werden dürfen, soll die llm.txt speziell für AI-Crawler Anweisungen und Inhalte bereitstellen (Beispiel: docs.anthropic.com/llms-full.txt).

AI-Crawler und ihre Merkmale

Quelle: eigene Zusammenstellung, u. a. aus Vercel, Wired, Search Engine Land.

Fazit AI-Crawler: Diese Bots operieren in großer Zahl und mit hoher Aggressivität. Sie durchsuchen jede Ecke Ihrer Website – oft tiefer und häufiger als menschliche Besucher*innen oder Google – und kümmern sich wenig um Consent, Sessions oder Performance.

Damit legen sie den Grundstein für massive Verzerrungen in Ihren Analytics-Daten, auf die wir gleich eingehen. Oder wie Dennis Schubert, der die Infrastruktur des Diaspora Social Network betreut, treffend formuliert hat:

AI-Crawler „don't just crawl a page once and then move on. Oh, no, they come back every 6 hours because lol why not.“

–Dennis Schubert

AI-SEO: Suchmaschinenoptimierung im AI-Zeitalter

Auf der anderen Seite der Medaille steht AI-SEO. Darunter versteht man zweierlei:

Erstens den Einsatz von AI-Tools, um klassische SEO-Aufgaben zu optimieren – etwa automatisierte Keyword-Recherche, Content-Erstellung mit AI-Unterstützung oder intelligente Onpage-Optimierung.

Zweitens die Anpassung der eigenen Inhalte an die neuen AI-gesteuerten Suchumgebungen. Das wird zunehmend wichtiger, da Suchmaschinen wie Google und Bing begonnen haben, generative AI in die Suchergebnisse zu integrieren – man denke an Googles „AI Overview“ in der generativen Suche oder Bings Chat-Modus.

AI-SEO im ersten Sinne erleichtert dem SEO-Team viele Aufgaben: AI kann Content-Ideen generieren, Wettbewerbsanalysen beschleunigen und mittels Machine Learning Empfehlungen für Title, Meta-Tags oder Content-Strukturen geben. Das Ziel bleibt hier, die Sichtbarkeit in herkömmlichen Suchergebnissen zu steigern – nur dass die Methoden effizienter werden. Dieses Thema ist jedoch für uns im Analytics-Umfeld momentan zweitrangig.

AI-SEO im zweiten Sinne – teils auch schon als Generative Engine Optimization (GEO) bezeichnet – zielt darauf ab, in den AI-generierten Antworten selbst präsent zu sein.

Immer mehr Nutzer*innen klicken gar nicht mehr auf zehn blaue Links, sondern bekommen direkt eine Antwort von der Such-AI serviert. Content-Strateg*innen müssen deshalb sicherstellen, dass ihre Informationen von der KI ausgewählt, korrekt wiedergegeben und – idealerweise mit Quellenverweis – angezeigt werden.

Das bedeutet: Semantisch reichhaltiger Content, der Nutzer*innenintentionen statt nur Keywords abdeckt, wird wichtiger. Strukturierte Daten (Schema.org-Markups) und präzise Antworten im Text können helfen, dass die KI Ihre Webseite als vertrauenswürdige Quelle einbindet.

Ein Nebeneffekt dieser Entwicklung: Webseiten können hervorragende Inhalte liefern und trotzdem Traffic-Verluste erleiden, weil Nutzer*innen die Antwort bereits in der KI-Overview lesen.

Erste Untersuchungen zeigen z. B., dass die CTR im Schnitt um 15,5 % sank, wenn ein News-Artikel in Googles generativem Suchergebnis (AIO – AI Overview) zitiert wurde. Und das bei noch relativ frühen Testläufen – sollte sich die generative Suche weiterhin durchsetzen, könnten die Auswirkungen noch deutlich steigen.

Für SEO bedeutet das: Erfolg bemisst sich nicht mehr allein in Klicks, sondern auch in Präsenz innerhalb von KI-Antworten. Die Optimierungsarbeit geht somit über traditionelle Ranking-Faktoren hinaus und fokussiert stärker auf Kontext, Autorität und Vollständigkeit der Informationen.

Zusammenfassung: zwischen Ansturm der Bots und dem Wunsch nach Sichtbarkeit

AI-Crawler erhöhen den nicht-menschlichen Traffic auf Ihrer Seite drastisch und gefährden die Reinheit Ihrer Analytics-Daten. AI-SEO erfordert, dass Sie Ihre Inhalte und Strategien an die durch KI veränderte Suchlandschaft anpassen, um sichtbar zu bleiben – auch wenn weniger Nutzer*innen direkt auf Ihre Seite klicken.

Im nächsten Teil dieser Blog-Serie konzentrieren wir uns auf die konkreten Auswirkungen der AI-Crawler auf Ihre Web-Analytics-Daten und was Sie gegen die Verzerrungen tun können.

Sie wollen nicht warten, bis der nächste Artikel erscheint, oder haben ein konkretes, individuelles Problem? Sie möchten verstehen, wie sich AI-Crawler und generative AI-Suche konkret auf Ihre digitale Sichtbarkeit und Ihre Daten auswirken? Sprechen Sie unverbindlich mit unseren Analytics-Expert*innen – wir helfen Ihnen, Chancen von Risiken zu trennen und Ihre Strategie gezielt auf die neuen Spielregeln auszurichten, zugeschnitten auf Ihre Plattform und Ihr Produkt.

Zum nächsten Artikel in der Serie:

AI-Traffic und Datenqualität: Wenn Bots Ihre KPIs verfälschen