Cloudflare stellt ab 15. September 2026 Mixed‑Use‑Crawler auf werbehaltigen Sites standardmäßig ab — für neue Accounts, neue Sites und Gratis‑Kunden.
In Kürze
- Standardblock für Mixed‑Use‑Crawler auf werbehaltigen Seiten
- Mehr Kontrolle, weniger Crawl‑Traffic und Pay‑Per‑Crawl‑Modell
- Betreiber können Einstellung manuell ändern; Streit mit Google
Cloudflare blockiert ab 15. September 2026 standardmäßig sogenannte „Mixed‑Use“-Crawler auf werbehaltigen Websites — zumindest in den Standardeinstellungen neuer Accounts, neuer Sites bestehender Kunden und bei allen derzeitigen Gratis‑Kunden. Seitenbetreiber können diese Vorgabe aber manuell ändern.
Was sind Mixed‑Use‑Crawler?
Das sind Bots, die Inhalte sowohl für klassische Websuche als auch für KI‑Agenten oder zum Trainieren von KI‑Modellen durchsuchen.
- klassische Websuche
- KI‑Agenten
- Training von KI‑Modellen
Warum das wichtig ist
Viele Anbieter sammeln öffentlich zugängliche Webinhalte, um KI‑Modelle zu trainieren oder Agenten zu füttern. Wenn werbehaltige Seiten standardmäßig blockiert werden, ändert das die Ausgangslage für das Sammeln von Trainingsdaten — zumindest solange Site‑Betreiber die Einstellungen nicht anders setzen.
Cloudflares Begründung
Das Unternehmen sagt, Website‑Eigentümer möchten gefunden werden (etwa in Suchmaschinen) und oft auch von KI‑Diensten genutzt werden, sie wollen aber gleichzeitig verhindern, dass ihr geistiges Eigentum einfach weiterverwendet wird. Cloudflare verweist außerdem auf Messungen, wonach Bots inzwischen den Großteil des Traffics ausmachen, und sieht Handlungsbedarf, um das Web‑Ökosystem ressourcenschonender zu betreiben.
Streit um ungleichen Zugang
Cloudflare behauptet, eine „weltweit größte Suchmaschine“ habe deutlich mehr Zugriff auf Informationen als andere KI‑Firmen — ein Hinweis auf Google. Google widerspricht und nennt als Gegenmittel einen Bot namens Google Extended, mit dem Seitenbetreiber das Verwenden ihrer Inhalte zum Training verhindern können, ohne die Aufnahme in die Websuche zu blockieren. Gleichzeitig weist Google darauf hin, dass der reguläre Googlebot weiterhin für Search crawlt, inklusive Funktionen wie AI Overviews und AI Mode.
Geld für Inhalte
Cloudflare baut bereits Tools für Publisher aus. Ein Marketplace namens Pay Per Crawl soll zu einem „Pay Per Use“‑Modell weiterentwickelt werden: Websites sollen nicht nur für das Abrufen ihrer Seiten bezahlt werden, sondern nur dann, wenn ihr Inhalt für eine KI‑Anfrage tatsächlich Mehrwert liefert. Erste Partner für das Zahlungsmodell sind Ceramic.ai und You.com. Bei Zustimmung eines Publishers fließt Geld, wenn Inhalte in den Suchergebnissen von Ceramic auftauchen oder wenn You.com auf Premium‑Inhalte zugreift. Cloudflare sagt, andere KI‑Firmen könnten das Modell an ihre Abläufe anpassen.
Technischer Nebeneffekt
Cloudflare nennt Ressourcenverbrauch als weiteren Grund für die Änderung. Demnach werden über 50 Prozent des Crawl‑Traffics von AI‑Crawlers dafür verwendet, unveränderte Seiten wiederholt abzurufen — mit Kosten für Bandbreite und Serverkapazität der Publisher.
Weitere Produkte und Ziele
Cloudflare selbst bietet zudem Produkte, mit denen Nutzer eigene KI‑Systeme betreiben können. Die neuen Default‑Regeln sollen Website‑Betreibern mehr Sichtbarkeit darüber geben, wie ihre Inhalte genutzt werden, und zusätzliche kommerzielle Optionen eröffnen — außerdem sollen Mixed‑Use‑Crawler dazu bewegt werden, die Aufgaben deutlich zu trennen:
- Suche
- Agenten‑Nutzung
- Training
Quellen
- Quelle: Cloudflare
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
