Cloudflare ersetzt die pauschale KI‑Crawler‑Sperre durch dreistufige Zugriffsregeln.
In Kürze
- Search/Agent/Training statt One‑Size
- Neue Voreinstellung ab 15.9.2026, Opt‑out
- BotBase & geänderte Verifizierungsregeln
Cloudflare gibt dir mehr Kontrolle darüber, welche KI‑Crawler deine Seiten ansteuern dürfen — und macht Schluss mit der einfachen Ein‑/Aus‑Blockade. Statt pauschal alle bekannten Trainings‑Crawler zu sperren, teilt der Dienst Zugriffe jetzt nach Zweck auf und macht das Feature ab sofort für alle Kunden verfügbar, auch im kostenlosen Tarif.
Drei Zweck‑Kategorien statt One‑Size‑Fits‑All
- Search: Crawler, die Seiten indexieren, damit sie in Suchdiensten auftauchen.
- Agent: Systeme, die in Echtzeit im Auftrag eines Nutzers Seiten abrufen (zum Beispiel Chatbot‑Agenten, die Infos holen oder Formulare ausfüllen).
- Training: Crawler, die Inhalte dauerhaft sammeln, um KI‑Modelle zu trainieren.
(Crawler = automatische Programme, die Webseiten durchsuchen.)
Ersatz für die alte Pauschal‑Sperre
Die bisherige Option, bekannte KI‑Training‑Crawler pauschal zu sperren, wird durch diese feinere Einteilung ersetzt. Cloudflare empfiehlt, Suchindexierung, Agent‑Funktionen und Training mit getrennten Bots zu betreiben, damit Betreiber gezielter entscheiden können, welche Art von Zugriff sie erlauben.
Neue Standardregel ab 15. September 2026 (mit Opt‑out)
Für neu registrierte Domains mit Werbung setzt Cloudflare ab dem 15. September 2026 eine neue Voreinstellung: Search‑Crawler bleiben standardmäßig erlaubt, Agent‑ und Training‑Crawler werden standardmäßig blockiert. Begründung laut Cloudflare: Suchmaschinen bringen Besucher und Klicks, während Trainings‑ oder Agenten‑Crawler Inhalte häufig ohne direkten Gegenwert nutzen. Webseitenbetreiber:innen können diese Voreinstellung vor dem Stichtag deaktivieren.
Mehrzweck‑Crawler: alle zutreffenden Regeln gelten
Bots, die mehrere Aufgaben kombinieren, unterliegen künftig allen relevanten Regeln gleichzeitig. Ist eine Aufgabe restriktiver eingestellt (z. B. Training geblockt), gilt die restriktive Regel auch für den Mehrzweck‑Bot. Beispiele, die betroffen sein könnten: Googlebot, Applebot, Bingbot.
BotBase für Enterprise‑Kunden
Enterprise‑Kunden bekommen Zugang zu BotBase, einer Datenbank mit bekannten und verifizierten Bots und ihrer Klassifikation — nicht nur nach den drei KI‑Kategorien, sondern auch etwa SEO‑Crawler, Preisvergleichs‑Crawler, Monitoring‑Dienste, Werbeprüfer oder Social‑Media‑Vorschau‑Bots. Admins können im Dashboard nach Bots filtern und deren Erkennungs‑IDs direkt in Sicherheitsregeln verwenden.
Nutzungsumfang: immediate, reference, full
- immediate: nur Echtzeit‑Interaktion ohne Speicherung,
- reference: Indexierung mit Verweisen oder Auszügen,
- full: Zusammenfassungen oder weitergehende Nutzung.
Diese Angabe lässt sich künftig als zusätzlicher Parameter in der robots.txt veröffentlichen. Cloudflare betont, dass der robots.txt‑Eintrag ein Hinweis ist, kein Zwang. Die Angaben sollen in BotBase aufgenommen werden; Bots, die deklarierte Regeln missachten, können ihren verifizierten Status verlieren.
Verifizierungsregel geändert
Ein verifizierter Bot wird nicht mehr automatisch zugelassen — die Entscheidung richtet sich künftig nach Kategorie und Regeln. Nicht verifizierte Bots bleiben standardmäßig geblockt.
Mehr Transparenz bei Weiterleitungen
Cloudflare schlägt vor, den Betreiber eines Bots und den vorgesehenen Umgang mit Inhalten zusätzlich über den HTTP‑Header „Forwarded“ weiterzugeben, damit auch bei weitergeleiteten Anfragen Herkunft und Absicht klarer werden.
Kurz zusammengefasst für dich
Du kannst jetzt granularer steuern, welche Arten von KI‑Zugriffen auf deine Seiten erlaubt sind. Neue Standardregeln für neu registrierte Domains mit Werbung treten am 15. September 2026 in Kraft (mit Opt‑out).
Für Enterprise‑Kund:innen bringt BotBase erweiterte Einsicht und Kontrollmöglichkeiten.
Quellen
- Quelle: Cloudflare
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
