robots.txt soll ein Token für KI‑Training bekommen.
In Kürze
- __usage_ai-training steuert Training
- Ab 2027, Auswertung freiwillig
- Ausnahmen pro Anbieter
Ab 2027 sollen Website-Betreiber mit einer einzigen Zeile in ihrer robots.txt zentral festlegen können, ob Inhalte zum Training von KI‑Modellen genutzt werden dürfen. Google hat vorgeschlagen, ein gemeinsames Policy‑Token einzuführen, das diese Präferenz maschinenlesbar macht — und damit das Pflegechaos für einzelne KI‑Crawler reduzieren würde.
Was genau geplant ist
Das neue Token heißt __usage_ai-training und wird wie ein User‑Agent in der robots.txt gesetzt. Statt für jeden einzelnen Crawler (z. B. GPTBot von OpenAI, ClaudeBot von Anthropic oder Googles eigene Crawler) separate Regeln zu pflegen, reicht eine zentrale Vorgabe. Ein Beispielblock könnte so aussehen:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Crawler, die das Token unterstützen, lesen diese Anweisung als Verbot oder Erlaubnis fürs Training. Unbekannte Crawler ignorieren den Block wie andere unbekannte User‑Agent‑Einträge — robots.txt bleibt also weiterhin eine freiwillige, maschinenlesbare Präferenz, keine technisch durchsetzbare Sperre.
Wie robots.txt funktioniert (kurz)
robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website, die seit 1994 nach dem Robots Exclusion Protocol steuert, welche Bereiche automatisierte Crawler besuchen dürfen. Sie ist kein Sicherheitsmechanismus: kooperative Bots halten sich daran, böswillige Akteure können die Regeln umgehen.
Feinheiten und Auswirkungen
- Kombination mit bestehenden Regeln: Du kannst das Policy‑Token als allgemeine Vorgabe setzen und gleichzeitig für einzelne Anbieter Ausnahmen definieren. Bestehende, unternehmensspezifische Regeln bleiben erhalten.
- Google‑Verhalten: Google sagt, dass ein Verbot per Policy‑Token automatisch auch als Sperre für Google‑Extended gewertet wird, sofern in Google‑Extended nichts anderes steht. Umgekehrt: erlaubst du Google‑Extended explizit, gibst du Google damit auch die Möglichkeit, deine Seiten beim sogenannten Grounding in Gemini‑Apps zu verwenden. Grounding bedeutet hier, dass ein Modell seine Antwort zur Laufzeit mit aktuellen Webquellen verknüpfen kann, um Fakten zu belegen und Links anzubieten.
- Vokabular und Standardisierung: Der Vorschlag baut auf der Definition von „KI‑Training“ auf, die die IETF‑Arbeitsgruppe AIPREF erarbeitet hat. An weiteren, feineren Begriffsklärungen wird noch gearbeitet, das Policy‑Token soll aber bereits jetzt ein einheitliches Präferenzsignal liefern.
- Regulatorischer Kontext: Google sieht den Vorschlag im Einklang mit dem EU AI Act (Code of Conduct), der robots.txt als primäre, maschinenlesbare Methode für Nutzungsvorbehalte von Web‑Publishers anerkennt. Google will das Thema weiter in der IETF diskutieren und plant, das neue Signal ab 2027 regulär auszuwerten.
Was das für dich als Website‑Betreiber bedeutet
Du erhältst eine einfache, zentralisierte Möglichkeit, die Nutzung deiner Inhalte fürs KI‑Training zu erlauben oder zu verweigern — während du weiter individuell für bestimmte Anbieter Ausnahmen einstellen kannst. Weil die Regeln in robots.txt liegen, hängt ihre Wirksamkeit davon ab, ob die jeweiligen KI‑Anbieter das Token unterstützen und freiwillig respektieren.
Mehr dazu wird in den kommenden Monaten in der IETF weiter ausgehandelt; ab 2027 sollen Google und andere Anbieter das neue Signal in der Praxis auswerten.
Quellen
- Quelle: Google
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
