Kurz gesagt: Mit der Zeile User-Agent: __usage_ai-training und Disallow: / in der robots.txt kann eine Website künftig allen beteiligten KI-Anbietern auf einmal sagen: Meine Inhalte bitte nicht zum Training von KI-Modellen verwenden. Anthropic beachtet das Signal seit dem 30. Oktober 2026, Microsoft ab Februar 2027, Google ab Anfang 2027, OpenAI hat es angekündigt. Das Signal regelt nur das Training, nicht die Suche. Für Unternehmen, die in KI-Assistenten sichtbar sein wollen, ist eine Sperre deshalb keine Selbstverständlichkeit, sondern eine Abwägung.
Was regelt das neue Signal?
Bisher musste eine Website jeden Trainings-Crawler einzeln sperren, etwa GPTBot von OpenAI, ClaudeBot von Anthropic oder Google-Extended von Google. Neue Crawler und neue Namen machten das zu einer Liste, die nie vollständig war. Das neue Signal dreht das um: Statt eines Crawlers adressiert die Zeile einen Zweck, nämlich das Training von KI-Modellen. Jeder Anbieter, der das Signal beachtet, wertet es aus, egal wie sein Crawler heißt.
Grundlage ist ein Entwurf bei der Internet Engineering Task Force (IETF), dem Gremium für Internetstandards, mit dem Titel „Machine-Readable Training Preference Signal“ vom 30. Oktober 2026. Verfasst hat ihn ein Mitarbeiter von Anthropic, er baut auf der Arbeit der IETF-Arbeitsgruppe zu KI-Präferenzen auf. Wichtig für die Einordnung: Es ist ein individueller Entwurf, noch kein beschlossener Standard. Der Entwurf sagt ausdrücklich, dass das Signal keine Anweisung zum Crawlen ist und bestehende Regeln für einzelne Crawler gültig bleiben.
# KI-Training für die ganze Website ablehnen
User-Agent: __usage_ai-training
Disallow: /
# Optional: einzelne Bereiche ausdrücklich freigeben
Allow: /press-kit/Wer beachtet das Signal ab wann?
| Anbieter | Ab wann | Was es regelt |
|---|---|---|
| Anthropic | seit 30.10.2026, schrittweise weltweit | Training; Regeln für ClaudeBot haben Vorrang vor dem allgemeinen Signal |
| Microsoft | ab 01.02.2027, beim erneuten Crawlen | Training; klassische Bing-Ergebnisse nicht betroffen, Grounding wird gesondert gesteuert |
| laut Doku Anfang 2027 | wird wie eine Sperre von Google-Extended behandelt, wenn es keine eigene Regel für Google-Extended gibt | |
| OpenAI | angekündigt, ohne Datum in der Doku | laut Ankündigung ergänzend zu den bestehenden Regeln für GPTBot und Co. |
Stand 13. November 2026 laut den Quellen am Ende dieses Artikels. Die vier Anbieter haben jeweils eigene Mitteilungen veröffentlicht, aufeinander verweisen sie nicht. Die Darstellung als gemeinsame Initiative stammt aus Fachmedien. Bei OpenAI konnte ich die Ankündigung nicht direkt abrufen; in der offiziellen Crawler-Dokumentation steht das Signal noch nicht.
Sichtbarkeit in KI-Antworten im eigenen Team aufbauen
Ob ihr KI-Training sperrt oder nicht, ist nur eine von vielen Stellschrauben für eure Sichtbarkeit in KI-Antworten. Ich begleite Marketing-Teams dabei, Content-Abläufe, Freigaben und diese Sichtbarkeit im eigenen Team aufzubauen, statt sie dauerhaft einzukaufen.
KI-Beratung für Marketing-Teams ansehenWas das Signal nicht regelt
Das Signal betrifft das Training, also ob Inhalte in künftige Modelle einfließen. Es betrifft nicht, ob eine Website in der Suche erscheint, und nicht automatisch, ob ein KI-Assistent sie in einer Antwort als Quelle nennt. Hier unterscheiden sich die Anbieter:
- Google: Das Signal wirkt wie eine Sperre von Google-Extended. Google-Extended deckt laut Google das Training und das sogenannte Grounding ab, also Antworten mit Webinhalten in den Gemini-Apps und auf Googles Cloud-Plattform. Die Aufnahme in die Google-Suche bleibt unberührt. Was das für dein Unternehmen heißt: Wer das Signal setzt, kann bei Google auch aus Gemini-Antworten mit Webinhalten herausfallen, nicht aber aus den Suchergebnissen.
- Microsoft: Klassische Bing-Ergebnisse sind nicht betroffen. Ob Inhalte für Antworten mit Quellen (Grounding) genutzt werden, steuert Microsoft über gesonderte Angaben auf Seitenebene.
- Anthropic: Das Signal gilt für das Training. Für den Suchindex und den Abruf auf Nutzeranfrage nutzt Anthropic eigene Crawler, Claude-SearchBot und Claude-User, die du einzeln steuerst.
Training sperren oder Sichtbarkeit maximieren?
Die Entscheidung hängt davon ab, womit ihr Geld verdient. Zwei typische Lagen:
- Sperren ist naheliegend, wenn eure Inhalte selbst das Produkt sind: Fachverlage, kostenpflichtige Datenbanken, Kursanbieter oder Agenturen mit exklusiven Studien. Hier ist der Schutz vor Verwertung wichtiger als die Erwähnung.
- Erlauben ist naheliegend, wenn eure Inhalte Kunden zu euch führen sollen: Dienstleister, Hersteller, Beratungen, Händler. KI-Assistenten empfehlen, was sie kennen. Wer nicht im Training vorkommt und bei Google zusätzlich aus Antworten mit Webinhalten herausfällt, wird seltener genannt.
Ein Mittelweg ist möglich: Das Signal grundsätzlich setzen und einzelne Bereiche wie Produktseiten oder Pressetexte mit Allow freigeben. Was das für dein Unternehmen heißt: Prüfe vorher, welche Seiten neue Kunden bringen, und entscheide dann. Ein ungeprüftes Komplettverbot kann Sichtbarkeit kosten, die sich später nur schwer zurückholen lässt.
Warum jeanhinz.io alles erlaubt
Auf dieser Website sind alle dokumentierten KI-Crawler in der robots.txt ausdrücklich erlaubt, und das Trainingssignal setze ich nicht. Der Grund ist einfach: Ich will, dass Claude, ChatGPT, Gemini und Copilot meine Guides kennen und als Quelle nennen, wenn jemand nach KI-Beratung im Mittelstand fragt. Meine Inhalte sind kein Produkt, das ich verkaufe, sondern der Weg, über den Unternehmen mich finden. Diese Entscheidung habe ich am 13. November 2026 im Projekt dokumentiert und prüfe sie, sobald sich die Regeln der Anbieter ändern. Wie Sichtbarkeit in KI-Antworten insgesamt funktioniert, steht im Artikel AEO statt SEO: In KI-Suchmaschinen sichtbar werden.
Offizielle Quellen und Stand der Recherche
Erstellt und gegen die Primärquellen geprüft am 13. November 2026.
- IETF, Entwurf „Machine-Readable Training Preference Signal“: ietf.org (abgerufen am 13.11.2026)
- Anthropic, Crawler und Sperrmöglichkeiten: support.claude.com (abgerufen am 13.11.2026)
- Google Search Central Blog, 30. Oktober 2026: developers.google.com (abgerufen am 13.11.2026)
- Google, Übersicht der Google-Crawler mit Google-Extended: developers.google.com (abgerufen am 13.11.2026)
- Microsoft Bing Blog, Oktober 2026: blogs.bing.com (abgerufen am 13.11.2026)
- OpenAI, Ankündigung vom 30. Oktober 2026: openai.com (am 13.11.2026 nicht abrufbar, Inhalt nur über den Suchindex)
Weiterführend: das KI-Änderungsprotokoll mit allen Neuerungen und der Vergleich der KI-Assistenten.
Häufige Fragen
Was ist __usage_ai-training in der robots.txt?
Es ist ein Signal, mit dem eine Website in ihrer robots.txt erklärt, dass ihre Inhalte nicht zum Training von KI-Modellen genutzt werden sollen. Es steht in einem Entwurf bei der Internet Engineering Task Force (IETF) vom 30. Oktober 2026 und gilt für alle KI-Anbieter, die es beachten, statt für einzelne Crawler.
Welche Anbieter beachten das Signal?
Anthropic beachtet es seit dem 30. Oktober 2026 und führt es schrittweise weltweit ein. Microsoft will es ab dem 1. Februar 2027 beachten, Google laut eigener Dokumentation ab Anfang 2027. OpenAI hat die Unterstützung angekündigt, in seiner Crawler-Dokumentation steht das Signal am 13. November 2026 noch nicht.
Verschwindet meine Website aus Google, wenn ich das Signal setze?
Nein. Das Signal regelt nur das Training von KI-Modellen, nicht das Crawlen für die Suche. Laut Google behandelt Google das Signal wie eine Sperre von Google-Extended, und Google-Extended hat keinen Einfluss auf die Aufnahme in die Google-Suche. Microsoft sagt ebenfalls, dass die klassischen Bing-Ergebnisse nicht betroffen sind.
Sollte mein Unternehmen KI-Training sperren?
Das hängt davon ab, was ihr schützen wollt. Wer exklusive Inhalte verkauft, hat gute Gründe zu sperren. Wer gefunden und empfohlen werden will, etwa als Dienstleister oder Hersteller, profitiert meist davon, dass KI-Modelle seine Inhalte kennen. Eine Sperre sollte eine bewusste Entscheidung sein, nicht ein Reflex.
Was gilt auf jeanhinz.io?
Auf jeanhinz.io sind alle dokumentierten KI-Crawler ausdrücklich erlaubt, und das Trainingssignal ist nicht gesetzt. Mein Ziel ist, dass KI-Assistenten meine Inhalte kennen und als Quelle nennen. Die Entscheidung ist am 13. November 2026 dokumentiert.
Ich begleite Geschäftsführungen und Teams dabei, KI vom Einzelexperiment in einen belastbaren Betrieb zu überführen. Schwerpunkt: Prozesse zuerst, Werkzeuge danach. Praxis aus Industrie, Tourismus, Veranstaltungen und weiteren Unternehmensbereichen.