Viele Websites blockieren KI-Bots pauschal. Häufig ist jedoch nicht geklärt, ob damit Modelltraining, die Auffindbarkeit in einer KI-Suche oder auch ein vom Nutzer ausdrücklich ausgelöster Seitenabruf verhindert werden soll.

Damit wird die robots.txt vom technischen Detail zur strategischen Entscheidung über Datenhoheit, Sichtbarkeit und digitale Distribution.

79 Prozent blockieren – aber was genau?

Eine im Jänner 2026 veröffentlichte BuzzStream-Auswertung von 100 großen Nachrichtenangeboten zeigte: 79 Prozent blockierten mindestens einen Bot für KI-Training. 71 Prozent sperrten zugleich zumindest einen Bot, der für Live-Suche oder Abruf eingesetzt wird.

Diese Zahlen beziehen sich auf große US- und UK-Nachrichtenseiten. Sie sind nicht automatisch auf jedes KMU übertragbar. Sie zeigen aber, wie oft unterschiedliche Ziele in einer einzigen Blockierentscheidung vermischt werden.

Training, Indexierung und Nutzerabruf sind verschiedene Zwecke

Anbieter unterscheiden zunehmend zwischen mehreren Crawler-Rollen. Anthropic dokumentiert beispielsweise eigene Kennungen für Training, Suchindexierung und einen durch Nutzer ausgelösten Abruf. Die aktuelle Einordnung findet sich im Anthropic Help Center.

• Training: Inhalte können zur Verbesserung künftiger Modelle verarbeitet werden.
• Suche und Indexierung: Inhalte werden auffindbar und können in aktuellen Antworten berücksichtigt werden.
• Nutzerinitiierter Abruf: Ein Assistent ruft eine Seite im Auftrag eines konkreten Nutzers auf.

Wer alles pauschal blockiert, schützt möglicherweise Inhalte vor Training, verzichtet aber zugleich auf einen Teil der Sichtbarkeit und Nutzbarkeit in KI-gestützten Such- und Assistenzsystemen.

Vier Fragen vor einer robots.txt-Entscheidung

1. Welches Ziel verfolgen wir? Schutz vor Training, Schutz vor automatisiertem Abruf oder bewusste Sichtbarkeit?
2. Welche Inhalte sind betroffen? Öffentliche Fachbeiträge benötigen eine andere Regel als Kundenportale, Bezahlinhalte oder interne Dokumente.
3. Wie entsteht Wert? Durch Reichweite, Leads, Abonnements, Lizenzierung oder direkten Verkauf?
4. Wie kontrollieren wir die Umsetzung? robots.txt ist eine veröffentlichte Anweisung, keine harte Zugriffssperre.

robots.txt allein ist keine Sicherheitsarchitektur

Kooperative Bots beachten die Regeln. Andere können sie ignorieren oder sich mit einer falschen Kennung melden. Sensible Inhalte gehören deshalb hinter echte Zugriffskontrollen. Zusätzlich können Server-Logs, Rate Limits, WAF-Regeln und Bot-Management helfen, tatsächliche Zugriffe zu beobachten und zu steuern.

Ein differenzierter Standard ist meist besser

Für viele Unternehmenswebsites ist eine abgestufte Strategie sinnvoll: vertrauliche und nicht öffentliche Inhalte technisch schützen, Training je nach Zielbild begrenzen, öffentliche Expertise für Suche und nutzerinitiierte Abrufe aber bewusst zugänglich halten.

Die Frage lautet nicht einfach „KI erlauben oder verbieten?“. Sie lautet: Welcher Bot darf welchen Inhalt zu welchem Zweck nutzen?

Der Ausgangspunkt dieses Beitrags war mein LinkedIn-Artikel vom 16. März 2026.