Robots.txt-Generator
Erstellen Sie eine korrekte robots.txt mit Vorlagen, eigenen Regeln, KI-Bot-Sperrung und Sitemap-Zeile — download-bereit.
809 Aufrufe
Was robots.txt wirklich tut
Sie bittet regelkonforme Crawler, bestimmte Pfade nicht abzurufen — das spart Crawl-Budget und hält Admin-/Such-/Filter-URLs aus der Warteschlange. Häufige Irrtümer richtiggestellt: Es ist keine Zugriffskontrolle (die Datei ist öffentlich, und schlechte Bots ignorieren sie), und das Blockieren einer URL entfernt sie nicht aus dem Index — dafür braucht es noindex; eine blockierte Seite kann über externe Links weiterhin indexiert werden, nur ohne Inhalt.
Das Tool deckt die heutigen echten Entscheidungen ab: Standard-Sperren, WordPress-Vorlage, botspezifische Regeln, die Sitemap-Zeile und die aktuelle Frage — ob man KI-Trainings-Crawler (GPTBot, CCBot, Google-Extended usw.) blockiert. Das Blockieren hält Inhalte aus zukünftigem Modelltraining heraus, aber auch aus KI-Antworten, die Sie zitieren könnten; beide Entscheidungen sind legitim.
Häufig gestellte Fragen
Wo muss die Datei liegen?
Genau im Domain-Root: beispiel.de/robots.txt. Kopien in Unterverzeichnissen werden ignoriert; jede Subdomain braucht ihre eigene Datei.
Sollte ich KI-Bots blockieren?
Ein Kompromiss: Blockieren (GPTBot & Co.) schützt Inhalte vor Trainingsdaten, verzichtet aber auf Sichtbarkeit in KI-Assistenten. Publisher sind ungefähr hälftig gespalten — entscheiden Sie danach, ob Ihnen KI-Verweise wichtig sind.
Ähnliche Tools
Problem melden
Robots.txt-Generator