Robots.txt-Generator
Erstellen Sie eine korrekte robots.txt mit Vorlagen, eigenen Regeln, KI-Bot-Sperrung und Sitemap-Zeile — download-bereit.
1.100 Aufrufe
Was robots.txt wirklich bewirkt
robots.txt ist eine einfache Textdatei im Root Ihrer Domain, die Suchmaschinen-Crawlern mitteilt, welche URLs sie nicht abrufen sollen — mithilfe weniger Direktiven: User-agent (für welchen Bot die Regel gilt), Disallow (der zu überspringende Pfad), Allow (eine Ausnahme innerhalb eines breiteren Disallow) und Sitemap (wo Ihre sitemap.xml zu finden ist). Regelkonforme Crawler wie der Googlebot lesen diese Datei vor dem Crawlen und respektieren sie — genau deshalb funktioniert sie, um Crawl-Budget zu sparen und Admin-Seiten, Suchergebnisseiten und gefilterte URLs aus der Crawl-Warteschlange herauszuhalten.
Konkretes Beispiel: Fügen Sie Disallow: /admin/ und Disallow: /search? hinzu, und der Googlebot hört auf, sein begrenztes Crawl-Budget für Ihre Anmeldebildschirme und interne Suchergebnisse zu verschwenden — dieses Budget steht dann für Seiten zur Verfügung, die Sie tatsächlich indexiert haben möchten. Doch hier die entscheidende Warnung, für die dieses Tool eigentlich existiert: robots.txt ist keine Sicherheitsmaßnahme. Sie leitet nur wohlmeinende Bots — ein bösartiger Scraper, der Bot eines Wettbewerbers oder jeder mit einem Browser kann die Datei einfach ignorieren und die verbotene URL direkt anfordern, denn die Datei selbst wird jedem, der danach fragt, öffentlich unter ihredomain.de/robots.txt ausgeliefert.
Was Sie wissen sollten
Das erzeugt eine echte Falle: Disallow: /geheimes-admin-panel/ hinzuzufügen, um einen sensiblen Pfad aus den Suchergebnissen herauszuhalten, veröffentlicht dessen genaue Adresse tatsächlich an jede Person oder jeden Bot, der die Datei liest — das Gegenteil von Verstecken. Muss eine Seite wirklich privat bleiben, ist der einzige echte Schutz Zugriffskontrolle — ein Passwort, eine Authentifizierungsprüfung oder das vollständige Entfernen aus dem öffentlichen Hosting — niemals robots.txt. Unabhängig davon entfernt das Sperren einer URL sie nicht aus einem Suchindex, wenn sie bereits dort ist oder von extern verlinkt wird; eine blockierte Seite kann weiterhin in den Ergebnissen erscheinen, meist ohne Beschreibung, da der Crawler den Inhalt nie lesen durfte. Das richtige Werkzeug, um Indexierung zu verhindern, ist ein noindex-Meta-Tag oder HTTP-Header, was voraussetzt, dass die Seite überhaupt crawlbar ist.
- Die Datei muss sich exakt im Domain-Root befinden (beispiel.de/robots.txt) — in Unterverzeichnissen abgelegte Kopien werden ignoriert, und jede Subdomain benötigt ihre eigene Datei.
- Die moderne Ergänzung, die dieser Generator behandelt, ist die Frage, ob KI-Trainings-Crawler (GPTBot, CCBot, Google-Extended und ähnliche) blockiert werden sollen. Blockieren hält Ihre Inhalte aus künftigen Trainingsdaten heraus, entfernt Sie aber auch aus KI-generierten Antworten, die sonst auf Ihre Seite verweisen und verlinken könnten — es gibt keine universell richtige Wahl, nur einen Kompromiss je nach Ihren Zielen.
- Nehmen Sie immer die Sitemap-Direktive mit Verweis auf Ihre sitemap.xml auf — sie ist die einzige Zeile in der Datei, die Crawlern aktiv hilft, Ihre Inhalte zu finden, statt ihnen zu sagen, was sie überspringen sollen.
Häufig gestellte Fragen
Wo genau muss die robots.txt-Datei abgelegt werden?
Exakt im Domain-Root — ihredomain.de/robots.txt. Eine Kopie in einem Unterordner wie ihredomain.de/blog/robots.txt wird von Crawlern schlicht ignoriert, und jede Subdomain, etwa shop.ihredomain.de, benötigt ihre eigene separate Datei.
Kann ich robots.txt nutzen, um eine private oder sensible Seite zu verstecken?
Nein, und das kann nach hinten losgehen. Die Datei ist öffentlich, sodass das Auflisten eines sensiblen Pfads unter Disallow dessen genaue URL jedem verkündet, der sie liest. Echte Privatsphäre erfordert Zugriffskontrolle, etwa einen Login oder eine Authentifizierungsprüfung, keine Crawler-Direktive.
Wenn ich eine URL sperre, verschwindet sie dann aus den Suchergebnissen?
Nicht zwingend. Disallow stoppt nur das Crawlen, nicht die Indexierung — eine Seite kann weiterhin indexiert werden, oft ohne sichtbare Beschreibung, wenn sie anderswo verlinkt ist. Um eine Seite tatsächlich aus den Suchergebnissen zu entfernen, verwenden Sie ein noindex-Meta-Tag oder einen HTTP-Header auf einer Seite, die Crawler weiterhin erreichen dürfen.
Sollte ich KI-Trainingsbots wie GPTBot blockieren?
Das ist ein echter Kompromiss. Blockieren schützt Ihre Inhalte davor, in künftigem Modelltraining verwendet zu werden, entfernt Sie aber auch aus KI-generierten Antworten, die Ihre Seite zitieren und verlinken könnten. Publisher sind ungefähr hälftig gespalten — entscheiden Sie danach, ob Ihnen KI-Verweisverkehr für Ihr Geschäft wichtig ist.
Respektieren bösartige Bots oder Scraper robots.txt?
Nein, und das ist die größte Einschränkung der Datei. robots.txt beruht vollständig auf freiwilliger Einhaltung — seriöse Crawler wie der Googlebot befolgen sie, aber Scraper, die gebaut wurden, um Inhalte, Preisdaten oder E-Mail-Adressen zu sammeln, ignorieren sie in der Regel vollständig. Sie ist eine Anleitung für gute Akteure, keine Barriere gegen schlechte.
Ähnliche Tools
Problem melden
Robots.txt-Generator
Kommentare
Noch keine Kommentare — schreiben Sie den ersten!