Robots.txt Generator
Stel een correcte robots.txt samen met kant-en-klare templates, eigen regels, blokkering van AI-bots en een sitemap-regel — direct te downloaden.
807 weergaven
Wat robots.txt Eigenlijk Doet
Het vraagt regelvolgende crawlers om bepaalde paden niet op te halen — dit bespaart crawlbudget en houdt admin-, zoek- en filter-URL's uit de wachtrij. Veelgemaakte fouten rechtgezet: het is geen toegangscontrole (het bestand is openbaar en kwaadwillende bots negeren het), en het blokkeren van een URL haalt deze niet uit de index — gebruik daarvoor noindex; een geblokkeerde pagina kan via externe links nog steeds geïndexeerd worden, alleen zonder inhoud.
De tool dekt de echte beslissingen van vandaag: standaard disallows, WordPress-template, regels per bot, de sitemap-regel, en de moderne vraag — of u AI-trainingscrawlers (GPTBot, CCBot, Google-Extended, enz.) wilt blokkeren. Blokkeren houdt content uit toekomstige modeltraining, maar ook uit AI-antwoorden die u zouden kunnen citeren; beide keuzes zijn legitiem.
Veelgestelde vragen
Waar moet het bestand staan?
Precies op de domein-root: voorbeeld.nl/robots.txt. Kopieën in submappen worden genegeerd; elk subdomein heeft zijn eigen bestand nodig.
Moet ik AI-bots blokkeren?
Een afweging: blokkeren (GPTBot en soortgenoten) beschermt content tegen trainingssets, maar kost zichtbaarheid binnen AI-assistenten. Uitgevers zijn ongeveer gelijk verdeeld — beslis op basis van of AI-verwijzingen voor u van belang zijn.
Vergelijkbare tools
Probleem melden
Robots.txt Generator