Generador de Robots.txt
Crea un robots.txt correcto con plantillas, reglas personalizadas, bloqueo de bots de IA y línea de sitemap — listo para descargar.
814 visitas
Qué hace realmente robots.txt
Pide a los rastreadores que cumplen las normas que no obtengan ciertas rutas — ahorrando presupuesto de rastreo y manteniendo fuera de la cola las URL de administración, búsqueda o filtros. Mitos comunes corregidos: no es un control de acceso (el archivo es público y los bots maliciosos lo ignoran), y bloquear una URL no la elimina del índice — para eso se usa noindex; una página bloqueada aún puede indexarse a través de enlaces externos, solo que sin contenido.
La herramienta cubre las decisiones reales de hoy: bloqueos estándar, plantilla de WordPress, reglas por bot, la línea de sitemap y la pregunta moderna — si bloquear los rastreadores de entrenamiento de IA (GPTBot, CCBot, Google-Extended, etc.). Bloquearlos mantiene el contenido fuera del entrenamiento futuro de modelos, pero también fuera de las respuestas de IA que podrían citarte; ambas opciones son legítimas.
Preguntas Frecuentes
¿Dónde va el archivo?
Exactamente en la raíz del dominio: ejemplo.com/robots.txt. Las copias en subdirectorios se ignoran; cada subdominio necesita el suyo.
¿Debería bloquear a los bots de IA?
Es un compromiso: bloquear (GPTBot y similares) protege el contenido de los conjuntos de entrenamiento pero renuncia a la visibilidad dentro de los asistentes de IA. Los editores están divididos casi por igual — decide según si las referencias de IA te importan.
Herramientas Similares
Reportar un Problema
Generador de Robots.txt