Generador de robots.txt

Funciones

• Cuatro políticas: permitir todo, bloquear solo rastreadores de IA, bloquear todo y lista personalizada
• La lista personalizada admite cualquier nombre de rastreador (coma, espacio, coma ideográfica y coma de ancho completo)
• Las rutas prohibidas reciben automáticamente la barra inicial y la barra final de directorio, y se eliminan duplicados
• Línea de Sitemap y Crawl-delay opcionales
• Los comentarios del archivo generado van todos en inglés (se publica en tu sitio)
• Cambiar cualquier opción vuelve a generar al instante: no hay botón que pulsar
• Sin red y sin subir nada: se genera por completo en tu dispositivo

Cómo se usa

1. Elige una política
2. Rellena rutas prohibidas, Sitemap y Crawl-delay según necesites
3. Copia el resultado y guárdalo como robots.txt en la raíz de tu sitio

Preguntas frecuentes

Si bloqueo los rastreadores de IA, ¿de verdad se detienen?

Solo los que cumplen las reglas. OpenAI, Anthropic, Google y Apple publican los tokens de sus rastreadores y afirman que respetan robots.txt, así que bloquearlos detiene esas visitas (`Google-Extended` y `Applebot-Extended` expresan «puedes rastrear, pero no entrenes con ello»: esos dos existen precisamente para poder desactivarlos). Pero cualquiera puede ignorar el archivo. Un rastreador con la UA cambiada, o un servicio de scraping al que le da igual, no se detiene desde robots.txt de ninguna manera. La protección real es autenticación, límite de peticiones o, sencillamente, no publicar el contenido. Y la lista misma caduca: cada pocos meses surgen nuevos rastreadores de entrenamiento, y por eso el archivo generado indica su fecha de revisión.

¿Hay diferencia entre `Disallow: /admin` y `Disallow: /admin/`?

Sí, y se pasa por alto con frecuencia. `Disallow: /admin` coincide con toda ruta que empiece por `/admin`, incluidas `/administrator` y `/admin-panel.html`, que a menudo no son lo que querías. La barra final lo restringe a ese directorio. Por eso, cuando escribes solo el nombre de un directorio (sin punto, sin asterisco y sin `$`), esta herramienta añade la barra final; los nombres de archivo como `/admin.html` y los patrones como `/a/*.pdf$` se conservan tal cual.

¿Por qué los comentarios generados van en inglés?

Porque este archivo se publica en tu sitio: cualquiera que pida `/robots.txt` (incluidos los responsables de cada rastreador) lo leerá. Unos comentarios solo en chino no son amables con esos responsables, y la finalidad de los comentarios es justo explicar por qué cada sección dice lo que dice. Solo los nombres de rastreador y las rutas son contenido tuyo; el resto lo escribe el generador, así que esa parte va fija en inglés. Como efecto secundario, la salida no depende del idioma de la interfaz: si cambias a japonés, el resultado es idéntico.