Generador robots.txt

Genera un robots.txt listo para desplegar con reglas para buscadores y crawlers IA 2026. Elige una plantilla de stack, ajusta las rutas Disallow y copia el archivo. Se genera en local, y tu sitio nunca se consulta ni se prueba en vivo.

Cargando…
Generador robots.txt
Configura reglas de rastreo y políticas IA, y luego copia un bloque robots.txt para tu stack. La validación es local, y FastMinify nunca solicita tu sitio en producción.

Notas para desarrolladores

deployTarget cambia el comentario de cabecera y rutas Disallow por defecto hasta que edites manualmente. aiCrawlerPolicy añade grupos User-agent nombrados — no reemplaza el grupo *. includeSitemap añade Sitemap solo si la URL tiene valor; usa https:// en producción. outputStyle minimal quita comentarios para pegar en un archivo existente. Separado del /robots.txt de FastMinify y de meta name="robots" en el generador de meta tags.

Opciones

  • Política crawlers IA

    Añade grupos User-agent para crawlers IA 2026. block-training es el valor por defecto: bloquea el entrenamiento y permite la búsqueda y la navegación.

  • Destino de despliegue

    Cambia comentario de copia y rutas Disallow por defecto (raíz static, Next.js public/robots.txt, WordPress).

  • Incluir línea Sitemap

    Añade Sitemap: {url} si el campo tiene valor. Desactiva para borradores sin URL de producción.

  • Estilo de salida

    commented añade cabeceras #; minimal solo directivas.

Cuándo usar esta herramienta

Publicar un sitio estático o JAMstack bloqueando GPTBot/Google-Extended, pero permitiendo agentes de búsqueda y navegación. Colocar public/robots.txt en Next.js con Disallow para /api/ y /_next/data/. Redactar un robots.txt de WordPress antes de subirlo, sin probador de URL en vivo.

Herramientas relacionadas

Vuelve al hub Herramientas SEO / Web. Combina con Generador de meta tags para comparar meta robots y robots.txt, y con Generador sitemap XML. Añade datos estructurados con el Generador JSON-LD Schema. Descompón las URL del sitemap con Analizador de URL, normaliza segmentos con Slugify o formatea JSON-LD con Formateador JSON.

FAQ Generador robots.txt

Generador local de archivo de rastreo

¿FastMinify obtiene o prueba mi robots.txt en vivo?

No. La generación y la validación usan solo tus entradas. Nada se rastrea, se reenvía ni se verifica contra tu dominio de producción.

¿Es el mismo robots.txt que el de FastMinify?

No. El /robots.txt de FastMinify sirve a este sitio. Este generador construye un archivo para tu proyecto, con lógica y salida separadas.

¿Qué significan los ajustes predefinidos de crawlers IA?

block-training bloquea crawlers de entrenamiento (GPTBot, Google-Extended, CCBot, anthropic-ai). Permite agentes de búsqueda y navegación como ChatGPT-User y PerplexityBot. block-all-ai bloquea todos los agentes IA catalogados. custom elige agentes individualmente.

¿Puede emitir etiquetas meta robots?

No. Para la etiqueta <meta name="robots"> usa el generador de meta tags, porque robots.txt y meta robots son capas distintas.

Herramientas SEO / Web

Genera etiquetas meta, Open Graph, Twitter Card, robots.txt, sitemap.xml y JSON-LD en tu navegador. Las vistas previas salen de lo que escribes y tu sitio nunca se consulta.

Explorar otras categorías de herramientas