Generador robots.txt
Genera un robots.txt listo para desplegar con reglas para buscadores y crawlers IA 2026. Elige plantilla de stack, ajusta rutas Disallow y copia — generado localmente, tu sitio nunca se obtiene ni se prueba en vivo.
Notas para desarrolladores
• deployTarget cambia el comentario de cabecera y rutas Disallow por defecto hasta que edites manualmente. • aiCrawlerPolicy añade grupos User-agent nombrados — no reemplaza el grupo *. • includeSitemap añade Sitemap solo si la URL tiene valor; usa https:// en producción. • outputStyle minimal quita comentarios para pegar en un archivo existente. • Separado del /robots.txt de FastMinify y de meta name="robots" en el generador de meta tags.
Opciones
Política crawlers IA
Añade grupos User-agent para crawlers IA 2026. block-training por defecto — bloquea entrenamiento, permite search/browse.
Destino de despliegue
Cambia comentario de copia y rutas Disallow por defecto (raíz static, Next.js public/robots.txt, WordPress).
Incluir línea Sitemap
Añade Sitemap: {url} si el campo tiene valor. Desactiva para borradores sin URL de producción.
Estilo de salida
commented añade cabeceras #; minimal solo directivas.
Cuándo usar esta herramienta
• Publicar sitio static/JAMstack bloqueando GPTBot/Google-Extended pero permitiendo agentes search/browse. • Colocar public/robots.txt en Next.js con Disallow /api/ y /_next/data/. • Redactar robots.txt WordPress antes de subir — sin probador de URL en vivo.
Herramientas relacionadas
Hub: Herramientas SEO / Web. Combina con Generador de meta tags (meta robots vs robots.txt) y Generador sitemap XML. Añade datos estructurados con el Generador JSON-LD Schema. Descompón URLs sitemap con Analizador de URL, normaliza segmentos con Slugify, o formatea JSON-LD con Formateador JSON.
FAQ Generador robots.txt
Generador local de archivo de rastreo
¿FastMinify obtiene o prueba mi robots.txt en vivo?
No. Generación y validación usan solo tus entradas. Nada se rastrea, proxifica ni verifica contra tu dominio de producción.
¿Es el mismo robots.txt que el de FastMinify?
No. El /robots.txt de FastMinify sirve a este sitio. Este generador construye un archivo para tu proyecto — lógica y salida separadas.
¿Qué significan los presets de crawlers IA?
block-training bloquea crawlers de entrenamiento (GPTBot, Google-Extended, CCBot, anthropic-ai) y permite agentes search/browse como ChatGPT-User y PerplexityBot. block-all-ai bloquea todos los agentes IA catalogados. custom elige agentes individualmente.
¿Puede emitir etiquetas meta robots?
No — usa el generador de meta tags para <meta name="robots">. robots.txt y meta robots son capas distintas.
Herramientas SEO / Web
Genera meta tags, Open Graph y Twitter Card localmente — vistas simuladas desde tus entradas, nunca fetch de tu sitio en vivo.
Explorar otras categorías de herramientas
Minificar
Reduce código y assets para producción — minifica JavaScript, CSS, HTML, JSON y XML antes de gzip o un despliegue CDN.
Desminificar
Expande código minificado o comprimido — desminifica JavaScript, CSS, TypeScript, SCSS, LESS, SQL, YAML y otros formatos al depurar o revisar.
Conversión
Transforma datos entre JSON, YAML, XML y CSV en local — sin subidas a un servidor.
Codificación
Codifica o decodifica Base64, componentes URL y entidades HTML — solo en el cliente.
Serialización
Serializa y deserializa estructuras PHP junto a los flujos JSON.
Herramientas JSON
Valida, formatea, compara y explora payloads JSON — complementarias a minificadores y convertidores.
Herramientas SVG
Previsualiza, optimiza con SVGO, exporta Data URI, redimensiona, embellece, convierte a JSX y valida SVG — todo en tu navegador.
Embellecer
Haz el código legible con una indentación coherente — embellece JavaScript, CSS, TypeScript, SCSS, LESS, Markdown, GraphQL, SQL, YAML y más en tu navegador.
Preprocesadores CSS
Compila SCSS o LESS a CSS estándar en el navegador — combínalo con embellecer o minificar para un flujo de hoja de estilos completo.
Herramientas color y CSS
Comprobación de contraste WCAG pegada localmente con sintaxis de color CSS moderna — vistas de par y matriz, nunca se sube.
DevOps e Infra
Formato, validación y minificación de Terraform HCL, formato y lint de Dockerfile, validación de Docker Compose y .env.
CI/CD
GitHub Actions y GitLab CI — formatear YAML y comprobar la estructura de workflows/jobs en el navegador.
Logs y observabilidad
JSON/NDJSON línea a línea y access logs de Nginx/Apache — formato, filtro, validación y CSV/TSV.
Kubernetes
Manifiestos multi-doc, validación estructural, starters Ingress/Deployment y formato de values de Helm.
Red / IP
CIDR, subredes y ayudas IPv4/IPv6 — en tu navegador.
Seguridad y tokens
JWKS, certificados X.509 y escaneo de secretos — en local en el navegador.
API y esquemas
Herramientas OpenAPI para formatear, validar y analizar tus specs.
Herramientas HTTP
cURL, mensajes HTTP, URLs, HAR y Cookie / Set-Cookie pegados en el navegador — formatear e inspeccionar, nunca se envían.
Utilidades para desarrolladores
Timestamps, UUID, ULID, Nanoid, cron, contraseñas, regex, slugify, bases numéricas, mayúsculas, diff de texto y chmod — todo en el cliente.
Texto y Markdown
Cuenta palabras, genera TOC Markdown y limpia listas de líneas — todo en tu navegador.
IA y LLM
Conteo de tokens, estimación de costes y ajuste a la ventana de contexto — 100 % en el navegador.
Datos de prueba
Valores de campo sintéticos para fixtures y seed de BD — primero números de teléfono en rangos reservados.