Générateur robots.txt
Générez un robots.txt prêt au déploiement avec règles pour moteurs de recherche et crawlers IA 2026. Choisissez un modèle de stack, ajustez les chemins Disallow et copiez — génération locale, votre site n’est jamais récupéré ni testé en live.
Notes développeur
• deployTarget change le commentaire d’en-tête et les chemins Disallow par défaut tant que vous ne les éditez pas. • aiCrawlerPolicy ajoute des groupes User-agent nommés — il ne remplace pas le groupe *. • includeSitemap ajoute une ligne Sitemap seulement si l’URL est renseignée ; utilisez https:// en production. • outputStyle minimal retire les commentaires pour coller dans un fichier existant. • Outil distinct du /robots.txt FastMinify et des balises meta robots du générateur de balises meta.
Options
Politique crawlers IA
Ajoute des groupes User-agent pour crawlers IA 2026. block-training par défaut — bloque l’entraînement, autorise search/browse.
Cible de déploiement
Change le commentaire de copie et les chemins Disallow par défaut (racine static, Next.js public/robots.txt, WordPress).
Inclure la ligne Sitemap
Ajoute Sitemap: {url} si le champ est renseigné. Désactivez pour un brouillon sans URL de prod.
Style de sortie
commented ajoute des en-têtes # ; minimal n’émet que les directives.
Quand utiliser cet outil
• Publier un site static/JAMstack en bloquant GPTBot/Google-Extended tout en autorisant les agents search/browse. • Déposer public/robots.txt dans Next.js avec des Disallow /api/ et /_next/data/. • Rédiger un robots.txt WordPress avant upload — sans testeur d’URL live.
Outils associés
Hub : Outils SEO / Web. Associez le Générateur de balises meta (meta robots vs robots.txt) et le Générateur sitemap XML. Complétez avec le Générateur JSON-LD Schema. Décomposez les URL sitemap avec Analyseur d’URL, normalisez les segments avec Slugify, ou formatez du JSON-LD avec Formateur JSON.
FAQ Générateur robots.txt
Générateur local de fichier de crawl
FastMinify récupère ou teste mon robots.txt live ?
Non. Génération et validation utilisent uniquement vos saisies. Rien n’est crawlé, proxifié ou vérifié sur votre domaine de production.
Est-ce le même robots.txt que FastMinify ?
Non. Le /robots.txt FastMinify sert ce site. Ce générateur construit un fichier pour votre projet — logique et sortie séparées.
Que signifient les préréglages crawlers IA ?
block-training interdit les crawlers d’entraînement (GPTBot, Google-Extended, CCBot, anthropic-ai) tout en autorisant les agents search/browse comme ChatGPT-User et PerplexityBot. block-all-ai interdit tous les agents IA catalogués. custom permet de choisir agent par agent.
Peut-on émettre des balises meta robots ?
Non — utilisez le générateur de balises meta pour <meta name="robots">. robots.txt et meta robots couvrent des couches différentes.
Outils SEO / Web
Générez meta tags, Open Graph et Twitter Card localement — aperçus simulés depuis vos saisies, jamais fetch de votre site live.
Découvrez les autres catégories d'outils
Minifier
Réduisez code et assets pour la production — minifiez JS, CSS, HTML, JSON, XML et SVG avant gzip ou déploiement CDN.
Déminifier
Développez du code minifié ou compressé — déminifiez JavaScript, CSS, TypeScript, SCSS, LESS, SQL, YAML et d'autres formats pour déboguer ou relire.
Conversion
Transformez des données entre JSON, YAML, XML et CSV localement — sans envoi serveur.
Encodage
Encodez ou décodez Base64, composants URL et entités HTML — uniquement côté client.
Sérialisation
Sérialisez et désérialisez des structures PHP à côté de vos flux JSON.
Outils JSON
Validez, formatez, comparez et explorez des payloads JSON — complémentaires aux minificateurs et convertisseurs.
Outils SVG
Prévisualisez, optimisez avec SVGO, exportez en Data URI, redimensionnez, formatez, convertissez en JSX et validez vos SVG — tout dans le navigateur.
Beautifier
Rendez le code lisible avec une indentation cohérente — beautifiez JavaScript, CSS, TypeScript, SCSS, LESS, Markdown, GraphQL, SQL, YAML et plus encore dans votre navigateur.
Préprocesseurs CSS
Compilez SCSS ou LESS en CSS standard dans le navigateur — complétez avec beautify ou minify pour un workflow feuille de style complet.
Outils couleur & CSS
Vérification de contraste WCAG en collage local avec syntaxe couleur CSS moderne — vues paire et matrice, jamais envoyé.
DevOps & Infra
Format/validate/minify HCL, format & lint Dockerfile, validation Compose et .env.
CI/CD
GitHub Actions et GitLab CI — formater le YAML et vérifier la structure des workflows/jobs dans le navigateur.
Logs & observabilité
JSON/NDJSON ligne à ligne et access logs Nginx/Apache — format, filtre, validation et CSV/TSV.
Kubernetes
Manifestes multi-docs, validation structurelle, starters Ingress/Deployment et formatage values Helm.
Réseau / IP
CIDR, sous-réseaux et helpers IPv4/IPv6 — dans le navigateur.
Sécurité & tokens
JWKS, certificats X.509 et scan de secrets — locaux navigateur.
API & schémas
Outils OpenAPI pour formater, valider et analyser vos specs.
Outils HTTP
cURL, messages HTTP, URLs, HAR et Cookie / Set-Cookie collés dans le navigateur — formater et inspecter, jamais envoyé.
Utilitaires développeur
Timestamps, UUID, ULID, Nanoid, cron, mots de passe, regex, slugify, bases, casse, diff texte et chmod — tout côté client.
Texte & Markdown
Comptez, générez un sommaire Markdown et nettoyez des listes de lignes — dans le navigateur.
IA & LLM
Comptage de tokens, estimation des coûts et fenêtre de contexte — 100 % local.
Données de test
Valeurs de champs synthétiques pour fixtures et seed DB — d'abord des numéros de téléphone en plages réservées.