Générateur robots.txt

Générez un robots.txt prêt au déploiement avec règles pour moteurs de recherche et crawlers IA 2026. Choisissez un modèle de stack, ajustez les chemins Disallow et copiez le fichier. Génération locale : votre site n’est jamais récupéré ni testé en ligne.

Chargement…
Générateur robots.txt
Configurez les règles de crawl et les politiques IA, puis copiez un bloc robots.txt pour votre stack. La validation est locale, et FastMinify ne demande jamais votre site en production.

Notes développeur

deployTarget change le commentaire d’en-tête et les chemins Disallow par défaut tant que vous ne les éditez pas. aiCrawlerPolicy ajoute des groupes User-agent nommés — il ne remplace pas le groupe *. includeSitemap ajoute une ligne Sitemap seulement si l’URL est renseignée ; utilisez https:// en production. outputStyle minimal retire les commentaires pour coller dans un fichier existant. Outil distinct du /robots.txt FastMinify et des balises meta robots du générateur de balises meta.

Options

  • Politique crawlers IA

    Ajoute des groupes User-agent pour les crawlers IA 2026. block-training est la valeur par défaut : il bloque l’entraînement et autorise la recherche et la navigation.

  • Cible de déploiement

    Change le commentaire de copie et les chemins Disallow par défaut (racine statique, Next.js public/robots.txt, WordPress).

  • Inclure la ligne Sitemap

    Ajoute Sitemap: {url} si le champ est renseigné. Désactivez pour un brouillon sans URL de prod.

  • Style de sortie

    commented ajoute des en-têtes # ; minimal n’émet que les directives.

Quand utiliser cet outil

Publier un site statique ou JAMstack en bloquant GPTBot/Google-Extended tout en autorisant les agents de recherche et de navigation. Déposer public/robots.txt dans Next.js avec des Disallow /api/ et /_next/data/. Rédiger un robots.txt WordPress avant envoi, sans testeur d’URL en ligne.

Outils associés

Retour au hub Outils SEO / Web. Associez le Générateur de balises meta pour comparer meta robots et robots.txt, et le Générateur sitemap XML. Complétez avec le Générateur JSON-LD Schema. Décomposez les URL du sitemap avec Analyseur d’URL, normalisez les segments avec Slugify ou formatez du JSON-LD avec Formateur JSON.

FAQ Générateur robots.txt

Générateur local de fichier de crawl

FastMinify récupère ou teste mon robots.txt live ?

Non. La génération et la validation utilisent uniquement vos saisies. Rien n’est exploré, relayé ni vérifié sur votre domaine de production.

Est-ce le même robots.txt que FastMinify ?

Non. Le /robots.txt de FastMinify sert ce site. Ce générateur construit un fichier pour votre projet, avec une logique et une sortie séparées.

Que signifient les préréglages crawlers IA ?

block-training interdit les crawlers d’entraînement (GPTBot, Google-Extended, CCBot, anthropic-ai). Il autorise toujours les agents de recherche et de navigation comme ChatGPT-User et PerplexityBot. block-all-ai interdit tous les agents IA catalogués. custom permet de choisir agent par agent.

Peut-on émettre des balises meta robots ?

Non. Utilisez le générateur de balises meta voisin pour <meta name="robots">. robots.txt et meta robots couvrent deux couches distinctes du contrôle de crawl.

Outils SEO / Web

Générez balises meta, Open Graph, Twitter Card, robots.txt, sitemap.xml et JSON-LD dans votre navigateur. Les aperçus viennent de votre saisie, et votre site n’est jamais interrogé.

Découvrez les autres catégories d'outils