Robots.txt-Generator

Erzeugen Sie eine deploy-fertige robots.txt mit Regeln für Suchmaschinen und KI-Crawler 2026. Wählen Sie eine Stack-Vorlage, passen Sie Disallow-Pfade an und kopieren Sie die Datei. Sie wird lokal erzeugt, und Ihre Site wird nie abgerufen oder live getestet.

Laden…
Robots.txt-Generator
Crawl-Regeln und KI-Richtlinien konfigurieren, dann einen robots.txt-Block für Ihren Stack kopieren. Die Validierung läuft lokal, und FastMinify fragt Ihre Live-Site nie ab.

Entwicklerhinweise

deployTarget ändert Kopfkommentar und Standard-Disallow-Pfade, bis Sie manuell editieren. aiCrawlerPolicy fügt benannte User-agent-Gruppen hinzu — ersetzt nicht die *-Gruppe. includeSitemap hängt Sitemap nur an, wenn die URL gesetzt ist; in Produktion https:// verwenden. outputStyle minimal entfernt Kommentarzeilen zum Einfügen in bestehende Dateien. Getrennt vom FastMinify-/robots.txt und von meta name="robots" im Meta-Tags-Generator.

Optionen

  • KI-Crawler-Richtlinie

    Fügt User-agent-Gruppen für KI-Crawler 2026 hinzu. block-training ist der Standard: Er blockiert das Training und erlaubt Such- und Browse-Agenten.

  • Deploy-Ziel

    Ändert den Kopfkommentar und die Standard-Disallow-Pfade für ein statisches Root-Verzeichnis, Next.js public/robots.txt oder WordPress-Root.

  • Sitemap-Zeile einfügen

    Hängt Sitemap: {url} an, wenn das Feld gesetzt ist. Für Staging ohne Prod-URL ausschalten.

  • Ausgabestil

    commented fügt #-Abschnitte hinzu; minimal gibt nur Direktiven aus.

Wann dieses Tool passt

Eine statische Site oder JAMstack-Site veröffentlichen, mit blockiertem GPTBot/Google-Extended und erlaubten Such- und Browse-Agenten. public/robots.txt in Next.js mit Disallows für /api/ und /_next/data/ ablegen. Eine WordPress-robots.txt vor dem Upload entwerfen, ohne Live-URL-Tester.

Verwandte Tools

Zurück zum Hub SEO / Web-Tools. Kombinieren Sie den Meta-Tags-Generator, um meta robots und robots.txt zu vergleichen, und den XML-Sitemap-Generator. Strukturierte Daten ergänzen Sie mit dem JSON-LD Schema Markup Generator. Sitemap-URLs zerlegen Sie mit dem URL-Parser, Pfade bereinigen Sie mit Slugify, und JSON-LD formatieren Sie mit dem JSON-Formatter.

Robots.txt-Generator FAQ

Lokaler Crawl-Datei-Generator

Ruft FastMinify meine Live-robots.txt ab oder testet sie?

Nein. Generierung und Validierung nutzen nur Ihre Eingaben. Nichts wird gecrawlt, weitergeleitet oder gegen Ihre Produktionsdomain geprüft.

Ist das dieselbe robots.txt wie bei FastMinify?

Nein. FastMinifys /robots.txt dient dieser Site. Dieser Generator baut eine Datei für Ihr Projekt, mit getrennter Logik und getrennter Ausgabe.

Was bedeuten die KI-Crawler-Voreinstellungen?

block-training verbietet Trainings-Crawler (GPTBot, Google-Extended, CCBot, anthropic-ai). Such- und Browse-Agenten wie ChatGPT-User und PerplexityBot bleiben erlaubt. block-all-ai verbietet alle katalogisierten KI-Agenten. custom wählt Agenten einzeln.

Kann das meta-robots-Tags ausgeben?

Nein. Nutzen Sie den Meta-Tags-Generator für <meta name="robots">. robots.txt und meta robots sind verschiedene Ebenen.

SEO / Web-Tools

Erzeugen Sie Meta-Tags, Open Graph, Twitter Card, robots.txt, sitemap.xml und JSON-LD im Browser. Die Vorschauen entstehen aus Ihren Eingaben, Ihre Site wird nie abgerufen.

Weitere Werkzeugkategorien entdecken