Robots.txt-Generator
Erzeugen Sie eine deploy-fertige robots.txt mit Regeln für Suchmaschinen und KI-Crawler 2026. Stack-Vorlage wählen, Disallow-Pfade anpassen und kopieren — lokal generiert, Ihre Site wird nie abgerufen oder live getestet.
Entwicklerhinweise
• deployTarget ändert Kopfkommentar und Standard-Disallow-Pfade, bis Sie manuell editieren. • aiCrawlerPolicy fügt benannte User-agent-Gruppen hinzu — ersetzt nicht die *-Gruppe. • includeSitemap hängt Sitemap nur an, wenn die URL gesetzt ist; in Produktion https:// verwenden. • outputStyle minimal entfernt Kommentarzeilen zum Einfügen in bestehende Dateien. • Getrennt vom FastMinify-/robots.txt und von meta name="robots" im Meta-Tags-Generator.
Optionen
KI-Crawler-Richtlinie
Fügt User-agent-Gruppen für KI-Crawler 2026 hinzu. block-training standard — blockiert Training, erlaubt Search/Browse.
Deploy-Ziel
Ändert Kopfkommentar und Standard-Disallow-Pfade für Static, Next.js public/robots.txt oder WordPress-Root.
Sitemap-Zeile einfügen
Hängt Sitemap: {url} an, wenn das Feld gesetzt ist. Für Staging ohne Prod-URL ausschalten.
Ausgabestil
commented fügt #-Abschnitte hinzu; minimal nur Direktiven.
Wann dieses Tool passt
• Static/JAMstack mit GPTBot/Google-Extended blockiert, Search/Browse-Agenten erlaubt. • public/robots.txt in Next.js mit /api/ und /_next/data/ Disallows. • WordPress-robots.txt vor Upload entwerfen — ohne Live-URL-Tester.
Verwandte Tools
Hub: SEO / Web-Tools. Kombinieren mit Meta-Tags-Generator (meta robots vs robots.txt) und XML-Sitemap-Generator. Strukturierte Daten mit JSON-LD Schema Markup Generator. Sitemap-URLs mit URL-Parser, Pfade mit Slugify, JSON-LD mit JSON-Formatter.
Robots.txt-Generator FAQ
Lokaler Crawl-Datei-Generator
Ruft FastMinify meine Live-robots.txt ab oder testet sie?
Nein. Generierung und Validierung nutzen nur Ihre Eingaben. Nichts wird gecrawlt, proxied oder gegen Ihre Produktionsdomain geprüft.
Ist das dieselbe robots.txt wie bei FastMinify?
Nein. FastMinifys /robots.txt dient dieser Site. Dieser Generator baut eine Datei für Ihr Projekt — separate Logik und Ausgabe.
Was bedeuten die KI-Crawler-Voreinstellungen?
block-training verbietet Trainings-Crawler (GPTBot, Google-Extended, CCBot, anthropic-ai), erlaubt Search/Browse wie ChatGPT-User und PerplexityBot. block-all-ai verbietet alle katalogisierten KI-Agenten. custom wählt Agenten einzeln.
Kann das meta-robots-Tags ausgeben?
Nein — nutzen Sie den Meta-Tags-Generator für <meta name="robots">. robots.txt und meta robots sind verschiedene Ebenen.
SEO / Web-Tools
Meta-Tags, Open Graph und Twitter Card lokal erzeugen — Vorschauen aus Ihren Eingaben simuliert, nie von Ihrer Live-Site abgerufen.
Weitere Werkzeugkategorien entdecken
Minimieren
Verkleinern Sie Code und Ressourcen für die Produktion – minimieren Sie JavaScript, CSS, HTML, JSON und XML vor der Bereitstellung von gzip oder CDN.
Aufheben
Erweitern Sie minimierten oder komprimierten Code – entminifizieren Sie JavaScript, CSS, TypeScript, SCSS, LESS, SQL, YAML und andere Formate beim Debuggen oder Überprüfen.
Konvertierung
Transformieren Sie Daten zwischen JSON, YAML, XML und CSV lokal – keine Server-Uploads.
Codierung
Kodieren oder dekodieren Sie Base64-, URL-Komponenten und HTML-Entitäten – nur clientseitig.
Serialisierung
Serialisieren und deserialisieren Sie PHP-Datenstrukturen neben JSON-Workflows.
JSON Werkzeuge
Validieren, formatieren, vergleichen und erkunden Sie JSON-Nutzlasten – ergänzend zu Minifiern und Konvertern.
SVG Werkzeuge
Vorschau anzeigen, mit SVGO optimieren, Daten exportieren URI, Größe ändern, verschönern, in JSX konvertieren und SVG validieren – alles in Ihrem Browser.
Verschönern
Machen Sie Code mit konsistenter Einrückung lesbar – verschönern Sie JavaScript, CSS, TypeScript, SCSS, LESS, Markdown, GraphQL, SQL, YAML und mehr in Ihrem Browser.
CSS-Präprozessoren
Kompilieren Sie SCSS oder LESS zu Standard-CSS im Browser — kombinieren Sie mit Beautify oder Minify für einen vollständigen Stylesheet-Workflow.
Farb- & CSS-Tools
Lokal eingefügte WCAG-Kontrastprüfung mit moderner CSS-Farbsyntax — Paar- und Matrixansicht, nie hochgeladen.
DevOps und Infrastruktur
Terraform HCL formatieren/validieren/minimieren, Dockerfile formatieren und lint, Docker Verfassen und .env-Validierung.
CI/CD
GitHub Aktionen und GitLab CI – formatieren Sie YAML und überprüfen Sie die Workflow-/Auftragsstruktur in Ihrem Browser.
Protokolle und Beobachtbarkeit
Zeilenorientierte JSON/NDJSON- und Nginx/Apache-Zugriffsprotokolle – formatieren, filtern, validieren und CSV/TSV.
Kubernetes
Multi-Doc-Manifeste, strukturelle Validierung, Ingress/Deployment-Starter und Helm-Werteformatierung.
Netzwerk / IP
CIDR, Subnetze und IPv4/IPv6-Helfer — im Browser.
Sicherheit und Token
JWKS, X.509-Zertifikate und Secrets-Scan – browserlokal.
API & Schemata
OpenAPI Tools zum Formatieren, Validieren und Flusen Ihrer Spezifikationen.
HTTP-Tools
cURL, HTTP-Nachrichten, URLs, HAR und Cookie/Set-Cookie lokal einfügen — formatieren und prüfen, nie gesendet.
Entwickler-Dienstprogramme
Zeitstempel, UUID, ULID, Nanoid, Cron, Passwörter, Regex, Slugify, Zahlenbasen, Groß-/Kleinschreibung, Textunterschied und chmod – alles clientseitig.
Text & Markdown
Wörter zählen, Markdown-TOC erzeugen und Zeilenlisten bereinigen — im Browser.
KI & LLM
Token-Zählung, Kostenschätzung und Kontextfenster — 100 % im Browser.
Testdaten
Synthetische Feldwerte für Fixtures und DB-Seed — zuerst reservierte Telefonnummern.