Erstellen Sie eine valide robots.txt in Sekunden — mit Presets für die acht gängigsten CMS-Systeme, Live-Vorschau und Download. Kein Server-Roundtrip, alles im Browser.
Das Preset fügt typische Disallow-Pfade für das jeweilige CMS hinzu. Sie können diese im nächsten Schritt mit eigenen Regeln ergänzen.
Übliche Kandidaten: /cart/, /checkout/, /admin/, /search?. Ein Pfad pro Zeile, leere Zeilen werden ignoriert.
Volle URL inklusive Protokoll. Sitemap-Hinweise in robots.txt werden von allen großen Crawlern unterstützt.
Sekunden zwischen Crawl-Anfragen. Google ignoriert diese Direktive — relevant für Bing, Yandex und andere.
Die robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, mit der Sie Suchmaschinen-Crawlern mitteilen, welche URLs sie aufrufen dürfen und welche nicht. Sie steuert ausschließlich das Crawling — nicht die Indexierung: Eine durch robots.txt blockierte Seite kann trotzdem im Index erscheinen, wenn andere Seiten auf sie verlinken. Wer eine Seite verlässlich aus dem Index halten möchte, nutzt zusätzlich das Meta-Robots-Tag noindex.
Damit eine robots.txt wirkt, muss sie exakt im Root Ihrer Domain liegen — also unter https://example.com/robots.txt. Pro Domain und Subdomain ist genau eine Datei zulässig. Direktiven werden zeilenweise gelesen, leere Zeilen trennen Crawler-Blöcke, und Pfade sind case-sensitive.
robots.txt kann Ihre gesamte Website von Google ausschließen. Wir prüfen Ihre robots.txt im Rahmen eines kostenlosen technischen Audits — inklusive Sitemap-Abgleich und Crawl-Test.
Unser Team aus Düsseldorf prüft Ihre robots.txt, Sitemap und Indexierung — kostenlos und unverbindlich.
Jetzt Audit anfragen