robots.txt Generator
Steuern Sie ganz einfach Suchmaschinen-Crawler und blockieren Sie KI-Bots.
Nutzen Sie das Formular, um eine korrekt formatierte robots.txt automatisch zu generieren.
⚙️ Standardregel (Alle Crawler)
🤖 KI-Crawler-Schutz
Verhindert unbefugtes Scraping durch ChatGPT, Claude, Applebot usw.
🕷️ Individuelle Bot-Einstellungen
✨ Generierte robots.txt
Über den robots.txt Generator
Der robots.txt Generator ist ein Dienstprogramm, mit dem Sie auf einfache Weise eine Textdatei erstellen können, um Suchmaschinen-Crawlern (Spidern) mitzuteilen, welche Seiten Ihrer Website sie crawlen dürfen oder nicht.
Neben der herkömmlichen Suchmaschinensteuerung wie Googlebot und Bingbot verfügt es über eine Funktion zur **Massenblockierung unbefugter Datensammlungen (Scraping) durch "KI-Crawler"** wie ChatGPT (GPTBot), Claude (ClaudeBot) und Apples KI, die in letzter Zeit zugenommen haben. Ihre Einstellungen werden in Echtzeit im Code übernommen und können mit einem Klick kopiert und sofort verwendet werden.
Wie man ihn benutzt
Standardregel auswählen
Wählen Sie zunächst aus, ob der Zugriff auf die gesamte Website für alle Crawler "Zugelassen" oder "Blockiert" werden soll.
Bot- und Verzeichniseinstellungen
Legen Sie fest, ob KI-Bots blockiert und der Zugriff auf bestimmte Verzeichnisse eingeschränkt werden soll (z. B. `/admin/`).
Code kopieren
Kopieren Sie den rechts (auf Mobilgeräten unten) generierten Text mit der Schaltfläche "Code kopieren".
Auf dem Server installieren
Speichern Sie den kopierten Inhalt als `robots.txt` und legen Sie ihn im obersten Verzeichnis (Stammverzeichnis) Ihrer Site ab.
robots.txt Glossar
- robots.txt
- Eine Textdatei, die im Stammverzeichnis einer Website abgelegt wird. Sie enthält Regeln, die automatisierten Programmen (Crawlern) wie Suchmaschinen vorschreiben, auf welche Teile der Site sie zugreifen dürfen oder nicht.
- User-agent
- Ein Bezeichner, der die Identität des zugreifenden Crawlers oder Browsers darstellt. In der robots.txt wendet die Eingabe "User-agent: Googlebot" Regeln auf einen bestimmten Crawler an. "*" bedeutet alle.
- Allow / Disallow
- Befehle zum "Zulassen" und "Blockieren" von Crawlern. Die Eingabe von "Disallow: /admin/" verbietet den Zugriff auf alle Seiten unter /admin/.
- KI-Crawler (KI-Bot)
- Automatisierte Programme, die Daten im Internet sammeln, um KI-Modelle von KI-Unternehmen wie OpenAI (ChatGPT) und Anthropic (Claude) zu trainieren. Der GPTBot ist ein typisches Beispiel.
- Sitemap
- Eine XML-Datei, die Crawlern die Seitenstruktur einer Site mitteilt. Indem Sie "Sitemap: https://..." in die robots.txt schreiben, können Sie Crawlern effizient das Gesamtbild Ihrer Site vermitteln.
Häufig gestellte Fragen
- Q.Was ist der Unterschied zwischen robots.txt und dem HTML-Meta-Tag robots?
- Die Datei robots.txt steuert, welche Seiten auf Ihrer Website von Crawlern gecrawlt werden dürfen. Meta-Robots (wie noindex) steuern hingegen, ob eine gecrawlte Seite in den Suchergebnissen indexiert (angezeigt) wird. Verwenden Sie robots.txt, um den Zugriff an sich zu verhindern, und Meta-Robots, um die Indexierung zu verhindern.
- Q.Wird das Blockieren von KI-Crawlern meine normalen Suchmaschinen-Rankings beeinflussen?
- Nein, das wird es nicht. Wichtige Suchmaschinen-Crawler wie der Googlebot und KI-Crawler wie ChatGPT (GPTBot) oder Claude (ClaudeBot) haben unterschiedliche User-Agents. Wenn Sie nur KI-Crawler blockieren (Disallow), hat dies keine Auswirkungen auf Ihre Google-SEO-Bewertung.
- Q.Wo soll ich die generierte robots.txt platzieren?
- Laden Sie sie in das Stammverzeichnis (die oberste Ebene) Ihrer Website mit dem Dateinamen "robots.txt" hoch. Wenn Ihre Website beispielsweise https://example.com/ lautet, sollte sie unter https://example.com/robots.txt zugänglich sein.
- Q.Was passiert, wenn ich sie falsch konfiguriere?
- Wenn Sie in den Standardregeln "Alles blockieren" auswählen oder versehentlich "/" blockieren, kann der Googlebot Ihre gesamte Website nicht mehr crawlen. Dies kann dazu führen, dass Ihre Website aus den Suchergebnissen verschwindet. Bitte überprüfen Sie die Einstellungen und die Vorschau sorgfältig vor der Installation.
Anwendungsfälle
Unbefugtes KI-Training blockieren
Verwenden Sie die Massenblockierung von KI-Crawlern, wenn Sie verhindern möchten, dass Ihre Originalinhalte und Blog-Artikel willkürlich als KI-Trainingsdaten gescrapt werden.
Admin- und private Seiten schützen
Verweigern Sie das Crawlen massenhaft für Verzeichnisse, die nicht in den Google-Suchergebnissen angezeigt werden sollen, z. B. WordPress /wp-admin/, Seiten nur für Mitglieder und dynamische Suchergebnisseiten.
SEO-Effizienz (Crawl-Budget-Optimierung)
Schränken Sie bei sehr großen Websites das Crawlen unwichtiger Seiten ein, um den Googlebot dazu zu bringen, wichtige Seiten (wie neue Artikel) vorrangig zu crawlen.
Entwicklungs-/Testseiten ausblenden
Blockieren Sie die gesamte Website, um zu verhindern, dass Testumgebungen während der Website-Produktion oder vor einer Erneuerung versehentlich von Suchmaschinen indexiert werden.
Feedback senden
Bitte teilen Sie uns Ihre Gedanken mit, um das Tool zu verbessern.
Feedback ist vorübergehend ausgesetzt
Der Server ist ausgelastet oder der Spam-Schutz ist aktiv. Bitte versuchen Sie es später erneut.