Ich sperre KI-Bots und Scraper mit robots.txt von deiner Website aus


Über diesen Service
Automatische Übersetzung
Ich werde deine robots.txt-Datei aktualisieren, um die 50+ aggressivsten AI-Webscraper und Crawler zu blockieren (einschließlich OpenAI, Anthropic und Common Crawl). Perfekt für kleine Blogs oder Portfolios, die sofortige Privatsphäre suchen.
Rechte Dritter respektieren
Bitte beachte, dass es gegen die Richtlinien von Fiverr verstößt, wenn Freelancer Themes, Vorlagen oder andere Elemente, die die Rechte Dritter oder geltende Gesetze verletzen, in die gelieferte Arbeit aufnehmen. Lies mehr darüber in unseren Leitfaden für verantwortungsvolle digitale Kreation.
Lerne Pavel V kennen
Founder WebflowForge Driving Growth with Web Development and AI Automations
- AusIsrael
- Mitglied seitJuli 2024
Sprachen
Russisch, Hebräisch, Englisch
Automatische Übersetzung
Mein Portfolio
FAQ
Automatische Übersetzung
Wird das Blockieren von AI-Bots meine Google-Suchplatzierung beeinträchtigen?
Nein. Standard-SEO (Google, Bing) und das Blockieren von AI-Bots sind zwei verschiedene Dinge. Wir verwenden spezielle "User-Agent"-Befehle, die AI-Crawler (wie GPTBot oder CCBot) anweisen, sich fernzuhalten, während Google’s Hauptsuchindex deine Seite normal crawlt. Dein menschlicher Traffic bleibt unberührt.
Was ist der Unterschied zwischen robots.txt und llms.txt?
Denke an robots.txt als das "Betreten verboten"-Schild – es sagt AI-Bots, dass sie deine Daten nicht für Training scrapen dürfen. Denke an llms.txt als eine "Inhaltsübersicht" – sie bietet eine saubere, markdown-freundliche Version deiner Seiteninformationen für AI-Suchmaschinen (wie Perplexity oder ChatGPT Search), damit sie deine Seite besser verstehen können.
Muss ich dir meine Website-Login-Daten geben?
Das hängt von deinem Komfort ab. Ich kann mich entweder in dein WordPress/Shopify/Hosting-Panel einloggen und es für dich erledigen (schnell), oder ich kann dir die maßgeschneiderten Dateien und eine Schritt-für-Schritt-Videoanleitung schicken, damit du sie selbst hochladen kannst.
Kannst du bestimmte AI-Bots blockieren, aber andere durchlassen?
Absolut. Wenn du OpenAI vom Training deiner Inhalte ausschließen möchtest, Perplexity aber erlauben willst, deine Seite in den Suchergebnissen anzuzeigen, kann ich den Code speziell auf diese Wünsche anpassen.
Ist das eine einmalige Lösung oder muss ich es regelmäßig aktualisieren?
Das ist eine dauerhafte Einrichtung. Neue AI-Bots werden jedoch jeden Monat veröffentlicht. Die Datei, die ich bereitstelle, enthält die umfassendste Liste der Scraper bis 2026. Ich empfehle alle 6 Monate eine kurze "Gesundheitsprüfung", um sicherzustellen, dass keine neuen, aggressive Bots aufgetaucht sind.
