Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Einen Python-Web-Scraper für javascript-intensive und geschützte Seiten erstellen
Full-Stack-Webentwickler
Ich erstelle AI-Chatbots, Automatisierungen und Websites, die Leads generieren und Stunden an manueller Arbeit einsparen.
AI-Chatbots: Website-Assistenten, die aus deinem FAQ und deinen Preisen antwor...
Über diesen Service
Jeder kann ein Skript schreiben, das einmal auf seinem Laptop funktioniert. Du bist hier, weil die Seite zurückgeschlagen hat.
Ich nehme die Scrapes, die scheitern: Inhalte, die nur nach JavaScript-Ausführung existieren, Seiten hinter einer Challenge, Endpunkte, die mitten im Lauf 403 zurückgeben.
WAS ICH BEARBEITE
JavaScript-gerenderte Seiten mit einem echten headless Browser, wenn der HTML-Code allein nichts hergibt.
Seiten, die naive Skripte blockieren: richtige Verzögerungen, rotierte Header, Proxy-Unterstützung von Anfang an integriert.
Paginierung, Filter, Kategoriestrukturen und Detailseiten für die Felder, die nur dort existieren.
Ausgabe im gewünschten Format: CSV, Excel, Google Sheets, JSON, PostgreSQL oder deine API.
SCRAPER, DIE IN PRODUKTION ÜBERLEBEN
Die interessanten Fehler kommen später: Speicherlecks, bis der Prozess beendet wird, Zombies, die headless Browser anhäufen, eine Seite fügt eine Challenge hinzu und dein Check gibt eine glückliche 200 auf einer toten Seite zurück. Ich baue dagegen: Wiederholungen mit Backoff, Neustart bei Absturz, Logrotation, Telegram-Alerts und Checks, die Inhalte statt Statuscodes verifizieren.
Ich greife keine Logins an, die du nicht besitzt, oder paywalled Inhalte.
Technologie:
Python
•
Puppenspieler
•
scrapy
•
Selen
•
Beautiful Soup
Technik:
Automatisiert
Mein Portfolio
FAQ
Automatische Übersetzung
Die Seite blockiert Bots. Kannst du das trotzdem machen?
Oft ja, mit richtigen Verzögerungen, rotierenden Headern, einem echten Browser wo nötig und eingebauter Proxy-Unterstützung. Aber ich prüfe das Ziel vor deiner Bestellung und sage dir, wenn es unrealistisch ist. Ich nehme kein Geld, wenn es nicht machbar ist.
Funktioniert es weiter, wenn sich die Seite ändert?
Scraper brechen, wenn sich das Markup des Ziels ändert; das gilt für jeden Scraper, der je geschrieben wurde. Ich halte die Selektoren an einem Ort, damit eine schnelle Reparatur möglich ist, und bei Premium bekommst du eine Warnung, wenn eine Ausführung nichts zurückgibt, statt stillschweigend leere Zeilen zu sammeln.
Ist Scraping legal?
Öffentliche Daten, die in einem vernünftigen Tempo gesammelt werden, sind in der Regel das, aber es hängt von den Bedingungen der Seite und deiner Gerichtsbarkeit ab, und ich bin Entwickler, nicht dein Anwalt. Ich werde keine Logins ausnutzen, die nicht dir gehören, oder persönliche Daten gegen die Bedingungen einer Seite sammeln.
