Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich erstelle massive Python-Scraper in großem Maßstab
AI Data Engineering, Business Intelligence Experte
Nach 3 Jahren im Data Engineering habe ich erkannt, dass der wahre Wert nicht im Schreiben von Code liegt – sondern darin, chaotische Daten in geschäftliche Antworten zu verwandeln. Die meisten Untern...
Über diesen Service
Das ist nicht der übliche Web Scraping Job.
Die meisten Scraping-Jobs liefern einmalig einen Datensatz und sind dann fertig.
Aber ich baue produktionsreife Datenplattformen, die kontinuierlich Webdaten sammeln, verarbeiten und analysieren.
Eine Kundenstory
Herrn Anton Enta, ein pensionierter Journalist, wollte ein gebrauchtes Auto kaufen, wusste aber nicht, wie er den Markt einschätzen soll. Statt nur einmal Listings zu scrapen, haben wir eine Plattform gebaut, die den größten Gebrauchtwagenmarkt des Kontinents mit über 500.000 Live-Listings überwacht.
Das System lief rund um die Uhr auf einem Server, sammelte historische Preise, Farben, Modelle und Markttrends. Am Ende hatte er keine Rohdaten mehr vor sich, sondern eine vollständige Übersicht, wie sich der Markt verhält.
Um die Daten nützlich zu machen, habe ich außerdem gebaut:
- Ein NLP-Chatbot, um die Daten in einfachem Englisch abzufragen.
- Ein Superset-Dashboard für interaktive Analysen und Trendvisualisierung.
Das ist Datenengineering, nicht nur Web Scraping.
Tech Stack: Python, Playwright, Selenium, BeautifulSoup, Requests, Pandas, PostgreSQL, MongoDB, Redis, Kafka, Airflow, Spark, dbt, Docker, ClickHouse, Superset, AWS.
Wenn du eine CSV brauchst, können viele Gigs das erledigen.
Wenn du eine Datenplattform brauchst, die ständig Business Intelligence generiert, lass uns dein Projekt besprechen.
Technologie:
Python
•
NodeJS
•
Selen
•
Beautiful Soup
•
Dramatiker
Technik:
Automatisiert
Mein Portfolio
FAQ
Automatische Übersetzung
Kannst du einen Scraper bauen, der automatisch jeden Tag läuft?
Ja. Die meisten meiner Projekte sind langlebige Systeme, keine einmaligen Skripte. Ich kann deinen Scraper auf einem Server oder in der Cloud mit Überwachung, Planung, Wiederholungen, Logging und Alarmierung bereitstellen.
Kann die gescrapete Daten direkt an meine Datenbank oder mein Dashboard gesendet werden?
Absolut. Ich kann die Pipeline mit PostgreSQL, MongoDB, ClickHouse, Data Warehouses, BI-Dashboards, APIs oder deiner bestehenden Anwendung integrieren, anstatt nur CSV- oder Excel-Dateien zu exportieren.
Werde ich den Quellcode und die Deployment-Einrichtung besitzen?
Ja. Sofern wir nichts anderes vereinbaren, erhältst du den vollständigen Quellcode, die Deployment-Anleitung und die Dokumentation, sodass die Plattform vollständig dir gehört.
Ist das geeignet für groß angelegte Datenerfassung?
Ja. Ich spezialisiere mich auf skalierbare Scraping-Systeme, die für hohe Volumen, langlebige Datenerfassung mit Planung, Parallelverarbeitung, Deduplication und Fehlertoleranz ausgelegt sind, nicht nur auf einmalige Scraping-Jobs.
