Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich baue eine automatisierte Datenpipeline mit Python-Scrapers, ETL und Datenbank
Python Web Scraping, Datenpipelines und KI-Automatisierung
Senior Python-Entwickler (über 6 Jahre) erstellt Web-Scraper, Datenpipelines und AI-Automatisierungen, die in der Produktion laufen.
• Jede Website scrapen, inklusive JavaScript, Login- und Bot-gesch...
Level 2
Hat hohe Leistungskriterien erfüllt und verfügt über eine nachgewiesene Erfolgsbilanz bei der Erfüllung von Kundenerwartungen.
Über diesen Service
Skripte, die jede Woche kaputtgehen, kosten mehr, als sie einsparen. Ich erstelle Produktionsdatenpipelines, die deine Daten sammeln, bereinigen und termingerecht liefern und dauerhaft laufen.
Was ich baue:
- Geplante Scrapers und API-Collector für beliebig viele Quellen
- ETL: Reinigung, Duplikatentfernung, Validierung und KI-gestützte Anreicherung
- Loading in PostgreSQL, MySQL, Google Sheets oder deine API
- Monitoring und Alerts, damit du weißt, wenn etwas schiefgeht
- Deployment auf deinem Server oder in der Cloud (AWS, GCP, DigitalOcean) mit Docker
Bewährt im großen Maßstab:
- Eine Pipeline, die jede Woche über 1 Mio. Immobilien-Datensätze extrahiert
- Ein System, das Baugenehmigungen aus über 100 US-Behörden und 13 Portaltypen sammelt
- Ein Immobilien-CRM mit Live-Daten aus 5 Quellen in mehr als 30 Bezirken
Du bekommst sauberen Quellcode und Dokumentation. Schreib mir mit deinen Quellen und Ziel, und ich schlage dir eine Architektur und einen Festpreis vor.
Zielplattform:
PostgreSQL
•
mySQL
•
Amazon S3
Tools und Plattformen:
Andere
Mein Portfolio
FAQ
Automatische Übersetzung
Welche Quellen kannst du verbinden?
Websites (mit Scrapers), REST- und GraphQL-APIs, CSV- oder Excel-Dateien, Google Sheets und SQL-Datenbanken.
Wo läuft die Pipeline?
Auf deinem Server oder in der Cloud (AWS, GCP, DigitalOcean) mit Docker oder auf einem günstigen Server, den ich für dich einrichte.
Was passiert, wenn sich eine Quelle ändert oder ein Lauf fehlschlägt?
Du bekommst eine Benachrichtigung. Jede Quelle läuft als eigenes Modul, sodass ein Fehler die anderen nicht stoppt. Reparaturen innerhalb von 30 Tagen nach Lieferung sind kostenlos.
Was brauchst du von mir, um anzufangen?
Die Liste der Quellen, das Ziel, den Zeitplan und die Felder, die du brauchst.
