Ich werde eine python ETL-Pipeline für CSV, Excel, API und SQL erstellen
Backend- und Data-Engineer, der skalierbare APIs, Datenbanken und ETL-Systeme entwickelt
Über diesen Service
Wenn deine Daten zu groß, zu unordentlich oder momentan zu manuell sind, automatisiere ich das für dich.
Beweis: Ich habe eine Pipeline gebaut, die über 2 Milliarden Zeilen für eine Finanzplattform verarbeitet hat, und einen rohen Datensatz von 7 GB und mehr als 2.000.000 Dokumenten in zwei Wochen in einen strukturierten, durchsuchbaren Data Lake verwandelt – alles allein.
Was ich baue:
Maßgeschneiderte ETL-Pipeline (extrahieren, reinigen, transformieren, laden)
Große Datensätze ohne Speicherabstürze verarbeitet
Resumierbare, idempotente Pipelines
Datenvalidierung und Qualitätsprüfungen
Loading in PostgreSQL, MySQL oder Parquet
Logging und Fehlerbehandlung
Planung/Automatisierung
Quellen: CSV, Excel, JSON, REST APIs, PostgreSQL, MySQL, SQLite, Parquet.
Sende mir eine Beispiel deiner Daten und dein Ziel, und ich werde die Pipeline vor deiner Bestellung planen.
etl pipeline
python
data engineering
data cleaning
automation
Zielplattform:
Databricks Lakehouse
•
PostgreSQL
•
mySQL
•
Andere
Tools und Plattformen:
Kafka Connect
•
Andere
Mein Portfolio
FAQ
Automatische Übersetzung
Wie groß kann ein Datensatz sein, den du bearbeiten kannst?
Ich habe über 2 Milliarden Zeilen mit Streaming- und Chunking-Techniken verarbeitet.
Kann es nach einem Zeitplan laufen?
Ja, geplante/triggerte Läufe sind in Standard oder Premium enthalten.

