Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde eine Python ETL-Pipeline für deine Daten erstellen
Data Engineer und Python-Entwickler
Data Engineer, der automatisierte, produktionsreife Pipelines von
Ingestion bis zu analytischen, einsatzbereiten Data Warehouses baut.
Erstellt: eine Batch-Pipeline mit über 1 Milliarde Zeilen (Airfl...
Über diesen Service
Hast du Skripte, die funktionieren, aber manuell oder ohne richtige Planung laufen?
Ich verpacke deinen bestehenden Datenworkflow in eine produktionsreife
Orchestrierung.
Was du bekommst:
- Apache Airflow DAGs, um deine bestehenden Skripte zu planen und zu überwachen
- Richtige Fehlerbehandlung und Wiederholungslogik
- Optional: dbt-Modelle, um ad-hoc SQL-Transformationen durch
getestete, versionierte Modelle zu ersetzen
- Optional: Datenqualitäts-Tests und Quellenaktualitätsprüfungen
Dies ist dasselbe Orchestrierungsmuster, das ich verwendet habe, um eine Batch-Pipeline mit über 1 Milliarde Zeilen zuverlässig zu betreiben, die auf deine bestehende Codebasis zugeschnitten ist und nicht von Grund auf neu aufgebaut wurde.
Teile deine aktuellen Skripte/Repo-Struktur in den Anforderungen, damit ich den Umfang vor Beginn genau einschätzen kann.
Tools und Plattformen:
AWS Glue DataBrew
•
Kafka Connect
•
Andere
Mein Portfolio
FAQ
Automatische Übersetzung
Muss ich meine Skripte neu schreiben?
Nein — ich arbeite mit dem, was du hast, und verpacke es in eine Orchestrierung, mit minimalen Änderungen an deiner bestehenden Logik.
Brauche ich meine Skripte vor der Bestellung?
Nicht erforderlich, aber das Teilen (oder eine Beschreibung deiner Einrichtung) hilft mir, genau zu kalkulieren und Überraschungen zu vermeiden.
Kannst du von Cron-Jobs auf Airflow migrieren?
Ja, das ist eine häufige Anfrage und passt hier gut.
