Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich baue deine Datenpipeline mit Airflow und Spark auf
Softwareentwickler
Ich bin Softwareingenieur mit 3 Jahren Erfahrung in der Entwicklung und Optimierung von Backend-Services für groß angelegte Zahlungssysteme. Ich habe Batch-Verarbeitungs-Pipelines implementiert und De...
Über diesen Service
Verlässliche, skalierbare und cloud-fähige Datenpipelines erstellen.
Hast du Schwierigkeiten, deine Daten effizient zu verschieben oder zu transformieren? Ich spezialisiere mich auf den Aufbau von End-to-End-Datenpipelines, die die Ingestion, Transformation, Validierung und das Laden in Cloud- und On-Prem-Umgebungen automatisieren.
Mit über 2,5 Jahren Erfahrung und Tools wie Spark, SQL, Python, Databricks, Snowflake, AWS & GCP helfe ich dir, unordentliche Rohdaten in produktionsreife Erkenntnisse umzuwandeln.
Was ich anbiete:
- ETL- & ELT-Pipelines (Batch & Streaming)
- Integration mit APIs, Cloud-Speicher und Datenbanken
- Cloud-native Deployment: AWS Glue, Lambda, Azure ADF, Databricks, GCP Dataflow
- Echtzeit-Architektur mit Kafka, Pub/Sub oder Event Hubs
- Datenbereinigung, Qualitätsprüfungen, Audit-Logging
Hinweis: Schreib mir vor der Bestellung, um sicherzustellen, dass ich dein Projekt perfekt einschätze!
FAQ
Automatische Übersetzung
Wie lange dauert ein Data-Pipeline-Projekt?
Einzelne Pipeline: 5 Tage. Multi-Source-Warehouse mit Orchestrierung: 14 Tage. Unternehmensdaten-Stack mit Streaming, CDC und dbt: 25 Tage. Die Komplexität (Anzahl der Quellen, Datenmenge, Qualitätsanforderungen) beeinflusst den Zeitplan erheblich.
Baust du Echtzeit-Datenpipelines?
Ja. Ich setze Near-Realtime-Pipelines (5-15 Minuten Latenz) mit Kafka und Micro-Batch-Loading um und echte Realtime-Streaming mit Kafka + Spark Structured Streaming oder KSQL. Ich helfe dir herauszufinden, ob Realtime wirklich notwendig ist.
Kannst du meine bestehenden Datenpipelines dokumentieren?
Ja. Ich überprüfe, dokumentiere und verbessere bestehenden Pipeline-Code.
