Ich entwerfe und baue deine ETL ELT Datenpipeline
Cloud-Dateningenieur
Über diesen Service
Hast du Schwierigkeiten mit unordentlichen, manuellen oder unzuverlässigen Datenworkflows? Ich erstelle saubere, automatisierte Daten
pipelines, die einfach zuverlässig funktionieren, pünktlich, ohne ständiges Überwachen.
Ich bin ein Data Engineer, der professionell an Spark-basierten ETL-Pipelines für Finanzdaten arbeitet,
mit praktischer Erfahrung in Python, PySpark, Airflow, PostgreSQL und AWS.
WAS ICH FÜR DICH ERSTELLEN KANN:
ETL/ELT Pipelines (API-, Datenbank- oder Dateiquellen)
Airflow DAGs für geplante, automatisierte Workflows
Datenvalidierungs- & Qualitätskontrollschichten (Null-Checks, Datensatzanzahl, Schema-Checks)
PySpark Pipelines für die Verarbeitung großer Datensätze
PostgreSQL/MySQL Data Warehousing und Reporting Pipelines
Bestehende langsame/unzuverlässige Pipelines bereinigen und optimieren
WARUM MIT MIR ZUSAMMENARBEITEN:
- Ich schreibe Pipelines, die in Produktion laufen sollen, nicht nur einmal
- Klare Kommunikation, ich stelle die richtigen Fragen, bevor ich eine Zeile Code schreibe
- Dokumentierter, handoff-fertiger Code (README + Kommentare), keine Black Box
Nicht sicher, was du genau brauchst? Schreib mir mit deiner Datenquelle und deinem Ziel, ich sage dir
ehrlich, was realistisch ist und wie ich es angehen würde.
Expertise:
Big Data
•
Datenmanipulation
•
etl
•
Transformation
•
SQL
•
NoSQL
