Ich werde ETL-Pipelines und Databricks Data Engineering-Lösungen erstellen

Data Engineer mit über 3 Jahren praktischer Erfahrung beim Aufbau produktionsreifer Pipelines auf Azure.

Ich spezialisiere mich auf das Entwerfen und Bereitstellen skalierbarer Daten-Workflows mit Azure Data Factory, Databricks, PySpark und Delta Lake, vom Rohdaten-Import bis zu analytics-fähigen Gold-Datenmodellen.

Was ich für dich bauen kann:

Metadaten-gesteuerte ETL/ELT-Pipelines in Azure Data Factory

Medallion-Architektur (Bronze, Silver, Gold) in Databricks

Echtzeit-Streaming-Pipelines mit Azure Event Hubs (Kafka-kompatibel)

Star Schema / dimensionaler Data Warehouse-Entwurf

SCD Typ 1 & Typ 2 Änderungsverfolgung mit Databricks autoCDC

Komplexe SQL-, PySpark-Transformationen & Stored Procedures

REST/SOAP API-Integrationen mit Postman-Tests

Unity Catalog-Setup und Daten-Governance

Technologie-Stack:

Python · PySpark · SQL · Azure Data Factory · Azure Databricks · Azure Data Lake Gen2 · Delta Lake · Unity Catalog · Event Hubs · Power BI

Frühere Highlights:

Veröffentlichung von Layer-Pipelines bei Oracle

API-Effizienz um 50 % durch direkte Backend-Verarbeitung verbessert

Spark-Ausführungszeit um 30 % durch Partitionierungsoptimierung reduziert

End-to-End Echtzeit-Analytics-Plattform für Ride-Hailing auf Azure gebaut