Ich baue skalierbare Datenpipelines mit PySpark, Databricks und Azure
Leitender Dateningenieur
Über diesen Service
Hast du mit langsamen SQL-Abfragen, unübersichtlichen Daten-Silos oder hohen Cloud-Kosten zu kämpfen? Ich bin Enterprise Data Engineer (Microsoft Azure-zertifiziert) und spezialisiere mich auf PySpark, Azure Databricks, Delta Lake und SQL. Ich entwerfe, optimiere und baue fehlertolerante Datenarchitekturen, die Rohdaten in analytics-ready und AI-ready Pipelines verwandeln.
Was ich für dich tun kann:
- ETL / ELT Pipeline-Design: Skalierbare Batch- & Streaming-Pipelines mit PySpark, Databricks und Azure Data Factory (ADF).
- Medallion Lakehouse-Architektur: Rohdaten in Bronze-, Silver- und Gold-Delta-Lake-Schichten auf ADLS Gen2 strukturieren.
- Performance- & Kostenoptimierung: Langsame Spark-Jobs beheben, Data-Skew lösen, Oracle-/PostgreSQL-Abfragen optimieren und Z-Ordering/Liquid Clustering implementieren.
- AI- & RAG-Datenbereitschaft: Unternehmensdatenlager an Vektor-Datenbanken (pgvector) und Kubernetes (AKS) anbinden für Echtzeit-AI-Retrieval.
Warum mit mir arbeiten?
- Produktionsreifer, modularer Code mit klaren Architekturdiagrammen.
- Tiefe Expertise in Azure, Databricks, Python und relationalen Datenbanken.
- Klare Kommunikation und gründliche Nachbetrachtung nach der Lieferung.
Schreib mir vor der Bestellung, damit wir deinen Data-Stack und Scope abstimmen können!
FAQ
Automatische Übersetzung
Kannst du neben der Architektur auch den eigentlichen PySpark-/SQL-Code schreiben?
Ja! Neben Audit und Architektur-Blueprints erstelle ich produktionsreife PySpark-Skripte, Databricks-Notebooks und optimierte SQL-Abfragen. Schreibe mir deine Anforderungen für ein individuelles Implementierungsangebot.

