Ich baue skalierbare Datenpipelines mit PySpark, Databricks und Azure

Einige Informationen wurden automatisch übersetzt.

Indien

Ich spreche Hindi, Englisch

Leitender Dateningenieur

Ich bin Senior Data Engineer mit über 6 Jahren Erfahrung in der Planung und Optimierung skalierbarer Datenpipelines über Azure und AWS. Ich spezialisiere mich auf PySpark, Databricks und cloudbasierte...
Über diesen Service

Hast du mit langsamen SQL-Abfragen, unübersichtlichen Daten-Silos oder hohen Cloud-Kosten zu kämpfen? Ich bin Enterprise Data Engineer (Microsoft Azure-zertifiziert) und spezialisiere mich auf PySpark, Azure Databricks, Delta Lake und SQL. Ich entwerfe, optimiere und baue fehlertolerante Datenarchitekturen, die Rohdaten in analytics-ready und AI-ready Pipelines verwandeln.

Was ich für dich tun kann:

  • ETL / ELT Pipeline-Design: Skalierbare Batch- & Streaming-Pipelines mit PySpark, Databricks und Azure Data Factory (ADF).
  • Medallion Lakehouse-Architektur: Rohdaten in Bronze-, Silver- und Gold-Delta-Lake-Schichten auf ADLS Gen2 strukturieren.
  • Performance- & Kostenoptimierung: Langsame Spark-Jobs beheben, Data-Skew lösen, Oracle-/PostgreSQL-Abfragen optimieren und Z-Ordering/Liquid Clustering implementieren.
  • AI- & RAG-Datenbereitschaft: Unternehmensdatenlager an Vektor-Datenbanken (pgvector) und Kubernetes (AKS) anbinden für Echtzeit-AI-Retrieval.

Warum mit mir arbeiten?

  • Produktionsreifer, modularer Code mit klaren Architekturdiagrammen.
  • Tiefe Expertise in Azure, Databricks, Python und relationalen Datenbanken.
  • Klare Kommunikation und gründliche Nachbetrachtung nach der Lieferung.

Schreib mir vor der Bestellung, damit wir deinen Data-Stack und Scope abstimmen können!


Sprache:

Englisch

•

Hindi

Technische Expertise:

Databricks

•

Snowflake

•

Google BigQuery

Expertise:

Datenpipelines

•

ETL-Entwicklung

•

Data-Warehousing

Industrie:

Audio & Video

•

Datenanalyse

•

Finanzdienstleistungen