Ich erstelle Databricks-Pipelines mit PySpark

Einige Informationen wurden automatisch übersetzt.

Indien

Ich spreche Englisch, Hindi

Dateningenieur

Dateningenieur mit über 5 Jahren Erfahrung beim Aufbau zuverlässiger, gut getesteter Datenpipelines auf Azure Databricks. Ich arbeite mit Python, SQL, PySpark, Delta Lake und Unity Catalog, um ETL/ELT...
Über diesen Service

Suchst du einen erfahrenen Databricks-Dateningenieur, der eine zuverlässige, skalierbare Pipeline aufbaut? Ich bin Databricks Certified Data Engineer und habe über 5 Jahre Erfahrung im Aufbau von ETL-Pipelines in großem Umfang mit PySpark, Spark SQL und Delta Lake für globale Kunden aus Finanz- und Gesundheitswesen.


Was ich liefere:

  • Batch ETL/ELT-Datenpipeline in PySpark und Spark SQL
  • Medallion-Architektur (Bronze Silver Gold) auf Delta Lake
  • Datenaufnahme aus CSV, JSON, Parquet und Datenbanken
  • MERGE/UPSERT, SCD und Schema-Evolution-Handling
  • Geplante Databricks-Workflows (Jobs)
  • Datenqualitätschecks und Validierung
  • Leistungsoptimierter Spark-Code
  • Architekturdiagramm und Pipeline-Design-Notizen
  • Sauberer, gut dokumentierter Code


Warum mit mir arbeiten:

  • Produktionsreifer Code basierend auf realer Industrie
  • Erfahrung mit der Verarbeitung von Milliarden von Datensätzen
  • Klare Kommunikation und pünktliche Lieferung


Wenn du mehr als 3 Quellen hast oder benutzerdefinierte Anforderungen hast, erstelle ich dir ein individuelles Angebot.

Sprache:

Englisch

•

Hindi

Technische Expertise:

Apache-Funken

•

Databricks

•

hadoop

Expertise:

Datenpipelines

•

ETL-Entwicklung

•

Data-Lake-Einrichtung

Industrie:

Datenanalyse

•

Finanzdienstleistungen

•

Essen & Getränke