Ich werde ETL-Pipelines auf Databricks mit Spark erstellen

Hallo, ich bin ein Data Engineering Berater mit über 5 Jahren Erfahrung im Aufbau von produktiven Datenpipelines auf Databricks.

Ich habe echte Databricks-Workloads in der Produktion entworfen, darunter eine Customer Data Platform, die große Datensätze mit PySpark, Delta Live Tables und Medaillon-Architektur verarbeitet. Ich arbeite täglich auf Databricks, nicht nur als Modewort.

Was ich für dich bauen werde:

• End-to-End ETL-Pipelines (Batch oder Streaming)
• Bronze Silver Gold Medaillon-Architektur
• Delta Lake mit ACID, Schema-Entwicklung, Time Travel
• Optimierte PySpark-Transformationen
• Ingestion aus APIs, SQL Server, MySQL, Postgres, ADLS, S3, GCS, CSV, JSON, Parquet
• Inkrementelle Loads mit MERGE INTO und CDC
• Autoloader, Job-Planung, Workflow-Orchestrierung
• Sauberer, modularer, versionierter Code

Warum mit mir arbeiten:

• Echte Produktionserfahrung, keine Tutorials
• 5 Jahre Erfahrung mit Databricks, Fabric, dbt, BigQuery, Synapse
• Parametrisierter, testbarer, wiederverwendbarer Code
• Dokumentation bei jeder Lieferung
• Fließendes Englisch und detaillierte Updates

Technologie-Stack:

• Databricks
• PySpark
• Delta Lake
• DLT
• Unity Catalog
• ADLS
• S3
• SQL Server
• Python
• Git

Bevor du bestellst:

Sende mir eine Nachricht mit deinen vollständigen Anforderungen.