Ich werde skalierbare Datenpipelines mit Azure Data Factory und Databricks erstellen
Big-Data-Ingenieur
Über diesen Service
Ich spezialisiere mich auf die Gestaltung und Entwicklung End-to-End ETL/ELT-Pipelines mit Azure Data Factory (ADF) und Databricks (PySpark). Ich integriere Daten aus verschiedenen Quellen—APIs, SQL-Datenbanken, Cloud-Speicher, Dateien und mehr—zu sauberen, strukturierten und produktionsbereiten Pipelines.
Mit fundierter Expertise in ADF-Orchestrierung, Databricks Delta Pipelines und PySpark-Transformationen kann ich dir helfen, robuste Workflows zu bauen, die leicht zu warten sind und für Leistung optimiert wurden. Ob du eine einfache Ingest-Pipeline oder eine komplette Multi-Source-Datenlösung brauchst, ich liefere skalierbare, sichere und gut dokumentierte Ergebnisse.
Was ich anbiete:
Datenaufnahme aus mehreren Quellen
ADF-Pipelines, Trigger, Orchestrierung
Databricks Delta ETL/ELT-Pipelines
PySpark-Transformationen
Datenqualitätsprüfungen und Validierung
Streaming- oder Batch-Pipelines
Dokumentation und Best Practices
Lass uns eine Pipeline bauen, die genaue, zuverlässige und produktionsreife Daten für dein Business liefert!
Tools und Plattformen:
AWS Glue DataBrew
•
Azure Data Factory
