Ich baue und automatisiere Azure ETL-Pipelines mit Azure Data Factory und Databricks

Professioneller Azure Data Engineer mit über 3 Jahren Erfahrung und praktischer Entwicklung hochkomplexer ETL-Pipelines.

• Erfahren in der Umsetzung skalierbarer, end-to-end optimierter Workflows auf Azure Data Factory / Databricks, um Daten aus verschiedenen Quellen zu extrahieren, zu verarbeiten und zu speichern, was zu einer durchschnittlichen 40%igen Reduzierung der Datenverarbeitungszeit für meine Kunden führte.
• Erfahren in der Migration von Daten aus Altsystemen (On-Premise) und APIs zu Azure Data Lake, komplexe Transformationen der Daten mit DataBricks (Python und PySpark) durchzuführen, die verarbeiteten Daten zu SQL Server / PostgreSQL / Data oder Delta Lake zu bewegen und SQL Stored Procedures / Functions zu schreiben, die die Daten transformieren und basierend auf Geschäftslogik Berechnungen durchführen.
• Ich bin auch versiert in der Entwicklung und Wartung von DeltaLake-Architekturen mit Databricks und nutze DataLakes, um die zugrunde liegenden Daten zu speichern und Sicherheitsstandards durchzusetzen.
• Workloads planen mit Azure Data Factory Triggern oder Databricks Workflows.

Hauptkompetenzen: SQL, Python, PySpark, Databricks, Azure, APIs, Data Transformation, Analytics.

Portfolio: https://arlsnahafeez967.github.io/Arslanhafeez2.github.io/