Ich werde die ETL-Pipeline mithilfe von Data Factory und Databricks automatisieren

Einige Informationen wurden automatisch übersetzt.

Kapil J

Indien

Ich spreche Hindi, Englisch

91 Aufträge abgeschlossen

SQL-Entwickler

Erfahrener Berufstätiger mit mehr als 5 Jahren Erfahrung in den Bereichen Datenanalyse, SQL Server, Abfrageoptimierung, Datenbankprogrammierung, Python und Powershell-Skripting. Darüber hinaus verfüge...

Über diesen Service

Hallo,

Ich hoffe, es geht dir gut.

Ich verfüge über mehr als vier Jahre Erfahrung als Dateningenieur in mehreren Bereichen und verfüge über praktische Erfahrung in der Entwicklung hochkomplexer ETL-Pipelines.

Zu meinen Leistungen gehören:

Erstellen der End-to-End-Lösung in Azure Data Factory mit Daten kopieren/Datenfluss zuordnen.
Optimierung komplexer Abfragen
Datenladen, Transformation und Orchestrierung (ETL-Prozess)
Migration von Daten von On-Prem-Systemen oder Anwendungs-APIs zu ADLS, Blob Storage
Entwicklung komplexer Transformationen mit DataBricks in Python/PySpark/SparkSQL
Verschieben Sie die verarbeiteten Daten nach Delta Lake , Data Warehouse, Azure SQL Database (SSMS), MSSQL
Verwendung von Azure keyVault
Erstellen Sie gespeicherte SQL-Prozeduren/Funktionen/Ansichten/Abfragen
Unterstützung mehrerer Quellen und Ziele wie FTP, DB, Datawarehouse, DataLake
Benachrichtigen Sie mithilfe von Azure Logic-Apps basierend auf Fehler- oder Erfolgs-Pipeline-Ereignissen
Entwickeln und pflegen Sie die Delta-Live-Table- Architektur in Databricks
Erstellen Sie ein Dashboard in Databricks
Durchsetzung von Sicherheit und Best Practices in Code und Umgebungen
Pipeline-Planung