Ich erstelle Databricks- und PySpark-ETL-Pipelines mit Azure Data Factory

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Urdu, Englisch, Deutsch, Italienisch

Dateningenieur

Ich bin Software-Engineering-Student und baue End-to-End-Datenpipelines über Azure, ELT/ETL-Pipelines, Databricks und Open-Source-Stapeln. Ich spezialisiere mich auf Medallion-Architektur, Star-Schema...
Über diesen Service

Steckt deine Daten in APIs, Dateien und Datenbanken fest und es gibt keinen zuverlässigen Weg, sie nach Azure für Berichte zu bringen?


Ich erstelle automatisierte ETL-Pipelines in Azure Data Factory und Databricks, die deine Daten aufnehmen, mit PySpark bereinigen und analytics-ready Tabellen für Power BI liefern – on a schedule und ganz ohne manuellen Aufwand.


WAS ICH BAUE

Azure Data Factory-Pipelines: REST-APIs, Dateien und Datenbanken in Azure Data Lake

Databricks-Notebooks in PySpark und Spark SQL

Delta Lake-Tabellen mit Bronze / Silver / Gold (medallion) Layern

Star-Schema-Modelle und inkrementelle Läufe, ohne vollständige Re-Loads

Trigger, Scheduling, Logging und Data-Quality-Checks

Power BI-ready Outputs und klare Dokumentation


QUELLEN

REST-APIs, CSV/Excel/JSON, SQL-Datenbanken, Azure Blob- und Data Lake-Speicher


GEEIGNET FÜR

Startups und kleine Teams, die zu Azure wechseln und eine saubere, funktionsfähige Datenlayer benötigen.


WARUM ICH

Ich habe diesen Stack genau so am Stück aufgebaut – während eines Data-Engineering-Praktikums: API-Ingestion, eine Delta Lake Star-Schema-Architektur, die 20+ Städte abdeckt, und Power BI-Dashboards darüber.


Schreibe mir zuerst mit deinen Quellen, Datenmamm, und Ziel, dann bestätige ich Umfang und einen Festpreis.

Zielplattform:

Databricks Lakehouse

•

PostgreSQL

•

mySQL

Tools und Plattformen:

Airbyte

•

Kafka Connect

•

Azure Data Factory