Ich erstelle automatisierte ETL-Datenpipelines

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Urdu, Englisch

Dateningenieur

Ich bin Data Engineer mit über 3 Jahren Erfahrung in der Bereitstellung von End-to-End-Datenlösungen auf Cloud-Plattformen wie Microsoft Azure. Ich spezialisiere mich darauf, ETL/ELT-Pipelines und dim...
Über diesen Service

Du brauchst Daten von Webseiten oder hast Daten, aber kein verlässliches System, sie zu bewegen? Tabellenkalkulationen, APIs und Datenbanken, die nie zusammenpassen, Berichte, die jede Woche manuell neu erstellt werden, Pipelines, die über Nacht brechen? Das erledige ich.

Ich bin Data Engineer mit 4 Jahren Erfahrung und MSc in Big Data Analytics aus dem Vereinigten Königreich. Derzeit baue ich Produktionspipelines für große Online-Marktplätze, einschließlich inkrementeller Redshift-Fakten-Tabellen mit über 20 Mio. Datensätzen.

Was ich baue:

  • Web Scraping mit BeautifulSoup, Requests, Selenium, Scrapy und Playwright, füttert Website-Daten direkt in deine Pipeline
  • ETL/ELT-Pipelines in Python, PySpark, SQL und Airflow
  • Inkrementelle Loads, damit nur neue Daten verarbeitet werden
  • Warehouse-Ladung in Redshift, BigQuery oder Azure
  • Schema-Mismatch-Handling mit AWS Lambda, damit Pipelines nicht stillschweigend scheitern
  • Datenqualitäts-Fixes für Duplikate und fehlende Datensätze
  • Power BI / Microsoft Fabric-Dashboards auf deinen bereinigten Daten

Warum ich? echte Produktionserfahrung, sauberen dokumentierten Code, den du besitzt, und klare Updates in jedem Schritt.

Bitte schreib mir vor dem Bestellen, damit ich dein Projekt richtig einschätzen kann.

Sprache:

Englisch

Technische Expertise:

dbt (Datenerstellungstool)

•

Matillion

Expertise:

Datenpipelines

•

ETL-Entwicklung

•

Data-Warehousing

Industrie:

Datenanalyse

•

Marketing & Werbung