Ich baue AWS-Datenpipelines und ETL mit Python, Airflow und dbt

Einige Informationen wurden automatisch übersetzt.

Deutschland

Ich spreche Englisch, Urdu, Deutsch

Lead Data und AI Engineer, AWS Pipelines, LLM und RAG Apps

Ich baue Produktionsdatenplattformen und GenAI-Anwendungen. Über 9 Jahre Leitungserfahrung in Data- und ML-Engineering bei Orion, Delivery Hero, Amazon und Goldman Sachs. Was ich mache: - Data Pipeli...
Über diesen Service

Datenpipelines sind einfach zu erstellen, aber schwer am Laufen zu halten. Ich baue die Art, die Schemaänderungen, späte Dateien und Montagmorgen überlebt.


Ich bin Lead Data and AI Engineer mit über 9 Jahren Erfahrung. Ich habe Datenplattformen bei Amazon, Delivery Hero, Goldman Sachs und Orion aufgebaut und halte 13 Cloud-Zertifizierungen, darunter AWS Data Engineer Associate und AWS Solutions Architect.


WAS ICH FÜR DICH BAUE

Ingestion aus APIs, Datenbanken, S3, SaaS-Tools und Event-Streams

Orchestrierung in Airflow, Dagster oder AWS Step Functions

Transformationen als dbt-Modelle mit Tests und Dokumentation

Inkrementelle Loads, Backfills und Reruns, die sicher wiederholt werden können

Datenqualitätsprüfungen und Alerts, damit Fehler dich erreichen und nicht deine Kunden

Infrastruktur als Code in Terraform, mit CI/CD


STACK

Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform


WAS DU BEKOMMST

Dokumentierten Code in deinem eigenen Repository, ein Runbook und einen Übergabegespräch.


Gib mir deine Quellen, dein Volumen und wie frisch die Daten sein müssen, und ich sage dir ehrlich, was dazu gehört.

Expertise:

Big Data

Datenfluss

Datenvalidierung

etl

Transformation

Technologie:

Amazon Redshift

Apache-Funken

Python

SQL

Snowflake

Mein Portfolio