Ich erstelle skalierbare Datenpipelines etl elt mit Python airflow spark AWS azure

Ich erstelle skalierbare Datenpipelines für ETL und ELT mit Python, Airflow, Spark, AWS, Azure und GCP.

Mit über 10 Jahren Erfahrung in Data Engineering, KI und Data Analytics habe ich End-to-End-Datenpipelines von Grund auf für mehrere Tech-Unternehmen entworfen und entwickelt. Ich habe 9 peer-reviewed Fachzeitschriftenartikel veröffentlicht (darunter eine preisgekrönte Veröffentlichung im Bereich KI), was mir tiefgehendes technisches Fachwissen und forschungsorientierte Problemlösungsfähigkeiten verleiht.

Hast du Schwierigkeiten mit manuellen Prozessen, unzuverlässigen Datenflüssen oder Skalierungsproblemen? Ich baue robuste, automatisierte ETL/ELT-Pipelines, die saubere, zeitnahe Daten für Analytics- und KI-Anwendungen liefern.

Was du bekommst:

• End-to-End-Batch- und Echtzeit-Datenpipelines
• Orchestrierung mit Airflow, Prefect oder Dagster
• Integration aus Datenbanken, APIs, SaaS und Cloud-Quellen
• Fortgeschrittene Transformationen mit Python, SQL, PySpark und dbt
• Bereitstellung auf AWS, Azure, GCP oder Databricks
• Monitoring, Logging, Fehlerbehandlung und CI/CD-Pipelines

Zentrale Vorteile:

• Hoch skalierbare Lösungen, die täglich Millionen von Datensätzen verarbeiten
• Weniger manueller Aufwand, Fehler und Betriebskosten
• Produktionsreife, gut dokumentierte und wartbare Pipelines