Ich erstelle ETL-Pipelines, Pyspark-Workflows und Looker-Dashboards mit airflow, sql

Ich arbeite mit AWS (Glue, Lambda, S3, Redshift, EMR), Azure (Data Factory, Databricks, Synapse Analytics) und GCP (Cloud Composer, BigQuery, Dataflow). Ich empfehle die beste Plattform basierend auf deiner bestehenden Infrastruktur, den Fähigkeiten deines Teams und deinem Budget — und gebe diese Empfehlung kostenlos vor deiner Entscheidung ab.

Apache Airflow ist ein Workflow-Orchestrierungstool, das deine Datenpipelines automatisch plant, überwacht und bei Fehlern wiederholt. Wenn du Daten regelmäßig verarbeiten möchtest (stündlich, täglich, ereignisbasiert), ist Airflow unverzichtbar. Ich entwerfe produktionsreife Airflow DAGs mit ordnungsgemäßer Wiederholungslogik, Alarmierung und

ETL (Extract-Transform-Load) verarbeitet und bereinigt Daten, bevor sie in dein Data Warehouse geladen werden — besser für Altsysteme und strenge Datenverwaltung. ELT (Extract-Load-Transform) lädt Rohdaten zuerst und transformiert sie innerhalb des Warehouses mit Tools wie dbt — besser für moderne Cloud-Stacks wie S

Ja. Ich spezialisiere mich auf die Migration von SQL Server, Oracle, MySQL und Flat Files zu Cloud-Warehouses wie Snowflake, BigQuery und Redshift. Das umfasst Schema-Design, Daten-Typ-Mapping, Validierungstests, inkrementelle Ladeeinrichtung und historische Daten-Backfill — vollständig dokumentiert.

Jede Lieferung beinhaltet vollständige technische Dokumentation: Diagramm der Pipeline-Architektur, Beschreibungen der DAGs, Erläuterung der Transformationslogik, Datenwörterbuch, Einrichtungsanleitung und Runbook für dein Team. Mein Ziel ist, dass jeder Data Engineer in deinem Team die Pipelines verstehen und eigenständig erweitern kann.