Ich werde eine maßgeschneiderte ETL-Datenpipeline mit Python und Apache Airflow erstellen

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Englisch

Data Engineer, ETL Pipelines, Spark und Cloud Data Warehouse Experte

Data Engineer | Über 4 Jahre Erfahrung im Aufbau von ETL-Pipelines, Data Warehouses und Echtzeit-Streaming-Systemen. Experte in Python, Apache Airflow, Apache Spark, dbt, Snowflake, BigQuery, Amazon R...
Über diesen Service

Hast du Schwierigkeiten mit manuellen Datenübertragungen, defekten Skripten oder unzuverlässigen Datenpipelines? Ich erstelle dir eine produktionsbereite ETL-Datenpipeline, die deine Daten automatisch extrahiert, transformiert und lädt, und dir so jede Woche Stunden an manueller Arbeit erspart.


Was ich liefere:

- Maßgeschneiderte ETL-Pipeline in Python mit sauberem, dokumentiertem Code

- Apache Airflow DAG für automatisierte Planung und Überwachung

- Unterstützung für alle gängigen Datenquellen: Datenbanken (PostgreSQL, MySQL), APIs, CSV/Excel, S3, Google Sheets

- Daten-Transformations- und Bereinigungslogik, die auf deine Geschäftsregeln zugeschnitten ist

- Fehlerbehandlung, Wiederholungslogik und E-Mail/Slack-Benachrichtigungen bei Fehlern

- Deployment auf deiner Cloud-Infrastruktur (AWS, GCP, Azure) oder lokalem Server

- Vollständige Dokumentation, damit dein Team sie eigenständig warten kann


Technologien, die ich verwende: Python, Apache Airflow, Apache Spark, Pandas, SQLAlchemy, AWS Glue, AWS Lambda, S3, PostgreSQL, MySQL, BigQuery, Snowflake.


Für wen das geeignet ist:

- Startups, die ihre erste automatisierte Datenpipeline aufbauen

- Unternehmen, die von manuellen Excel/CSV-Workflows auf automatisiertes ETL umsteigen

- Teams, die eine defekte oder langsame Legacy-Datenpipeline ersetzen

- Firmen, die eine Snowflake- oder BigQuery-Datenaufnahmepipeline benötigen


Zielplattform:

Snowflake

Amazon Redshift

Databricks Lakehouse

Tools und Plattformen:

Airbyte

AWS Glue DataBrew

Kafka Connect

Mein Portfolio

Meine weiteren Dienstleistungen im Bereich Datentechnik