Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde eine automatisierte ETL-Datenpipeline mit Python und Airflow aufbauen
Data Engineer und fortgeschrittener Web Scraping Spezialist
Hallo! Ich bin Abdeljalil, ein Data Engineer, der sich auf automatisierte ETL-Pipelines und fortgeschrittenes Web Scraping spezialisiert hat. Ich verwandle Rohdaten in strukturierte, handlungsfähige E...
Über diesen Service
Treffe keine Geschäftsentscheidungen auf unordentlichen, unzuverlässigen Daten.
Ich bin ein Data Engineer, spezialisiert auf den Modern Data Stack. Ich baue robuste, idempotente und vollautomatisierte Datenpipelines, die rohe, unstrukturierte Eingaben in saubere, analysebereite Daten umwandeln.
Egal, ob du ein einfaches Skript brauchst, um API-Daten zu übertragen, oder einen vollständigen "Medallion Architecture"-Datensee, ich entwerfe skalierbare Systeme.
Meine Expertise & Tech Stack:
- Orchestrierung: Apache Airflow
- Echtzeit-Streaming: Apache Kafka
- Transformationen & Qualität: dbt Core (automatisierte Tests & Datenmodellierung)
- Speicherung: PostgreSQL, AWS S3, MinIO
- Infrastruktur: Docker Compose, Terraform (AWS EC2, RDS)
- Visualisierung: Metabase-Integrationen
Was du erwarten kannst:
- Zuverlässigkeit: Pipelines, die Fehler elegant mit automatischen Wiederholungen handhaben.
- Datenqualität: Eingebaute dbt-Tests (Null-Werte, Einzigartigkeit), damit du nur genaue Daten abfragst.
- Saubere Lieferung: Vollständig containerisierter Code (Docker) mit ausführlicher Dokumentation (README.md) für eine einfache Bereitstellung auf deinen eigenen Servern.
Bitte schreibe mir vor der Bestellung, damit wir deine spezifischen Datenquellen und Geschäftsanforderungen besprechen können!
Mein Portfolio
FAQ
Automatische Übersetzung
Stellst du die Pipeline in meine Cloud-Umgebung bereit?
Ja! Für das Premium-Paket stelle ich Terraform-Skripte (Infrastructure as Code) bereit, um die notwendigen AWS-Ressourcen (EC2, RDS, S3) automatisch bereitzustellen und die Docker-Pipeline zu deployen.
