Ich erstelle Python-ETL-Datenpipelines mit Apache Airflow und PostgreSQL
Softwareentwickler
Über diesen Service
Unordentliche Tabellenkalkulationen, PDFs und APIs, die nie ganz zusammenpassen? Ich baue zuverlässige Python-Datenpipelines, die deine Daten zusammenführen, bereinigen und in eine verlässliche Datenbank laden.
Ich bin Data Engineer mit über 5 Jahren Erfahrung. Zuletzt habe ich die ETL-Pipelines für eine Finanzabstimmungsplattform gebaut, die von institutionellen Fondskunden genutzt wird, einschließlich OCR-Auslesung von gescannten Kontoauszügen.
Was ich dir bauen kann:
ETL-Pipelines aus CSV, Excel, APIs, Datenbanken und PDFs
Apache Airflow-Workflows, die nach einem Zeitplan laufen
Datenbereinigung, -validierung und Dublettenkampe
PostgreSQL-Datenbankdesign und Abfrageoptimierung
Datenauszug aus gescannten Dokumenten (OCR)
AUSGLEICHSHARMONISATION zwischen Datenquellen
Docker-Setup, damit es überall gleich läuft
Zu jeder Pipeline gehört:
Sauberer, dokumentierter Python-Code
Datenqualitätsprüfungen, damit schlechte Datensätze erkannt werden und nicht stillschweigend fallen gelassen werden
Eine kurze Anleitung, wie man es ausführt
Technik: Python, Pandas, Apache Airflow, PostgreSQL, Celery, Redis, Docker
Sag mir vor der Bestellung deine Datenquellen und dein Ziel, dann empfehle ich dir das passende Paket.
Technologie:
Python
•
SQL
•
Snowflake
•
NoSQL
•
Databricks
•
Apache Airflow
Mein Portfolio
FAQ
Automatische Übersetzung
Mit welchen Datenquellen kannst du arbeiten?
CSV, Excel, Google Sheets, REST-APIs, SQL-Datenbanken (PostgreSQL, MySQL) und PDFs, einschließlich gescannter Dokumente via OCR.
Ich muss Apache Airflow schon eingerichtet haben?
Nein. Ich richte es dir mit Docker ein oder liefere ein einfacheres geplanntes Skript, falls Airflow dir zu viel ist.
Wird es auf meinem Server oder in der Cloud deployed?
Ja. Ich kann es auf deinem Server oder zu AWS, GCP oder DigitalOcean deployen. Sag mir vor der Bestellung, wo es laufen soll.
Werden meine Daten vertraulich behandelt?
Ja. Ich verwende deine Daten ausschließlich für dein Projekt, teile sie nie und lösche meine Kopien nach der Lieferung, wenn du es wünschst. Gerne unterschreibe ich eine ND

