Ich baue Python, ETL-Datenpipelines und automatisiere Datenworkflows
Dateningenieur
Über diesen Service
Suchst du nach robusten, skalierbaren und automatisierten ETL/ELT-Datenpipelines? Ich helfe Unternehmen dabei, ihre Daten nahtlos in moderne Datenbanken und Cloud-Datenlager zu extrahieren, zu bereinigen, zu transformieren und zu laden.
Mit über 2 Jahren praktischer Erfahrung im Data Engineering spezialisiere ich mich auf den Aufbau zuverlässiger, fehlertoleranter Datenworkflows mit Python, SQL und AWS.
Was ich für dich tun kann:
Individuelle ETL/ELT-Pipelines: Automatisierte Datenaufnahme von REST-APIs, Webhooks, Datenbanken oder Flat Files (CSV/JSON/Parquet).
Cloud-Datenlager: Schema-Design, Modellierung und Laden in Snowflake, AWS
Abfrageoptimierung & Tuning: Langsame SQL-Abfragen beschleunigen und Performance-Engpässe beheben.
Workflow-Orchestrierung: Planung, Abhängigkeitszuordnung und automatisierte Benachrichtigungen mit Apache Airflow.
Echtzeit-Datenstreaming: Nahezu Echtzeit-Pipelines mit Apache Kafka.
Datenqualität & automatisierte Tests: Validierungsprüfungen und pytest-Unit-Tests zur Vermeidung von Datenbeschädigung.
Technologie-Stack & Tools:
Sprachen: Python, SQL
Datenbanken & Lager: Snowflake, MySQL
Cloud & Big Data: AWS (S3), Kafka, Airflow
Bitte sende mir eine Nachricht mit deinem Datenformat und den Projektanforderungen, bevor du eine Bestellung aufgibst!
Zielplattform:
Snowflake
•
Amazon S3
Tools und Plattformen:
Andere
FAQ
Automatische Übersetzung
Welche Details brauchst du von mir, bevor wir starten?
Bitte gib eine kurze Übersicht deiner Projektanforderungen, Beispiel-Dateninputdateien oder Schemata, Ziel-Datenbank/Ort und notwendige API-Zugangsdaten oder Berechtigungen an.
Auf welche Tools und Technologien sind Sie spezialisiert?
Ich spezialisiere mich auf Python und SQL für den Aufbau automatisierter Datenaufnahme-, Transformationsskripte und Datenbank-Workflows. Ich arbeite intensiv mit REST-APIs, Flat Files (CSV, JSON, Excel) und relationalen Datenbanken.
Was, wenn meine Anforderungen nicht in die vorgefertigten Gig-Pakete passen?
Kein Problem. Jede Datenarchitektur ist einzigartig. Schick mir eine Direktnachricht mit deiner Setup-Beschreibung, und ich erstelle ein maßgeschneidertes Angebot basierend auf deinem genauen Umfang und Zeitplan.
Wie stellst du die Datenrichtigkeit und Zuverlässigkeit der Pipelines sicher?
Ich implementiere Schema-Validierungsregeln, Datenqualitätsprüfungen, Edge-Case-Handling (wie Null- oder Duplikat-Handling) und automatisierte Unit-Tests, um sicherzustellen, dass die Pipeline zuverlässig läuft, ohne stillschweigend zu versagen.
Stellst du Dokumentation und Support nach der Lieferung bereit?
Ja. Jede abgeschlossene Lieferung enthält klare Setup-Dokumentation und Code-Kommentare, damit du die Pipeline auch in Zukunft einfach warten und betreiben kannst.

