Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich baue deine ETL-Datenpipeline mit Python, SQL und Apache Airflow auf
Data Engineer für ETL-Pipelines, Python- und SQL-Automatisierung
Data Engineer bei Ksolves India Ltd., verantwortlich für große Big Data-Infrastrukturen, die produktive Hadoop-Cluster antreiben. Ich habe eine Redis-High-Availability-Schicht entwickelt, die über 5 M...
Über diesen Service
Ich erstelle zuverlässige, produktionsreife ETL/ELT-Pipelines, die deine Daten fehlerfrei und ohne Ausfallzeiten bewegen und transformieren. In meiner aktuellen Rolle als Data Engineer habe ich Pipelines entwickelt, die Milliarden von Datensätzen zwischen Systemen synchronisieren – mit Echtzeit-Deduplication, vollständiger und Delta-Synchronisation sowie null Datenverlust in der Produktion. Außerdem habe ich Apache NiFi-Cluster aufgebaut, die kontinuierliche Unternehmensdatenintegration ermöglichen.
Egal, ob du ein einfaches Skript brauchst, um Daten von einer CSV in eine Datenbank zu übertragen, oder eine geplante Pipeline, die Daten von einer API zieht und in dein Warehouse lädt – ich gestalte sie sauber, dokumentiert und leicht an dein Team übergeben.
Was ich machen kann: Datenextraktion aus APIs, Datenbanken oder Dateien; Transformation und Bereinigung; Deduplication und Upsert-Logik; geplante und automatisierte Synchronisationen; sowie Migrationen zwischen Datenbanken wie MySQL, SQL Server und PostgreSQL.
Ich bringe die gleiche Zuverlässigkeit, die ich in Produktionssystemen mit Millionen von Nutzern einsetze, in jedes Projekt hier. Klare Kommunikation und sauberer, gut dokumentierter Code sind immer Teil der Lieferung.
Zielplattform:
PostgreSQL
•
mySQL
•
Microsoft SQL Server
Tools und Plattformen:
Kafka Connect
•
Apache NiFi
FAQ
Automatische Übersetzung
Welche Informationen benötigen Sie von mir, um loslegen zu können?
Schick mir deine Datenquelle und Zielinformationen (Datenbanken, APIs oder Dateien), das Format deiner Daten und wie oft die Synchronisation laufen soll. Ich kümmere mich um den Rest.
Kannst du mit meinem bestehenden AWS- oder Azure-Setup arbeiten?
Ja, ich arbeite regelmäßig mit ADLS, S3 und anderen Cloud-Speicher- sowie Datenbankdiensten und kann mich in deine bestehende Infrastruktur integrieren.
Stellst du Dokumentation für die Pipeline bereit, die du baust?
Ja, jede Lieferung enthält eine klare Dokumentation, die Einrichtung, Konfiguration und Funktionsweise der Pipeline erklärt, damit dein Team sie leicht warten kann.
