Ich baue produktionsbereite Datenpipelines mit Apache Spark und Kafka

Ich erstelle Datenpipelines, die in der Produktion standhalten, nicht nur im Happy Path.

Zwölf Jahre im Bank- und Finanzdienstleistungsbereich bedeuten, dass ich die meiste Zeit mit den unspektakulären Teilen verbracht habe: doppelte Datensätze, verspätet eintreffende Daten, Schemaänderungen, die alles downstream zerbrechen, und Jobs, die sicher neu gestartet werden können. Das ist der Unterschied zwischen einer Pipeline, die in einer Demo funktioniert, und einer, die du einfach laufen lassen kannst.

Womit ich arbeite: Apache Spark, Kafka, Avro, Apache Iceberg, PostgreSQL, Java, Python, auf GCP und Kubernetes.

Typische Aufgaben, die ich übernehme:

• Batch- oder Streaming-ETL von Quellsystemen in ein Warehouse oder einen Lake
• Fragile Skripte in ordentliche Spark-Jobs umwandeln
• Kafka-Consumer und -Producer mit sinnvollem Fehler- und Retry-Handling
• Pipelines reparieren, die langsam, instabil sind oder Daten stillschweigend verlieren

Ich erkläre, was ich mache, in einfachem Englisch, und sage dir ehrlich, ob dein Problem eine einfachere Lösung braucht als die, die du angefragt hast.

Schreib mir vor der Bestellung mit deinen Datenquellen und grobem Volumen, und ich sage dir, welches Paket passt oder ob ich die falsche Person für den Job bin.