Ich werde Echtzeit-Streaming-Pipelines mit Apache Kafka aufbauen

Einige Informationen wurden automatisch übersetzt.

Vereinigte Staaten

Ich spreche Englisch

Senior Data Engineer, AWS-zertifiziert, Cloudera Spark-Entwickler

Ich baue produktionsreife Datenpipelines, Cloud-Warehouses und moderne Datenstapel für Startups und wachsende Unternehmen. 9 Jahre Erfahrung in Banking, Finanzen, Einzelhandel und Gastgewerbe — auf A...
Über diesen Service

Suchst du eine Echtzeit-Datenpipeline, die Ereignisse zuverlässig von deinen Anwendungsdatenbanken oder APIs in deine Analyseplattform überträgt?



Ich baue produktionsreife Streaming-Pipelines mit Apache Kafka, Kafka Connect, Spark Structured Streaming, AWS Kinesis, Glue, Databricks und Cloud-Datenlager.



Was ich liefern kann:


- Kafka-Topic- und Producer-Consumer-Architektur


- Streaming-ETL mit Spark Structured Streaming oder Python


- Kafka Connect oder Debezium Source-Connector


- Datenqualitätsprüfungen und Schema-Validierung


- Lieferung in Snowflake, BigQuery, Redshift, S3 oder Databricks


- Überwachungsdokumentation und Bereitstellungsanleitung



Warum mit mir arbeiten:


- 9 Jahre als Senior Data Engineer


- Umfangreiche Erfahrung mit Batch- und Streaming-Architekturen


- Erfahrung mit AWS, Databricks, Snowflake und Enterprise-Datenplattformen


- Saubere Übergabe mit Code-Dokumentation und Architekturnotizen



Bitte schreibe mir vor der Bestellung, damit ich die Event-Quelle, Zielplattform und erwarteten Durchsatz bestätigen kann.

Zielplattform:

Snowflake

Google BigQuery

Amazon Redshift

Tools und Plattformen:

AWS Glue DataBrew

Google Cloud Dataflow

Meine weiteren Dienstleistungen im Bereich Datentechnik