Ich baue eine CDC-Pipeline auf oder repariere sie mit Debezium, Kafka und PostgreSQL

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Englisch

181 Aufträge abgeschlossen

Senior Data- und AI-Engineer, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Ich baue Datenplattformen und LLM-Pipelines, die produktiv laufen. Seit 10 Jahren in Software- und Data-Engineering, seit 2016. Data Engineer II bei Careem (Uber), wo unser DataOps-Team über 500 Stre...

Level 2

Hat hohe Leistungskriterien erfüllt und verfügt über eine nachgewiesene Erfolgsbilanz bei der Erfüllung von Kundenerwartungen.

Über diesen Service
  • Change Data Capture geht leise kaputt. Replikations-Slots bleiben hängen und füllen die Festplatte, große Spalten landen als Platzhalter, und MERGE-Anweisungen überschreiben gute Rows, während jedes Dashboard grün bleibt.

Ich baue CDC, die hält, oder repariere die, die du hast:

  • Log-basierte CDC von Postgres oder MySQL mit Debezium, Kafka, Meltano oder Maxwell
  • Lädt in Snowflake, BigQuery oder Postgres mit korrekter MERGE-Logik für Deletes und Updates
  • Reparaturen für TOAST-Platzhalter-Überschreibungen in Postgres
  • Überwachungs-Tools für Replikations-Slots und ein sicherer Wiederherstellungspfad, ohne vollständiges Reload
  • Abgleichprüfungen, damit Source- und Target-Zahlen und Werte übereinstimmen

Erfolgsgeschichte:

  • Wiederaufbau der Postgres-Replikation mit log-basiertem CDC in Snowflake für ein US-Delivery-Tech-Unicorn
  • Entwicklung eines Agents, der hängen gebliebene Replikations-Slots bereinigt und eine saubere partielle Aktualisierung durchführt, ohne jemanden zu alarmieren
  • Careem: Echtzeit-CDC über Maxwell, Kafka und Spark Streaming
  • Schrieb den Debezium TOAST Silent-Overwrite-Bug und seine dreilagige Lösung auf

Sprache:

Englisch

Technische Expertise:

Apache Airflow

•

Dagster

•

Apache-Funken

Expertise:

Datenpipelines

•

Verarbeitung von Streaming-Daten

Industrie:

Audio & Video

•

Cybersicherheit

•

Datenanalyse

Mein Portfolio

Meine weiteren Dienstleistungen im Bereich Datentechnik

Verwandte Tags