Ich prüfe und optimiere deine Azure Data Factory und Databricks Datenpipelines

Einige Informationen wurden automatisch übersetzt.

Vereinigte Staaten

Ich spreche Englisch

Data Engineering KI-Spezialist

Ich bin ein erfahrener Data Engineering und Analytics Profi mit über 7 Jahren Erfahrung im Design von unternehmensweiten Datenplattformen und KI-gesteuerten Systemen. Ich spezialisiere mich auf Cloud-...

Über diesen Service

Deine Pipelines laufen. Ob sie gut laufen, ist eine andere Frage. Jobs dauern länger als nötig, Kosten steigen, Wiederholungen erzeugen Duplikate, und niemand kann sagen, welche Fehler wirklich relevant sind.

Ich prüfe Azure Data Factory und Databricks Pipelines und sage dir, was kaputt ist, was dich kostet und was du zuerst beheben solltest.

Was ich überprüfe:

Pipelines-Design: Orchestrierung, Abhängigkeiten, Wiederholungs- und Fehlerbehandlung

Inkrementelle Loads: Watermarking, Idempotenz, spät eintreffende Daten

Spark-Leistung: Partitionierung, Shuffles, Skew, Clustergröße

Delta-Tabellen: Dateigröße, OPTIMIZE/VACUUM, Schemaentwicklung

Kosten: Cluster-Konfiguration, DBU-Ausgaben, Leerlaufzeit

Datenqualität: Validierung, Abgleich, Logging

Du erhältst einen schriftlichen Bericht mit allen Problemen, nach Einfluss und Aufwand priorisiert, mit konkreten Schritten zur Behebung und Code-Empfehlungen. Kein generischer Checkliste. Eine echte Analyse deiner Umgebung.

Senior Data Engineer mit über 7 Jahren Erfahrung im Aufbau von Azure-Datenplattformen für Großkunden. Microsoft Certified: Fabric Analytics Engineer Associate (DP-600).

Ich arbeite auch mit Synapse und Microsoft Fabric. Schreib mir mit deiner Stack- und Pipeline-Anzahl, und ich sage dir, welches Paket passt.