Ich baue Azure Databricks- und PySpark-Datenpipelines auf oder repariere sie
Azure Databricks- und PySpark-Dateningenieur
Über diesen Service
Suchst du eine zuverlässige Pipeline auf Azure Databricks, oder eine, die ständig fehlschlägt? Ich bin ein Azure Data Engineer mit etwa 4 Jahren Erfahrung im Aufbau produktiver Lakehouse-Pipelines auf Databricks, PySpark, Azure Data Factory, Delta Lake und Unity Catalog.
Was ich mache:
- Neue Pipelines: Dateien, APIs oder Datenbanken in Delta Lake (bronze, silver, gold) importieren
- Fehlerhafte Notebooks, Jobs und ADF-Pipelines beheben
- Inkrementelles Laden, Zusammenführen und Updates (SCD), Schema-Entwicklung
- Datenqualitätsprüfungen, Logging und Alarmierung
- Klare Dokumentation, damit dein Team sie verwenden kann
So arbeiten wir: Teile dein Notebook oder Code sowie Beispiel-Daten (Dummy-Daten reichen), oder gib mir über deinen eigenen Admin-Account Least-Privilege-Zugriff gewähren. Bitte niemals Passwörter oder Keys senden.
Ich nutze KI-gestützte Tools, und jede Lieferung wird von mir getestet und dokumentiert.
Bitte schreibe mir vor der Bestellung, damit ich Umfang und Zeitplan bestätigen kann.
Zielplattform:
Azure Synapse Analytics
•
Databricks Lakehouse
Tools und Plattformen:
Azure Data Factory
FAQ
Automatische Übersetzung
Brauchst du mein Azure- oder Databricks-Passwort?
Nein. Teile Code und Beispiel-Daten oder lass mir dein Admin-Zugang mit Least-Privilege für deinen Workspace geben. Passwörter oder Keys werden nie verlangt.
Kannst du stattdessen auf AWS oder GCP arbeiten, statt Azure?
Ja, Databricks und PySpark funktionieren auf jeder Cloud. Meine tiefste Erfahrung habe ich allerdings mit Azure; schreib mir daher bitte zuerst mit deiner Setup-Beschreibung.
