Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich baue eine Databricks ETL-Pipeline mit Delta Lake für dein Data Warehouse auf
Softwareentwickler, Datenentwickler
Ich bin Software- und Dateningenieur mit Produktionserfahrung beim Aufbau von unternehmensgerechten Systemen auf Cloud-Plattformen.
Als Dateningenieur habe ich mit Lakehouse- und Medallion-Architektu...
Über diesen Service
Die meisten Datenpipelines scheitern stillschweigend. Kein Audit-Trail, keine Qualitätskontrollen,
ein Skript macht alles. Deine Analysten führen dieselbe Abfrage zweimal aus
und erhalten unterschiedliche Zahlen.
Ich baue Pipelines, die das nicht tun.
WAS DU BEKOMMST
Medallion-Architektur auf Databricks + Delta Lake:
- Bronze: Rohdaten landen unveränderlich. Dein Wiederherstellungspunkt.
- Silver: Jede Zeile besteht eine Qualitätsprüfung. Fehler werden protokolliert.
- Gold: aggregierte, BI-fertige Delta-Tabellen. Schnell. Zuverlässig.
Vollständig automatisiert als Databricks Workflow DAG orchestriert.
WARUM ES FUNKTIONIERT
- Idempotentes erneutes Ausführen dupliziert oder verliert keine Daten
- Auditierbare DQ-Metriken protokolliert und abfragbar
- Wiederherstellbar, jede Schicht kann aus Bronze neu aufgebaut werden
ICH ARBEITE MIT
Quellen: CSV, Parquet, JSON, REST API, PostgreSQL, S3, ADLS
Plattformen: Databricks auf Azure oder AWS
BEVOR DU BESTELLST
Schreib mir zuerst mit deiner Datenquelle und deiner Geschäftsfrage.
Ich bestätige den Umfang, bevor du bestellst. Keine Überraschungen.
Mein Portfolio
FAQ
Automatische Übersetzung
Ich habe noch kein Databricks, kannst du mir bei der Einrichtung helfen?
Auf jeden Fall. Databricks Community Edition ist kostenlos und dauert 20 Minuten. Ich füge bei Bedarf Anweisungen zur Einrichtung deiner Lieferung bei.
Meine Daten sind in einer Datenbank (Postgres/MySQL), keine Dateien. Funktioniert das?
Ja. Ich verbinde Databricks über JDBC und lade direkt in die Pipeline. Erwähne das, wenn du mir schreibst, damit ich den Umfang richtig einschätzen kann.
Was, wenn ich auf AWS statt Azure bin?
Die Architektur und der Code sind cloudübergreifend identisch. Nur der Speicherpfad ändert sich (S3 vs ADLS). Alle Pakete funktionieren auf beiden Plattformen.
Wird mein Team das warten können?
Ja. Jede Lieferung enthält eine Architecture Decision Record, die erklärt, was jedes Notebook macht und warum. Standard- und Premium-Versionen beinhalten ein kommentiertes GitHub-Repo.
