Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde PySpark ETL-Pipelines und Daten Transformationen entwickeln und beheben
Senior Software- und Data Engineer
Ich bin Senior Software- & Data-Engineer mit rund 19 Jahren Berufserfahrung in der Entwicklung von Unternehmenssoftware und der Datenintegration.
Ich spezialisiere mich auf Java, Spring Boot, REST-AP...
Über diesen Service
Benötigst du Hilfe bei einem PySpark-Job, der fehlschlägt, unerwartete Ergebnisse liefert oder eine abgegrenzte ETL-Transformation benötigt? Ich bin Informatiker mit Berufserfahrung in Software- und Data-Engineering. Ich habe PySpark-Transformationen und Batch-ETL-Workflows mit Azure Databricks und Azure Synapse Analytics aufgebaut, darunter ein Medaillon-Flow und die Fehlersuche in einer Pipeline, die etwa 1,7 Millionen Datensätze verarbeitet. Ich kann einen spezifischen Bug beheben, eine begrenzte Transformation oder einen Batch-ETL-Flow implementieren, gelieferte Formate lesen und schreiben, fokussierte Checks hinzufügen und den Code erklären. Bevor du bestellst, teile bitte Spark/PySpark-Versionen, Schemata, eine kleine sichere Stichprobe, das erwartete Output-Format und den Laufzeitkontext mit. Ich bestätige zuerst den Umfang und die Annahmen. Nie Passwörter, Tokens oder Produktionsgeheimnisse teilen. Pakete schließen Cloud-Deployment, Infrastrukturaufbau, Streaming, unbegrenzte Volumen und garantierte Leistungssteigerungen aus. Optimierung umfasst nur die vereinbarte Code-Überprüfung und Änderungen; Ergebnisse hängen von Daten und Laufzeit ab.
Zielplattform:
Azure Synapse Analytics
•
Databricks Lakehouse
Tools und Plattformen:
Andere
FAQ
Automatische Übersetzung
Was benötigen Sie von mir, um zu beginnen?
Teile bitte dein Ziel, Versionen, Schemata, sichere Eingaben und Beispiele der erwarteten Ausgabe, Laufzeitumgebung sowie vorhandenen Code oder Fehlermeldungen. Nie Passwörter, Tokens oder Produktionsanmeldedaten senden. Verwende synthetische, anonymisierte oder sicher teilbare Daten.
Welche Spark- und PySpark-Versionen unterstützt du?
Ich kann mit einer vorgegebenen Version arbeiten, wenn deren APIs und die benötigte Umgebung vorhanden sind. Gib bitte genaue Spark-, PySpark- und Python-Versionen sowie Bibliotheksbeschränkungen an, damit ich Kompatibilität und Umfang vor Beginn der Arbeit bestätigen kann.
Mit welchen Datenformaten kannst du arbeiten?
Gängige Formate sind CSV, JSON und Parquet. Delta-Tabellen sind in einer kompatiblen Spark- oder Databricks-Umgebung möglich. Teile zuerst dein Schema und eine kleine, sichere Stichprobe, damit ich Format und Umfang bestätigen kann.
Kannst du eine Pipeline debuggen oder reparieren, die ich bereits habe?
Ja. Teile relevanten Code, Fehlermeldungen, Schemata und einen minimal reproduzierbaren Fall mit sicheren Daten. Ich bestätige zuerst, dass das Problem zum gewählten Paket passt; weitergehende Untersuchungen oder mehrere Jobs benötigen einen separat vereinbarten Umfang.
Inklusive Tests oder Dokumentation?
Basis enthält fokussierte Verifikation. Standard umfasst vereinbarte Datenchecks, und Premium enthält auch eine kurze Dokumentation. Unit- oder Integrationstests sind nicht enthalten, es sei denn, sie sind explizit vereinbart und technisch durch das bereitgestellte Projekt unterstützt.
Kannst du lokal oder in einer Cloud-Umgebung arbeiten?
Ich kann Code in einer kompatiblen lokalen oder client-seitig bereitgestellten Laufzeit entwickeln und prüfen und Cloud-spezifischen Code prüfen, wenn die Details vorliegen. Deployment und Cloud-Infrastruktur-Setup sind ausgeschlossen. Teile bitte keine Produktionszugänge; nutze, wo nötig, Client-Run-Schritte.
Gibt es Garantien für bessere Performance oder ein bestimmtes Datenvolumen?
Nein. Ergebnisse hängen von Form der Daten, Laufzeit, Cluster-Einstellungen und verfügbarem Testdatenmaterial ab. Ich kann einen definierten Codepfad prüfen und vereinbarte Änderungen umsetzen, aber Speedups, unbegrenzte Volumen oder Infrastruktur-Optimierungen kann ich ohne Zugang und separaten Umfang nicht garantieren.
Wie teile ich Daten sicher?
Bitte nutze wenn möglich synthetische, anonymisierte oder anderweitig sicher teilbare Stichproben. Teile nur Material, das du bereit bist zu geben, und sende nie Passwörter, Tokens oder Produktionszugänge. Wir einigen uns auf die minimale benötigte Datenmenge vor dem Start.
Was zählt als Überarbeitung?
Eine Revision ist eine Änderung an bereits gelieferten Arbeiten innerhalb der vereinbarten Eingaben, Ausgaben und Verhaltens. Neue Anforderungen, zusätzliche Quellen oder Transformationen, ein weiterer Auftrag oder umfangreichere Debugging-Arbeiten fallen außerhalb des Pakets und benötigen ein individuelles Angebot.
