Ich erstelle Pyspark-ETL-Pipelines für Batch- und Streaming-Daten auf AWS
Dateningenieur für PySpark, AWS und QuickSight
Über diesen Service
Braucht du einen zuverlässigen PySpark-Job oder eine komplette ETL-Pipeline? Ich bin Vollzeit-Dateningenieur, und das Erstellen von Batch- und Streaming-Pipelines mit PySpark auf AWS ist mein Alltag.
Was ich für dich tun kann:
- PySpark ETL-Jobs schreiben: Ingest, Bereinigung, Transformation, Laden
- Große Datensätze in Batch auf Amazon EMR verarbeiten
- Streaming-Jobs für Echtzeitdaten bauen
- Deine Jobs mit Apache Hive und Apache Hudi integrieren
- Einen Data Lake auf Amazon S3 einrichten oder organisieren
- Bestehenden PySpark-Code optimieren oder debuggen
Was du bekommst:
- Sauberer, kommentierter Code
- Kurze Hinweise, wie man es ausführt und plant
- Antworten in der Regel innerhalb einer Stunde
So funktioniert's:
1. Schick mir deine Datenquelle, dein Ziel und die Transformation, die du brauchst
2. Ich bestätige Umfang, Preis und Zeitrahmen
3. Ich liefere den Code und passe ihn basierend auf deinem Feedback an
Bitte schreib mir vor der Bestellung, damit wir zuerst den Umfang festlegen können.
Expertise:
Big Data
•
Datenmanipulation
•
etl
•
Transformation
•
SQL
•
NoSQL
Technologie:
Apache Hadoop
•
Apache-Funken
•
Excel
•
Python
•
SQL
•
NoSQL
FAQ
Automatische Übersetzung
Auf welchen Plattformen arbeitest du?
Hauptsächlich Amazon EMR und Amazon S3, mit PySpark, Apache Hive und Apache Hudi. Wenn du eine andere Plattform nutzt, schreib mir vor der Bestellung eine Nachricht, damit ich bestätigen kann, dass sie passt.
Kannst du einen PySpark-Job reparieren, der langsam ist oder fehlschlägt?
Ja. Schicke mir die Fehlermeldung oder die Spark-UI-Details zusammen mit dem Code, und ich sage dir, was falsch ist und was nötig ist, um es zu beheben, bevor du bestellst.
Was benötigen Sie von mir, um zu beginnen?
Deine Datenquelle und dein Ziel, eine Beispielkopie der Daten oder ihres Schemas sowie die gewünschte Transformation. Für Arbeiten in deinem AWS-Konto reicht eine eingeschränkte IAM-Rolle mit Zugriff auf den relevanten EMR-Cluster oder den S3-Bucket.
