Ich schreibe und optimiere PySpark ETL-Pipelines für deine Datenworkflows

Suchst du einen zuverlässigen PySpark Data Engineer, der deine ETL-Pipelines baut oder optimiert?

Du bist hier genau richtig.

Ich bin Pankaj, ein Data Engineer mit über 3 Jahren Erfahrung bei Paytm, wo ich über 200 Produktions-ETL-Pipelines gebaut habe, die täglich mehr als 5 TB verarbeiten, mit PySpark, Airflow, AWS und Kafka.

Dieses Gig konzentriert sich zu 100 % darauf, schnelle, skalierbare und saubere PySpark ETL-Lösungen für dein Business zu liefern.

Was ich für dich tun kann

• Sauberen und optimierten PySpark ETL-Code schreiben
• End-to-End ETL-Workflows (extract transform load) aufbauen
• SQL-Logik in PySpark-Transformationen umwandeln
• Fehlerhafte oder langsame PySpark-Jobs beheben
• Spark-Jobs optimieren, um Laufzeit und EMR-Kosten zu senken
• PySpark mit AWS Glue, S3, EMR, Athena integrieren
• Datenbereinigung, Validierung & Transformation
• Bestehende ETL-Pipelines debuggen

Warum du mich wählen solltest

• Produktionsbereiter, sauberer Code
• Starke praktische Erfahrung
• Schnelle Kommunikation und Lieferung
• 100 % Fokus auf Zuverlässigkeit und Skalierbarkeit
• Praktisches Verständnis von Pipeline-Fehlern & Optimierungen

Technologien, die ich verwende

• PySpark / Spark
• AWS Glue, S3, EMR
• SQL
• Airflow (Workflow-Orchestrierung)
• Kafka
• Python & Scala

Hast du eine individuelle Anforderung?

Schreib mir jederzeit, ich antworte schnell.

Lass uns etwas Skalierbares aufbauen.