Stell dir vor, du hättest eine
Daten-Pipeline, die Daten mühelos aus mehreren Quellen extrahiert, bereinigt und transformiert und zuverlässige, analysefertige Daten liefert. Dabei kann ich dir helfen! Mit praktischer Erfahrung in der Data-Engineering-Arbeit bei Airtel Digital und Grant Thornton Bharat unterstütze ich dich beim Aufbau effizienter Datenpipelines, der Optimierung der Datenverarbeitung und der Automatisierung von Workflows, die auf deine Geschäftsbedürfnisse zugeschnitten sind.
Meine Fähigkeiten:- Starke Kenntnisse in Python, SQL, PySpark und Spark SQL
- Erfahrung mit Apache Spark, Databricks und Delta Lake
- Praktische Erfahrung mit Apache Kafka und Echtzeit-Datenströmen
- Erfahrung im Aufbau von ETL-Pipelines, inkrementellen Datenladungen und Data-Deduplication-Frameworks
- Kenntnisse in Google Cloud Platform, Google Cloud Storage und BigQuery
- Erfahrung mit Spark-Performance-Tuning und SQL-Abfrageoptimierung
- Verständnis von Data-Warehousing, Data Modeling und Data Quality
- Starke Problemlösungs- und Analysefähigkeiten
Was ich tue:
- Data Engineering: Aufbau und Optimierung von ETL-Pipelines mit Python, SQL und PySpark.
- Datenbereinigung & Transformation: Rohdaten bereinigen, validieren und in strukturierte, analysefertige Datensätze transformieren.
- Pipeline-Automatisierung: Wiederkehrende Datenverarbeitung automatisieren