Ich erstelle AWS- und Databricks-Datenpipelines, ETL und AI-RAG-Apps

Ich bin Data Engineer und baue ETL-Pipeline-Lösungen auf Databricks und AWS mit PySpark, von der Ingestion bis zu Produktionsplattformen.

Senior Engineer und Tech Lead mit 4 Jahren Erfahrung. Zertifizierungen: AWS Certified Data Engineer – Associate und Microsoft Certified Azure Database Administrator Associate.

Ausgewählte Ergebnisse:

• Über 15 TB von SQL Server zu AWS Aurora PostgreSQL migriert mit weniger als 5 Minuten Ausfallzeit unter Einsatz von DMS, Glue PySpark und Step Functions
• Azure Databricks Lakehouse-Verarbeitung von über 50 Mio. Datensätzen pro Tag: Medallion-Architektur, Delta Lake, Unity Catalog, Azure Data Factory
• Streaming von über 2 Mio. Events pro Tag mit Kafka/MSK und Spark Structured Streaming
• Spark-Laufzeit um 45% reduziert, Kosten um 30% gesenkt, Schema-Vorfälle um 90% reduziert (80+ Pipelines), Airflow-Fehler um 40% reduziert (30+ DAGs)

KI-Lösungen:

• RAG-Chatbots mit Zitaten und natürlicher Sprache zu SQL-Tools, als FastAPI-Apps mit Web-UI ausgeliefert
• Open Source auf GitHub (OsamaZaidi75): pharma-rag und sql-rag

Projekterfahrung umfasst auch Arbeiten für einen Fortune-500-Pharma-Kunden.

Packages: Data Task Sprint (200 $), Pipeline Build (750 $), Data Platform / AI App (1500 $). Schreibe mir vor der Bestellung, um den Umfang zu bestätigen.