Ich entwerfe, baue und optimiere skalierbare Datenpipelines mit Microsoft Azure, Azure Data Factory und Azure Databricks, um deine Rohdaten in mächtige Geschäftseinblicke zu verwandeln.
Mit fundierter Expertise in Cloud-Datenengineering und Analytics.
Was ich Für Dich Tun Wird
- End-to-End ETL/ELT-Pipelines in Azure aufbauen
- Dynamische und automatisierte Workflows in Azure Data Factory erstellen
- Skalierbare Datenverarbeitungslösungen mit PySpark & Spark SQL entwickeln
- APIs, SQL-Datenbanken, Data Lake, Blob Storage und Drittanbieterquellen integrieren
- Pipeline-Leistung optimieren und Cloud-Kosten senken
- Datenbereinigung, Validierung und Transformation implementieren
- Sichere und zuverlässige Produktionspipelines bereitstellen
KI & Machine Learning Funktionen
- ML-Modelle mit Azure Databricks erstellen (Klassifikation, Regression, Prognose)
- Datenvorverarbeitung und Feature Engineering für ML
- Modeltraining und -bewertung mit Python & Spark ML
- Machine Learning Pipelines in Azure deployen
- Batch- und Echtzeit-Vorhersage-Workflows
- KI-gesteuerte Analysen und Einblicke
Tools & Technologien
- Azure Data Factory (ADF)
- Azure Databricks
- PySpark / Spark SQL
- Azure Data Lake Storage
- Azure SQL Database
- Python
- Machine Learning (ML)
- Datenmodellierung & Transformation