Ich werde Echtzeit-Daten-Streaming-Pipelines mit Kafka, Spark und Python aufbauen
Big-Data-Ingenieur
Level 1
Hat bestimmte Leistungskriterien erfüllt und zeigt großes Potenzial auf dem Marktplatz.
Über diesen Service
Moderne Anwendungen erzeugen riesige Echtzeit-Datenströme von Websites, mobilen Apps, IoT-Geräten und Cloud-Plattformen. Diese Daten effizient zu verarbeiten erfordert skalierbare Streaming-Architekturen und zuverlässige Datenpipelines.
Ich bin ein Dateningenieur, spezialisiert auf Big Data Systeme und Echtzeitverarbeitung, und ich helfe dir, hochleistungsfähige Streaming-Pipelines mit Technologien wie Apache Kafka und Apache Spark zu entwerfen und umzusetzen.
Ich habe Erfahrung im Aufbau von verteilten Datensystemen und groß angelegten Analyse-Pipelines, inklusive eines Echtzeit-Musikempfehlungssystems, das über 100GB Streaming-Daten mit Hadoop und Spark verarbeitet hat, sowie Echtzeit-ETL-Pipelines mit Data Warehousing für Unternehmensanalysen.
Technologien
- Apache Kafka
- Apache Spark / Spark Streaming
- Python / PySpark
- Scala
- AWS / Azure
Beispielanwendungen
- Echtzeit-Website-Analysen
- Verarbeitung von Finanztransaktionen
- IoT-Sensordatenpipelines
- Echtzeit-Empfehlungsmaschinen
Ich konzentriere mich auf den Aufbau skalierbarer, zuverlässiger und produktionsreifer Streaming-Pipelines, die Live-Daten in umsetzbare Erkenntnisse verwandeln.
Kontaktiere mich, bevor du eine Bestellung aufgibst, um deine Anforderungen zu besprechen.
