Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde Echtzeit-Datenpipelines mit Apache Kafka, Spark und AWS aufbauen
Dateningenieur
Ich bin ein ergebnisorientierter Data Engineer mit über 5 Jahren Erfahrung in Big Data, AWS und technischer Leitung. Ich spezialisiere mich auf das Design von groß angelegten cloud-nativen Pipelines u...
Über diesen Service
PIPELINES, DIE PRODUKTIONSTESTS BESTANDEN, NICHT NUR DIE DEMO.
Ich erstelle Batch- und Streaming-Datenpipelines, die jeden Tag laufen, ohne dass jemand sie überwachen muss.
WAS ICH Biete
- Streaming-Ingestion: Kafka, Kinesis, RabbitMQ, NiFi, CDC aus deiner Datenbank
- PySpark / Spark SQL Transformationen, optimiert – nicht die Standardkonfiguration
- Data Lake auf S3 mit Apache Iceberg: Schema-Änderungen, Time Travel, MERGE Upserts
- Data Warehouse-Ladungen in Redshift, Snowflake, Athena oder BigQuery
- SCD Typ 2 Historie, Deduplication, idempotente Wiederholungen, späte Daten
- Airflow DAGs, Wiederholungen, Alarmierung und CloudWatch/Grafana Dashboards
- CI/CD, Tests und Dokumentation, damit das System wartbar bleibt
ERFAHRUNG
Über 3,5 Jahre auf einer europäischen Telekom-Streaming-Plattform: Mehr als 100 Produktionspipelines, 0,6 TB/Tag (18 TB/Monat), Millionen Nutzer in 8 Ländern. Über 50 % weniger Rechenzeit bei über 100 PySpark-Jobs. 60 % weniger Job-Fehler. Über 99,9 % Verfügbarkeit.
Ich habe auch eine Redshift-Workload auf Apache Iceberg migriert: Abfragen um 40 % schneller bei geringeren Kosten.
Sende mir deine Quelle, dein Ziel und dein Volumen. Du bekommst vor der Bestellung einen festen Umfang und einen realistischen Zeitplan.
Mein Portfolio
FAQ
Automatische Übersetzung
Batch oder Streaming – was brauche ich?
Wenn in deinem Business innerhalb einer Stunde nichts reagiert, ist Batch günstiger und einfacher, und ich sage dir das auch. Streaming lohnt sich für Betrugsbekämpfung, Live-Personalisierung, Alarmierung und Echtzeit-Dashboards.
Kannst du in unserem AWS-Konto arbeiten?
Ja, mit einer scoped IAM-Rolle. Ich kann auch in meiner eigenen Sandbox gegen Beispiel-Daten arbeiten und dir deploybare Skripte übergeben, falls du keinen Zugriff gewähren möchtest.
Reparierst du bestehende kaputte Pipelines?
Ja – und das ist meist günstiger als eine Neuimplementierung. Bestelle zuerst mein Audit-Gig oder schreib mir mit dem Job-Code, und ich mache dir ein individuelles Angebot.
