Ich werde große Datenaufgaben mit Apache Hadoop Superset Kafka Mongo Clickhouse erledigen

Hallo! Ich bin Dateningenieur und interessiert daran, Datenpipelines zu skalieren und zu optimieren.

Dieses Gig bietet meine Big-Data-Dienste für Machine Learning und Analysen mit Apache Spark, Apache Hadoop, Apache Hive, Apache Kafka, Apache Airflow, Superset, Spark SQL und MongoDB, Clickhouse an.

Ich programmiere in Python.

Ich liebe es, rohe Big-Data-Daten (strukturiert oder unstrukturiert) in Analysen, Visualisierungen oder zum Trainieren hochpräziser ML-Modelle umzuwandeln.

Mein vorheriges Projekt

• Musik-Empfehlungssystem auf Spotify,
• Personalisierte Excel-Dateisuche,
• Amazon Market-Basket-Analyse,
• Hadoop-Cluster-Optimierung,
• Dijkstra-Algorithmus mit GraphX.

Tools: Shell-Scripting, Hadoop, Pyspark, Java + Spark, Scala + Spark, Kafka und MongoDB

Alle diese Projekte beinhalten außerdem Streaming-Daten, ETL, Analysen, ML.

Zusätzlich kann ich Spark-Cluster auf VM oder in der Cloud mit Mesos, Yarn oder Standalone konfigurieren.

Bitte schick mir eine Nachricht und besprecht die Aufgabe, bevor du eine Bestellung aufgibst.

Danke, ich freue mich darauf, dir bei deinem nächsten Projekt zu helfen :)