Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich baue große Datenpipelines auf und verarbeite Datensätze mit pyspark und sql
KI-, Daten- und Web3-Ingenieur
Ich bin ML- und Data-Engineer mit einem Master in Data & Intelligence von der Université Claude Bernard Lyon 1. Ich spezialisiere mich darauf, die Kluft zwischen fortschrittlicher KI-Forschung und ska...
Über diesen Service
Hast du Schwierigkeiten mit riesigen Datensätzen oder langsamen Verarbeitungszeiten?
Ich bin ein Data Engineer, spezialisiert auf groß angelegte Big Data Verarbeitung, ETL und Analysen. Ich erstelle hochoptimierte Datenpipelines, um Gigabytes an Daten effizient mit PySpark und Python zu ingestieren, zu reinigen und zu transformieren. Ob komplexe Aggregationen, geospatiale Karten oder saubere Visualisierungen – ich liefere produktionsbereiten Code.
Meine Kernleistungen:
- Big Data Pipelines: Hochleistungs-ETL-Workflows mit Apache Spark, PySpark und Python.
- Fortgeschrittene Transformationen: Optimierte Spark SQL-Abfragen, komplexe Fensterfunktionen, UDFs und groß angelegte Joins.
- Datenintegration: Reinigung und Formatierung von strukturierten/semi-strukturierten Daten für nachgelagerte Analysen.
- Geospatiale Daten: Verarbeitung von standortbasierten und Zeitreihendaten.
- Visuelle Einblicke: Umwandlung großer Daten in umsetzbare Visualisierungen mit Pandas und Matplotlib.
Technologie-Stack: Python | Apache Spark | PySpark | Spark SQL | Pandas | Matplotlib
Warum ich?
Ich schreibe sauberen, skalierbaren und vollständig dokumentierten Code, der sicherstellt, dass deine Datenoperationen genau und rechenoptimiert sind.
Bitte schreibe mir vor der Bestellung, um dein Dataset zu besprechen!
_s7yyko.jpg)
Tools und Plattformen:
Andere
FAQ
Automatische Übersetzung
Sind meine Daten sicher und vertraulich?
Absolut. Um vollständige Privatsphäre zu gewährleisten, benötige ich keinen Zugriff auf deine sensiblen Daten. Du kannst mir einfach einen anonymisierten oder Dummy-Datensatz schicken. Ich baue und teste die Pipeline damit und liefere dir den finalen Code, den du sicher auf deinen echten Daten ausführen kannst.
Kann dein Code auf Cloud-Plattformen wie Databricks, AWS oder GCP laufen?
Ja. Ich spezialisiere mich auf das Schreiben robuster, standardmäßiger PySpark-Pipelines. Da der Code sehr portabel ist, kannst du die Skripte, die ich liefere, problemlos lokal, auf Databricks oder in deinen eigenen Cloud-verwalteten Spark-Clustern wie AWS EMR oder Google Cloud Dataproc ausführen.
Kannst du mit Multi-Gigabyte- oder Terabyte-Datensätzen umgehen?
Ja! Genau dafür ist Apache Spark gebaut. Ich schreibe optimierte, verteilte Datenpipelines, die speziell für die Verarbeitung riesiger Datensätze entwickelt wurden, die für Standard-Pandas-Workflows zu groß sind.
Was genau erhalte ich bei der Lieferung?
Du erhältst vollständig kommentierten, produktionsbereiten Code (als .py-Skripte oder Jupyter Notebooks) plus eine klare Dokumentation, die erklärt, wie man die Pipeline ausführt und den Job plant.
