Ich werde Spark ETL-Pipelines für Batch-Verarbeitung und Big Data-Workflows erstellen

Einige Informationen wurden automatisch übersetzt.
Veysi Bisen

Türkei

Ich spreche Türkisch, Englisch

10 Aufträge abgeschlossen

Skalierbare Lösungen, sauberer Code und klare Kommunikation

Hallo! Ich bin Veysi, ein freiberuflicher Softwareentwickler, der leistungsstarke, nachhaltige und skalierbare Lösungen mit .NET Core, RabbitMQ, PostgreSQL und Vue.js entwickelt. Mit über 4 Jahren Er...
Mehr lesen
Über diesen Service

Ich entwerfe und entwickle skalierbare Spark ETL-Pipelines für Batch-Datenverarbeitung, Transformationen und Workflows mit großem Volumen.


Dieses Gig ist ideal für Unternehmen, die Daten aus Dateien, Datenbanken, APIs oder anderen strukturierten Quellen zuverlässig und wartbar verarbeiten möchten. Ob du eine neue Batch-Pipeline von Grund auf brauchst oder Verbesserungen an einem bestehenden Job, ich kann dir helfen, eine saubere und produktionsorientierte Lösung zu bauen.


Ich konzentriere mich auf praktische Data Engineering-Ziele wie Ingestion, Transformation, Validierung, Aggregation und Lieferung in analytische Datensätze oder nachgelagerte Systeme.


Was dieses Gig beinhalten kann

  • Spark- oder PySpark-ETL-Pipeline-Entwicklung
  • Batch-Verarbeitung für große Datensätze
  • Datenaufnahme aus CSV, JSON, Parquet, APIs und Datenbanken
  • Datenbereinigung, Normalisierung und Transformation
  • Join-, Aggregations-, Filter- und Anreicherungslogik
  • Ausgabe in Dateien, Data Warehouses oder Datenbanken
  • Optimierung und Refactoring bestehender Spark-Jobs
  • Strukturiertes Logging und wartbare Code-Organisation
  • Grundlegende Dokumentation und Übergabeschulung
Mehr lesen
build spark etl pipelines for batch processing and big data workflows
Vollbild
build spark etl pipelines for batch processing and big data workflows

Expertise:

API-Integration

•

Big Data

•

Datenextraktion

+3 mehr

Technologie:

Apache-Funken

•

BigQuery

•

Python

•

Scala

•

SQL

•

Apache Airflow

Verwandte Tags