Ich werde ETL-Datenpipelines mit Python, Airflow, Kafka und PostgreSQL erstellen

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Englisch

2 Aufträge abgeschlossen

Web Scraping, Python-Entwickler, Web-Entwickler

Ich bin ein professioneller und engagierter Freiberufler mit einer Leidenschaft für die Bereitstellung hochwertiger Dienstleistungen für meine Kunden. Ich kann auf eine lange Erfolgsbilanz bei der ter...
Über diesen Service

Ist deine Daten über APIs, Dateien und Datenbanken verstreut? Ich baue automatisierte ETL-Pipelines, die deine Daten sammeln, bereinigen und laden, damit sie immer sofort einsatzbereit sind.

Meine Erfahrungen:

  • Kafka-Pipeline verarbeitet 8 GB Medien pro Minute mit 35% geringerer Latenz
  • Celery + Redis-Cluster verarbeitet 1.000+ Aufgaben pro Minute
  • tägliche Crawling-Pipeline speichert über 500.000 Job-Angebote
  • Abgeschlossenes Studium der Softwaretechnik mit Data-Science-Spezialisierung (ETL, Data Mining)

Was ich bauen kann:

  • ETL / ELT-Pipelines aus APIs, CSV, Excel, Webseiten oder Datenbanken
  • Geplante Jobs mit Apache Airflow, Celery oder Cron
  • Echtzeit-Streaming mit Kafka oder RabbitMQ
  • Beladung in PostgreSQL, MySQL, Elasticsearch oder AWS (S3, RDS, DynamoDB)
  • Datenbereinigung, -transformation und -validierung

Tools: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS

Du bekommst sauberen, dokumentierten Code, den du besitzt. Schreib mir eine Nachricht mit deinen Datenquellen und Zielen, und ich empfehle dir die einfachste Pipeline, die funktioniert.

Zielplattform:

PostgreSQL

•

mySQL

•

Amazon S3

Tools und Plattformen:

Kafka Connect