Ich werde ETL-Datenpipelines mit Python, Airflow, Kafka und PostgreSQL erstellen
Web Scraping, Python-Entwickler, Web-Entwickler
Über diesen Service
Ist deine Daten über APIs, Dateien und Datenbanken verstreut? Ich baue automatisierte ETL-Pipelines, die deine Daten sammeln, bereinigen und laden, damit sie immer sofort einsatzbereit sind.
Meine Erfahrungen:
- Kafka-Pipeline verarbeitet 8 GB Medien pro Minute mit 35% geringerer Latenz
- Celery + Redis-Cluster verarbeitet 1.000+ Aufgaben pro Minute
- tägliche Crawling-Pipeline speichert über 500.000 Job-Angebote
- Abgeschlossenes Studium der Softwaretechnik mit Data-Science-Spezialisierung (ETL, Data Mining)
Was ich bauen kann:
- ETL / ELT-Pipelines aus APIs, CSV, Excel, Webseiten oder Datenbanken
- Geplante Jobs mit Apache Airflow, Celery oder Cron
- Echtzeit-Streaming mit Kafka oder RabbitMQ
- Beladung in PostgreSQL, MySQL, Elasticsearch oder AWS (S3, RDS, DynamoDB)
- Datenbereinigung, -transformation und -validierung
Tools: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS
Du bekommst sauberen, dokumentierten Code, den du besitzt. Schreib mir eine Nachricht mit deinen Datenquellen und Zielen, und ich empfehle dir die einfachste Pipeline, die funktioniert.
Zielplattform:
PostgreSQL
•
mySQL
•
Amazon S3
Tools und Plattformen:
Kafka Connect
FAQ
Automatische Übersetzung
Kannst du die Pipeline deployen?
Ja. Ich kann es auf deinem Server oder auf AWS (EC2, Lambda, S3) betreiben und eine Terminplanung einrichten.
Arbeitest du mit meiner bestehenden Datenbank?
Ja. Ich arbeite mit PostgreSQL, MySQL, SQLite und Elasticsearch sowie mit AWS-Diensten wie RDS und DynamoDB.
Bekomme ich den Quellcode?
Ja. Du erhältst den vollständigen Quellcode mit Installationsanleitung und Dokumentation.
Kannst du Echtzeit-Streaming-Pipelines bauen?
Ja. Ich habe Kafka-Pipelines gebaut, die 8 GB Daten pro Minute verarbeiten, dazu RabbitMQ- und Celery-Task-Queues.
Welche Datenquellen können Sie verbinden?
REST-APIs, CSV- und Excel-Dateien, Websites (via Scraping), Datenbanken und Cloud-Speicher wie S3.
Was brauchst du von mir, um anzufangen?
Deine Datenquellen, das Ziel, wie oft die Daten aktualisiert werden sollen und alle Zugangsdetails für Testumgebungen.

