Ich werde eine automatisierte ETL-Pipeline mit Airflow und PostgreSQL aufbauen

Einige Informationen wurden automatisch übersetzt.

Ukraine

Ich spreche Englisch

Dateningenieur

Ich bin ein Junior Data Engineer mit nachweislichen Fähigkeiten im Aufbau robuster End-to-End-Batch-Datenpipelines. Meine Expertise umfasst das Ingestieren von Daten aus verschiedenen externen Quellen...

Über diesen Service

Hör auf, Daten manuell zwischen Quellen zu kopieren. Ich erstelle automatisierte ETL-Pipelines, die Daten von APIs oder Websites abrufen, reinigen und validieren und sie nach der Einrichtung ohne manuellen Aufwand in deine Datenbank laden.

Was du bekommst:

- Daten, die von deiner Quelle(n) API oder Website abgerufen werden

- Reinigung und Validierung, bevor irgendetwas in deine Datenbank kommt

- Speicherung in PostgreSQL (oder deiner bevorzugten SQL-Datenbank)

- Optional: geplante Ausführungen mit Apache Airflow (täglich/wöchentlich/individuell)

- Optional: vollständige Verlaufsspur, nicht nur der neueste Snapshot

- Optional: automatisierte Benachrichtigungen (Telegram/E-Mail), wenn neue Daten eintreffen

Vor Kurzem habe ich eine produktionsähnliche Pipeline auf genau diesem Stack gebaut: Airflow, PostgreSQL, Docker, die Daten aus mehreren Quellen zieht, sie in ein sauberes Schema normalisiert und die Historie jedes Datensatzes verfolgt. Ich teile das GitHub-Repo, damit du die Codequalität prüfen kannst, bevor du bestellst.

Jede Pipeline wird individuell um deine tatsächliche Datenquelle und Datenbank herum gebaut, nicht nach einem generischen Muster, auf das dein Name geklebt wird.

Schick mir vor der Bestellung deine Datenquelle und Ziel-Datenbank, damit ich den Umfang und den Zeitplan bestätigen kann.