Ich baue eine Python-API-Ingestionspipeline in PostgreSQL

Einige Informationen wurden automatisch übersetzt.

Brasilien

Ich spreche Englisch

Data Engineer und Python Entwickler

Ich bin ein Python Data Engineer mit Schwerpunkt auf automatisierten Dateninfrastruktur-Pipelines, API-Integrationen und PostgreSQL-Optimierung. Ich helfe Unternehmen dabei, fragilen manuellen Tabell...
Über diesen Service

Verschwende keine Stunden mehr mit täglichen manuellen CSV-Exports aus ERP-Systemen oder dem Fixen von Dashboards, die bei API-Rate-Limits oder Timeouts den Geist aufgeben.


Ich baue eine robuste Python-Datenaufnahme-Engine für bis zu 3 REST-API-Endpunkte, die saubere, duplikatfreie inkrementelle Loads direkt in PostgreSQL oder Parquet liefert.


Was in jeder Lieferung enthalten ist:

- Python-Integrations-Pipeline mit Rate-Limit-Handling, Auto-Pagination und exponentiellen Retry-Strategien

- Duplikatfreie inkrementelle Loads in PostgreSQL oder Parquet

- Ausführungs-Audit-Tabelle (pipeline_runs_audit) zur Nachverfolgung jeder Pipeline-Lauf

- containerisierte Docker-Compose-Bereitstellung mit automatisierter Planung

- Schritt-für-Schritt-Operations-Runbook und Setup-Dokumentation


So arbeiten wir zusammen:

1. Schnelle Tech-Diagnose, um deine API-Endpunkte und das Ziel-Schema zu prüfen

2. Festgelegter Umfang und klare Liefertermin.

3. Getestete Docker-Compose-Bereitstellung mit Live-Audit-Logs


Bewährte Architektur basierend auf Produktions-Engineering-Mustern (comex-data-engine-v2).


Schreib mir eine Nachricht mit deinen API-Dokumentationen oder ERP-Quelle, bevor du bestellst, damit wir uns auf deine Endpunkte und dein Schema abstimmen können.

Zielplattform:

Snowflake

•

Databricks Lakehouse

•

PostgreSQL

•

mySQL

Tools und Plattformen:

Andere

Mein Portfolio

Meine weiteren Dienstleistungen im Bereich Datentechnik