Ich werde skalierbare Datenpipelines mit dagster, AWS, postgresql und redshift erstellen

Suchst du nach einem zuverlässigen Data Engineer, der skalierbare, produktionsreife Datenpipelines baut?

Ich spezialisiere mich auf den Aufbau moderner Datenplattformen mit:

• Dagster (Workflow-Orchestrierung & asset-basierte Pipelines)
• PostgreSQL (Quelle & Metadaten-Datenbank)
• Amazon S3 (Data Lake Storage)
• Amazon Redshift (Analytics Warehouse)
• Python (ETL/ELT-Entwicklung)

Was ich Für Dich Tun Kann

Aufbau End-to-End ETL/ELT-Pipelines

Design Dagster Assets & Jobs

Daten aus APIs / Datenbanken S3 Redshift laden

Implementierung inkrementeller Pipelines (CDC, Watermarking)

Performance-Optimierung für Millionen von Datensätzen

Schema-Änderungen & Datenvalidierung handhaben

Einrichtung von Datenpartitionierung (täglich/stündlich)

Erstellung einer S3-basierten Data Lake Architektur

Fehlerbehebung & Optimierung bestehender Pipelines

Meine Fachkenntnisse Einschließen

• Dagster Multi-Asset Pipelines
• Migration von PostgreSQL zu Redshift
• S3 Parquet Partitionierung
• Inkrementelle Loads (keine Duplikate)
• Groß angelegte Datenaufnahme (Millionen Zeilen)
• Datenqualität & Validierung
• Unit- & Integrationstests
• Fehlerbehandlung & Wiederholungen

Produktionsbereiter Ansatz

Ich folge den Branchenbest Practices:

• Modulare Code-Struktur
• Logging & Monitoring
• Wiederholungs- & Fehlerbehandlung
• Idempotente Pipelines
• CI/CD-fähiges Design