Ich werde AWS Glue ETL-Datenpipelines erstellen und optimieren

Benötigst du eine zuverlässige AWS-Datenpipeline, die gebaut, repariert oder optimiert werden soll?

Ich bin ein AWS-zertifizierter Cloud- und DevOps-Ingenieur mit praktischer Erfahrung in der Gestaltung von Unternehmensdatenpipelines mit AWS Glue, PySpark, Amazon S3, Amazon Redshift, Python, Terraform und GitHub Actions.

Ich kann bei folgenden Aufgaben helfen:

Entwicklung und Fehlerbehebung von AWS Glue ETL-Jobs

S3-Ingestion, Partitionierung und Parquet-Verarbeitung

PySpark-Transformationen und Schema-Management

Redshift-Staging, Laden, MERGE und Duplikatentfernung

Zeitstempelkonvertierung, Backfills und inkrementelle Loads

Datenqualitätsprüfungen, Validierung und Überwachung

Glue Catalog- und Crawler-Konfiguration

Terraform-Infrastruktur und CI/CD-Deployment-Workflows

Pipeline-Leistung und Kostenoptimierung

Ursachenanalyse bei schema- und umgebungsspezifischen Fehlern

Meine Erfahrung umfasst den Aufbau von Produktionspipelines für komplexe JSON-Daten, das Flatten von verschachtelten Strukturen, die Anwendung der Latest-Record-Logik, die Lösung von Typenkonflikten und die kontrollierte Einführung von Änderungen in Entwicklungs-, Test- und Produktionsumgebungen.

Bitte schreibe mir vor der Bestellung, wenn deine Pipeline mehrere Quellen, große Backfills, komplexe Schemas oder Anforderungen an die Produktionsbereitstellung hat.