Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde AWS-Daten- und ETL-Pipelines mit Glue, Pyspark, S3 und Redshift aufbauen
Senior AWS Data Engineer, der skalierbare und AI-ready Datenplattformen aufbaut
Ich bin ein erfahrener AWS Data Engineer mit über 8 Jahren Erfahrung beim Aufbau zuverlässiger, produktionsbereiter Datenplattformen. Ich unterstütze Teams dabei, AWS ETL/ELT-Pipelines, Data Lakes, Da...
Über diesen Service
Ich werde zuverlässige AWS-Datenpipelines für Analysen, Berichte, Dashboards und Data-Warehouse-Anwendungen erstellen.
Dieses Gig ist geeignet, wenn du Daten hast, die aus Dateien, Datenbanken, APIs, Anwendungen, S3 oder bestehenden Datenbanken kommen und diese mit AWS-Diensten wie Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA oder verwandten Tools verarbeiten möchtest.
Ich kann bei folgenden Punkten helfen:
- Design und Implementierung von AWS ETL/ELT-Pipelines
- Datenaufnahme aus Dateien, APIs, Datenbanken oder Cloud-Speicher
- S3 Data Lake Struktur
- Workflows mit Glue, EMR, PySpark, Redshift und Athena
- Datenbereinigung, -transformation und -laden
- Qualitätsprüfungen und Validierung
- Logging, Audit-Punkte und grundlegendes Monitoring
- Pipeline-Fehlerbehebung und Verbesserungen
- Kosten-, Leistungs- und Skalierungsempfehlungen
- Dokumentation und Übergabedokumente
Häufige Anwendungsfälle:
- Neue AWS-Datenpipeline erstellen
- Migration von On-Prem auf AWS
- Daten in S3 oder Redshift verschieben
- Daten für BI/Reporting vorbereiten
- Bestehenden ETL-Prozess verbessern
- Analytik-fertige Datensätze erstellen
- Pipeline-Qualität, Kosten oder Skalierbarkeit überprüfen
Bitte schreibe mir vor der Bestellung, damit wir deine Datenquelle, AWS-Setup, erwartetes Ergebnis, Zugriffsanforderungen und das passende Paket klären können.
Zielplattform:
Amazon Redshift
•
PostgreSQL
•
Amazon S3
•
Andere
Tools und Plattformen:
AWS Glue DataBrew
•
Andere
Mein Portfolio
Meine weiteren Dienstleistungen im Bereich Datentechnik
FAQ
Automatische Übersetzung
Mit welchen AWS-Diensten arbeitest du?
Ich arbeite mit Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA, IAM, CloudWatch und verwandten AWS-Datenservices.
Kannst du eine komplette AWS-ETL-Pipeline bauen?
Ja. Ich kann AWS ETL/ELT-Pipelines für Dateien, APIs, Datenbanken oder Cloud-Speicher bauen und Daten für Analysen, Berichte, Athena, Redshift oder Dashboards vorbereiten.
Muss ich AWS-Zugangsdaten bereitstellen?
Für die Umsetzung sind eventuell eingeschränkter AWS-Zugriff notwendig. Wenn du möchtest, können wir zuerst Anforderungen, Screenshots, Beispieldaten oder Architektur prüfen, bevor Zugriff gewährt wird.
Kannst du eine bestehende AWS-Pipeline verbessern?
Ja. Ich kann bestehende AWS-Pipelines prüfen, reparieren, verbessern oder optimieren, inklusive ETL-Logik, Spark-Jobs, S3-Struktur, Redshift/Athena-Nutzung, Qualitätskontrollen und Performance-Problemen.
Kannst du Daten von On-Prem-Datenbanken oder Quellen zu AWS migrieren?
Ja. Ich kann beim Migrieren von Daten aus On-Prem-Datenbanken, Dateien oder anderen Quellen zu AWS helfen, mit Diensten wie S3, AWS Glue, DMS, EMR/PySpark, Redshift und Athena, abhängig von deiner Quelle, Volumen und Zielanwendung.
Bietest du Datenqualitätsprüfungen an?
Ja. Standard- und Premium-Pakete können grundlegende Datenqualitätsprüfungen, Validierungsregeln, Duplikatsprüfungen, Schema-Checks und Logging-Punkte enthalten.
Können Sie mit großen Datensätzen arbeiten?
Ja. Ich kann skalierbare Pipelines mit S3, Glue, EMR/PySpark, Partitionierung, Parquet, Athena und Redshift entwerfen, abhängig vom Datenvolumen und den Verarbeitungsanforderungen. Ich habe Erfahrung mit Peta- und Tera-Bytes an Daten.
Stellen Sie eine Dokumentation zur Verfügung?
Ja. Die Lieferung umfasst Dokumentation oder Übergabedokumente basierend auf dem gewählten Paket, inklusive Pipeline-Fluss, Setup-Schritten, Annahmen und Nutzungshinweisen.
Sollte ich vor der Bestellung eine Nachricht senden?
Ja, bitte schreibe mir vor der Bestellung, damit wir deine Datenquelle, AWS-Setup, erwartetes Ergebnis, Zugriffsanforderungen, Zeitplan und das beste Paket klären können.
