Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich bin dein GCP Data Engineer für Python BigQuery und ETL
Leitender Dateningenieur
Ich baue zuverlässige Datenpipelines, API-Integrationen, Cloud-Automatisierung und Analyse-Lösungen mit Python, SQL, GCP und AWS. Meine Erfahrung umfasst BigQuery, Dataflow, Apache Beam, Airflow, Fast...
Über diesen Service
Ich baue zuverlässige GCP-Datenpipelines mit Python, BigQuery und Dataflow.
Wenn du Daten von APIs, CSV, JSON oder anderen Quellen in Google Cloud verschieben möchtest, kann ich dir helfen, einen sauberen ETL-Workflow zu entwerfen und zu bauen, der einfach zu warten und skalieren ist.
Ich kann bei folgenden Dingen helfen:
- Python-basierte ETL-Pipelines
- BigQuery-Datenladen und Transformationen
- GCP Dataflow und Apache Beam
- REST API-Datenaufnahme
- CSV- und JSON-Verarbeitung
- Datenqualitätsprüfungen
- Fehlerbehandlung und Logging
- Grundlegende Airflow- oder Cloud Composer-Orchestrierung
- BigQuery-Tabellen und Views
- Pipeline-Fehlerbehebung und Verbesserungen
Mein Fokus liegt auf praktischen, wartbaren Lösungen mit klarer Struktur, ordnungsgemäßer Validierung und Dokumentation.
Ich habe professionelle Erfahrung im Umgang mit Python, SQL, BigQuery, Dataflow, Apache Beam, Airflow und cloudbasierten Datenplattformen.
Bitte schreibe mir vor der Bestellung, wenn dein Projekt mehrere Datenquellen, komplexe APIs, Streaming-Pipelines oder spezielle GCP-Anforderungen umfasst, damit ich den Umfang zuerst bestätigen kann.
Zielplattform:
Google BigQuery
•
Google Cloud Storage
Tools und Plattformen:
Google Cloud Dataflow
•
Andere
Mein Portfolio
FAQ
Automatische Übersetzung
Welche Arten von Datenquellen unterstützt du?
Ich kann mit REST-APIs, CSV, JSON, Google Cloud Storage, Datenbanken und anderen strukturierten Datenquellen arbeiten, je nach deinen Anforderungen.
Kannst du Daten in BigQuery laden?
Ja. Ich kann Pipelines erstellen, die Daten in BigQuery-Tabellen und -Views laden und transformieren.
Unterstützt du Python und Dataflow?
Ja. Ich kann Python-ETL-Workflows und Apache Beam/Dataflow-Pipelines für skalierbare Datenverarbeitung erstellen.
Kannst du die Pipeline automatisieren?
Ja. Ich kann bei Bedarf Zeitplanung und Orchestrierung mit Airflow oder Cloud Composer hinzufügen.
Wie kann ich eine erfolgreiche Datenmigration sicherstellen?
Ich nutze Validierung, Datenqualitätsprüfungen, Schema-Reviews, Logging und Tests, um sicherzustellen, dass die Daten genau und zuverlässig übertragen werden.
Was benötigen Sie von mir, bevor Sie beginnen?
Bitte gib die Details der Datenquelle, Beispiel-Daten oder API-Dokumentation, Zielort, erforderliche Transformationen und den benötigten GCP-Zugriff für das Projekt an.
Bietest du Datenqualitätsprüfungen an?
Ja. Ich kann Validierung, Null-Checks, Duplikat-Checks, Schema-Checks und andere Qualitätsregeln basierend auf dem Projekt einbauen.
Kannst du mit API-basierten Datenquellen arbeiten?
Ja. Ich kann REST-APIs integrieren, Authentifizierung, Paginierung, Wiederholungen handhaben und API-Antworten vor dem Laden der Daten verarbeiten.
