Ich werde cloud-basierte Daten-Workflows mit GCP BigQuery Airflow und Dataflow entwickeln
Über diesen Service
Ich werde cloud-basierte Daten-Workflows mit Google Cloud Platform (GCP), BigQuery, Airflow und Dataflow entwerfen und aufbauen.
Mit über 4 Jahren Erfahrung als GCP Data Engineer spezialisiere ich mich auf:
Aufbau von ETL/ELT-Pipelines für Datenaufnahme und -transformation
Entwicklung von Data Warehouses in BigQuery mit Partitionierung & Clustering
Automatisierung von Workflows mit Apache Airflow / Cloud Composer
Implementierung von Datenqualitätsprüfungen & Validierungsskripten mit Python und SQL
Migration von Daten aus Quellen wie Salesforce, Oracle, Hive, MySQL in BigQuery
Ob du eine einfache ETL-Pipeline oder eine komplette End-to-End-Datenengineering-Lösung brauchst, ich liefere skalierbare, optimierte und zuverlässige Workflows, die auf deine Geschäftsbedürfnisse zugeschnitten sind.
Mein Portfolio
FAQ
Automatische Übersetzung
F1: Welche Informationen benötigen Sie von mir, um loszulegen?
Ich benötige Zugriff auf deine Datenquelle (Datenbank, API oder Dateien), Zielinformationen (z.B. BigQuery-Dataset) und alle spezifischen Transformations- oder Geschäftslogiken, die angewendet werden sollen.
Q2: Kannst du mit mehreren Datenquellen arbeiten?
Ja, ich kann Daten aus verschiedenen Quellen wie Salesforce, Oracle, Hive, MySQL, APIs und Google Cloud Storage in BigQuery oder andere Ziele integrieren.
Q3: Richten Sie auch Zeitplanung und Automatisierung ein?
Ja, ich nutze Apache Airflow / Cloud Composer, um Workflows zu planen und zu automatisieren, damit deine Pipelines zuverlässig ohne manuelles Eingreifen laufen.
Q4: Kannst du die Qualität der Daten validieren und sicherstellen?
Absolut. Ich füge Datenqualitätsprüfungen wie Zeilenzählung, Schema-Konsistenz und benutzerdefinierte Python/SQL-Tests ein, um eine genaue Datenaufnahme zu gewährleisten.
Q5: Was, wenn ich nach der Lieferung zukünftige Änderungen oder Support brauche?
Ich biete Überarbeitungen im Rahmen jedes Pakets an und stehe auch für langfristigen Support durch Fiverrs laufende Projekte oder individuelle Angebote zur Verfügung.
