Ich erstelle BigQuery-Datenpipelines mit Airflow auf Google Cloud

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Englisch, Urdu

3 Aufträge abgeschlossen

Dateningenieur für BigQuery, Airflow und KI-Agenten-Tools

Ich bin Dateningenieur und baue Produktionspipelines auf Google Cloud. Ich betreibe 12 Airflow-DAGs auf Cloud Composer, die täglich Daten aus 9+ Marketing- und CRM-Plattformen in BigQuery ingestieren,...
Über diesen Service

Benötigst du zuverlässige, automatisierte Datenpipelines auf Google Cloud? Ich entwerfe und implementiere Produktions-ETL/ELT-Pipelines, die deine Daten geplant in BigQuery laden – ganz ohne manuellen Aufwand.


Was du bekommst:

  • Apache Airflow DAGs auf Cloud Composer
  • Python Cloud Functions (Gen2) zur API-Extraktion
  • Strikte BigQuery-Schema-By-Definition und Datenvalidierung
  • Credentials sicher in Secret Manager gespeichert
  • Wiederholungslogik und klares Fehlermanagement
  • Optionale CI/CD, das nur geänderte DAGs deployed
  • Dokumentation, damit dein Team das Eigentum übernimmt


Warum ich: Ich betreibe derzeit Production Airflow mit 12 DAGs, die aus mehr als 9 Plattformen über ein wiederverwendbares Pipeline-Muster eingelesen werden – du bekommst also eine bewährte Struktur, kein Experiment.

Schick mir deine Datenquellen und das Ziel, bevor du bestellst, und ich bestätige Umfang und Passung.

Zielplattform:

Google BigQuery

Tools und Plattformen:

Google Cloud Dataflow