Ich baue eine solide Solidgate-API zu BigQuery-Pipeline mit historischem Backfill

Einige Informationen wurden automatisch übersetzt.

Ukraine

Ich spreche Ukrainisch, Englisch

Cloud-Dateningenieur, BigQuery, Snowflake, dbt, Python, ETL

Senior Data Engineer, der sich auf skalierbare Cloud-Datenplattformen und produktionsreife ETL/ELT-Pipelines spezialisiert hat. Ich unterstütze Unternehmen beim Aufbau zuverlässiger Datenlösungen mit...
Über diesen Service

Deine Bezahl-, Abrechnungs- oder E-Commerce-Daten leben in einer API, und jeder Bericht beginnt mit einem CSV-Export?

Ich baue produktionsbereite Pipelines, die Daten aus REST-APIs (Soligate, Stripe, Shopify, Zahlungs-Gateways, CRMs, benutzerdefinierte APIs) in Google BigQuery laden, inklusive vollständigem historischen Backfill.

Neues Projekt: eine serverlose Ingestions-Plattform für die API eines Zahlungsanbieters. 6 Endpunkte, mehr als 12 Monate History backgefüllt, rohes JSON in Cloud Storage, mit CI/CD deployed.

Was du bekommst:

  • Inkrementelle Loads: keine Duplikate, sichere erneute Ausführung
  • Historischer Backfill mit Pagination und Rate-Limit-Handling
  • Unveränderte Rohschicht, damit Tabellen jederzeit neu aufgebaut werden können
  • Saubere, typisierte Tabellen bereit für Looker Studio oder Power BI
  • Monitoring und Fehlermeldungen
  • Code in deinem Repo + Setup-Dokumentation

Stack: Python, BigQuery, Cloud Run/Funktionen oder AWS Lambda, Airflow, dbt.

Mehr als 15 Jahre Erfahrung in Data Engineering und ERP-Integrationen.

Sende mir eine Nachricht mit deiner Source-API und worüber du berichten möchtest. Ich antworte mit einem festen Angebot.

Zielplattform:

Snowflake

•

Google BigQuery

•

PostgreSQL

•

mySQL

Tools und Plattformen:

Airbyte

•

AWS Glue DataBrew

Mein Portfolio

Meine weiteren Dienstleistungen im Bereich Datentechnik