Ich richte deine Snowflake- und dbt-Datenplattform ein oder auditierte sie

Einige Informationen wurden automatisch übersetzt.

Pakistan

Ich spreche Englisch

181 Aufträge abgeschlossen

Senior Data- und AI-Engineer, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Ich baue Datenplattformen und LLM-Pipelines, die produktiv laufen. Seit 10 Jahren in Software- und Data-Engineering, seit 2016. Data Engineer II bei Careem (Uber), wo unser DataOps-Team über 500 Stre...

Level 2

Hat hohe Leistungskriterien erfüllt und verfügt über eine nachgewiesene Erfolgsbilanz bei der Erfüllung von Kundenerwartungen.

Über diesen Service

Ein Snowflake-Warehouse, das planlos gewachsen ist, wird langsam, teuer und schwer zu vertrauen. Ich richte es ordnungsgemäß ein oder auditieren das vorhandene.


Setup:

  • Datenbanken, Warehouses, Rollen und Grants werden in Terraform verwaltet
  • dbt-Projekt mit Staging-, Intermediate- und Mart-Schichten, Tests und Dokumentation
  • CI/CD mit GitHub Actions: dbt-Runs und Tests bei jedem Pull Request
  • Ingestion mit Dagster, Airflow, Meltano oder Fivetran

Audit:

  • Warehouse-Größe, Auto-Suspend und die Abfragen, die Credits verbrauchen
  • Modellstruktur, Tests, inkrementelle Modelle und Benennung
  • Zugriff, Maskierung und wer persönliche Daten sehen darf
  • Ein schriftlicher Bericht mit Korrekturen, sortiert nach Impact

Erfolgsgeschichte: Ich habe eine Snowflake-Plattform für ein US-Liefertech-Unicorn geführt (Dagster auf Kubernetes, log-basierte CDC von Postgres) und die Snowflake-Ebene einer Produktions-LLM-Matching-Plattform besessen, einschließlich plattformübergreifendem Zugriff und dynamischer Datenmaskierung.

Warehouse-Plattform:

Snowflake

•

BigQuery

•

ClickHouse

Projektart:

New Build

Mein Portfolio

Meine weiteren Dienstleistungen im Bereich Datentechnik