Ich richte deine Snowflake- und dbt-Datenplattform ein oder auditierte sie
Senior Data- und AI-Engineer, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse
Level 2
Hat hohe Leistungskriterien erfüllt und verfügt über eine nachgewiesene Erfolgsbilanz bei der Erfüllung von Kundenerwartungen.
Über diesen Service
Ein Snowflake-Warehouse, das planlos gewachsen ist, wird langsam, teuer und schwer zu vertrauen. Ich richte es ordnungsgemäß ein oder auditieren das vorhandene.
Setup:
- Datenbanken, Warehouses, Rollen und Grants werden in Terraform verwaltet
- dbt-Projekt mit Staging-, Intermediate- und Mart-Schichten, Tests und Dokumentation
- CI/CD mit GitHub Actions: dbt-Runs und Tests bei jedem Pull Request
- Ingestion mit Dagster, Airflow, Meltano oder Fivetran
Audit:
- Warehouse-Größe, Auto-Suspend und die Abfragen, die Credits verbrauchen
- Modellstruktur, Tests, inkrementelle Modelle und Benennung
- Zugriff, Maskierung und wer persönliche Daten sehen darf
- Ein schriftlicher Bericht mit Korrekturen, sortiert nach Impact
Erfolgsgeschichte: Ich habe eine Snowflake-Plattform für ein US-Liefertech-Unicorn geführt (Dagster auf Kubernetes, log-basierte CDC von Postgres) und die Snowflake-Ebene einer Produktions-LLM-Matching-Plattform besessen, einschließlich plattformübergreifendem Zugriff und dynamischer Datenmaskierung.
Warehouse-Plattform:
Snowflake
•
BigQuery
•
ClickHouse
Projektart:
New Build
