Ich baue Datenvalidierung und Qualitätschecks mit pyspark, snowflake und aws auf

Einige Informationen wurden automatisch übersetzt.

Indien

Ich spreche Englisch

26 Aufträge abgeschlossen

Data Engineering, Data Analytics, Webentwicklung, Automatisierung, KI-Entwicklung

Ich habe 11 Jahre umfassende Erfahrung in Data Analytical Programming, Automatisierung, Data Quality Framework, REST APIs, Data Warehousing, Cloud Engineering und Webentwicklung. Ich bin versiert in ...

Level 1

Hat bestimmte Leistungskriterien erfüllt und zeigt großes Potenzial auf dem Marktplatz.

Über diesen Service

Schlechte Daten führen zu schlechten Entscheidungen. Ich helfe dir dabei, Datenprobleme zu erkennen, zu validieren und zu beheben, indem ich skalierbare, produktionsreife Datenvalidierungs-Frameworks mit modernen Data-Engineering-Tools aufbaue.

Was ich tun werde

  • Datenvalidierung & Qualitätsprüfungen
  • Abgleich von Quell- und Zieldaten
  • Zeilenzahl-, Schema- & Datentyp-Validierung
  • Null-, Duplikat- & Anomalie-Checks
  • Validierung von Geschäftsregeln
  • Automatisierte Validierungs-Pipelines
  • Detaillierte Validierungsberichte & Logs

Tech Stack

  • PySpark für groß angelegte Datenvalidierung
  • Python für benutzerdefinierte Regeln & Automatisierung
  • Snowflake für Validierung auf Warehouse-Ebene
  • SQL für Abgleich & analytische Checks
  • AWS S3, Glue, EC2, Lambda, CloudWatch, Redshift, RDS, Secrets Manager

Expertise:

Automatisierungen

Big Data

etl

Normalisierung

SQL

NoSQL

Technologie:

Amazon Redshift

Apache Cassandra

Python

SQL

Snowflake

Meine weiteren Dienstleistungen im Bereich Datentechnik