Ich erstelle Python-Datenvalidierung und Qualitätschecks für deine ETL-Pipeline

Einige Informationen wurden automatisch übersetzt.

Taiwan

Ich spreche Chinesisch, Englisch

AI-Sprachklonen in Mandarin, Automatisierung und Datenpipelines

Softwareingenieur & Datenpipelines-Entwickler aus Taiwan. Ich betreibe ein Einzelstudio (SonarCue), das sich auf AI-Sprachklonen mit natürlichem Mandarin/Chinesisch-Ausgabe spezialisiert hat, plus Aut...
Über diesen Service

Stopp stille Datenfehler: automatisierte Python- und pytest-Checks, die die Fehler aufdecken, die deine Logs als "Erfolg" bezeichnen.


Pipeline stürzen selten ab, sie liefern still falsche Daten zurück, wie eine API, die eine leere Liste zurückgibt, während die Logs Erfolg anzeigen. Ich baue die Checks, die diese Muster erkennen.


WAS DU BEKOMMST

- Einen Bericht mit Erkenntnissen zu Problemen im Umfang, inklusive Beweisen und Reproduktionsschritten

- Individuelle Checks in Python (Pandas + pytest), vollständiger Quellcode, den du behalten kannst

- Premium: ein GitHub Actions Workflow für ein Repository plus ein Fehler-Runbook


CHECKS DECKEN ab: Aktualität, Vollständigkeit, Schemaabweichungen, Konsistenz zwischen Quellen, Genauigkeit im Fehlerzustand.


UMFANG

- 1 Datenquelle = 1 CSV/JSON-Datei, 1 Tabelle oder Ansicht, oder 1 API-Endpunkt mit einem Schema. Überprüfe, ob die Zählungen die Gesamtsummen pro Auftrag sind.

- Revisionen: eine Runde mit den ursprünglich vereinbarten Daten. Neue Quellen oder Regeln: Ein individuelles Angebot.


Basierend auf 32 dokumentierten echten Fehlern, die ich bei meinen eigenen Datensystemen auf GitHub getestet habe; ein Beispielbericht mit Erkenntnissen ist in der Galerie.


KEINE ANRUFEN, alles schriftlich auf Fiverr. Für Basic/Standard keine DB-Zugangsdaten: sende eine Datenprobe oder eine öffentliche Endpunkt-URL.


Ein Software-Engineering-Service, bei dem ich keine Empfehlungen gebe, was deine Daten für dein Business bedeuten.

Sprache:

Chinesisch (Vereinfacht)

Englisch

Technische Expertise:

Andere

Expertise:

Datenpipelines

Datenverwaltung

Industrie:

Datenanalyse

Finanzdienstleistungen