Ich baue eine automatisierte ETL-Pipeline mit Python und SQL
Über diesen Service
Hast du Rohdaten in CSV, Excel, API oder Datenbank, die wiederholte manuelle Verarbeitung erfordern?
Ich erstelle einen zuverlässigen ETL-Workflow mit Python und SQL, um deine Daten zu extrahieren, zu bereinigen, zu transformieren, zu validieren und in eine strukturierte Ausgabe oder SQL-Datenbank zu laden.
Dieser Service kann umfassen:
CSV- und Excel-Datenverarbeitung
PostgreSQL-, MySQL- oder SQLite-Integration
Datenbereinigung, Duplikatentfernung und Formatierung
Umgang mit fehlenden Werten und Business-Rule-Transformationen
Tabellenerstellung und SQL-Import
Wiederverwendbarer Python-Quellcode
Grundlegende Validierung, Fehlerprotokollierung und Dokumentation
Lokale Automatisierung mit Task Scheduler oder cron, wenn möglich
Du erhältst gut organisierten, lesbaren Code und klare Anweisungen zum Ausführen des Workflows.
Bitte kontaktiere mich vor der Bestellung, damit ich deine Datenquellen, Transformationsregeln, erwartete Ausgabe und Paketpassung prüfen kann. Cloud-Plattformen, authentifizierte oder komplexe APIs, sehr große Datensätze und größere Scope-Änderungen erfordern ein individuelles Angebot.
Technologie:
Excel
•
Python
Mein Portfolio
FAQ
Automatische Übersetzung
Welches Paket soll ich wählen?
Das Basic-Paket ist für die Reinigung und Transformation eines CSV- oder Excel-Datensatzes konzipiert. Standard ist geeignet für einen wiederverwendbaren ETL-Workflow, der mit einer SQL-Datenbank verbunden ist. Premium ist für mehrere Quellen, API-Integration, erweiterte Transformationen, Validierung, Protokollierung und Dokumentation gedacht. Kontaktiere mich
Was brauchen Sie vor dem Start?
Bitte stelle Beispiel-Daten, Quell- und Ziel-Formate, Transformationsregeln, erwartete Ausgabe, ungefähre Zeilen- und Spaltenzahl sowie deine bevorzugte Datenbank bereit. Sensible Informationen können während der ersten Überprüfung durch anonymisierte Beispiel-Daten ersetzt werden.
Welche Datenquellen unterstützen Sie?
Ich arbeite hauptsächlich mit CSV, Excel, PostgreSQL, MySQL, SQLite und zugänglichen REST-APIs. Bitte kontaktiere mich zuerst für authentifizierte APIs, ungewöhnliche Dateiformate, Cloud-Dienste oder Altsysteme.
Fügen Sie den Quellcode hinzu?
Ja. Alle Pakete beinhalten den Quellcode für den vereinbarten Umfang. Standard und Premium enthalten außerdem Anweisungen zur Ausführung und einen strukturierten Projektordner.
Was zählt als Überarbeitung?
Eine Revision korrigiert die gelieferte Arbeit, sodass sie den vor der Entwicklung vereinbarten Anforderungen entspricht. Neue Datenquellen, zusätzliche Transformationen, neue Ausgaben, Architekturänderungen oder Anforderungen nach der Bestellung gelten als zusätzlicher Umfang.
Kannst du die Pipeline automatisieren?
Ja, ich kann den Workflow für geplante lokale Ausführung mit Windows Task Scheduler oder cron vorbereiten, wenn die Umgebung es zulässt. Cloud-Deployment, Server, Container oder verwaltete Orchestrierung erfordern ein individuelles Angebot.
Kannst du ein bestehendes ETL-Skript modifizieren oder debuggen?
Ja. Bitte teile den Code, Fehlerdetails, erwartetes Verhalten, Umgebungsinformationen und eine repräsentative Datenprobe, damit ich beurteilen kann, ob es in ein bestehendes Paket passt oder ein individuelles Angebot erforderlich ist.
Wie gehen Sie mit vertraulichen Daten um?
Mit größter Sorgfalt und Verantwortung wird dringend empfohlen, wann immer möglich, anonymisierte oder maskierte Beispieldaten bereitzustellen. Der Zugriff sollte auf die für das Projekt erforderlichen Ressourcen beschränkt sein. Bitte teile Passwörter nicht direkt in Dateien oder Nachrichten; verwende temporäre Anmeldedaten oder eingeschränkten Zugriff.
Arbeitest du mit sehr großen Datensätzen?
Die Größe des Datensatzes allein bestimmt nicht die Komplexität. Kontaktiere mich bitte mit der ungefähren Zeilenanzahl, Dateigröße, Datenquellen, Aktualisierungsfrequenz und erforderlichen Transformationen. Projekte mit großem Volumen oder Performance-Anforderungen benötigen eine individuelle Bewertung.

