Ich werde robuste ETL-Pipelines und Daten-Workflows in Python und SQL aufbauen
Dateningenieur
Über diesen Service
Langsame manuelle Datenaufgaben bremsen dein Business aus, oder brauchst du eine zuverlässige Pipeline, um Daten zwischen Datenbanken, APIs und Cloud-Speichern zu verschieben und zu transformieren?
Ich erstelle produktionsreife, automatisierte ETL/ELT-Datenpipelines, maßgeschneiderte Web-Scraping-/Ingestionsskripte und Datenbank-Workflows, die auf Zuverlässigkeit, Geschwindigkeit und Wartbarkeit ausgelegt sind.
Hauptleistungen:
Maßgeschneiderte ETL/ELT-Pipelines: Automatisierte Extraktion, Transformation und Laden über APIs, Datenbanken, Flat Files (CSV/JSON/Parquet) und Cloud-Speicher.
Datenintegration & API-Ingestion: Anbindung von Drittanbieter-APIs (REST/GraphQL), Webhooks und SaaS-Tools an zentrale Data Warehouses oder relationale Datenbanken.
Datenbankdesign & SQL-Optimierung: Schema-Modellierung, Tabellenindexierung, Abfrageoptimierung und automatisierte Migrationen (PostgreSQL, MySQL, SQLite, Snowflake, BigQuery).
Workflow-Automatisierung & Orchestrierung: Planung und Überwachung von Workflows mit Python-Skripten, Cron-Jobs oder Apache Airflow DAGs.
Datenbereinigung & Vorverarbeitung: Umgang mit fehlenden Werten, Schema-Überprüfung, Duplikatentfernung und strukturierte Formatierung mit Pandas/NumPy.
Datenextraktion & Web-Scraping: Saubere, strukturierte Datenerfassung
