Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich baue automatisierte Python-ETL-Pipelines aus REST-APIs in BigQuery
Python-Dateningenieur für BigQuery-ETL-Pipelines und API-Integrationen
Ich baue automatisierte Datenpipelines, die manuelle Exporte und Tabellenberichtsprozesse ersetzen. Ich bin ein Python-Dateningenieur mit mehr als 3 Jahren Produktionserfahrung und bewege Daten aus AP...
Über diesen Service
Steckt deine Daten in APIs, Datenbanken und Tabellen fest, die jemand jede Woche von Hand exportiert? Ich ersetze das durch eine automatisierte Python-Pipeline, die sie zuverlässig in BigQuery lädt.
Ich bin Python-Dateningenieur mit über 3 Jahren Erfahrung. In meiner aktuellen Rolle baue und betreibe ich Produktions-Pipelines, die Daten aus mehreren Plattform-APIs in ein BigQuery-Warehouse ziehen.
Was ich baue
- Python-ETL von REST-APIs, PostgreSQL/MySQL, CSV/Excel oder Google Sheets in BigQuery
- Inkrementelle Ladevorgänge mit schlüsselbasierten Zusammenführungen, um Duplikate bei erneutem Ausführen zu vermeiden
- Wiederholversuche, Ratenbegrenzung, Logging und Datenvalidierung
- Geplant mit Cloud Scheduler und Cloud Run oder Cron auf deinem Server, verpackt in Docker
- Saubere SQL-Reporting-Tabellen für Looker Studio oder jedes BI-Tool
Wie es funktioniert
- Du teilst API-Dokumentationen oder Beispieldaten und gewährst Zugriff über dein eigenes Service-Konto
- Ich bestätige Felder, Zeitplan und Verpackung, bevor es losgeht
- Du erhältst den Code, eine Setup-Anleitung und eine Pipeline, die in deinem Projekt läuft
Nicht enthalten: bezahlte Connector-Lizenzen, API-Zugriff, den du nicht hast, oder laufende Überwachung (siehe Extras).
Schreib mir mit deiner Quelle und deinem Ziel, und ich empfehle das passende Paket.
Zielplattform:
Google BigQuery
•
PostgreSQL
•
mySQL
Tools und Plattformen:
Andere
FAQ
Automatische Übersetzung
Was brauchst du von mir, um anzufangen?
API-Dokumentationen oder Beispieldateien, die Felder, die du brauchst, und dein BigQuery-Projekt. Bitte gewähre Zugriff über ein Service-Konto oder OAuth in deinem eigenen Konto mit den minimal notwendigen Berechtigungen. Sende mir niemals dein Hauptkonto-Passwort.
Kannst du mit anderen Datenbanken arbeiten außer BigQuery?
Ja. Ich lade auch Daten in PostgreSQL und MySQL hoch und habe Oracle-PL/SQL-Migrationen nach PostgreSQL mit Python automatisiert.
Wird die Pipeline nach der Lieferung weiterlaufen?
Standard- und Premium-Pipelines sind terminiert, sicher erneut auszuführen und protokollieren jeden Lauf; Premium sendet außerdem Fehlerbenachrichtigungen. Ändert sich die Quelle-API später, bekommst du Updates über das 30-Tage-Support-Extra oder ein individuelles Angebot.
Welche Datenquellen kannst du verbinden?
Jede REST- oder GraphQL-API mit Dokumentation und Zugangsdaten, PostgreSQL, MySQL, CSV/Excel, Google Sheets und Cloud Storage. Falls deine Quelle keine offizielle API hat, schreib mir zuerst, dann kläre ich, ob es machbar ist.
Brauche ich ein eigenes Google Cloud-Konto?
Ja. Die Pipeline läuft in deinem GCP-Projekt, du besitzt also den Code, die Daten und die Abrechnung. Ich führe dich durch jedes notwendige Setup.
Wie viel wird BigQuery mich kosten?
Es hängt von der Datenmenge, dem Speicher, den Abfragen und der Aktualisierungsfrequenz ab. Ich teile Tabellen in Partitionen und cluster sie, und entwerfe Abfragen so, dass die Kosten im Griff bleiben. Die Abrechnung erfolgt in deinem eigenen Google-Cloud-Konto.
Wie oft kann die Datenaktualisierung erfolgen?
Stündlich, täglich oder nach einem benutzerdefinierten Plan, begrenzt durch die Rate-Limits deiner Source-API. Echtzeit-Streaming ist ein individuelles Angebot.
Wie viel historische Daten kannst du laden?
So viel, wie die Source-API zulässt. Premium beinhaltet eine 12-monatige Rückfüllung, und der Extra „Historical backfill“ fügt bis zu weiteren 24 Monaten hinzu.
