Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde einen PostgreSQL Iceberg-Katalog mit Spark und Trino einrichten
DOTNET, C sharp, ETL Pipelines
Über 4 Jahre Erfahrung im Bereich Fintech mit .NET / C# (insgesamt über 6 Jahre). Ich entwickle und pflege geschäftskritische Systeme für die Infrastruktur im Investmentbanking.
Ich kann dir folgende...
Über diesen Service
Ich richte einen vollständig Dockerisierten Iceberg-Katalog ein, der auf PostgreSQL mit der JDBC-Schnittstelle basiert und bereit ist, sich mit Apache Spark und Trino zu verbinden. Dieses leichte, aber leistungsstarke Setup ist perfekt, um Prototypen für echte Lakehouse-Umgebungen zu bauen, ohne auf Hive oder Nessie angewiesen zu sein.
Du bekommst (je nach gewähltem Paket):
- Docker Compose-Setup mit PostgreSQL und Apache Iceberg
- JDBC-Katalogintegration für Spark und Trino
- Optionale Ingestion- und PySpark-Unterstützung (Premium-Stufe)
- Muster-Iceberg-Tabelle und Cross-Engine-Abfragebeispiele
- Modulare Struktur mit vollständiger Dokumentation
Du kannst das verwenden für:
- Leichtgewichtige lokale oder Cloud-basierte Iceberg-Entwicklung
- Gemeinsame Nutzung eines Metadatenkatalogs zwischen Spark und Trino
- Prototyping von JDBC-kompatiblen Lakehouse-Setups
- Lehren oder Demo des Katalogverhaltens ohne Hive
- Vereinfachung der Metadaten-Workflows für Data Engineers
Alles ist modular, minimal und entwicklerfreundlich.
Bitte beachten:
- Lieferumfang hängt vom gewählten Paket ab
- Individuelle Angebote sind möglich – schreib mir einfach!
- Enthalten sind 2 Nachfassnachrichten zur Klärung nach der Lieferung
- Du bist verantwortlich für Tests und Betrieb in deiner eigenen Umgebung
Mein Portfolio
FAQ
Automatische Übersetzung
Brauche ich Hive Metastore für dieses Setup?
Nein, dieses Setup nutzt PostgreSQL als Katalog-Backend via JDBC. Hive ist überhaupt nicht erforderlich.
Kann ich die gleichen Iceberg-Tabellen sowohl von Spark als auch von Trino abfragen?
Ja, der JDBC-Katalog ermöglicht es Spark und Trino, eine gemeinsame Metadaten-Datenbank zu teilen, die auf PostgreSQL basiert.
Kann ich das in der Cloud oder nur lokal verwenden?
Beides ist möglich. Es ist vollständig Dockerisiert, funktioniert lokal und kann auf jede VM oder Cloud-Instanz deployed werden.
