Ich werde einen modernen Datenstapel einrichten, der DBT, Metabase, Postgresql und Airbyte nutzt

Stellen Sie sich folgende Situationen vor:

• Ein ausgereiftes Unternehmen mit wenig bis gar keiner digitalen Infrastruktur zur automatischen Konsolidierung und Transformation von Daten und ohne Fachwissen für die Implementierung oder den Betrieb einer solchen
• Ein Start-up, das aus seinen vorhandenen Daten Kapital schlagen möchte, aber kaum oder gar kein Budget für kommerzielle Lösungen hat
• Ein regnerischer Tag, an dem es wenig oder gar nichts zu tun gibt, außer zu lernen, wie man einen eigenständigen Datenstapel aufbaut

Ich schlage vor, mehrere Lösungen zu nutzen, die weiterhin Open Source sind und in Kombination einen Datenstapel erstellen können, der minimale Anforderungen erfüllt:

• Aufgabenorchestrierung – Airflow
• Datenintegration – Airbyte
• Data Warehousing – PostgreSQL
• Datentransformation - DBT

Kann lokal oder remote gestartet werden, sofern die Instanz die folgenden Anforderungen erfüllt:

Kerne: 2

RAM: 4 GB (empfohlener Mindest-RAM für die neueste Version von Airflow)

Speicher: mindestens 12 GB (ohne Berücksichtigung heruntergeladener Daten mit Airbyte)

Docker (https://docs.docker.com/engine/install/ubuntu/) und Docker Compose (https://docs.docker.com/compose/install/) installiert

Python: (ausgenommen 3.9, aus Kompatibilitätsgründen mit DBT)

Ubuntu: >=18.04

Der Rest des Installationsprozesses erfolgt entweder auf einem lokalen Terminal/Webserver