Ich werde das Thema Data Engineering pyspark, sql, Data Warehouse unterrichten

Möchtest du die neuesten Tools und Techniken für Datenverarbeitung, Management und Architektur lernen? In diesem umfassenden Kurs zeige ich dir alles, was du über Batch/Streaming ETL-Jobs in der Cloud wissen musst, mit besonderem Fokus auf AWS und Data bricks. Wir tauchen tief in die Datenverarbeitung mit PySpark ein, einem beliebten Open-Source-Framework für Datenverarbeitung in der Cloud. Außerdem lernst du, wie man Datenpipelines mit Lake House Architecture baut und eine ELT-Datenpipeline mit DBT (Data Build Tool) erstellt.

Aber das ist noch nicht alles! Ich zeige dir auch, wie du Datenqualität mit Pydeeque, Great Expectation, verbessern kannst – leistungsstarke Tools zur Datenvalidierung. Datenmodellierung ist ebenfalls ein wichtiger Schwerpunkt, insbesondere Dimension Modelling, das entscheidend für den Aufbau robuster Datenarchitekturen ist. Wir behandeln auch Data Warehousing auf beliebten Cloud-Plattformen wie Snowflake, Big Query und RedShift.

Zusätzlich lernst du, wie man Orchestrierung mit Apache Airflow, AWS Step Function durchführt und Datenpipelines mit AWS Athena, AWS Kinesis, AWS Glue Catalog und AWS DMS baut. Außerdem behandeln wir Data Lake mit AWS S3.