Inleiding
Linux Foundation Delta Lake is een opensource-opslaglaag voor Spark waarmee relationele databasemogelijkheden voor batch- en streaminggegevens mogelijk zijn. Met behulp van Delta Lake kunt u een data lakehouse-architectuur in Spark implementeren ter ondersteuning van SQL_based semantiek voor gegevensmanipulatie met ondersteuning voor transacties en schema-afdwinging. Het resultaat is een analytische gegevensopslag die veel voordelen biedt van een relationeel databasesysteem met de flexibiliteit van de opslag van gegevensbestanden in een data lake.
In deze module wordt het volgende behandeld:
- Beschrijf de belangrijkste functies en mogelijkheden van Delta Lake.
- Delta Lake-tabellen maken en gebruiken in een Synapse Analytics Spark-pool.
- Spark-catalogustabellen maken voor Delta Lake-gegevens.
- Delta Lake-tabellen gebruiken voor het streamen van gegevens.
- Query's uitvoeren op Delta Lake-tabellen uit een Synapse Analytics SQL-pool.
Notitie
De versie van Delta Lake die beschikbaar is in een Azure Synapse Analytics-pool, is afhankelijk van de versie van Spark die is opgegeven in de poolconfiguratie. De informatie in deze module weerspiegelt Delta Lake versie 1.0, die is geïnstalleerd met Spark 3.1.