Úvod
Linux Foundation Delta Lake je opensourcová vrstva úložiště pro Spark, která umožňuje možnosti relační databáze pro dávková a streamovaná data. Pomocí Delta Lake můžete ve Sparku implementovat architekturu datového jezerahouse , která podporuje sémantiku manipulace s daty SQL_based s podporou transakcí a vynucení schématu. Výsledkem je analytické úložiště dat, které nabízí řadu výhod relačního databázového systému s flexibilitou úložiště datových souborů v datovém jezeře.
V tomto modulu:
- Popis základních funkcí a možností Delta Lake
- Vytváření a používání tabulek Delta Lake ve fondu Synapse Analytics Spark
- Vytvořte tabulky katalogu Spark pro data Delta Lake.
- K streamování dat použijte tabulky Delta Lake.
- Dotazování tabulek Delta Lake z fondu SQL Synapse Analytics
Poznámka:
Verze Delta Lake dostupná ve fondu Azure Synapse Analytics závisí na verzi Sparku zadané v konfiguraci fondu. Informace v tomto modulu odrážejí Delta Lake verze 1.0, která je nainstalovaná se Sparkem 3.1.