Co jsou tabulky a zobrazení?
Tabulky a zobrazení jsou základními koncepty v Databricks pro uspořádání a přístup k datům.
Tabulka je strukturovaná datová sada uložená v určitém umístění, obvykle ve formátu Delta Lake. Tabulky ukládají skutečná data do úložiště a dají se dotazovat a manipulovat pomocí příkazů SQL nebo rozhraní API datového rámce, podpůrných operací, jako jsou vložení, aktualizace, odstranění a sloučení. Podívejte se na Co je tabulka?.
Zobrazení je virtuální tabulka definovaná SQL dotazem. Zobrazení sama o sobě neukládá data. Místo toho zobrazení poskytuje způsob, jak prezentovat data z jedné nebo více tabulek v určitém formátu nebo abstrakci. Zobrazení jsou užitečná pro zjednodušení složitých dotazů, zapouzdření obchodní logiky a zajištění konzistentního rozhraní pro podkladová data bez duplikování úložiště. Podívejte se , co je zobrazení?.
Tabulky a zobrazení v katalogu Unity
Tabulky a zobrazení se řídí pomocí katalogu Unity. V katalogu Unity se tabulky a zobrazení nacházejí na třetí úrovni oboru názvů se třemi úrovněmi (catalog.schema.table), jak je znázorněno v následujícím diagramu.
Rozdíly mezi tabulkami Delta, streamovanými tabulkami a materializovanými zobrazeními
Následující tabulka odpovídá na nejčastější dotazy týkající se rozdílů mezi tabulkami Delta, streamovanými tabulkami a materializovanými zobrazeními.
Otázka | Tabulka Delta | ST | MV |
---|---|---|---|
Co je to? | Standardní tabulky uložené ve formátu Delta Lake, které podporují transakce ACID, vynucení schématu a další funkce Delta Lake. | Běžná tabulka Delta, která byla rozšířena pro případy použití streamování a přírůstkového zpracování. | Výsledek dotazu, jehož výsledek je vždy předem vypočítaný a správný. |
Pro jaké případy použití se doporučuje? | Procedurální kód, který dělá toto: -Polknutí -Transformace |
Deklarativní kód, který provede následující: - Příjem dat ze zdrojů jen pro připojení – Transformace s nízkou latencí |
Deklarativní kód, který provede následující: - Přírůstkové transformace – Dávkové transformace |
Jak se naplní? | Procedurální kód (INSERT , UPDATE , MERGE , přepsání oddílu pomocí replaceWhere ) |
Deklarativní kód, včetně: - Připojení datových proudů - POUŽÍT STREAMY ZMĚN - Po tocích |
Deklarativní dotazy |
Jaký je typ objektu v katalogu Unity? | Stůl | Stůl | Zobrazení |
Kdo ho může aktualizovat? | Každý autor, který umí aktualizovat tabulku Delta. | Aktualizovat ji může pouze pipeline, která definuje streamovací tabulku. | Aktualizovat ho může pouze kanál, který definuje materializované zobrazení. |
Jaké funkce Delta Lake jsou kompatibilní? | Podporuje všechny funkce Delta Lake. | Nepodporuje: - Dělení kapalinou - Prediktivní optimalizace |
Nepodporuje: - Dělení kapalinou - Prediktivní optimalizace |