Współdziałanie formatu tabeli Delta Lake
W usłudze Microsoft Fabric format tabeli usługi Delta Lake jest standardem analizy. Delta Lake to otwartoźródłowa warstwa magazynowania, która zapewnia transakcje ACID (niepodzielność, spójność, izolacja, trwałość) dla obciążeń związanych z dużymi zbiorami danych i analityką.
Wszystkie doświadczenia Fabric tworzą i wykorzystują tabele Delta Lake, co napędza interoperacyjność i zintegrowane doświadczenie produktu. Tabele Delta Lake utworzone przez jeden silnik obliczeniowy, taki jak Fabric Data Warehouse lub Synapse Spark, mogą być używane przez dowolny inny silnik, taki jak Power BI. Podczas wprowadzania danych do Fabric są one domyślnie przechowywane jako tabele Delta. Możesz łatwo zintegrować dane zewnętrzne zawierające tabele usługi Delta Lake przy użyciu skrótów OneLake.
Funkcje Delta Lake i doświadczenia z Fabric
Aby osiągnąć interoperacyjność, wszystkie środowiska Fabric są zgodne z funkcjami Delta Lake i możliwościami Fabric. Niektóre środowiska mogą zapisywać tylko w tabelach usługi Delta Lake, podczas gdy inne mogą je odczytywać.
- pisarze: magazyny danych, strumienie zdarzeń i wyeksportowane modele semantyczne usługi Power BI do OneLake
- Czytelnicy: punkt końcowy analizy SQL i modele semantyczne usługi Power BI direct lake
- autorzy i czytelnicy: środowisko uruchomieniowe Fabric Spark, przepływy danych, potoki danych i bazy danych Kusto Query Language (KQL)
Poniższa macierz przedstawia kluczowe funkcje Delta Lake i ich obsługę w każdej możliwości platformy.
| Możliwości sieci szkieletowej | Mapowania kolumn na podstawie nazw | Wektory usuwania | Zapisywanie w kolejności V | Optymalizacja i konserwacja tabel | Zapisywanie partycji | Odczyt partycji | Klasteryzacja cieczy | TIMESTAMP_NTZ | Wersja czytnika/zapisu Delta i domyślne funkcje tabeli |
|---|---|---|---|---|---|---|---|---|---|
| Eksport z magazynu danych Delta Lake | Nie | Tak | Tak | Tak | Nie | Tak | Nie | Nie | Czytelnik: 3 Pisarz: 7 Wektory usuwania |
| Punkt końcowy analizy SQL | Tak | Tak | Nie dotyczy | Nie dotyczy | Nie dotyczy | Tak | Tak | Nie | Nie dotyczy |
| Fabric Spark Runtime 1.3 | Tak | Tak | Tak | Tak | Tak | Tak | Tak | Tak | Czytelnik: 1 Autor: 2 |
| Fabric Spark Runtime 1.2 | Tak | Tak | Tak | Tak | Tak | Tak | Tak, tylko do odczytu | Tak | Czytelnik: 1 Pisarz: 2 |
| Fabric Spark Runtime 1.1 | Tak | Nie | Tak | Tak | Tak | Tak | Tak, tylko do odczytu | Nie | Czytelnik: 1 Pisarz: 2 |
| Przepływy danych | Tak | Tak | Tak | Nie | Tak | Tak | Tak, tylko do odczytu | Nie | Czytelnik: 1 Pisarz: 2 |
| Potoki danych | Nie | Nie | Tak | Nie | Tak, nadpisz tylko | Tak | Tak, tylko do odczytu | Nie | Czytelnik: 1 Pisarz: 2 |
| Modele semantyczne usługi Power BI direct lake | Tak | Tak | Nie dotyczy | Nie dotyczy | Nie dotyczy | Tak | Tak | Nie | Nie dotyczy |
| Eksportowanie modeli semantycznych usługi Power BI do usługi OneLake | Tak | Nie dotyczy | Tak | Nie | Tak | Nie dotyczy | Nie | Nie | Czytelnik: 2 Pisarz: 5 |
| Bazy danych KQL | Tak | Tak | Nie | Brak* | Tak | Tak | Nie | Nie | Czytelnik: 1 Autor: 1 |
| Strumienie zdarzeń | Nie | Nie | Nie | Nie | Tak | Nie dotyczy | Nie | Nie | Czytelnik: 1 Pisarz: 2 |
* bazy danych KQL zapewniają pewne możliwości konserwacji tabel, takie jak przechowywanie . Dane są usuwane na końcu okresu przechowywania z usługi OneLake. Aby uzyskać więcej informacji, zobacz One Logical copy.
Notatka
- Fabric domyślnie nie zapisuje mapowań kolumn opartych na nazwach. Domyślne środowisko Fabric generuje tabele kompatybilne w całej usłudze. Usługa Delta Lake, utworzona przez usługi innych firm, może mieć niezgodne funkcje tabeli.
- Niektóre środowiska Fabric nie mają wbudowanych możliwości optymalizacji i konserwacji tabel, takich jak bin-compaction, V-order i usuwanie starych niepowiązanych plików. Aby utrzymać tabele Delta Lake w optymalnym stanie do analizy, zastosuj techniki opisane w Użyj funkcji konserwacji tabel do zarządzania tabelami Delta w Fabric dla tabel pozyskanych przy użyciu tych metod.
Bieżące ograniczenia
Obecnie usługa Fabric nie obsługuje tych funkcji usługi Delta Lake:
- Delta Lake 3.x Uniform
- Pisanie kolumn tożsamości (zastrzeżona funkcja usługi Databricks)
- Delta Live Tables (zastrzeżona funkcjonalność platformy Databricks)
- Funkcja RLE (kodowanie długości przebiegu) włączona w pliku punktu kontrolnego
Powiązana zawartość
- Co to jest usługa Delta Lake?
- Dowiedz się więcej o tabelach Delta Lake w Fabric Lakehouse i Synapse Spark.
- Dowiedz się więcej o usłudze Direct Lake w usługach Power BI i Microsoft Fabric.
- Dowiedz się więcej o wykonywania zapytań dotyczących tabel z magazynu za pośrednictwem opublikowanych dzienników usługi Delta Lake.