Współdziałanie formatu tabeli usługi Delta Lake
W usłudze Microsoft Fabric format tabeli usługi Delta Lake jest standardem analizy. Usługa Delta Lake to warstwa magazynu typu open source, która zapewnia transakcje ACID (niepodzielność, spójność, izolacja, trwałość) do obciążeń danych big data i analiz.
Wszystkie środowiska sieci szkieletowej generują tabele usługi Delta Lake i korzystają z nich, co napędza współdziałanie i ujednolicone środowisko produktu. Tabele usługi Delta Lake utworzone przez jeden aparat obliczeniowy, taki jak Fabric Data Warehouse lub Synapse Spark, mogą być używane przez dowolny inny aparat, taki jak power BI. Podczas pozyskiwania danych do sieci szkieletowej sieć szkieletowa przechowuje je domyślnie jako tabele delty. Możesz łatwo zintegrować dane zewnętrzne zawierające tabele usługi Delta Lake przy użyciu skrótów OneLake.
Funkcje usługi Delta Lake i środowiska sieci szkieletowej
Aby osiągnąć współdziałanie, wszystkie środowiska sieci szkieletowej są zgodne z funkcjami usługi Delta Lake i możliwościami usługi Fabric. Niektóre środowiska mogą zapisywać tylko w tabelach usługi Delta Lake, podczas gdy inne mogą je odczytywać.
- Autorzy: magazyny danych, strumienie zdarzeń i wyeksportowane modele semantyczne usługi Power BI do usługi OneLake
- Czytelnicy: punkt końcowy analizy SQL i modele semantyczne usługi Power BI direct lake
- Autorzy i czytelnicy: środowisko uruchomieniowe platformy Spark sieci szkieletowej, przepływy danych, potoki danych i bazy danych język zapytań Kusto (KQL)
Poniższa macierz przedstawia kluczowe funkcje usługi Delta Lake i ich obsługę w każdej funkcji sieci szkieletowej.
| Możliwości sieci szkieletowej | Mapowania kolumn na podstawie nazw | Wektory usuwania | Zapisywanie w kolejności wirtualnej | Optymalizacja i konserwacja tabel | Zapisywanie partycji | Odczyt partycji | Klastrowanie liquid | TIMESTAMP_NTZ | Funkcja czytnika/składnika zapisywania różnicowego i domyślne funkcje tabeli |
|---|---|---|---|---|---|---|---|---|---|
| Eksportowanie usługi Delta Lake magazynu danych | Nie. | Tak | Tak | Tak | Nie | Tak | Nie. | Nie. | Czytelnik: 3 Pisarz: 7 Wektory usuwania |
| Punkt końcowy analizy SQL | Tak | Tak | Nie dotyczy (nie dotyczy) | Nie dotyczy (nie dotyczy) | Nie dotyczy (nie dotyczy) | Tak | Tak | Nie. | Nie dotyczy (nie dotyczy) |
| Fabric Spark Runtime 1.3 | Tak | Tak | Tak | Tak | Tak | Tak | Tak | Tak | Czytelnik: 1 Zapis: 2 |
| Fabric Spark Runtime 1.2 | Tak | Tak | Tak | Tak | Tak | Tak | Tak, tylko do odczytu | Tak | Czytelnik: 1 Zapis: 2 |
| Fabric Spark Runtime 1.1 | Tak | Nie | Tak | Tak | Tak | Tak | Tak, tylko do odczytu | Nie. | Czytelnik: 1 Zapis: 2 |
| Przepływy danych | Tak | Tak | Tak | Nie | Tak | Tak | Tak, tylko do odczytu | Nie. | Czytelnik: 1 Zapis: 2 |
| Potoki danych | Nie | Nie. | Tak | Nie. | Tak, zastąp tylko | Tak | Tak, tylko do odczytu | Nie. | Czytelnik: 1 Zapis: 2 |
| Modele semantyczne usługi Power BI direct lake | Tak | Tak | Nie dotyczy (nie dotyczy) | Nie dotyczy (nie dotyczy) | Nie dotyczy (nie dotyczy) | Tak | Tak | Nie. | Nie dotyczy (nie dotyczy) |
| Eksportowanie modeli semantycznych usługi Power BI do usługi OneLake | Tak | Nie dotyczy (nie dotyczy) | Tak | Nie | Tak | Nie dotyczy (nie dotyczy) | Nie | Nie. | Czytelnik: 2 Pisarz: 5 |
| Bazy danych KQL | Tak | Tak | Nie. | Nie* | Tak | Tak | Nie. | Nie. | Czytelnik: 1 Zapis: 1 |
| Strumienie zdarzeń | Nie | Nie. | Nie. | Nie. | Tak | Nie dotyczy (nie dotyczy) | Nie | Nie. | Czytelnik: 1 Zapis: 2 |
* Bazy danych KQL zapewniają pewne możliwości konserwacji tabel, takie jak przechowywanie. Dane są usuwane na końcu okresu przechowywania z usługi OneLake. Aby uzyskać więcej informacji, zobacz Jedną kopię logiczną.
Uwaga
- Sieć szkieletowa domyślnie nie zapisuje mapowań kolumn opartych na nazwach. Domyślne środowisko sieci szkieletowej generuje tabele zgodne z usługą. Usługa Delta Lake, utworzona przez usługi innych firm, może mieć niezgodne funkcje tabeli.
- Niektóre środowiska sieci szkieletowej nie mają dziedziczonych możliwości optymalizacji i konserwacji tabel, takich jak bin-compaction, V-order i czyszczenie starych niereferenowanych plików. Aby zachować optymalne tabele usługi Delta Lake na potrzeby analizy, postępuj zgodnie z technikami w temacie Używanie funkcji konserwacji tabeli do zarządzania tabelami różnicowymi w usłudze Fabric na potrzeby tabel pozyskanych przy użyciu tych środowisk.
Bieżące ograniczenia
Obecnie usługa Fabric nie obsługuje tych funkcji usługi Delta Lake:
- Delta Lake 3.x Uniform
- Pisanie kolumn tożsamości (zastrzeżona funkcja usługi Databricks)
- Delta Live Tables (zastrzeżona funkcja usługi Databricks)
- Funkcja RLE (kodowanie długości przebiegu) włączona w pliku punktu kontrolnego
Powiązana zawartość
- Co to jest usługa Delta Lake?
- Dowiedz się więcej o tabelach usługi Delta Lake w usłudze Fabric Lakehouse i usłudze Synapse Spark.
- Dowiedz się więcej o usłudze Direct Lake w usługach Power BI i Microsoft Fabric.
- Dowiedz się więcej na temat wykonywania zapytań dotyczących tabel z magazynu za pośrednictwem opublikowanych dzienników usługi Delta Lake.