Udostępnij za pośrednictwem

Dzienniki usługi Delta Lake w magazynie w usłudze Microsoft Fabric

  • Artykuł

Dotyczy:✅ Magazyn w usłudze Microsoft Fabric

Magazyn w usłudze Microsoft Fabric jest tworzony w otwartych formatach plików. Tabele użytkowników są przechowywane w formacie pliku parquet, a dzienniki usługi Delta Lake są publikowane dla wszystkich tabel użytkowników.

Dzienniki usługi Delta Lake otwierają bezpośredni dostęp do tabel użytkowników magazynu dla dowolnego aparatu, który może odczytywać tabele usługi Delta Lake. Ten dostęp jest ograniczony do tylko do odczytu, aby zapewnić, że dane użytkownika zachowują zgodność transakcji ACID. Wszystkie wstawki, aktualizacje i usunięcia danych w tabelach muszą być wykonywane za pośrednictwem magazynu. Po zatwierdzeniu transakcji inicjowany jest proces w tle systemu w celu opublikowania zaktualizowanego dziennika usługi Delta Lake dla tabel, których dotyczy problem.

Jak uzyskać ścieżkę usługi OneLake

Poniższe kroki szczegółowo opisują sposób pobierania ścieżki OneLake z tabeli w magazynie:

  1. Otwórz magazyn w obszarze roboczym usługi Microsoft Fabric.

  2. W Eksplorator obiektów więcej opcji (...) można znaleźć w wybranej tabeli w folderze Tabele. Wybierz menu Właściwości.

    Zrzut ekranu przedstawiający miejsce znalezienia opcji Właściwości w wybranej tabeli.

  3. Po wybraniu okienka Właściwości są wyświetlane następujące informacje:

    1. Nazwisko
    2. Formatuj
    3. Typ
    4. URL
    5. Ścieżka względna
    6. Ścieżka ABFS

    Zrzut ekranu przedstawiający okienko Właściwości.

Jak uzyskać ścieżkę dzienników usługi Delta Lake

Dzienniki usługi Delta Lake można zlokalizować za pomocą następujących metod:

  • Zapytania dotyczące dzienników usługi Delta Lake można wykonywać za pomocą skrótów utworzonych w usłudze Lakehouse. Pliki można wyświetlić przy użyciu notesu Platformy Spark usługi Microsoft Fabric lub eksploratora usługi Lakehouse w usłudze Fabric inżynierowie danych w portalu usługi Microsoft Fabric.

  • Dzienniki usługi Delta Lake można znaleźć za pośrednictwem Eksplorator usługi Azure Storage, za pośrednictwem połączeń platformy Spark, takich jak tryb usługi Power BI Direct Lake, lub innych usług, które mogą odczytywać tabele różnicowe.

  • Dzienniki usługi Delta Lake można znaleźć w _delta_log folderze każdej tabeli za pośrednictwem Eksploratora OneLake w systemie Windows, jak pokazano na poniższym zrzucie ekranu.

    Zrzut ekranu eksploratora Windows OneLake przedstawiający ścieżkę do folderu dzienników różnicowych dla tabeli call_center.

Wstrzymanie publikowania dzienników usługi Delta Lake

Publikowanie dzienników usługi Delta Lake można w razie potrzeby wstrzymać i wznowić. Po wstrzymaniu publikowania aparaty usługi Microsoft Fabric, które odczytują tabele poza magazynem, widzą dane tak jak przed wstrzymaniem. Dzięki temu raporty pozostają stabilne i spójne, odzwierciedlając dane ze wszystkich tabel, ponieważ istniały przed wprowadzeniem zmian w tabelach. Po zakończeniu aktualizacji danych możesz wznowić publikowanie dzienników usługi Delta Lake, aby wszystkie ostatnie zmiany danych zostały widoczne dla innych aparatów analitycznych. Innym przypadkiem użycia wstrzymania publikowania dzienników usługi Delta Lake jest to, że użytkownicy nie potrzebują współdziałania z innymi aparatami obliczeniowymi w usłudze Microsoft Fabric, ponieważ może pomóc zaoszczędzić na kosztach obliczeń.

Składnia wstrzymywania i wznawiania publikowania dzienników usługi Delta Lake jest następująca:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Przykład: wstrzymywanie i wznawianie publikowania dzienników usługi Delta Lake

Aby wstrzymać publikowanie dzienników usługi Delta Lake, użyj następującego fragmentu kodu:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

Zapytania dotyczące tabel magazynu w bieżącym magazynie z innych aparatów usługi Microsoft Fabric (na przykład zapytań z usługi Lakehouse) pokazują teraz wersję danych, tak jak przed wstrzymaniem publikowania dzienników usługi Delta Lake. Zapytania magazynu nadal pokazują najnowszą wersję danych.

Aby wznowić publikowanie dzienników usługi Delta Lake, użyj następującego fragmentu kodu:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

Gdy stan zostanie zmieniony z powrotem na AUTO, aparat magazynu sieci szkieletowej publikuje dzienniki wszystkich ostatnich zmian wprowadzonych w tabelach w magazynie, co umożliwia innym aparatom analitycznym w usłudze Microsoft Fabric odczytywanie najnowszej wersji danych.

Sprawdzanie stanu publikowania dzienników usługi Delta Lake

Aby sprawdzić bieżący stan publikowania dziennika usługi Delta Lake we wszystkich magazynach dla bieżącego obszaru roboczego, użyj następującego fragmentu kodu:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Ograniczenia

  • Nazwy tabel mogą być używane tylko przez platformę Spark i inne systemy, jeśli zawierają tylko następujące znaki: A-Z a-z 0-9 i podkreślenia.
  • Nazwy kolumn, które będą używane przez platformę Spark i inne systemy, nie mogą zawierać:
    • Spacje
    • karty
    • Powrotu karetki
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Powiązana zawartość