Tworzenie wystąpienia usługi Azure Synapse Link for Dataverse z Azure Data Lake

Artykuł
01/29/2025

Możesz użyć Azure Synapse Link, aby połączyć swoje dane Microsoft Dataverse z Azure Data Lake Storage Gen2, aby umożliwić różne scenariusze analityczne. W tym artykule opisano, jak wykonać następujące zadania:

Połącz dane Dataverse z kontem Azure Data Lake Storage Gen2 z usługą Azure Synapse Link.
Zarządzaj Dataverse tabelami w Azure Synapse Link.
Monitorowanie systemu Azure Synapse Link.
Odłączanie Azure Synapse Link.
Ponowne podłączanie Azure Synapse Link.
Wyświetlanie danych w Azure Data Lake i zrozumienie struktury plików.

Notatka

Azure Synapse Link for Dataverse wcześniej znane jako Eksportowanie do data lake. Nazwa usługi została zmieniona w maja 2021 r. i nadal będzie eksportować dane do Azure Data Lake oraz Azure Synapse Analytics.

Wymagania wstępne

Azure Data Lake Storage Gen 2: trzeba mieć konto Azure Data Lake Storage Gen 2 oraz dostęp do ról Właściciel i Współautor Storage Blob Data. Konto magazynu musi umożliwiać Hierarchiczną przestrzeń nazw zarówno dla początkowej konfiguracji, jak i synchronizacji. Zezwalanie na dostęp do klucza konta magazynu jest wymagane tylko w przypadku początkowej konfiguracji.

Notatka

Konto magazynu musi zostać utworzone w tej samej dzierżawie Microsoft Entra, co Twoja dzierżawa Power Apps.
Aby ustawić opcję Włączone z wybranych sieci wirtualnych i adresów IP dla połączonego konta magazynu w celu udzielenia dostępu z wybranych adresów IP, należy utworzyć łącze Azure Synapse Link z tożsamościami zarządzanymi.Użyj tożsamości zarządzanych dla platformy Azure z magazynem Azure Data Lake Storage (bez skonfigurowanych tożsamości zarządzanych należy włączyć dostęp do sieci publicznej dla zasobów platformy Azure zarówno w przypadku początkowej konfiguracji, jak i synchronizacji różnicowej).
Zdecydowanie zalecamy włączenie funkcji usuwania nietrwałego na koncie magazynu wybranym do tego celu. Włączenie usuwania nietrwałego umożliwia szybsze odzyskiwanie po przypadkowym usunięciu danych.
Użytkownik musi mieć rolę dostępu Czytelnik do grupy zasobów przy użyciu konta magazynu.
Aby połączyć środowisko do Azure Data Lake Storage Gen2, należy posiadać rolę administratora zabezpieczeń Dataverse.
Tylko tabele, które mają włączone śledzenie zmian mogą być dodawane.
Tworzenie profili Azure Synapse Link w jednym środowisku Dataverse jest ograniczone do maksymalnie 10.

Połącz Dataverse z Azure Data Lake Storage Gen2

Zaloguj się do Power Apps i wybierz preferowane środowisko.
W lewym okienku nawigacji wybierz Azure Synapse Link. Jeśli Azure Synapse Link nie jest widoczne w okienku panelu bocznego, wybierz ... Więcej i wybierz pozycję Odkryj wszystko. Azure Synapse Link znajduje się w sekcji Zarządzanie danymi.
Z paska poleceń wybierz + Nowe łącze do data lake.
Wybierz Subskrypcja, Grupa zasobów i Konto pamięci. Upewnij się, że konto magazynu spełnia wymagania określone w sekcji Wymagania wstępne. Wybierz Dalej.

Notatka

W ramach łączenia środowiska z data lake, przyznajesz Azure Synapse Link dostęp do swojego konta magazynowego. Należy się upewnić, że zostały wykonane wymagania wstępne dotyczące tworzenia i konfigurowania konta Azure Data Lake Storage oraz udzielono sobie roli właściciela na koncie magazynu. Ponadto udzielony jest dostęp do usługi Przepływów danych Power Platform do konta magazynu. Więcej informacjiL Samoobsługowe przygotowanie danych za pomocą przepływu danych.
Dodaj tabele do wyeksportowania, a następnie wybierz opcję Zapisz. Tylko tabele, które mają włączone śledzenie zmian mogą być dodawane. Więcej informacji: Włączanie śledzenia zmian.

Możesz wykonać kroki opisane w tym artykule, aby utworzyć link z jednego środowiska do wielu jezior danych Azure w subskrypcji Azure. Podobnie może zostać utworzone łącze z wielu środowisk do tego samego Azure Data Lake, którewszystko w tej samej dzierżawie.

Notatka

Azure Synapse Link for Dataverse jest bezproblemowo zintegrowane z Power Platform jako funkcja dostepna od razu. Spełnia standardy bezpieczeństwa i zarządzania określone dla przechowywania danych i zarządzania Power Platform. Więcej informacji: Przechowywanie danych i nadzór nad nimi

Dane eksportowane przez usługę Azure Synapse Link są szyfrowane podczas przesyłania przy użyciu protokołu Transport Layer Security (TLS) 1.2 lub wyższego i szyfrowane w spoczynku w usłudze Azure Data Lake Storage Gen2. Ponadto dane przejściowe w magazynie obiektów BLOB są również szyfrowane w spoczynku. Szyfrowanie w programie Azure Data Lake Storage Gen2 ułatwia ochronę danych, implementuje politykę zabezpieczeń firmy i spełnia wymagania dotyczące zgodności z przepisami. Więcej informacji: usługa Azure Data Encryption – w spoczynku

Zarządzanie danymi tabeli do programu data lake

Po skonfigurowaniu tabeli można zarządzać eksportowaną tabelą Azure Synapse Link na jeden z dwóch sposobów:

W obszarze Power Apps na portalu twórców Azure Synapse Link wybierz pozycję Zarządzaj tabelami na pasku poleceń, aby dodać jedną lub więcej połączonych tabel lub usunąć je.
W obszarze Tabele portalu Power Apps Maker Portal wybierz ... obok tabeli, a następnie wybierz połączone jezioro danych, do którego chcesz wyeksportować dane tabeli.

Monitorowanie systemu Azure Synapse Link

Po skonfigurowaniu łącza Azure Synapse Link możesz monitorować Azure Synapse Link na karcie Tabele.

Monitorowanie Azure Synapse Link

Pojawi się lista tabel, które są częścią wybranej Azure Synapse Link.
Istnieją różne etapy, przez które przechodzi stan synchronizacji. NotStarted wskazuje, że tabela oczekuje na zsynchronizowanie. Po wstępnej synchronizacji tabeli Zakończone, nastąpi etap przetwarzania końcowego, na którym nie będą przeprowadzane aktualizacje przyrostowe. Może to potrwać kilka godzin w zależności od rozmiaru danych. Po rozpoczęciu aktualizacji przyrostowych data ostatniej synchronizacji będzie regularnie aktualizowana.
Kolumna Liczba zawiera zapisane wiersze liczbowe. Gdy tylko dołączanie jest ustawiona na Nie, jest to łączna liczba rekordów. Gdy tylko dołączanie jest ustawiona na Tak, jest to łączna liczba zmian.
Kolumny Dołącz tylko i Strategia partycji pokazują użycie różnic w zaawansowanych konfiguracjach.

Odłączenie Azure Synapse Link

Wybierz żądane łącze Azure Synapse Link, aby odłączyć.
Wybierz Rozłącz dane z paska poleceń.
Aby usunąć zarówno system plików Data Lake Usuń system plików Data Lake.
Wybierz opcję Tak i poczekaj kilka minut, aby wszystkie elementy zostały odłączone i usunięte.

Ponowne połączenie Azure Synapse Link

Jeśli usunąłeś system plików podczas odłączania, wykonaj powyższe kroki, aby ponownie połączyć ten sam data lake. Jeśli nie usunięto systemu plików podczas odłączania, musisz wyczyścić dane, aby ponownie połączyć:

Przejdź do usługi Azure Data Lake.
Usuń kontener Dataverse.
Przejdź do usługi Power Apps i ponownie połącz data lake.

Wyświetl dane w Azure Data Lake Storage Gen2

Wybierz żądane łącze Azure Synapse Link, a następnie wybierz Przejdź do Azure Data Lake z górnego panelu.
Rozwiń Systemy plików, a następnie wybierz opcję dataverse-environmentName-organizationUniqueName.

Plik model.json wraz z jego nazwą i wersją zawiera listę tabel wyeksportowanych do data lake. Plik model.json zawiera także wstępny stan synchronizacji i godzinę ukończenia synchronizacji.

Folder zawierający pliki rozdzielane przecinkami (CSV) jest wyświetlany dla każdej tabeli wyeksportowanej do data lake. Tabela danych w data lake.

Powiązanie obszaru roboczego Synapse z istniejącym profilem Azure Synapse Link z data lake

Na pasku adresów przeglądarek sieci Web dołącz ?athena.updateLake=true do adresu sieci Web, który kończy się exporttodatalake.
Wybierz istniejący profil z obszaru Azure Synapse Link, a następnie wybierz opcję rozszerzoną.
Wybierz opcję Łącze do obszaru roboczego Azure Synapse Analytics i poczekaj kilka minut, aby wszystkie elementy zostały odłączone i usunięte.

Ciągłe aktualizacje migawek

Dane Microsoft Dataverse mogą ciągle ulegać zmianom za pośrednictwem operacji tworzenia, aktualizowania i usuwania. Migawki zapewniają kopię tylko do odczytu danych, które są aktualizowane w regularnych odstępach czasu, czyli w tym przypadku co godzinę. Pozwoli to zagwarantować, że w dowolnym momencie klient analizy danych może korzystać z danych w repozytorium typu lake.

Ciągłe aktualizacje migawek.

Kiedy tabele są dodawane jako część początkowego eksportu, dane tabeli są zapisywane w plikach CSV w programie w odpowiednich folderach data lake. Jest to interwał T1, w którym utworzono migawkę pliku tylko do odczytu o nazwie table-T1.csvnp. Account-T1.csv or Contacts-T1.csv. Ponadto plik model.json jest aktualizowany w taki sposób, aby wskazywał na te pliki migawek. Otwierając model.json, można wyświetlić szczegóły migawki.

Oto przykład pliku podzielonego Account.csv i folderu migawki w repozytorium typu data lake.

Migawka tabeli Klienci.

Zmiany w Dataverse są w sposób ciągły wypychane do odpowiednich plików CSV przy użyciu aparatu strumieniowego źródła. Jest to interwał T2, w którym jest pobierana kolejna migawka. table-T2.csv na przykład Accounts-T2.csv lub Contacts-T2.csv (przy założeniu, że istnieją zmiany w tabeli) i model.json są aktualizowane w nowych plikach migawek. Każda nowa osoba, która przegląda dane migawki począwszy od T2, jest kierowana do nowszych plików migawek. W ten sposób oryginalna Przeglądarka migawek może kontynuować pracę na starszych plikach migawek T1, podczas gdy nowsi widzowie mogą odczytywać najnowsze aktualizacje. Jest to przydatne w scenariuszach z długim działaniem procesów podrzędnych.

Notatka

Nowy plik migawki jest tworzony tylko wtedy, gdy nastąpi aktualizacja danych. Zachowywanych jest tylko pięć ostatnich plików migawek. Nieaktualne dane są automatycznie usuwane z twojego konta Azure Data Lake Storage Gen 2.

Oto przykład pliku model.json, który zawsze wskazuje najnowszy plik migawki konta z sygnaturami czasowymi.

Przykładowy plik model.json migawki.

Co dalej?

Po udanym użyciu usługi Azure Synapse Link for Dataverse odkryj, jak możesz analizować i konsumować swoje dane za pomocą Centrum wykrywania. Aby uzyskać dostęp do Centrum wykrywania, przejdź do Power Apps>Azure Synapse Link. Wybierz przyłączoną usługę i wybierz kartę Centrum odkrywania . W tym miejscu można znaleźć polecane narzędzia i dokumentację pod opieką ułatwiającą uzyskanie najszerszej wartości danych. Centrum odkrywania.