Wykonywania zapytań i analizowanie aktualizacji przyrostowych
Dane Microsoft Dataverse (w tym dane z aplikacji finansowych i operacyjnych Dynamics 365) mogą się stale zmieniać poprzez tworzenie, aktualizowanie i usuwanie transakcji. Opcja aktualizacji przyrostowej umożliwia tworzenie przyrostowych potoków danych, które stosują te zmiany do dalszych systemów i baz danych. Synapse Link for Dataverse eksportuje dane przyrostowe w folderach ze znacznikami czasu, które zawierają zmiany danych w określonych przez użytkownika przedziałach czasowych.
Funkcję aktualizacji przyrostowej można wykorzystać w kilku scenariuszach:
Aktualizowanie podrzędnego magazynu danych. Konieczne może być zastosowanie zmian z danych Power Apps i Dynamics 365 w dalszym magazynie danych. Aktualizacja przyrostowa jest standardową funkcją w większości narzędzi do transformacji danych, takich jak Azure Data Factory. Aby jednak funkcja aktualizacji przyrostowej działała, należy zidentyfikować rekordy, które uległy zmianie w tabelach źródłowych. Funkcja aktualizacji przyrostowej zapewnia zmienione dane jako zestaw plików, dzięki czemu nie trzeba wykrywać zmian poprzez porównywanie obrazów tabel przed i po.
Analiza zmian w dużych zbiorach danych. Jeśli trzeba przeanalizować zmiany w dużych zbiorach danych, funkcja aktualizacji przyrostowej zapewnia ciągły strumień danych w małych partiach, dzięki czemu nie trzeba przechowywać wszystkich danych. Dzięki tej opcji można usuwać nieaktualne i zastałe dane, aby zaoszczędzić na kosztach przechowywania danych, a także śledzić zmiany danych istotne dla określonego przez użytkownika okresu czasu.
Azure Synapse Link for Dataverse zapewnia również opcję eksportowania i utrzymywania repliki tabel w magazynie Azure Data Lake (Gen 2). Można skonfigurować Azure Synapse Link do eksportowania danych przyrostowych oprócz eksportowania repliki tabel. Każda konfiguracja (znana jako „profil Synapse Link”) może eksportować tabele lub dane przyrostowe. Chociaż można utworzyć wiele profili, nie można skonfigurować zarówno tabel, jak i aktualizacji przyrostowych w ramach tego samego profilu.
Ważne
Początkowy folder ze znacznikiem czasu jest tworzony po włączeniu tej funkcji z kopią danych. Foldery kolejnych znaczników czasu i tabel są tworzone tylko wtedy, gdy aktualizacja danych ma miejsce w określonym odstępie czasu.
Po utworzeniu profilu Synapse Link z funkcją aktualizacji przyrostowej konfiguracja ma zastosowanie do wszystkich wybranych tabel w profilu Synapse Link.
Tej funkcji nie można włączyć z opcją: Połącz z Azure Synapse workspace. W przypadku klientów, którzy wymagają dostępu do analiz Azure Synapse Analytics, wykonaj tę instrukcję, aby skonfigurować łącze: Tworzenie obszaru roboczego Azure Synapse Link for Dataverse za pomocą Azure Synapse Workspace
Ta funkcja jest odpowiednikiem funkcji Kanały zmian w trakcie eksportu do data lake wbudowanej w aplikacje finansowe i operacyjne Dynamics 365. Klienci korzystający z funkcji Kanały zmian mają możliwość włączenia profilu Synapse Link z danymi zmian bez konieczności eksportowania danych tabeli.
Wymagania wstępne
W tym przewodniku przyjęto założenie, że zostały spełnione wymagania wstępne do stworzenia Azure Synapse Link. Więcej informacji: Tworzenie Azure Synapse Link for Dataverse za pomocą Azure Data Lake
Utwórz profil Synapse Link, aby eksportować dane przyrostowe
Zaloguj się do Power Apps i wybierz swoje środowisko.
W lewym okienku nawigacji wybierz Azure Synapse Link. Jeśli elementu nie ma w okienku panelu bocznego, wybierz …Więcej, a następnie wybierz żądany element.
Na pasku poleceń zaznacz + Nowy link.
Wybierz Subskrypcja, Grupa zasobów i Konto pamięci. Wybierz Dalej.
Nie wybieraj opcji Połącz z obszarem Azure Synapse Workspace. W przypadku wybrania tej opcji funkcja aktualizacji przyrostowej jest wyłączona.
Dodaj tabele, które chcesz wyeksportować. Jeśli środowisko Dataverse jest połączone z aplikacjami finansowymi i operacyjnymi, można również wybrać tabele z aplikacji finansowych i operacyjnych.
Wybieranie opcji Zaawansowane.
Włącz funkcję Pokaż zaawansowane ustawienia konfiguracji i Włącz strukturę folderów aktualizacji wsadowych.
Wprowadź odstęp czasu (w minutach) dla częstotliwości przechwytywania aktualizacji, a następnie wybierz opcję Zapisz.
Uwaga
Minimalny odstęp czasu to 5 minut. Oznacza to, że folder aktualizacji zostanie utworzony co 5 minut i będzie zawierał zmiany, które wystąpiły w odstępach czasu. To ustawienie można skonfigurować także po utworzeniu łącza za pośrednictwem opcji Zarządzaj tabelami. Maksymalny interwał czasowy wynosi 1140 minut (lub 24 godziny).
Upewnij się, że opcja Połącz z Azure Synapse Workspace Azure Synapse Workspace nie jest zaznaczona na pierwszej stronie ustawień.
Dane przyrostowe w folderach ze znacznikami czasu są przechowywane jako pliki tekstowe z wartościami rozdzielanymi przecinkami (pliki CSV). Nie można użyć funkcji konwersji Delta dla danych przyrostowych i uzyskać plików przyrostowych w formacie parkietu Delta.
Wyświetl folder dyskusyjną w Microsoft Azure Storage
Po utworzeniu profilu Synapse Link z danymi przyrostowymi system tworzy początkową kopię wszystkich tabel i przechowuje ją w folderze pierwszej aktualizacji przyrostowej. Po utworzeniu początkowej kopii system tworzy kolejne foldery aktualizacji ze zmienionymi danymi. Jeśli w żadnej z wybranych tabel nie wprowadzono zmian, foldery danych przyrostowych nie będą widoczne.
Aby wyświetlić foldery danych przyrostowych na koncie magazynu:
Wybierz żądane łącze Azure Synapse Link, a następnie wybierz Przejdź do Azure Data Lake na pasku poleceń.
Wybierz Containers w obszarze Magazyn danych.
Wybierz dataverse-environmentName-organizationUniqueName. Foldery aktualizacji przyrostowych są nazywane według sygnatury czasowej utworzenia ("rrrr-MM-dd'T'GG:mm:ss.SSSz") w czasie UTC. Zauważ, że różnica czasu między folderami ze znacznikami czasu to przedział czasu określony przez użytkownika w ustawieniach zaawansowanych.
W każdym folderze ze znacznikiem czasu znajdują się foldery dla każdej tabeli. Nie wszystkie wybrane tabele mogły ulec zmianie w danym przedziale czasowym i wyświetlane są tylko foldery odpowiadające tabelom, których dane uległy zmianie.
Uwaga
Ze względu na funkcje mechanizmu ponownej próby w określonym odstępie czasu może zostać utworzony dodatkowy pusty folder interwału czasu.
Wykorzystanie danych przyrostowych
Dane przyrostowe można kopiować do Azure SQL Database lub magazynu danych przy użyciu narzędzi do integracji danych, takich jak Azure Data Factory lub potoki Azure Synapse Analytics. Zapewniamy przykładowy potok danych, który można wykorzystać do tego celu. Aby uzyskać więcej informacji: Kopiuj dane Dataverse do Azure SQL.
Jeśli jesteś klientem Dynamics 365 finance and oerations apps przechodzącym z funkcji change feeds, możesz użyć Przykładowe narzędzia integracji danych udostępnione w serwisie GitHub do aktualizacji istniejących potoków danych używanych z funkcją kanałów zmian.
Możesz także zbudować własny potok danych, aby korzystać z danych przyrostowych. Podczas projektowania własnego rurociągu należy jednak wziąć pod uwagę następujące najlepsze praktyki:
- Pobieranie danych tylko z poprzednich folderów ze znacznikiem czasu: W ten sposób można uniknąć konfliktów odczytu i zapisu z usługą Synapse Link, która może stale aktualizować dane w bieżącym folderze. Bieżący folder można znaleźć, przeglądając plik Changelog/changelog.info. Plik ten jest plikiem tylko do odczytu i zawiera pojedynczy wiersz z nazwą folderu, który jest aktualnie aktualizowany. Nie należy aktualizować tego pliku, ponieważ może to spowodować niestabilność systemu.
- Możesz wyświetlić plik model.json znajdujący się w każdym folderze ze znacznikiem czasu, aby odczytać metadane, takie jak nazwy kolumn dla danych zawartych w folderach tabel. Zauważ, że każdy plik model.json w folderze znajdującym się w folderach ze znacznikami czasu zawiera metadane dla wszystkich tabel, a nie tylko tabel zawartych w folderze ze znacznikami czasu.
- Należy unikać korzystania z innych plików dziennika, takich jak plik Synapse.log. Plik ten jest wykorzystywany do celów wewnętrznych i może nie odzwierciedlać dokładnych danych.
- Rozważ usunięcie przestarzałych folderów przyrostowych z Azure Data lake po zakończeniu przetwarzania. Obecnie Synapse Link utrzymuje dzierżawę tych plików w usłudze Azure Storage, aby odzyskać dane po wszelkich awariach. System może zwolnić dzierżawę po pewnym czasie.
