Aktualizowanie źródła danych usługi Common Data Model w celu użycia tabel Delta

Zaktualizuj istniejące połączenie danych przy użyciu tabel Common Data Model i przejdź do tabel formatowanych zgodnie z formatem Delta danych bez usuwania i ponownego konfigurowania, które zależą od połączenia danych.

Kluczowe powody łączenia się z danymi przechowywanymi w formacie Delta:

• Bezpośrednio importuj dane w formacie Delta, aby zaoszczędzić czas i wysiłek.
• Wyeliminuj koszty obliczeń i przechowywania związane z przekształcaniem i przechowywaniem kopii danych Lakehouse.
• Automatycznie poprawiaj niezawodność pozyskiwania danych dostarczanych do Customer Insights - Data przez przechowywanie wersji Delta.

Delta jest terminem wprowadzonym z Delta Lake, który jest podstawą do przechowywania danych i tabel na platformie Databricks Lakehouse Platform. Tym elementem jest warstwą przechowywania open-source, która zapewnia transakcje ACID (atomiczność, spójność, izolacja i trwałość) do dużych prac dotyczących danych. Aby uzyskać więcej informacji, zobacz Strona dokumentacji Delta Lake.

Wymagania wstępne

• Musi Azure Data Lake Storage znajdować się w tym samym dzierżawie i regionie Azure co Customer Insights - Data.

• Aby połączyć się z magazynem chronionym przez zapory, Skonfiguruj Azure Private Links.

• Główna usługa Customer Insights - Data musi mieć uprawnienia dostępu do współautor obiektów Blob magazynu, aby uzyskać dostęp do konta magazynu. Aby uzyskać więcej informacji, zobacz Nadaj uprawnienia usłudze głównej w celu uzyskania dostępu do konta magazynu.

• Użytkownik konfigurujący lub aktualizujący źródło danych musi mieć co najmniej uprawnienia do magazynu Czytelnik obiektów blob dla tego konta Azure Data Lake Storage.

• Dane przechowywane w usługach online mogą być przechowywane w innej lokalizacji niż ta, w której dane są przetwarzane lub przechowywane. Importując lub łącząc się z danymi w usługach online, użytkownik zgadza się, że dane mogą być przenoszone. Więcej informacji znajduje się w Centrum zaufania Microsoft.

• Customer Insights - Data Program Databricks obsługuje Czytelnik 2. Tabele nie są obsługiwane w przypadku funkcji wymagających użycia Czytelnik Databricks 3 lub wyższych. Dowiedz się więcej: Obsługiwane funkcje usługi Databricks.

• Tabele Delta muszą znajdować się w folderze w kontenerze przechowania i nie mogą znajdować się w katalogu głównym kontenerów. Na przykład:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Tabele Delta i ich schemat muszą być zgodne z tabelami w istniejącym źródle danych Common Data Model i znajdować się w tym samym kontenerze magazynu. Tabele w nowym folderze danych muszą dokładnie odpowiadać wybranym tabelom w źródle danych Common Data Model. Nazwy tabel i ich schematy muszą być dokładnie takie same. W Delta nazwy tabel są takie same jak nazwa folderu, w którym przechowywane są dane. Dlatego nazwy folderów muszą dokładnie odpowiadać wybranym tabelom w źródle danych Common Data Model. W przeciwnym wypadku aktualizacja nie powiedzie się.

  Na przykład, jeśli wybrane źródło danych Common Data Model to Tabela 1 i Tabela 2, folder wybrany do aktualizacji musi zawierać w hierarchii Tabela 1 i Tabela 2.

  storageaccountroot/
  DeltaDataRoot/
      Table1/
      Table2/
  

Aktualizowanie tabel danych usługi Common Data Model w celu użycia tabel Delta

1. Przejdź do Dane>Źródła danych.

2. Wybierz źródło danych Azure Data Lake Common Data Model, a następnie wybierz Aktualizacja do tabel Delta Lake. Lub wybierz Rozpocznij aktualizację na stronie Dodaj tabele, jeśli edytujesz źródło danych Common Data Model.

   

3. Wybierz Przeglądaj i przejdź do folderu, który zawiera dane w formacie Delta i dokładnie pasuje do wybranej tabeli źródła danych Azure Data Lake. Wybierz go, a następnie wybierz Zaktualizuj źródło danych.

   Zostanie otwarta strona Źródła danych z nowymi źródło danych Odświeżania.

   Ważne

   Nie przerywaj procesu odświeżania, ponieważ może to mieć negatywny wpływ na aktualizację źródła danych.

   Porada

   Zadania i procesy mają swoje stany. Większość procesów zależy od innych procesów nadrzędnych, takich jak źródła danych i odświeżenia profilowania danych.

   Wybierz stan obok okienka Szczegóły postępu, aby wyświetlić postęp zadania. Aby anulować zadanie, wybierz opcję Anuluj zadanie w dolnej części okienka.

   Pod każdym zadaniem możesz wybrać Zobacz szczegóły, aby uzyskać więcej informacji o postępie, takich jak czas przetwarzania, data ostatniego przetwarzania oraz wszystkie odpowiednie błędy i ostrzeżenia związane z zadaniem lub procesem. Wybierz Wyświetl stan systemu u dołu panelu, aby wyświetlić inne procesy w systemie.

Zalecamy dalsze przesyłanie strumieniowe danych do lokalizacji Data Lake Storage poprzez istniejący potok oraz utrzymywanie manifestów i schematów do czasu stwierdzenia, że​aktualizacja zakończyła się pomyślnie i wszystko działa zgodnie z oczekiwaniami.

Przywróć konwersję z tabel Common Data Model na tabele Delta

Jeśli przy próbie aktualizacji źródła danych Azure Data Lake Common Data Model na źródło danych Delta proces się nie powiedzie, wykonaj następujące kroki.

Wymagania wstępne

• Twoja organizacja w dalszym ciągu przesyła strumieniowo dane Data Lake Storage za pośrednictwem potoku.
• Twoja organizacja zachowała manifesty i schematy Data Lake Storage.

Powróć do źródła danych Azure Data Lake Common Data Model

1. Przejdź do Dane>Źródła danych.

2. Wybierz źródło danych Azure Data Lake Common Data Model, a następnie wybierz Przywróć do tabel Common Data Model.

3. Potwierdź, że chcesz przywrócić. Zostanie otwarta strona Źródła danych z nowymi źródło danych Odświeżania.

   Ważne

   Nie przerywaj procesu odświeżania, ponieważ może to mieć negatywny wpływ na przywracanie źródła danych.