Udostępnij za pośrednictwem

Konfigurowanie magazynu przepływu danych do korzystania z usługi Azure Data Lake Gen 2

  • Artykuł

Dane używane w usłudze Power BI są domyślnie przechowywane w magazynie wewnętrznym udostępnianym przez usługę Power BI. Dzięki integracji przepływów danych i usługi Azure Data Lake Storage Gen 2 (ADLS Gen2) możesz przechowywać przepływy danych na koncie usługi Azure Data Lake Storage Gen2 w organizacji. Ta funkcja zasadniczo umożliwia korzystanie z własnej pamięci masowej w przepływach danych usługi Power BI i nawiązywanie połączenia na poziomie najemcy lub obszaru roboczego.

Powody korzystania z przestrzeni roboczej ADLS Gen 2 lub połączenia najemcy

Po dołączeniu przepływu danych usługa Power BI konfiguruje i zapisuje odwołanie, dzięki czemu można teraz odczytywać i zapisywać dane we własnej usłudze ADLS Gen 2. Usługa Power BI przechowuje dane w formacie wspólnego modelu danych (CDM), który przechwytuje metadane dotyczące danych oprócz rzeczywistych danych generowanych przez sam przepływ danych. Ta funkcja odblokowuje wiele zaawansowanych funkcji i umożliwia korzystanie z danych i skojarzonych metadanych w formacie CDM, aby teraz obsługiwać rozszerzalność, automatyzację, monitorowanie i tworzenie kopii zapasowych. Po udostępnieniu tych danych w swoim środowisku umożliwiasz demokratyzację wiedzy i danych utworzonych w organizacji. Umożliwia również tworzenie dalszych rozwiązań z szeroką gamą złożoności. Twoje rozwiązania mogą obejmować niestandardowe aplikacje i rozwiązania uwzględniające model CDM w platformie Power Platform, Azure oraz te, które są dostępne w ekosystemach partnerów i niezależnych dostawców oprogramowania (ISV). Możesz też utworzyć aplikację do odczytu pliku CSV. Inżynierowie danych, analitycy danych i naukowcy danych mogą teraz pracować z typowym zestawem danych wyselekcjonowanych w usłudze ADLS Gen 2 i ponownie je wykorzystywać.

Istnieją dwa sposoby konfigurowania, który magazyn ADLS Gen 2 ma być używany: można korzystać z konta ADLS Gen 2 przypisanego przez dzierżawcę lub używać własnego magazynu ADLS Gen 2 na poziomie workspace.

Warunki wstępne

  • Aby korzystać z własnego konta usługi ADLS Gen 2, musisz mieć uprawnienie właściciela w warstwie konta magazynu. Uprawnienia na poziomie grupy zasobów lub subskrypcji nie będą działać. Jeśli jesteś administratorem, nadal musisz przypisać sobie uprawnienie Właściciel. obecnie nie obsługuje kont magazynu usługi ADLS Gen2 za zaporą.

  • Konto magazynu należy utworzyć z włączoną hierarchiczną przestrzenią nazw (HNS).

  • Konto pamięci masowej należy utworzyć w tej samej dzierżawie Microsoft Entra, co i w przypadku dzierżawy Power BI.

  • Użytkownik musi mieć rolę właściciela danych obiektu blob usługi Storage, rolę Czytelnik danych obiektu blob usługi Storage i rolę właściciela na poziomie konta magazynu (zakres powinien być tego zasobu i nie jest dziedziczony). Synchronizacja wszystkich zastosowanych zmian ról może potrwać kilka minut i musi zostać zsynchronizowana przed wykonaniem poniższych kroków w usłudze Power BI.

  • Region dzierżawy obszaru roboczego usługi Power BI powinien być taki sam jak region konta magazynu.

  • Protokół TLS (Transport Layer Security) w wersji 1.2 (lub nowszej) jest wymagany do zabezpieczenia punktów końcowych. Przeglądarki internetowe i inne aplikacje klienckie korzystające z protokołu TLS w wersjach wcześniejszych niż TLS 1.2 nie będą mogły nawiązać połączenia.

  • Dołączanie przepływu danych z usługą ADLS Gen 2 z użyciem uwierzytelniania wieloskładnikowego (MFA) nie jest obsługiwane.

  • Na koniec możesz nawiązać połączenie z dowolną usługą ADLS Gen 2 z poziomu portalu administracyjnego, ale jeśli łączysz się bezpośrednio z obszarem roboczym, musisz najpierw upewnić się, że nie ma przepływów danych w obszarze roboczym przed nawiązaniem połączenia.

Notatka

Bring your own storage (Azure Data Lake Gen 2) nie jest dostępne w usłudze Power BI dla klientów rządowych USA GCC. Aby uzyskać więcej informacji na temat tego, które funkcje są dostępne, a które nie, zapoznaj się z dostępnością funkcji usługi Power BI dla klientów rządowych USA.

W poniższej tabeli opisano uprawnienia usługi ADLS i usługi Power BI wymagane dla usług ADLS Gen 2 i Power BI:

Akcja Uprawnienia usługi ADLS Minimalne uprawnienia usługi Power BI
Łączenie usługi ADLS Gen 2 z kontem usługi Power BI Właściciel Administrator usługi Power BI
Łączenie usługi ADLS Gen 2 z obszarem roboczym Właściciel Administrator obszaru roboczego
Tworzenie przepływów danych usługi Power BI zapisywanych z powrotem na połączonym koncie usługi ADLS Nie dotyczy Współpracownik obszaru roboczego
Korzystanie z przepływu danych usługi Power BI Nie dotyczy Przeglądarka obszarów roboczych

Nawiązywanie połączenia z usługą Azure Data Lake Gen 2 na poziomie obszaru roboczego

Przejdź do obszaru roboczego, który nie ma przepływów danych. Wybierz ustawienia obszaru roboczego . Wybierz kartę Azure Connections, a następnie wybierz sekcję Storage.

Zrzut ekranu przedstawiający okienko Ustawienia obszaru roboczego na karcie Połączenia platformy Azure.

Opcja Użyj domyślnego połączenia platformy Azure jest widoczna, jeśli administrator skonfigurował już konto usługi Azure Data Lake Storage Gen 2 (ADLS) przypisane do dzierżawy. Dostępne są dwie opcje:

  • Użyj konta ADLS Gen2 skonfigurowanego przez dzierżawcę, zaznaczając pole o nazwie Użyj domyślnego połączenia Azurelub
  • Wybierz pozycję Połącz z usługą Azure, aby wskazać nowe konto usługi Azure Storage.

Po wybraniu opcji Połącz z usługą Azureusługa Power BI pobiera listę subskrypcji platformy Azure, do których masz dostęp. Wypełnij listy rozwijane. Następnie wybierz prawidłową subskrypcję platformy Azure, grupę zasobów i konto magazynu z włączoną opcją hierarchicznej przestrzeni nazw, która jest flagą usługi ADLS Gen2. Konto osobiste używane do nawiązywania połączenia z platformą Azure jest używane tylko raz, aby ustawić początkowe połączenie i udzielić praw konta usługi Power BI do odczytu i zapisu danych, po czym oryginalne konto użytkownika nie jest już potrzebne do aktywnego połączenia.

Zrzut ekranu przedstawiający okno Ustawienia po wybraniu pozycji Połącz z platformą Azure.

Po dokonaniu wyboru wybierz pozycję Zapisz, a teraz pomyślnie połączyłeś obszar roboczy ze swoim kontem w ADLS Gen2. Usługa Power BI automatycznie konfiguruje konto magazynu z wymaganymi uprawnieniami i tworzy system plików, w którym będą zapisywane dane. Na tym etapie wszystkie dane przepływu danych w tym obszarze roboczym są zapisywane bezpośrednio w tym systemie plików, które mogą być używane z innymi usługami platformy Azure. Masz teraz jedno źródło dla wszystkich danych organizacyjnych lub działów.

Konfiguracja połączeń platformy Azure

Konfigurowanie połączeń platformy Azure to opcjonalne ustawienie zawierające więcej właściwości, które można opcjonalnie ustawić:

  • Przechowywanie na poziomie dzierżawy, które umożliwia ustawienie wartości domyślnej i/lub
  • Magazyn na poziomie obszaru roboczego, który umożliwia określenie połączenia dla każdego obszaru roboczego

Opcjonalnie możesz skonfigurować magazyn na poziomie dzierżawy, jeśli chcesz użyć tylko scentralizowanego magazynu typu data lake lub chcesz, aby ten magazyn był opcją domyślną. Nie uruchamiamy się automatycznie przy użyciu wartości domyślnej, aby umożliwić elastyczność konfiguracji, dlatego masz elastyczność konfigurowania obszarów roboczych korzystających z tego połączenia zgodnie z potrzebami. Jeśli skonfigurujesz konto ADLS Gen 2 przypisane do dzierżawy, nadal musisz skonfigurować każdy obszar roboczy, aby korzystał z tej opcji domyślnej.

Możesz opcjonalnie lub dodatkowo skonfigurować uprawnienia magazynowe na poziomie obszaru roboczego jako osobną opcję, co zapewnia pełną elastyczność w ustawianiu konkretnego konta ADLS Gen 2 dla każdego obszaru roboczego.

Podsumowując, jeśli uprawnienia do magazynu na poziomie dzierżawy i na poziomie przestrzeni roboczej są dozwolone, administratorzy przestrzeni roboczej mogą opcjonalnie używać domyślnego połączenia ADLS lub zdecydować się na skonfigurowanie innego konta magazynowego, niezależnego od domyślnego. Jeśli magazyn danych dzierżawy nie jest ustawiony, administratorzy obszaru roboczego mogą opcjonalnie konfigurować konta ADLS na podstawie poszczególnych obszarów roboczych. Jeśli na koniec wybrano magazyn na poziomie dzierżawy, a magazyn na poziomie obszaru roboczego nie jest dozwolony, administratorzy obszarów roboczych mogą opcjonalnie skonfigurować przepływy danych do korzystania z tego połączenia.

Struktura i format połączeń obszaru roboczego usługi ADLS Gen 2

Na koncie magazynu ADLS Gen 2 wszystkie przepływy danych są przechowywane w kontenerze powerbi należącym do systemu plików.

Struktura kontenera usługi Power BI wygląda następująco: <workspace name>/<dataflow name>/model.json, <workspace name>/<dataflow name>/model.json.snapshots/<all snapshots> i <workspace name>/<dataflow name>/<table name>/<tablesnapshots>

Lokalizacja, w której przepływy danych przechowują dane w hierarchii folderów dla usługi ADLS Gen 2, jest taka sama, czy obszar roboczy znajduje się w pojemności udostępnionej, czy w pojemności Premium.

W poniższym przykładzie użyto tabeli Orders przykładu Northwind Odata.

Zrzut ekranu eksploratora plików przedstawiający przykład przy użyciu tabeli Orders (Zamówienia) przykładu Northwind Odata.

Na powyższym obrazie:

  • model.json jest najnowszą wersją przepływu danych.
  • model.json.snapshots to wszystkie poprzednie wersje przepływu danych. Ta historia jest przydatna, jeśli potrzebujesz poprzedniej wersji mashupu lub ustawień przyrostowych.
  • nazwa_tabeli to folder zawierający dane wynikowe po zakończeniu odświeżania przepływu danych.

Zapisujemy tylko na tym koncie magazynowym i obecnie nie usuwamy danych. Więc nawet po odłączeniu nie usuwamy z konta usługi ADLS, więc wszystkie pliki wymienione na powyższej liście są nadal przechowywane.

Notatka

Przepływy danych umożliwiają łączenie lub odwoływanie się do tabel w innych przepływach danych. W takich przepływach danych plik model.json może odwoływać się do innego model.json innego przepływu danych w tym samym lub innym obszarze roboczym.

Przenoszenie plików między/w ramach kont magazynu usługi ADLS Gen 2

Po przeniesieniu przepływu danych z jednego konta magazynu usługi ADLS Gen2 do innego należy upewnić się, że ścieżki w pliku model.json są aktualizowane w celu odzwierciedlenia nowej lokalizacji. Dzieje się tak, ponieważ plik model.json zawiera ścieżkę do przepływu danych i ścieżkę do danych. Jeśli nie zaktualizujesz ścieżek, przepływ danych nie będzie mógł odnaleźć danych, co spowoduje błędy uprawnień. Aby zaktualizować ścieżki, możesz wykonać następujące czynności:

  • Otwórz plik model.json w edytorze tekstów.
  • Znajdź adres URL konta magazynu i zastąp go nowym adresem URL konta magazynu.
  • Zapisz plik.
  • Zastąp istniejący plik model.json w koncie magazynowym ADLS Gen2.

Rozszerzalność połączeń obszaru roboczego usługi ADLS Gen 2

Jeśli łączysz usługę ADLS Gen 2 z usługą Power BI, możesz wykonać tę akcję na poziomie obszaru roboczego lub dzierżawy. Upewnij się, że masz odpowiedni poziom dostępu. Dowiedz się więcej w Wymagania wstępne.

Struktura przechowywania jest zgodna z formatem Common Data Model. Dowiedz się więcej o strukturze magazynu i usłudze CDM, odwiedzając Czym jest struktura magazynu dla analitycznych przepływów danych i Używanie usługi Common Data Model do optymalizacji usługi Azure Data Lake Storage Gen2.

Po poprawnym skonfigurowaniu dane i metadane znajdują się w twojej kontrolce. Wiele aplikacji zdaje sobie sprawę z modelu CDM, a dane można rozszerzyć przy użyciu platformy Azure, usługi PowerApps i usługi Power Automate. Możesz również używać ekosystemów innych firm, przestrzegając formatu lub odczytując dane w surowej postaci.

Odłącz Azure Data Lake Gen 2 od obszaru roboczego lub dzierżawy

Aby usunąć połączenie na poziomie obszaru roboczego, należy najpierw upewnić się, że wszystkie przepływy danych w obszarze roboczym zostaną usunięte. Po usunięciu wszystkich przepływów danych wybierz pozycję Rozłącz w ustawieniach obszaru roboczego. To samo dotyczy najemcy, ale należy najpierw upewnić się, że wszystkie obszary robocze zostały również odłączone od konta magazynowego najemcy, zanim będzie można odłączyć się na poziomie najemcy.

Wyłączanie usługi Azure Data Lake Gen 2

W portalu administracyjnym , w obszarze przepływów danych , możesz wyłączyć użytkownikom dostęp do użycia tej funkcji oraz zabronić administratorom obszarów roboczych korzystania z własnej usługi Azure Storage.

Przywracanie z usługi Azure Data Lake Gen 2

Po skonfigurowaniu magazynu przepływu danych do korzystania z usługi Azure Data Lake Gen 2, nie ma możliwości automatycznego przywrócenia. Proces powrotu do magazynu zarządzanego przez usługę Power BI jest ręczny.

Aby cofnąć migrację do Gen 2, musisz usunąć przepływy danych i utworzyć je ponownie w tym samym obszarze roboczym. Następnie, ponieważ nie usuwamy danych z usługi ADLS Gen 2, przejdź do samego zasobu i wyczyść dane. Ta akcja obejmowałaby następujące kroki.

  1. Wyeksportuj kopię przepływu danych z usługi Power BI. Możesz też skopiować plik model.json. Plik model.json jest przechowywany w usłudze ADLS.

  2. Usuń przepływy danych.

  3. Odłącz usługę ADLS.

  4. Utwórz ponownie przepływy danych przy użyciu importu. Przed zaimportowaniem należy usunąć przyrostowe odświeżanie danych (jeśli ma to zastosowanie). Tę akcję można wykonać, usuwając odpowiednie partycje w pliku model.json.

  5. Skonfiguruj zasady odświeżania/redefinicji odświeżania przyrostowego.

Nawiąż połączenie z danymi przy użyciu łącznika ADLS Gen 2

Zakres tego dokumentu zawiera opis połączeń przepływów danych usługi ADLS Gen 2, a nie łącznika usługi Power BI ADLS Gen 2. Praca z łącznikiem usługi ADLS Gen 2 jest oddzielnym, prawdopodobnie dodatkowym scenariuszem. Łącznik usługi ADLS po prostu używa usługi ADLS jako źródła danych. Dlatego użycie usługi Power Query Online do wykonywania zapytań względem tych danych nie musi być w formacie CDM, może to być dowolny format danych, jakiego chce klient. Aby uzyskać więcej informacji, zobacz Azure Data Lake Storage Gen2.

Powiązana zawartość

Następujące artykuły zawierają więcej informacji na temat przepływów danych i usługi Power BI: