Skróty oneLake

Skróty w usłudze Microsoft OneLake umożliwiają ujednolicenie danych między domenami, chmurami i kontami przez utworzenie pojedynczego wirtualnego magazynu danych w całym przedsiębiorstwie. Wszystkie środowiska sieci szkieletowej i aparaty analityczne mogą łączyć się bezpośrednio z istniejącymi źródłami danych, takimi jak Azure, Amazon Web Services (AWS) i OneLake za pośrednictwem ujednoliconej przestrzeni nazw. Usługa OneLake zarządza wszystkimi uprawnieniami i poświadczeniami, dlatego nie trzeba oddzielnie konfigurować każdego obciążenia sieci szkieletowej w celu nawiązania połączenia z poszczególnymi źródłami danych. Ponadto można użyć skrótów, aby wyeliminować kopie brzegowe danych i zmniejszyć opóźnienie procesu skojarzone z kopiami danych i przemieszczaniem.

Co to są skróty?

Skróty to obiekty w usłudze OneLake wskazujące inne lokalizacje magazynu. Lokalizacja może być wewnętrzna lub zewnętrzna dla usługi OneLake. Lokalizacja wskazująca skrót jest znana jako ścieżka docelowa skrótu. Lokalizacja, w której pojawia się skrót, jest znana jako ścieżka skrótu. Skróty są wyświetlane jako foldery w usłudze OneLake oraz wszystkie obciążenia lub usługi, które mają dostęp do usługi OneLake, mogą ich używać. Skróty zachowują się jak linki symboliczne. Są one obiektem niezależnym od obiektu docelowego. Jeśli usuniesz skrót, element docelowy pozostanie nienaruszony. Jeśli przenosisz, zmieniasz nazwę lub usuwasz ścieżkę docelową, skrót może zostać przerwany.

Gdzie można tworzyć skróty?

Skróty można tworzyć w bazach danych lakehouses i język zapytań Kusto (KQL). Ponadto skróty utworzone w tych elementach mogą wskazywać inne lokalizacje usługi OneLake, usługę Azure Data Lake Storage (ADLS) Gen2, konta magazynu amazon S3 lub usługę Dataverse. Można nawet tworzyć skróty do lokalizacji lokalnych lub z ograniczeniami sieci przy użyciu lokalnej bramy danych sieci szkieletowej (OPDG).

Interfejs użytkownika sieci szkieletowej umożliwia interaktywne tworzenie skrótów i programowe tworzenie skrótów za pomocą interfejsu API REST.

Lakehouse

Podczas tworzenia skrótów w usłudze Lakehouse należy zrozumieć strukturę folderów elementu. Usługa Lakehouse składa się z dwóch folderów najwyższego poziomu: folderu Tables i folderu Files . Folder Tables reprezentuje zarządzaną część lakehouse, a folder Files jest niezarządzaną częścią lakehouse. W folderze Tables można tworzyć skróty tylko na najwyższym poziomie. Skróty nie są obsługiwane w innych podkatalogach folderu Tables . Jeśli element docelowy skrótu zawiera dane w formacie Delta\Parquet, usługa Lakehouse automatycznie synchronizuje metadane i rozpoznaje folder jako tabelę. W folderze Pliki nie ma żadnych ograniczeń dotyczących tego, gdzie można tworzyć skróty. Można je utworzyć na dowolnym poziomie hierarchii folderów. Odnajdywanie tabel nie jest wykonywane w folderze Pliki .

Baza danych KQL

Po utworzeniu skrótu w bazie danych KQL zostanie on wyświetlony w folderze Skróty bazy danych. Baza danych KQL traktuje skróty, takie jak tabele zewnętrzne. Aby wysłać zapytanie do skrótu, użyj external_table funkcji język zapytań Kusto.

Gdzie można uzyskać dostęp do skrótów?

Dowolna usługa szkieletowa lub inna niż sieć szkieletowa, która może uzyskiwać dostęp do danych w usłudze OneLake, może używać skrótów. Skróty są niewidoczne dla wszystkich usług, które uzyskują dostęp do danych za pośrednictwem interfejsu API OneLake. Skróty są wyświetlane jako inny folder w jeziorze. Usługi Apache Spark, SQL, Analizy w czasie rzeczywistym i Analysis Services mogą używać skrótów podczas wykonywania zapytań dotyczących danych.

Apache Spark

Notesy platformy Apache Spark i zadania platformy Apache Spark mogą używać skrótów tworzonych w usłudze OneLake. Względne ścieżki plików mogą służyć do bezpośredniego odczytywania danych ze skrótów. Ponadto, jeśli utworzysz skrót w sekcji Tabele usługi Lakehouse i jest on w formacie delta, możesz go odczytać jako tabelę zarządzaną przy użyciu składni apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

Uwaga

Format delty nie obsługuje tabel z znakami spacji w nazwie. Żaden skrót zawierający spację w nazwie nie zostanie odnaleziony jako tabela delty w lakehouse.

SQL

Skróty można również przeczytać w sekcji Tabele usługi Lakehouse za pośrednictwem punktu końcowego analizy SQL dla usługi Lakehouse. Dostęp do punktu końcowego analizy SQL można uzyskać za pomocą selektora trybu usługi Lakehouse lub programu SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Analiza w czasie rzeczywistym

Skróty w bazach danych KQL są rozpoznawane jako tabele zewnętrzne. Aby wysłać zapytanie do skrótu, użyj external_table funkcji język zapytań Kusto.

external_table('MyShortcut')
| take 100

Analysis Services

Można tworzyć semantyczne modele dla magazynów typu lakehouse zawierające skróty w sekcji Tabele w lakehouse. Gdy model semantyczny działa w trybie Direct Lake, usługi Analysis Services mogą odczytywać dane bezpośrednio ze skrótu.

Nienależące do sieci szkieletowej

Aplikacje i usługi spoza sieci Szkieletowej mogą również uzyskiwać dostęp do skrótów za pośrednictwem interfejsu API OneLake. Usługa OneLake obsługuje podzestaw interfejsów API usługi ADLS Gen2 i usługi Blob Storage. Aby dowiedzieć się więcej o interfejsie API OneLake, zobacz OneLake access with APIs (Dostęp do usługi OneLake za pomocą interfejsów API).

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typy skrótów

Skróty OneLake obsługują wiele źródeł danych systemu plików. Należą do nich wewnętrzne lokalizacje Usługi OneLake, Azure Data Lake Storage (ADLS) Gen2, Amazon S3, S3 Zgodne, Google Cloud Storage (GCS) i Dataverse.

Wewnętrzne skróty onelake

Wewnętrzne skróty onelake umożliwiają odwołują się do danych w istniejących elementach sieci szkieletowej. Te elementy obejmują magazyny lakehouse, bazy danych KQL i magazyny danych. Skrót może wskazywać lokalizację folderu w tym samym elemencie, między elementami w tym samym obszarze roboczym, a nawet między elementami w różnych obszarach roboczych. Podczas tworzenia skrótu między elementami typy elementów nie muszą być zgodne. Na przykład można utworzyć skrót w usłudze Lakehouse, która wskazuje dane w magazynie danych.

Gdy użytkownik uzyskuje dostęp do danych za pomocą skrótu do innej lokalizacji OneLake, tożsamość wywołującego użytkownika jest używana do autoryzowania dostępu do danych w ścieżce docelowej skrótu*. Ten użytkownik musi mieć uprawnienia w lokalizacji docelowej, aby odczytać dane.

Ważne

Podczas uzyskiwania dostępu do skrótów za pośrednictwem modeli semantycznych usługi Power BI lub języka T-SQL tożsamość wywołującego użytkownika nie jest przekazywana do elementu docelowego skrótu. Tożsamość właściciela elementu wywołującego jest przekazywana, delegując dostęp do użytkownika wywołującego.

Skróty usługi ADLS

Skróty można również tworzyć na kontach magazynu usługi ADLS Gen2. Podczas tworzenia skrótów do usługi ADLS ścieżka docelowa może wskazywać dowolny folder w hierarchicznej przestrzeni nazw. Co najmniej ścieżka docelowa musi zawierać nazwę kontenera.

Access

Skróty usługi ADLS muszą wskazywać punkt końcowy systemu plików DFS dla konta magazynu. Przykład: https://accountname.dfs.core.windows.net/

Jeśli konto magazynu jest chronione przez zaporę magazynu, możesz skonfigurować dostęp do zaufanej usługi. Zobacz Dostęp do zaufanego obszaru roboczego

Autoryzacja

Skróty usługi ADLS używają delegowanego modelu autoryzacji. W tym modelu twórca skrótów określa poświadczenie skrótu usługi ADLS, a cały dostęp do tego skrótu jest autoryzowany przy użyciu tego poświadczenia. Obsługiwane typy delegowane to konto organizacyjne, klucz konta, sygnatura dostępu współdzielonego (SAS) i jednostka usługi.

• Konto organizacyjne — musi mieć rolę Czytelnik danych obiektów blob usługi Storage, Współautor danych obiektu blob usługi Storage lub Właściciel danych obiektu blob usługi Storage na koncie magazynu
• Sygnatura dostępu współdzielonego (SAS) — musi zawierać co najmniej następujące uprawnienia: Odczyt, Lista i Wykonywanie
• Jednostka usługi — musi mieć rolę Czytelnik danych obiektów blob usługi Storage, Współautor danych obiektu blob usługi Storage lub Właściciel danych obiektu blob usługi Storage na koncie magazynu
• Tożsamość obszaru roboczego — musi mieć rolę Czytelnik danych obiektów blob usługi Storage, Współautor danych obiektu blob usługi Storage lub Właściciel danych obiektu blob usługi Storage na koncie magazynu

Uwaga

Na koncie magazynu usługi ADLS Gen 2 muszą być włączone hierarchiczne przestrzenie nazw.

Skróty S3

Możesz również tworzyć skróty do kont usługi Amazon S3. Podczas tworzenia skrótów do usługi Amazon S3 ścieżka docelowa musi zawierać co najmniej nazwę zasobnika. Usługa S3 nie obsługuje natywnie hierarchicznych przestrzeni nazw, ale można użyć prefiksów, aby naśladować strukturę katalogu. Prefiksy można uwzględnić w ścieżce skrótu, aby dokładniej zawęzić zakres danych dostępnych za pomocą skrótu. Gdy uzyskujesz dostęp do danych za pośrednictwem skrótu S3, prefiksy są reprezentowane jako foldery.

Access

Skróty S3 muszą wskazywać punkt końcowy https dla zasobnika S3.

Przykład: https://bucketname.s3.region.amazonaws.com/

Uwaga

Nie trzeba wyłączać ustawienia Blokuj publiczny dostęp S3 dla konta S3 dla skrótu S3 do funkcji.

Dostęp do punktu końcowego S3 nie może być blokowany przez zaporę magazynu ani wirtualną chmurę prywatną.

Autoryzacja

Skróty S3 używają delegowanego modelu autoryzacji. W tym modelu twórca skrótów określa poświadczenia skrótu S3, a cały dostęp do tego skrótu jest autoryzowany przy użyciu tego poświadczenia. Obsługiwane delegowane poświadczenia są kluczem i wpisem tajnym dla użytkownika IAM.

Użytkownik IAM musi mieć następujące uprawnienia w zasobniku wskazującym skrót.

• S3:GetObject
• S3:GetBucketLocation
• S3:ListBucket

Uwaga

Skróty S3 są tylko do odczytu. Nie obsługują one operacji zapisu niezależnie od uprawnień użytkownika IAM.

Skróty usługi Google Cloud Storage

Skróty można tworzyć w usłudze Google Cloud Storage (GCS) przy użyciu interfejsu API XML dla GCS. Podczas tworzenia skrótów do usługi Google Cloud Storage ścieżka docelowa musi zawierać co najmniej nazwę zasobnika. Zakres skrótu można również ograniczyć, określając prefiks/folder, który ma wskazywać w hierarchii magazynu.

Access

Podczas konfigurowania połączenia dla skrótu GCS można określić globalny punkt końcowy dla usługi magazynu lub użyć określonego punktu końcowego zasobnika.

• Przykład globalnego punktu końcowego: https://storage.googleapis.com
• Przykład punktu końcowego specyficznego dla zasobnika: https://<BucketName>.storage.googleapis.com

Autoryzacja

Skróty GCS używają delegowanego modelu autoryzacji. W tym modelu twórca skrótów określa poświadczenia skrótu GCS, a cały dostęp do tego skrótu jest autoryzowany przy użyciu tego poświadczenia. Obsługiwane delegowane poświadczenia to klucz HMAC i wpis tajny dla konta usługi lub konta użytkownika.

Konto musi mieć uprawnienia dostępu do danych w zasobniku GCS. Jeśli określony punkt końcowy zasobnika został użyty w połączeniu dla skrótu, konto musi mieć następujące uprawnienia:

• storage.objects.get
• stoage.objects.list

Jeśli globalny punkt końcowy został użyty w połączeniu dla skrótu, konto musi mieć również następujące uprawnienie:

• storage.buckets.list

Uwaga

Skróty GCS są tylko do odczytu. Nie obsługują one operacji zapisu niezależnie od uprawnień do używanego konta.

Skróty usługi Dataverse

Bezpośrednia integracja usługi Dataverse z usługą Microsoft Fabric umożliwia organizacjom rozszerzanie aplikacji usługi Dynamics 365 dla przedsiębiorstw i procesów biznesowych na sieć szkieletową. Ta integracja odbywa się za pomocą skrótów, które można utworzyć na dwa sposoby: za pośrednictwem portalu twórcy usługi PowerApps lub bezpośrednio za pośrednictwem sieci szkieletowej.

Tworzenie skrótów za pomocą portalu usługi PowerApps Maker

Autoryzowani użytkownicy usługi PowerApps mogą uzyskiwać dostęp do portalu twórców usługi PowerApps i korzystać z funkcji Link do usługi Microsoft Fabric . Na podstawie tej pojedynczej akcji usługa Lakehouse jest tworzona w usłudze Fabric, a skróty są generowane automatycznie dla każdej tabeli w środowisku Dataverse. Aby uzyskać więcej informacji, zobacz Integracja bezpośredniej usługi Dataverse z usługą Microsoft Fabric.

Tworzenie skrótów za pośrednictwem sieci szkieletowej

Użytkownicy sieci szkieletowej mogą również tworzyć skróty do usługi Dataverse. W środowisku użytkownika tworzenia skrótów użytkownicy mogą wybrać pozycję Dataverse, podać adres URL środowiska i przeglądać dostępne tabele. To środowisko umożliwia użytkownikom selektywne wybieranie tabel, które mają być wprowadzane do sieci szkieletowej, zamiast wprowadzać wszystkie tabele.

Uwaga

Tabele usługi Dataverse muszą być najpierw dostępne w usłudze Dataverse Managed Lake, zanim będą widoczne w środowisku użytkownika tworzenia skrótów do sieci szkieletowej. Jeśli tabele nie są widoczne w usłudze Fabric, użyj funkcji Połącz z usługą Microsoft Fabric z portalu twórcy usługi PowerApps.

Autoryzacja

Skróty usługi Dataverse używają delegowanego modelu autoryzacji. W tym modelu twórca skrótów określa poświadczenia skrótu Dataverse, a cały dostęp do tego skrótu jest autoryzowany przy użyciu tego poświadczenia. Obsługiwany typ poświadczeń delegowanych to Konto organizacyjne (OAuth2). Konto organizacyjne musi mieć uprawnienia administratora systemu do uzyskiwania dostępu do danych w usłudze Dataverse Managed Lake.

Uwaga

Jednostki usługi dodane do obszaru roboczego sieci szkieletowej muszą mieć rolę administratora, aby autoryzować skrót usługi Dataverse.

Buforowanie

Buforowanie skrótów może służyć do zmniejszenia kosztów ruchu wychodzącego związanego z dostępem do danych między chmurami. W miarę odczytywania plików za pomocą skrótu zewnętrznego pliki są przechowywane w pamięci podręcznej dla obszaru roboczego Sieć szkieletowa. Kolejne żądania odczytu są obsługiwane z pamięci podręcznej, a nie zdalnego dostawcy magazynu. Buforowane pliki mają okres przechowywania 24 godzin. Za każdym razem, gdy plik uzyskuje dostęp do okresu przechowywania, jest resetowany. Jeśli plik u dostawcy magazynu zdalnego jest nowszy niż plik w pamięci podręcznej, żądanie jest obsługiwane przez dostawcę magazynu zdalnego, a zaktualizowany plik będzie przechowywany w pamięci podręcznej. Jeśli dostęp do pliku nie został uzyskany przez więcej niż 24 godziny, zostanie przeczyszczone z pamięci podręcznej. Pojedyncze pliki o rozmiarze większym niż 1 GB nie są buforowane.

Uwaga

Buforowanie skrótów jest obecnie obsługiwane tylko w przypadku skrótów zgodnych ze standardami GCS, S3 i S3.

Aby włączyć buforowanie skrótów, otwórz panel Ustawienia obszaru roboczego. Wybierz kartę OneLake . Przełącz ustawienie pamięci podręcznej na Włączone i wybierz pozycję Zapisz.

Jak skróty korzystają z połączeń w chmurze

Autoryzacja skrótów usług ADLS i S3 jest delegowana przy użyciu połączeń w chmurze. Podczas tworzenia nowego skrótu usługi ADLS lub S3 należy utworzyć nowe połączenie lub wybrać istniejące połączenie dla źródła danych. Ustawienie połączenia dla skrótu jest operacją powiązania. Tylko użytkownicy z uprawnieniami do połączenia mogą wykonać operację powiązania. Jeśli nie masz uprawnień do połączenia, nie możesz utworzyć nowych skrótów przy użyciu tego połączenia.

Zabezpieczenia skrótów

Skróty wymagają pewnych uprawnień do zarządzania i używania. Zabezpieczenia skrótów oneLake analizuje uprawnienia wymagane do tworzenia skrótów i uzyskiwania do nich dostępu do danych.

Jak skróty obsługują usunięcia?

Skróty nie wykonują kaskadowych operacji usuwania. Podczas wykonywania operacji usuwania na skrótach usuwasz tylko obiekt skrótu. Dane w obiekcie docelowym skrótu pozostają niezmienione. Jeśli jednak wykonasz operację usuwania na pliku lub folderze w ramach skrótu i masz uprawnienia do wykonania operacji usuwania, pliki i/lub foldery zostaną usunięte w obiekcie docelowym. Poniższy przykład ilustruje to zagadnienie.

Usuń przykład

Użytkownik A ma w nim elementy lakehouse z następującą ścieżką:

MyLakehouse\Files\MyShortcut\Foo\Bar

MyShortcut to skrót wskazujący konto usługi ADLS Gen2 zawierające katalogi Foo\Bar .

Usuwanie obiektu skrótu

Użytkownik A wykonuje operację usuwania na następującej ścieżce:

MyLakehouse\Files\MyShortcut

W takim przypadku polecenie MyShortcut zostanie usunięte z jeziora. Skróty nie wykonują kaskadowych operacji usuwania, dlatego pliki i katalogi na koncie usługi ADLS Gen2 Foo\Bar pozostają nienaruszone.

Usuwanie zawartości, do których odwołuje się skrót

Użytkownik A wykonuje operację usuwania na następującej ścieżce:

MyLakehouse\Files\MyShortcut\Foo\Bar

W takim przypadku, jeśli użytkownik A ma uprawnienia do zapisu na koncie usługi ADLS Gen2, katalog bar zostanie usunięty z konta usługi ADLS Gen2.

Widok pochodzenia obszaru roboczego

Podczas tworzenia skrótów między wieloma elementami sieci szkieletowej w obszarze roboczym można wizualizować relacje skrótów za pomocą widoku pochodzenia obszaru roboczego. Wybierz przycisk Widok pochodzenia ( ) w prawym górnym rogu Eksploratora obszaru roboczego.

Uwaga

Widok pochodzenia jest zakresem pojedynczego obszaru roboczego. Skróty do lokalizacji spoza wybranego obszaru roboczego nie będą wyświetlane.

Ograniczenia i istotne zagadnienia

• Maksymalna liczba skrótów na element sieci szkieletowej wynosi 100 000. W tym kontekście termin item odnosi się do: aplikacje, lakehouses, magazyny, raporty i inne.
• Maksymalna liczba skrótów w pojedynczej ścieżce OneLake wynosi 10.
• Maksymalna liczba skrótów bezpośrednich do linków skrótów wynosi 5.
• Ścieżki docelowe skrótów usług ADLS i S3 nie mogą zawierać żadnych zastrzeżonych znaków z sekcji RFC 3986 2.2. Aby uzyskać dozwolone znaki, zobacz sekcję RFC 3968 2.3.
• Nazwy skrótów oneLake, ścieżki nadrzędne i ścieżki docelowe nie mogą zawierać znaków "%" ani "+".
• Skróty nie obsługują znaków innych niż łacińskie.
• Kopiowanie interfejsu API obiektów blob nie jest obsługiwane w przypadku skrótów usługi ADLS lub S3.
• Funkcja Copy nie działa na skrótach, które bezpośrednio wskazują kontenery usługi ADLS. Zaleca się tworzenie skrótów usługi ADLS do katalogu, który jest co najmniej jeden poziom poniżej kontenera.
• Nie można utworzyć dodatkowych skrótów wewnątrz skrótów usługi ADLS lub S3.
• Pochodzenie skrótów do magazynów danych i modeli semantycznych nie jest obecnie dostępne.
• Rozpoznawanie nowych skrótów może potrwać do minuty.

Powiązana zawartość

• Tworzenie skrótu onelake
• Korzystanie ze skrótów usługi OneLake dla interfejsów API REST