Udostępnij za pośrednictwem

udostępnione metadane usługi Azure Synapse Analytics

  • Artykuł

Azure Synapse Analytics umożliwia różnym aparatom obliczeniowym obszaru roboczego udostępnianie baz danych i tabel między pulami platformy Apache Spark i bezserwerową pulą SQL.

Udostępnianie obsługuje tak zwany wzorzec nowoczesnego magazynu danych i zapewnia aparatom SQL obszaru roboczego dostęp do baz danych i tabel utworzonych za pomocą platformy Spark. Umożliwia również aparatom SQL tworzenie własnych obiektów, które nie są udostępniane innym aparatom.

Obsługa nowoczesnego magazynu danych

Model udostępnionych metadanych obsługuje nowoczesny wzorzec magazynu danych w następujący sposób:

  1. Dane z magazynu typu data lake są przygotowywane i wydajnie ustrukturyzowane za pomocą platformy Spark przez przechowywanie przygotowanych danych w tabelach (prawdopodobnie podzielonych na partycje) zawartych w prawdopodobnie kilku bazach danych.

  2. Utworzone bazy danych platformy Spark i wszystkie ich tabele stają się widoczne w dowolnym z wystąpień puli zadań platformy Spark Azure Synapse i mogą być używane z dowolnego zadania platformy Spark. Ta funkcja podlega uprawnieniom , ponieważ wszystkie pule platformy Spark w obszarze roboczym mają ten sam podstawowy magazyn metadanych wykazu.

  3. Platforma Spark utworzyła bazy danych, a ich tabele oparte na formacie Parquet lub CSV stały się widoczne w bezserwerowej puli SQL obszaru roboczego. Bazy danych są tworzone automatycznie w metadanych bezserwerowej puli SQL, a zarówno zewnętrzne, jak i zarządzane tabele utworzone przez zadanie platformy Spark są dostępne jako tabele zewnętrzne w bezserwerowych metadanych puli SQL w dbo schemacie odpowiedniej bazy danych.

Synchronizacja obiektów odbywa się asynchronicznie. Obiekty będą miały niewielkie opóźnienie w ciągu kilku sekund, dopóki nie pojawią się w kontekście SQL. Po ich pojawieniu się można wykonywać zapytania, ale nie aktualizować ani zmieniać ich przez aparaty SQL, które mają do nich dostęp.

Udostępnione obiekty metadanych

Platforma Spark umożliwia tworzenie baz danych, tabel zewnętrznych, tabel zarządzanych i widoków. Ponieważ widoki platformy Spark wymagają aparatu Spark do przetwarzania instrukcji Spark SQL i nie mogą być przetwarzane przez aparat SQL, tylko bazy danych i zawarte w nich tabele zewnętrzne i zarządzane korzystające z formatu magazynu Parquet lub CSV są współużytkowane z aparatem SQL obszaru roboczego. Widoki platformy Spark są współużytkowane tylko wśród wystąpień puli platformy Spark.

Model zabezpieczeń na pierwszy rzut oka

Bazy danych i tabele platformy Spark wraz z ich zsynchronizowanymi reprezentacjami w a aparatu SQL są zabezpieczone na podstawowym poziomie magazynu. Gdy tabela jest odpytywana przez dowolne aparaty, których autor kwerendy ma prawo do użycia, podmiot zabezpieczeń podmiotu przesyłający zapytanie jest przekazywany do plików bazowych. Uprawnienia są sprawdzane na poziomie systemu plików.

Aby uzyskać więcej informacji, zobacz udostępnioną bazę danych usługi Azure Synapse Analytics.

Zmiana konserwacji

Jeśli obiekt metadanych zostanie usunięty lub zmieniony za pomocą platformy Spark, zmiany zostaną pobrane i rozpropagowane do bezserwerowej puli SQL. Synchronizacja jest asynchroniczna, a zmiany są odzwierciedlane w a aparatu SQL po krótkim opóźnieniu.

Następne kroki