Strefa docelowa zarządzania danymi
Strefa docelowa zarządzania danymi to funkcja zarządzania centralna do analizy w skali chmury. Jest on odpowiedzialny za ład platformy analitycznej.
Strefa docelowa zarządzania danymi to oddzielna subskrypcja, która ma te same standardowe usługi strefy docelowej platformy Azure. Umożliwiają one zarządzanie danymi za pośrednictwem robotów indeksujących, które łączą się z jeziorami danych i magazynami poliglotycznymi w strefach lądowania danych. Komunikacja równorzędna sieci wirtualnych łączy strefę docelową zarządzania danymi ze strefami docelowymi danych i subskrypcją łączności.
Ta architektura jest punktem wyjścia i można ją zmodyfikować tak, aby odpowiadała konkretnym wymaganiom biznesowym i technicznym podczas planowania implementacji strefy docelowej zarządzania danymi.
Uwaga
Trwałość poliglotyczna to termin związany z wyborem różnych technologii przechowywania danych, aby wspierać różne typy danych i ich potrzeby związane z przechowywaniem. Zasadniczo trwałość wielolotowa to koncepcja, którą aplikacja może używać więcej niż jednej podstawowej technologii bazy danych lub magazynu.
Ważne
Strefa docelowa zarządzania danymi musi zostać wdrożona jako oddzielna subskrypcja w grupie zarządzania z odpowiednim ładem. Następnie możesz kontrolować ład w całej organizacji. Akcelerator strefy docelowej platformy Azure ilustruje sposób podejścia do stref docelowych platformy Azure.
Nadzór nad danymi
Analiza w skali chmury sugeruje użycie usługi Microsoft Purview. Alternatywnie rozwiązania partnerskie firmy Microsoft można wdrożyć w celu zarządzania określonymi funkcjami nadzoru nad danymi. Kluczowe funkcje, które należy wziąć pod uwagę w architekturze, obejmują globalny wykaz danych, zarządzanie danymi głównymi, udostępnianie danych i kontrakty, wykaz interfejsów API, zarządzanie jakością danych i repozytorium modelowania danych.
Produkty do zarządzania danymi partnerów firmy Microsoft, które wymagają wdrożenia w subskrypcji, powinny być wdrażane w grupie zasobów Zarządzanie danymi w strefie zarządzania danymi.
Katalog danych
Wykaz danych rejestruje i utrzymuje informacje o danych w scentralizowanym miejscu i udostępnia je organizacji. Gwarantuje to, że przedsiębiorstwa unikają zduplikowanych produktów danych spowodowanych nadmiarowym pozyskiwaniem danych przez różne zespoły projektów. Zalecamy utworzenie usługi wykazu danych w celu zdefiniowania metadanych produktów danych przechowywanych w strefach docelowych danych.
Analiza w skali chmury zależy od usługi Microsoft Purview do rejestrowania źródeł danych przedsiębiorstwa, klasyfikowania ich, zapewniania jakości danych i oferowania bezpiecznego, samoobsługowego dostępu.
Microsoft Purview to usługa oparta na dzierżawie i może komunikować się z każdą strefą docelową danych przez utworzenie zarządzanej sieci wirtualnej wdrożonej w regionie stref docelowych danych. Środowiska Azure Managed Virtual Network Integration Runtime (IR) można wdrożyć w zarządzanych sieciach wirtualnych firmy Microsoft Purview w dowolnym dostępnym regionie usługi Microsoft Purview. Stamtąd środowisko IR zarządzanej sieci wirtualnej może używać prywatnych punktów końcowych do bezpiecznego nawiązywania połączenia z obsługiwanymi źródłami danych i skanowania ich. Aby uzyskać więcej informacji, zobacz Use Managed virtual network with your Microsoft Purview account (Używanie zarządzanej sieci wirtualnej przy użyciu konta usługi Microsoft Purview). Utworzenie zarządzanego środowiska IR sieci wirtualnej w ramach zarządzanej sieci wirtualnej gwarantuje, że proces integracji danych jest odizolowany i bezpieczny.
W przypadku korzystania z usługi Azure Databricks zalecamy używanie katalogu aparatu Unity usługi Azure Databricks oprócz usługi Microsoft Purview. Usługa Azure Databricks Unity Catalog zapewnia scentralizowaną kontrolę dostępu, inspekcję, śledzenie pochodzenia i funkcje odnajdywania danych w workspace'ach usługi Databricks. Aby uzyskać najlepsze praktyki dotyczące konfiguracji Unity Catalog, zobacz Unity Catalog best practices.
Uwaga
Mimo że ta dokumentacja koncentruje się głównie na korzystaniu z usługi Microsoft Purview w celu zapewnienia ładu, przedsiębiorstwa mogły zainwestować w inne produkty, takie jak Alation, Okera lub Collibra. Te rozwiązania są oparte na subskrypcji i zalecamy ich wdrożenie w strefie docelowej zarządzania danymi. Należy pamiętać, że może być wymagana integracja niestandardowa.
Zarządzanie danymi głównymi
Kontrolka zarządzania danymi master znajduje się w strefie docelowej zarządzania danymi. Główne zarządzanie danymi w siatkach danych zawiera konkretne zagadnienia, które należy zwrócić uwagę na siatkę danych.
Wiele głównych rozwiązań do zarządzania danymi w pełni integruje się z identyfikatorem Entra firmy Microsoft. Ta integracja umożliwia zabezpieczanie danych i udostępnianie różnych widoków dla różnych grup użytkowników.
Aby uzyskać więcej informacji, zobacz Główny system zarządzania danymi.
Udostępnianie danych i kontrakty
Analiza w skali chmury korzysta z zarządzania upoważnieniami firmy Microsoft lub zasad usługi Microsoft Purview w celu kontrolowania dostępu do udostępniania danych. Mimo to nadal może być wymagane udostępnianie i repozytorium kontraktów. To repozytorium jest funkcją organizacyjną i powinno znajdować się w strefie docelowej zarządzania danymi.
Kontrakty powinny zawierać informacje na temat weryfikacji danych, modeli i zasad zabezpieczeń.
Aby uzyskać więcej informacji, zobacz Kontrakty danych .
Wykaz interfejsów API
Zespoły ds. aplikacji danych tworzą różne interfejsy API dla swoich aplikacji danych. Te interfejsy API mogą być trudne do odnalezienia w całej organizacji. Umieszczenie wykazu interfejsów API w strefie docelowej zarządzania danymi może rozwiązać ten problem.
Katalog interfejsów API może pomóc w standaryzacji dokumentacji i oferuje miejsce do wewnętrznej współpracy nad interfejsami API. Może również zwiększyć zużycie, publikowanie i mechanizmy kontroli ładu w całej organizacji.
Zarządzanie jakością danych
Kontynuuj korzystanie z bieżącego rozwiązania.
Zarządzanie jakością danych tak blisko źródła danych, jak to możliwe, aby zapobiec rozprzestrzenianiu się problemów z jakością w systemach analitycznych i sztucznej inteligencji. Integrując metryki jakości i walidację z procesami danych, dopasowujesz zarządzanie jakością do zespołów, które najbardziej znają dane, zapewniając dokładniejsze zrozumienie i lepszą obsługę zasobów danych.
Pochodzenie danych zapewnia również pewność jakości danych i należy podać je dla wszystkich produktów danych.
Aby uzyskać więcej informacji na temat zarządzania jakością danych, zobacz Jakość danych.
Repozytorium modelowania danych
Modele relacji jednostek należy przechwytywać i przechowywać w centralnej lokalizacji w strefie docelowej zarządzania danymi, zapewniając konsumentom danych pojedyncze miejsce do znajdowania diagramów koncepcyjnych.
Wielu klientów używa ER Studio i OrbusInfinity do modelowania produktów danych przed przetwarzaniem.
Warstwa serwisowa
Twoja organizacja może zdecydować się na utworzenie wielu usług automatyzacji w celu rozszerzenia możliwości analizy w skali chmury. Te usługi automatyzacji napędzają zgodność i dołączanie rozwiązań do analizy.
Jeśli zdecydujesz się utworzyć te usługi automatyzacji, musisz mieć interfejs użytkownika, który działa zarówno jako platforma handlowa danych, jak i konsola operacji. Ten interfejs powinien polegać na podstawowym magazynie metadanych, takim jak Standardy metadanych.
Konsola platformy handlowej danych lub operacji wywołuje warstwę środkową mikrousług, aby ułatwić dołączanie, rejestrację metadanych, aprowizowanie zabezpieczeń, cykl życia danych i możliwość obserwowania.
Możesz aprowizować grupę zasobów warstwy usługi , aby hostować magazyn metadanych.
Ważne
Żadne z tych usług automatyzacji nie są produktami i nie ilustrują żadnego elementu planu działania. Są one wyświetlane, aby ułatwić rozważenie elementów, które warto zautomatyzować.
| Usługa | Zakres usługi |
|---|---|
| Aprowizowanie strefy docelowej danych | Ta usługa tworzy nową strefę docelową danych. Jest mało prawdopodobne, że będzie miało duże zastosowanie, ale jest uwzględnione dla pełnej kompletności rozwiązania end-to-end do wdrażania. Aby uzyskać więcej informacji, zobacz Aprowizuj analizę w skali chmury |
| Dołączanie produktu danych | Ta usługa tworzy i zmienia grupy zasobów dotyczące dołączonej dzierżawy. Zawiera również możliwości aktualizacji i obniżenia poziomu SKU oraz aktywowania i dezaktywowania grup zasobów dla każdego poddzierżawionego najemcy lub usługi. Tworzy nową strefę docelową danych DevOps. Aby uzyskać więcej informacji, zobacz Aprowizuj analizę w skali chmury |
| Niezależne pozyskiwanie danych | Ta mikrousługa tworzy nowe źródła danych do pozyskiwania do stref docelowych danych, komunikując się z magazynem metadanych usługi SQL Database usługi Azure Data Factory w każdej strefie docelowej danych. Aby uzyskać więcej informacji, zobacz Jak zautomatyzowane struktury pozyskiwania obsługują analizę w skali chmury na platformie Azure |
| Metadane | Ta usługa uwidacznia i tworzy metadane dla platformy. Aby uzyskać więcej informacji, zobacz Standardy metadanych |
| Aprowizowanie dostępu | Ta usługa tworzy pakiety dostępu, polityki dostępu i procesy zatwierdzania dostępu do zasobów (ręczne lub automatyczne) przy użyciu SPN/UPN. Może również uwidocznić interfejs API, aby udostępnić listę żądań subskrypcji (zasobów), które użytkownicy przesyłali w ciągu ostatnich 90 dni. Aby uzyskać więcej informacji, zobacz Zarządzanie dostępem do danych |
| Cykl życia danych | Ta usługa jest odpowiedzialna za utrzymanie cyklu życia danych na podstawie metadanych. Ta konserwacja może obejmować przenoszenie danych do magazynu zimnego i usuwanie rekordów, które nie muszą być już przechowywane. Aby uzyskać więcej informacji, zobacz Zarządzanie cyklem życia danych |
| Dołączanie domeny danych | DOTYCZY TYLKO USŁUGI DATA MESH. Ta usługa przechwytuje metadane dotyczące nowych domen i dołącza nowe domeny zgodnie z potrzebami. Może również tworzyć, aktualizować, aktywować i dezaktywować dowolną domenę lub wiersz usługi, które można utworzyć w mikrousługę. Aby uzyskać więcej informacji, zobacz Aprowizuj analizę w skali chmury |
Azure Container Registry
Strefa docelowa zarządzania danymi hostuje usługę Azure Container Registry. Usługa Azure Container Registry umożliwia operacjom platformy danych wdrażanie standardowych kontenerów do użycia w projektach nauki o danych używanych przez zespoły aplikacji danych.