Omówienie zespołów i funkcji analizy w skali chmury na platformie Azure

W przypadku analizy w skali chmury zalecamy przeniesienie zespołów, takich jak wsadowanie, przetwarzanie, analizowanie, konsumpcja i wizualizacja, z pracujących w poziomo rozdzielonych zespołach do elastycznych, pionowych zespołów międzydomenowych w każdej warstwie. Zespoły platform, takie jak operacje platformy danych i operacje platformy, są grupowane razem w wspólnej grupie platformy.

Grupa platform

Grupa platform składa się z dwóch zespołów:

• Platform ops: Platform ops są częścią grupy platformy. Działają one i posiadają platformę w chmurze. Ten zespół jest odpowiedzialny za inicjalizację strefy uruchamiania zarządzania danymi i szkieletu strefy uruchamiania danych, takich jak sieć, połączenia równorzędne, podstawowe usługi oraz monitorowanie w ramach analizy w skali chmury. Zwykle pomagają one platformom danych opracowywać interfejsy zarządzania usługami IT dla osób w strefie docelowej danych na początku wdrażania analizy w skali chmury. Te interfejsy zwykle są wywołaniami interfejsu API REST do usługi w celu dołączania produktów danych, ustawiania zabezpieczeń i dodawania usług do stref docelowych danych.

• Operacje platformy danych: Grupa operacji platformy danych mieści się w grupie platformy. Operacje platformy danych udostępniają usługi takie, jak centralne monitorowanie, katalogowanie i zasady z możliwością wielokrotnego użycia dla stref docelowych danych oraz produktów danych. Zespół operacyjny platformy danych zarządza strefą docelową zarządzania danymi, a inne obowiązki zespołu są następujące:

Opracowywanie infrastruktury

• Opracowywanie szablonów infrastruktury jako kodu dla stref docelowych danych; szablony muszą być aktualizowane i utrzymywane wraz z upływem czasu, a także mogą obejmować wiele scenariuszy.
• Określanie priorytetów szablonów i dodawanie nowych funkcji na podstawie opinii innych zespołów.
• Praca w ramach elastycznej struktury z typowym celem tworzenia standardowych szablonów infrastruktury.

Odpowiadanie na nowe żądania strefy docelowej danych

Zespół ds. operacji platformy danych musi udostępnić narzędzia i usługi do obsługi utworzonych szablonów. Narzędzia do zarządzania usługami IT, takie jak ServiceNow, mogą obsługiwać żądania biletów zatwierdzone przez zespół ds. operacji platformy danych na potrzeby tworzenia nowych stref docelowych danych. Po zatwierdzeniu nowa strefa operacyjna rozgałęzi się z szablonu podstawowego w celu utworzenia nowego projektu DevOps, a potoki wdrożą szablony do nowego środowiska.

Informacje zwrotne i pętla ulepszeń platformy danych

Dostępne są dwie opcje ulepszania szablonów:

• Zespoły odpowiedzialne za wystąpienia szablonów infrastruktury mogą ulepszać szablony i wdrożenia metodyki DevOps. Jeśli zespoły odkrywają problemy w szablonach, operacje platformy danych mogą wspierać zespoły i scalać zmiany z ich gałęzi do szablonu.
• Inne zespoły strefy docelowej danych powinny mieć możliwość tworzenia zgłoszeń ulepszeń i zaległości dotyczących szablonów w zależności od priorytetów zgłoszeń.

Zasady platformy Azure na potrzeby analizy w skali chmury

Zasady analizy w skali chmury podkreślają elastyczność samoobsługową i zabezpieczenia w celu ochrony danych, kosztów i wzorców. Działy operacyjne platform danych współpracują z działami operacyjnymi platformy w celu zdefiniowania jakości, a te zespoły współpracują, aby wdrożyć określone zasady dotyczące danych. Działania platformy danych powinny być zgodne z procesem przeglądu, aby aktualizować i obsługiwać nowe funkcje dodawane do produktów.

Wdrażanie i obsługa stref docelowych zarządzania danymi

Operacje platformy danych i operacje ogólne platformy współpracują ze sobą, aby wdrażać i obsługiwać strefy początkowe zarządzania danymi. Strefa docelowa zarządzania danymi zapewnia usługi udostępnione strefom docelowym danych, dzięki czemu jest centralnym elementem analizy w skali chmury.

Operacje strefy lądowania danych

Operatorzy strefy docelowej danych obsługują i utrzymują swoje wystąpienie tej strefy, jednocześnie odpowiadając na żądania zespołu aplikacji danych. Zapewniają one wiele tych samych usług co operacje platformy danych, ale są ograniczone do strefy docelowej lądowania danych.

Pracują w rozwidlonym repozytorium, które jest tworzone, gdy ustanawia się strefę docelową danych. Aby zażądać zmian w zasadach, muszą zgłaszać wnioski do zespołu operacji platformy danych, aby na nie zezwolić.

Obsługa zespołu ds. aplikacji danych w celu dostosowywania produktów danych

Zespół operacyjny strefy lądowania danych wspiera zespół ds. aplikacji danych przy użyciu pull requests do składania nowych szablonów produktów do odpowiednich repozytoriów produktów danych.

Jako właściciel strefy docelowej usługa Azure DevOps kieruje zatwierdzenie zmian w operacjach strefy docelowej danych:

• W przypadku zatwierdzenia zmiany szablonu zostaną przeniesione do gałęzi głównej i wdrożone w środowisku produkcyjnym za pośrednictwem ciągłej integracji/ciągłego programowania, co powoduje zaktualizowanie platformy/infrastruktury produktu danych.
• W przypadku odmowy zespół operacyjny strefy docelowej dla danych współpracuje z zespołem aplikacji danych, aby dopracować zmiany.

Odpowiadanie na nowe żądania produktów danych

Działania operacyjne strefy docelowej danych wspierają zespoły aplikacji danych w tworzeniu nowych produktów danych. Gdy zespół ds. aplikacji danych zażąda pomocy, rozwiązanie do zarządzania usługami IT, takie jak aplikacja logiki automatyzacji, organizuje zatwierdzenie lub wdrażanie nowego repozytorium aplikacji danych. Zespół operacyjny strefy lądowania danych jest powiadamiany o nowych żądaniach i decyduje o zatwierdzeniu lub odrzuceniu wdrożeń. Po zatwierdzeniu zostanie utworzony nowy projekt DevOps, główny szablon i artefakty zostaną rozgałęzione, a nowa aplikacja danych wdrożona.

Stosuj się do Azure Well-Architected Framework

Działania operacyjne strefy lądowania danych są odpowiedzialne za strefę lądowania danych i zaleca się, aby zespół wykazywał się biegłością w Azure Well-Architected Framework, który zawiera wskazówki dotyczące optymalizacji kosztów, niezawodności i zabezpieczeń.

Biznes jak zwykle

Operacje strefy docelowej danych są odpowiedzialne za zadania biznesowe, które obejmują zbieranie opinii i próśb o ulepszenia. Te żądania są traktowane priorytetowo i regularnie udostępniane zespołowi operacji platformy danych. Zespół monitoruje strefę przechwytywania danych pod kątem incydentów i zdarzeń dotyczących stanu. Angażują inne zespoły ds. operacji podczas poważnych zdarzeń, aby ograniczyć ryzyko, przywrócić kopie zapasowe, przejść w tryb failover i skalować usługi.

Zespół ds. aplikacji danych

Zespół ds. aplikacji danych dostarcza nowe produkty danych do firmy. Czerpią one dane z magazynów danych wykorzystywanych do odczytu i przekształcają je w rozwiązania biznesowe. Wszystko, co przekształca dane do użycia, jest klasyfikowane jako produkt danych. Ten zespół jest często mieszanką specjalistów technicznych i ekspertów z dziedziny, którzy mogą pomóc firmie szybko osiągnąć wartość. Produkty danych mogą być różne od prostych raportów i nowych produktów danych po konfiguracje niestandardowe z aplikacjami internetowymi Kubernetes opartymi na danych.

Nowe produkty danych

Właściciele produktów i przedstawiciele biznesowi tworzą żądania dotyczące nowych produktów danych, gdy są potrzebne. Biuro danych ocenia wymagania i tworzy nowy zespół ds. aplikacji danych z szeregiem wiedzy. Zespół identyfikuje wymagane produkty danych i żąda uprawnień dostępu do zasobu danych. Jeśli potrzebny jest nowy produkt danych, zespół aplikacji danych otrzyma bilet na jego pozyskiwanie. Zespół identyfikuje usługi wymagane dla nowego produktu danych i żąda nowego produktu danych za pośrednictwem procesu wdrażania aplikacji danych . Zespół aplikacji danych otrzymuje rozgałęzione repozytorium z głównego szablonu aplikacji danych, aby wdrożyć aplikację danych.

Certyfikowanie produktów danych

W ramach samoobsługowej platformy każda osoba może tworzyć raporty oraz produkty danych na koncie magazynowym Azure Data Lake dla deweloperów i udostępniać produkty danych do użytku w biznesie. Żądania przeglądu produktów danych są wykonywane, gdy:

• Sponsorzy biznesowi rejestrują zgłoszenia w celu certyfikacji produktów danych.
• Platforma danych nominuje produkty danych na podstawie popularności.

Zespół ds. aplikacji danych może kierować procesem certyfikacji, zdefiniowanym przez działania operacyjne platformy danych oraz zabezpieczenia cyfrowe, który może obejmować:

• Testy opracowane w celu weryfikacji przekształceń danych i logiki biznesowej
• Oceny pod kątem wpływu zabezpieczeń, zgodności lub wydajności

Po certyfikacji artefakty są sortowane i przekazywane do repozytorium produktów danych, dokumentacja jest publikowana, a zespół aplikacji danych jest powiadamiany.

Pomoc techniczna dotycząca produktów

Użytkownicy mogą przesyłać informacje zwrotne za pomocą rozwiązania do zarządzania usługami IT lub bezpośrednio w produkcie jako zgłoszenie kierowane do właściciela produktu danych. Ta osoba klasyfikuje żądanie i określa, czy należy je eskalować do zespołu aplikacji danych w celu jego naprawienia lub wprowadzenia opinii na listę prac do przeglądu w trakcie cykli planowania produktu.

Zespół ds. aplikacji do nauki o danych

Podczas gdy zespół ds. produktów do nauki o danych tworzy produkty danych, jest to odrębne, ponieważ ich funkcje prowadzą do produktów danych. Ich praca powoduje, że opublikowane modele stają się produktami danych dla innych użytkowników, a wzorzec jest zgodny z modelem operacji usługi Machine Learning skojarzonym ze strefą docelową danych.

Zespół ds. produktów związanych z nauką o danych rozpoczyna poszukiwanie i znalezienie odpowiednich produktów danych dla ich przypadku użycia. Rozwiązania do zapewniania ładu danych mogą ujawniać więcej szczegółów, takich jak jakość danych, pochodzenie danych lub podobny zestaw danych lub profil. Badają, czy przykładowy zestaw danych jest dostępny i czy dane są istotne dla projektu. Po udzieleniu dostępu do danych za pośrednictwem wykazu danych lub pakietu dostępu firmy Microsoft Entra zespół używa usług w strefie docelowej danych do eksplorowania i analizowania danych.

Przed przetworzeniem wszystkich danych zespół używa lokalnego lub zdalnego obliczeń do przetwarzania i analizowania przykładowych produktów danych. Mogą one optymalizować zdalne cele obliczeniowe z większymi produktami danych w celu trenowania i opracowywania modeli uczenia maszynowego przy użyciu przebiegów, danych wyjściowych i modeli śledzonych w usłudze Azure Machine Learning.

Gdy zespół opracował modele uczenia maszynowego, zaczynają je operacjonalizować. W celu osiągnięcia tego celu rozszerzają zespół, aby uwzględnić inżynierów ds. metodyki DataOps i uczenia maszynowego, którzy mogą pomóc w przeniesieniu modeli do nowego produktu danych, zgodnie z opisem w roli zespołu ds. aplikacji danych.

Zespół ds. nauki o danych nadal współpracuje z właścicielami powiązanych produktów danych w celu zbierania opinii, zapewniania wsparcia i aktualizacji modeli w środowisku produkcyjnym przy użyciu metodologii operacji uczenia maszynowego .

Analityk

Analitycy reprezentują dużą grupę, która obejmuje analityków biznesowych, zaawansowanych użytkowników i ogólnie wszystkich w organizacji zainteresowanych optymalizacją danych w celu tworzenia nowych spostrzeżeń biznesowych. Umożliwienie samoobsługi to kluczowa zasada, która wspiera analityków w uzyskiwaniu dostępu do danych i analiz bez konieczności zapewniania formalnego budżetu i zasobów IT.

Napiwek

Przedsiębiorstwa powinny wyświetlać szczegółowe informacje utworzone przez analityków jako kolejny zestaw potencjalnych produktów danych, które mają być certyfikowane dla innych osób do użycia w firmie.

Znajdowanie i żądanie danych

Analitycy skonsultują się z witrynami marketplace/wykazami danych, aby odnaleźć odpowiednie produkty danych.

• Jeśli nie można odnaleźć zasobu danych lub nie istnieje, analitycy otwierają zgłoszenie serwisowe do zespołu odpowiedzialnego za aplikacje danych. Zespół ds. aplikacji danych pomaga w znalezieniu zestawu danych lub dodaje żądanie do listy prac w celu oceny go w innym cyklu programowania.

• Jeśli zestaw danych istnieje, analitycy mogą zidentyfikować członkostwo w grupie Microsoft Entra dla zasobów wymienionych w wykazie i użyć portalu pakietu dostępu platformy Azure, aby zażądać dostępu do grupy Microsoft Entra.

Tworzenie nowych raportów

Analitycy mogą używać narzędzi, takich jak Microsoft Power BI, aby zintegrować produkty danych z raportami. Te raporty mogą być przeznaczone do użytku indywidualnego lub do publikowania certyfikowanego produktu danych. Przed opublikowaniem raportu w całej organizacji konieczne będzie certyfikowanie procesu certyfikacji produktu danych w celu zapewnienia bezpieczeństwa, zgodności i wydajności.

Uruchamianie zapytań w razie potrzeby

Analiza w skali chmury ma udostępnione obszary robocze, w których analitycy mogą wykonywać zapytania dotyczące danych, z zastrzeżeniem uprawnień. Produkty danych często udostępniają dedykowane zasoby obliczeniowe do uruchamiania zapytań zgodnie z potrzebami. W obu przypadkach analitycy mogą uruchamiać zapytania dotyczące produktów danych w strefach przechwytywania danych, z zastrzeżeniem uprawnień. Wyniki zapytań można przechowywać w obszarach roboczych usługi Azure Data Lake do ponownego użycia.

Opinie użytkowników

Ponieważ analitycy mogą służyć jako niewykorzystane źródło informacji i ulepszeń, przedsiębiorstwa są zdecydowanie zachęcane do tworzenia grup opinii użytkowników dla każdej strefy docelowej danych.

Oprócz udziału w tych grupach użytkowników analitycy powinni przesyłać opinie dotyczące zasobów danych do zespołu aplikacji danych i problemów z wykazem danych w katalogu danych lub rozwiązaniu do zarządzania usługami IT. Mogą przesyłać problemy z przetwarzaniem danych do zespołu aplikacji danych lub w rozwiązaniu do zarządzania usługami IT.

Notatka

Rozwiązanie do zarządzania usługami IT powinno służyć jako centralna lokalizacja do przesyłania opinii i eskalacji problemów. Przesyłanie bezpośrednich opinii do poszczególnych zespołów może wydawać się szybsze, ale takie podejście nie daje wglądu w wyzwania związane z platformą. Rozwiązanie do zarządzania usługami IT z poprawnym routingiem do zespołów aplikacji danych może dać firmie jeden widok w całym przedsiębiorstwie.

Macierz przypisania odpowiedzialności

• Odpowiedzialne: Kto wykonuje zadanie?
• Odpowiedzialny: Kto podejmuje decyzje i podejmuje działania w ramach zadania?
• Skonsultowano: Kto otrzymuje informacje o decyzjach i zadaniach?
• Informowany: Kto jest informowany o decyzje i działania podczas projektu?

Rola	Środowisko chmury	Strefa docelowa zarządzania danymi	Strefa docelowa danych	Integracja danych	Produkty danych
Właściciel usługi	Poinformowany	Odpowiedzialny	Konsultowano poinformowane osoby	Skonsultowano się z osobą poinformowaną	Skonsultowano się z kimś poinformowanym
Właściciel usługi strefy docelowej danych	Poinformowany	Uzyskano informacje	Odpowiedzialny	Odpowiedzialny	Odpowiedzialny
Operacje platformy chmurowej	Odpowiedzialny	Konsultacje	Konsultacje	Skonsultowano	Skonsultowano
Operacje platformy danych	Konsultacje	Odpowiedzialny	Odpowiedzialny	Skonsultowano	Skonsultowano
Operacje strefy docelowej danych	Poinformowany	Odpowiedzialny	Odpowiedzialny	Odpowiedzialny	Odpowiedzialny
Zespół ds. aplikacji danych		Poinformowany	Poinformowany	Poinformowany	Odpowiedzialny

Następne kroki

Azure Well-Architected Framework dla obciążeń danych