Pochopte týmy a funkce pro analýzy ve velkém měřítku v Azure
Pro analýzy v cloudovém měřítku doporučujeme přesouvat týmy, jako je příjem dat, zpracování, analýza, využití a vizualizace, z práce v horizontálně oddělených týmech na agilní vertikální týmy napříč doménami v jednotlivých úrovních. Týmy platforem, jako jsou operace datových platforem a operace platformy, jsou seskupené do společné skupiny platforem.
Skupina platforem
Skupina platformy se skládá ze dvou týmů:
ops Platform: operace platformy jsou součástí skupiny platforem. Provozují a vlastní cloudovou platformu. Tento tým zodpovídá za vytváření cílové zóny pro správu dat a struktury cílové zóny dat, jako je síťování, párování, základní služby a monitorování v rámci analýz v měřítku cloudu. Obvykle pomáhají provozním operacím datových platforem vyvíjet rozhraní pro správu IT služeb pro osoby v cílové zóně dat na začátku zavádění analýz v cloudovém měřítku. Tato rozhraní obvykle jsou voláním REST API služby k onboardingu datových produktů, nastavení zabezpečení a přidání služeb do zón pro ukládání dat.
ops Data Platform: Skupina ops datových platforem je umístěna v rámci skupiny platformy. Operace datových platforem poskytují služby, jako je centrální monitorování, katalogizace a opakovaně použitelné zásady pro datové přistávací zóny a produkty. Datová platforma vlastní cílovou zónu správy dat a další povinnosti týmu jsou:
Vývoj infrastruktury
- Vývoj šablon infrastruktury jako kódu pro cílové zóny dat; šablony musí být v průběhu času aktualizovány a udržovány a mohou zahrnovat několik scénářů.
- Určete priority šablon a přidejte nové funkce na základě zpětné vazby od jiných týmů.
- Pracujte v agilním rozhraní se společným cílem vytváření standardních šablon infrastruktury.
Reakce na nové žádosti o cílovou zónu dat
Provozní tým datové platformy musí poskytovat nástroje a služby pro podporu vytvořených šablon. Nástroje pro správu IT služeb, jako je ServiceNow, můžou zpracovávat žádosti o lístky schválené týmem provozu datové platformy pro vytváření nových cílových zón dat. Po schválení se nová cílová zóna oddělí od základní šablony k vytvoření nového projektu DevOps a pipelines nasadí šablony do nového prostředí.
Smyčka zpětné vazby a vylepšení operací datové platformy
K dispozici jsou dvě možnosti pro vylepšení šablon:
- Týmy, které mají na starosti instance šablon infrastruktury, můžou vylepšit své šablony a nasazení DevOps. Pokud týmy zjistí problémy v šablonách, můžou operace datových platforem podporovat týmy a sloučit změny zpět ze svého forku do šablony.
- Ostatní týmy v zónách přistání dat by měly být schopny vytvářet vylepšovací a backlogové lístky, které by zlepšily šablony podle toho, jak jsou lístky prioritizovány.
Zásady Azure pro analýzy v cloudovém měřítku
Principy analýzy v cloudovém měřítku zvýrazňují samoobslužnou flexibilitu a mantinely pro ochranu dat, nákladů a vzorů. Datové platformy pracují s provozními operacemi platformy a definují kvalitu a tyto týmy spolupracují na implementaci konkrétních zásad dat. Operace datových platforem by měly postupovat podle procesu kontroly a aktualizovat a udržovat nové funkce přidané do produktů.
Nasazení a provoz přistávacích zón správy dat
Operace datových platforem a provoz platforem spolupracují na nasazení a provozu příletových zón správy dat. Cílová zóna správy dat poskytuje sdílené služby cílovým zónám dat, což z něj dělá centrální část analýzy v cloudovém měřítku.
Správa příchozí zóny dat
Operace přistávacích zón dat spravují a udržují své instance přistávacích zón dat a reagují na žádosti týmu pro datové aplikace. Poskytují mnoho stejných služeb jako operace datových platforem, ale jsou omezené na cílovou zónu dat.
Pracují z odvozeného úložiště, které bylo vytvořeno při zřízení přistávací zóny dat. Aby mohli požádat o změny zásad, musí vytvořit požadavky pro operační tým datové platformy, aby tím umožnili tyto výjimky.
Podpora týmu datových aplikací pro přizpůsobení datových produktů
Provozní tým cílové zóny dat podporuje tým datových aplikací pomocí žádostí o přijetí změn k odesílání nových šablon produktů do příslušných úložišť produktů.
Jako vlastník cílové zóny směruje Azure DevOps schválení změn operací v datové cílové zóně.
- Pokud jsou schválené, změny šablony se přesunou do hlavní větve a nasadí se do produkčního prostředí prostřednictvím průběžné integrace nebo průběžného vývoje, což způsobí aktualizaci datové platformy nebo infrastruktury produktu.
- Pokud je žádost zamítnuta, pracovníci základny pro ukládání dat spolupracují s týmem pro datové aplikace na nápravě problémů způsobených změnami.
Reakce na nové žádosti o produkty s daty
Operace cílových zón dat podporují týmy datových aplikací při vytváření nových datových produktů. Když tým datových aplikací požádá o pomoc, řešení pro správu IT služeb, jako je aplikace logiky automatizace, orchestruje schválení nebo nasazení nového úložiště datových aplikací. Operace datové přistávací zóny obdrží upozornění o nových žádostech a poté schvalují nebo odmítají nasazení. Po schválení se vytvoří nový projekt DevOps, klonuje se hlavní šablona a artefakty a nasadí se nová datová aplikace.
Dodržování architektury Azure Well-Architected Framework
Operace v datové přistávací zóně jsou zodpovědné za tuto zónu a doporučuje se, aby tým byl dobře obeznámen s Azure Framework Well-Architected, který poskytuje pokyny k optimalizaci nákladů, spolehlivosti a zabezpečení.
Obchodní jako obvykle
Operace datových přistávacích zón zodpovídají za podnikové úkoly, které zahrnují shromažďování zpětné vazby a žádostí o vylepšení. Tyto požadavky jsou prioritizovány a pravidelně sdíleny s operacemi datové platformy. Tým monitoruje zónu pro ukládání dat pro incidenty a zdravotní události. Během závažných incidentů zapojují další provozní týmy, aby zmírnili situaci, obnovili zálohy, přepnuli na záložní systém a škálovali služby.
Tým datových aplikací
Tým datových aplikací dodává do firmy nové datové produkty. Získávají zdroje z datových úložišť integrací dat a transformují je na obchodní řešení. Cokoli, co transformuje data pro použití, je klasifikováno jako datový produkt. Tento tým je často kombinací technických specialistů a odborníků na danou problematiku, kteří mohou firmě pomoci rychle dosáhnout hodnoty. Datové produkty můžou být různé od jednoduchých sestav a nových datových produktů až po vlastní nastavení pomocí webových aplikací Kubernetes řízených daty.
Nové datové produkty
Vlastníci produktů a obchodní zástupci vytvářejí žádosti o nové datové produkty v případě potřeby. Datová kancelář posuzuje požadavky a sestaví nový tým datových aplikací s řadou odborných znalostí. Tým identifikuje požadované datové produkty a požádá o oprávnění pro přístup k datovému prostředku. Pokud je potřeba nový datový produkt, tým datových aplikací obdrží lístek pro příjem dat. Tým identifikuje služby potřebné pro nový datový produkt a požádá o nový datový produkt prostřednictvím procesu nasazení datové aplikace. Tým datových aplikací obdrží forkované úložiště ze šablony hlavní datové aplikace pro nasazení datové aplikace.
Certifikace datových produktů
Na samoobslužné platformě může kdokoli vytvářet sestavy, kurátorovat datové produkty v účtu služby Azure Data Lake Developer Storage a vydávat datové produkty, které může firma používat. Požadavky na kontrolu datového produktu nastanou v případech:
- Obchodní sponzoři zaznamenávají výkazy pro certifikaci datových produktů.
- Operátoři datových platforem nominují datové produkty na základě jejich oblíbenosti.
Tým datových aplikací může řídit proces certifikace definovaný provozními operacemi datových platforem a digitálním zabezpečením, mezi které může patřit:
- Testy navržené pro ověření transformací dat a obchodní logiky
- Posouzení dopadu na zabezpečení, dodržování předpisů nebo výkon
Po certifikaci se artefakty kompletují a nahrávají do úložiště datových produktů, publikují se dokumentace a tým datových aplikací je upozorněn.
Podpora produktů
Uživatelé můžou odeslat zpětnou vazbu s řešením pro správu IT služeb nebo přímo v rámci produktu jako lístek směrovaný na vlastníka datového produktu. Tento jedinec třídí požadavky a určuje, zda by měl tým datových aplikací eskalovat požadavek k opravě, nebo zadá zpětnou vazbu do backlogu produktu a přezkoumali je během plánovacích cyklů produktu.
Tým pro aplikace datových věd
I když tým produktů datových věd vytváří datové produkty, je to odlišné, protože jejich funkce vedou k datovým produktům. Jejich práce vede k tomu, že publikované modely se stávají datovými produkty, které mohou používat ostatní, a vzor se řídí provozním modelem strojového učení přidruženým k cílové zóně dat.
Tým produktů datových věd začíná hledáním a vyhledáním relevantních datových produktů pro případ použití. Řešení zásad správného řízení dat můžou odhalit další podrobnosti, jako je kvalita dat, rodokmen nebo podobná datová sada nebo profil. Zjistí, jestli je k dispozici ukázková datová sada a jestli jsou data pro projekt relevantní. Po udělení přístupu k datům prostřednictvím katalogu dat nebo balíčku Microsoft Entra access používá tým služby v cílové zóně dat k prozkoumání a analýze dat.
Před zpracováním všech dat tým používá místní nebo vzdálené výpočetní prostředky ke zpracování a analýze ukázkových datových produktů. Můžou optimalizovat cíle vzdáleného výpočetního prostředí s většími datovými produkty pro trénování a vývoj modelů strojového učení s využitím běhů, výstupů a modelů sledovaných ve službě Azure Machine Learning.
Když tým vyvinul modely strojového učení, začnou je zprovoznit. Pro dosažení tohoto cíle rozšíří tým tak, aby zahrnoval odborníky na dataOps a strojové učení, kteří můžou pomoct s přesunem modelů do nového datového produktu, jak je uvedeno v roli týmu datové aplikace.
Tým datových věd nadále spolupracuje s přidruženými vlastníky datových produktů za účelem zachycení zpětné vazby, podpory a aktualizace modelů v produkčním prostředí pomocí metodologie operací strojového učení .
Analytik
Analytici představují velkou skupinu, která zahrnuje obchodní analytiky, mocné uživatele a obecně kdokoli v organizaci se zájmem o optimalizaci dat za účelem vytvoření nových obchodních přehledů. Samoobslužná podpora je klíčovým principem, který podporuje analytiky při přístupu k analýzám a datům bez nutnosti zabezpečit formální rozpočet a prostředky IT.
Rada
Podniky by si měly zobrazit přehledy vytvořené analytiky jako další sadu potenciálních datových produktů, které budou certifikované pro ostatní, aby je mohli používat v rámci firmy.
Vyhledání a vyžádání dat
Analytici konzultují datová tržiště a katalogy za účelem zjišťování relevantních datových produktů.
Pokud datový prostředek nelze najít nebo neexistuje, analytici otevřou tiket podpory u týmu aplikací pro práci s daty. Tým datových aplikací pomáhá najít datovou sadu nebo přidá požadavek do backlogu, aby ho posoudil v jiném vývojovém cyklu.
Pokud datová sada existuje, analytici můžou identifikovat členství ve skupinách Microsoft Entra pro prostředky uvedené v katalogu a pomocí portálu balíčku pro přístup k Azure požádat o přístup ke skupině Microsoft Entra.
Vytváření nových sestav
Analytici můžou k integraci datových produktů do sestav použít nástroje, jako je Microsoft Power BI. Tyto sestavy mohou být určené pro jejich individuální použití nebo pro publikování certifikovaného datového produktu. Před publikováním sestavy v celé organizaci by bylo potřeba certifikovat proces certifikace datového produktu pro zajištění zabezpečení, dodržování předpisů a výkonu.
Spouštění dotazů podle potřeby
Analýza na úrovni cloudu má sdílené pracovní prostory, ve kterých analytici můžou dotazovat data, a to na základě oprávnění. Datové produkty běžně poskytují vyhrazené výpočetní prostředky pro spouštění dotazů podle potřeby. V obou případech analytici můžou spouštět dotazy na datové produkty v cílových zónách dat, které podléhají oprávněním. Výsledky z dotazů je možné uložit do pracovních prostorů Azure Data Lake, které se mají znovu použít.
Zpětná vazba uživatele
Vzhledem k tomu, že analytici můžou sloužit jako nepotřebný zdroj informací a vylepšení, podnikům se důrazně doporučuje vytvářet skupiny zpětné vazby uživatelů pro každou cílovou zónu dat.
Kromě účasti v těchto skupinách uživatelů by analytici měli odeslat zpětnou vazbu k datovým prostředkům týmu datových aplikací a problémům katalogu dat v rámci katalogu dat nebo řešení pro správu IT služeb. Můžou odeslat problémy s procesem zpracování dat týmu aplikace dat nebo v rámci řešení pro správu IT služeb.
Poznámka
Řešení správy IT služeb by mělo sloužit jako centrální umístění pro odesílání zpětné vazby a eskalace problémů. Odeslání přímé zpětné vazby jednotlivým týmům se může zdát rychlejším řešením, ale tento přístup neposkytuje obchodnímu přehledu o problémech na platformě. Řešení pro správu IT služeb se správným směrováním do týmů datových aplikací může dát podniku jedno zobrazení v celém podniku.
Matice přiřazení odpovědnosti
- Zodpovědný: Kdo úkol dokončil?
- Zodpovědný: Kdo činí rozhodnutí a podniká kroky za úkol?
- Konzultováno: Kdo obdrží komunikace o rozhodnutích a úkolech?
- Informováni: Kdo je informován o rozhodnutích a akcích během projektu?
| Role | Cloudové prostředí | Cílová zóna správy dat | Přistávací zóna dat | Integrace dat | Datové produkty |
|---|---|---|---|---|---|
| Vlastník služby | Informovaný | Odpovědný | Konzultováno a informováno | Konzultováno a informováno | Konzultováno a informováno |
| Vlastník služby datové přijímací zóny | Informovaný | Konzultováno a informováno | Odpovědný | Odpovědný | Odpovědný |
| Provoz cloudové platformy | Zodpovědný | Konzultovaný | Konzultovaný | Konzultovaný | Konzultovaný |
| Operace datových platforem | Konzultovaný | Zodpovědný | Zodpovědný | Konzultován | Konzultováno |
| Operace zóny přistání dat | Informovaný | Zodpovědný | Zodpovědný | Zodpovědný | Zodpovědný |
| Tým datových aplikací | Informovaný | Informovaný | Informovaný | Zodpovědný |