Inzicht in teams en functies voor analyses op cloudschaal in Azure
Voor analyses op cloudschaal wordt u aangeraden door teams zoals opname, verwerking, analyse, verbruik en visualisatie te verplaatsen van het werken in horizontaal gesilode teams tot flexibele verticale teams voor meerdere domeinen in elke laag. Platformteams zoals gegevensplatformbewerkingen en platformbewerkingen worden gegroepeerd in een gemeenschappelijke platformgroep.
Platformgroep
De platformgroep bestaat uit twee teams:
- Platform-ops: Platform ops maakt deel uit van de platformgroep. Het werkt en is eigenaar van het cloudplatform. Dit team is verantwoordelijk voor het instantiëren van de landingszone voor gegevensbeheer en de landingszone voor gegevens, zoals netwerken, peering, kernservice en bewaking binnen analyses op cloudschaal.
Ze helpen meestal bij het ontwikkelen van IT-servicebeheerinterfaces voor persona's in de datalandingszone aan het begin van het implementeren van analyses op cloudschaal. Deze interfaces zijn meestal REST API-aanroepen naar een service om gegevensproducten te onboarden, beveiliging in te stellen en services toe te voegen aan datalandingszones.
- Gegevensplatformops: De gegevensplatform-ops-groep wordt ondergebracht in de platformgroep. Gegevensplatformops bieden services zoals centrale bewaking, catalogi en herbruikbare beleidsregels voor datalandingszones en -producten. Gegevensplatform ops is eigenaar van de landingszone voor gegevensbeheer en de andere verantwoordelijkheden van het team zijn:
Infrastructuur ontwikkelen
- Sjablonen voor infrastructuur als code ontwikkelen voor gegevenslandingszone; de sjablonen moeten na verloop van tijd worden bijgewerkt en onderhouden en kunnen meerdere scenario's omvatten.
- Geef prioriteit aan sjablonen en voeg nieuwe functies toe op basis van een feedbackcyclus van andere teams.
- Werk in een agile framework met het algemene doel om standaardinfrastructuursjablonen te produceren.
Reageren op nieuwe aanvragen voor gegevenslandingszones
Het team van het gegevensplatform moet de hulpprogramma's en services leveren ter ondersteuning van de sjablonen die ze hebben gemaakt. IT-hulpprogramma's voor servicebeheer, zoals ServiceNow, kunnen ticketaanvragen verwerken die zijn goedgekeurd door het dataplatform-team voor het maken van nieuwe landingszones voor gegevens. Na goedkeuring zou een nieuwe landingszone van de basissjabloon worden gesplitst om een nieuw DevOps-project te maken en zouden pijplijnen sjablonen implementeren in een nieuwe omgeving.
De feedback- en verbeteringslus van het gegevensplatform
Er zijn twee opties beschikbaar om de sjablonen te verbeteren:
Teams die verantwoordelijk zijn voor infrastructuursjabloonexemplaren, verbeteren hun DevOps-sjablonen en -implementaties. Als teams problemen in de sjablonen detecteren, kunnen gegevensplatformen de teams ondersteunen en wijzigingen vanuit hun fork samenvoegen in de sjabloon.
Andere teams voor gegevenslandingszones moeten in staat zijn om verbeterings- en achterstandstickets te maken die sjablonen zouden verbeteren op basis van de prioriteit van de tickets.
Azure-beleid voor analyses op cloudschaal
Cloudanalyseprincipes benadrukken selfserviceflexibiliteit en kaders om gegevens, kosten en patronen te beschermen. Gegevensplatformops werken met platform-ops om kwaliteit te definiëren en deze teams werken samen om specifiek gegevensbeleid te implementeren. Gegevensplatform-ops moeten een beoordelingsproces volgen om nieuwe functies bij te werken en te onderhouden die worden toegevoegd aan producten.
Landingszones voor gegevensbeheer implementeren en gebruiken
Gegevensplatform-ops en platform-ops werken samen om landingszones voor gegevensbeheer te implementeren en te gebruiken. Een landingszone voor gegevensbeheer biedt gedeelde services voor landingszones voor gegevens, waardoor het een centraal onderdeel van analyses op cloudschaal is.
Gegevenslandingszone-ops
Gegevenslandingszone ops werkt en onderhoudt het exemplaar van de gegevenslandingszone terwijl deze reageert op aanvragen van het gegevenstoepassingsteam. Ze bieden veel van dezelfde services als gegevensplatform-ops, maar zijn beperkt tot hun gegevenslandingszone.
Ze werken uit de geforkte opslagplaats die wordt gemaakt wanneer een gegevenslandingszone wordt gemaakt. Om beleidswijzigingen aan te vragen, moeten ze tickets indienen voor dataplatform-ops om deze uitzonderingen toe te staan.
Het gegevenstoepassingsteam ondersteunen om gegevensproducten aan te passen
Het ops-team voor gegevenslandingszones ondersteunt het datatoepassingsteam door pull-aanvragen te gebruiken om nieuwe productsjablonen te verzenden naar hun respectieve gegevensproductopslagplaatsen.
Als eigenaar van de landingszone zou Azure DevOps de goedkeuring routeren voor wijzigingen in gegevenslandingszone-ops:
Indien goedgekeurd, worden de sjabloonwijzigingen verplaatst naar de hoofdvertakking en geïmplementeerd in productie via continue integratie/continue ontwikkeling, waardoor het gegevensproductplatform/de infrastructuur wordt bijgewerkt.
Als dit wordt geweigerd, werken gegevenslandingszone-ops samen met het gegevenstoepassingsteam om de wijzigingen op te lossen.
Reageren op nieuwe gegevensproductaanvragen
Data landing zone ops ondersteunt data application teams om nieuwe gegevensproducten te maken. Wanneer een datatoepassingsteam hulp vraagt, wordt een IT-servicebeheeroplossing, bijvoorbeeld een logische automatiserings-app, de goedkeuring of implementatie van een nieuwe opslagplaats voor gegevenstoepassingen ingedeeld. Gegevenslandingszone-ops worden op de hoogte gesteld van nieuwe aanvragen en implementaties goedkeuren of weigeren. Zodra dit is goedgekeurd, wordt er een nieuw DevOps-project gemaakt, worden de hoofdsjabloon en artefacten gesplitst en wordt er een nieuwe gegevenstoepassing geïmplementeerd.
Voldoen aan het Azure Well-Architected Framework
Data landing zone ops is verantwoordelijk voor de data landing zone, en het wordt aanbevolen om het team te bedreven in het Azure Well-Architected Framework, dat richtlijnen biedt voor kostenoptimalisatie, betrouwbaarheid en beveiliging.
Zaken zoals gebruikelijk
Data landing zone ops is verantwoordelijk voor zakelijke taken die het verzamelen van feedback en verbeteringsaanvragen omvatten. Deze aanvragen worden regelmatig geprioriteerd en gedeeld met gegevensplatform-ops. Het team bewaakt de gegevenslandingszone voor incidenten en statusevenementen. Ze betrekken andere ops-teams tijdens ernstige incidenten om back-ups, failovers en schaalservices te beperken, te herstellen.
Gegevenstoepassingsteam
Het datatoepassingsteam levert nieuwe gegevensproducten aan het bedrijf. Ze zijn afkomstig uit de leesgegevensarchieven van gegevensintegraties en transformeren ze in bedrijfsoplossingen. Alles wat gegevens transformeert voor gebruik, wordt geclassificeerd als een gegevensproduct. Dit team is vaak een combinatie van technische specialisten en vakexperts die het bedrijf kunnen helpen snel waarde te bereiken. Gegevensproducten kunnen variëren van eenvoudige rapporten en nieuwe gegevensproducten tot aangepaste instellingen met gegevensgestuurde Kubernetes-web-apps.
Nieuwe gegevensproducten
Producteigenaren en bedrijfsvertegenwoordigers maken aanvragen voor nieuw gegevensproduct wanneer ze nodig zijn. Het datakantoor beoordeelt de vereisten en stelt een nieuw datatoepassingsteam samen met een scala aan expertise. Het team identificeert de gegevensproducten die vereist zijn voor het gegevensproduct en vraagt om toestemming voor de gegevensasset. Als er een nieuw gegevensproduct nodig is, ontvangt het gegevenstoepassingsteam een ticket om het op te nemen. Het team identificeert de services die vereist zijn voor het nieuwe gegevensproduct en vraagt een nieuw gegevensproduct aan via het implementatieproces van de gegevenstoepassing. Het gegevenstoepassingsteam ontvangt een geforkte opslagplaats van de sjabloon voor de hoofdgegevenstoepassing om de gegevenstoepassing te implementeren.
Gegevensproducten certificeren
In een selfserviceplatform kan iedereen rapporten maken, gegevensproducten cureren in een Azure Data Lake-ontwikkelaarsopslagaccount en gegevensproducten vrijgeven die het bedrijf kan gebruiken. Aanvragen voor beoordeling van gegevensproduct treden op wanneer:
- Bedrijfssponsoren registreren tickets om gegevensproducten te certificeren.
- Gegevensplatforms nomineert gegevensproducten op basis van populariteit.
Een gegevenstoepassingsteam kan een certificeringsproces stimuleren om te worden gedefinieerd ops en digitale beveiliging van het gegevensplatform, waaronder:
- Tests die zijn ontworpen om gegevenstransformaties en bedrijfslogica te valideren
- Evaluaties voor: impact op beveiliging, naleving of prestaties
Bij certificering worden artefacten gesorteerd en geüpload naar een opslagplaats voor gegevensproduct, wordt documentatie gepubliceerd en wordt het gegevenstoepassingsteam op de hoogte gesteld.
Productondersteuning
Gebruikers kunnen feedback verzenden met een IT-servicebeheeroplossing of rechtstreeks binnen het product als een ticket wordt doorgestuurd naar de eigenaar van het gegevensproduct. Deze persoon sorteert de aanvraag en bepaalt of deze naar het gegevenstoepassingsteam moet worden geëscalereerd om feedback in een productachterstand op te lossen of in te voeren en te controleren tijdens de productplanningscycli.
Team voor data science-toepassingen
Hoewel het data science-productenteam gegevensproducten maakt, is het uniek omdat hun functies leiden tot gegevensproducten. Dit resulteert in gepubliceerde modellen in gegevensproducten die anderen kunnen gebruiken en het patroon volgt een Machine Learning ops-model dat is gekoppeld aan de gegevenslandingszone.
Het data science-productenteam begint met het zoeken en vinden van relevante gegevensproducten voor hun use-case. Oplossingen voor gegevensbeheer kunnen meer details weergeven, zoals gegevenskwaliteit, herkomst of een vergelijkbare gegevensset of een vergelijkbaar profiel. Ze onderzoeken of er een voorbeeldgegevensset beschikbaar is en of de gegevens relevant zijn voor het project. Zodra gegevenstoegang is verleend via een gegevenscatalogus of een Microsoft Entra-toegangspakket, gebruikt het team de services in de gegevenslandingszone om de gegevens te verkennen en te analyseren.
Voordat alle gegevens worden verwerkt, gebruikt het team lokale of externe berekeningen om voorbeeldgegevensproducten te verwerken en te analyseren. Ze kunnen externe rekendoelen optimaliseren met grotere gegevensproducten om machine learning-modellen te trainen en te ontwikkelen met uitvoeringen, uitvoer en modellen die worden bijgehouden in Azure Machine Learning.
Wanneer het team machine learning-modellen heeft ontwikkeld, beginnen ze met het operationeel maken van deze modellen. Hiervoor breiden ze het team uit met DataOps- en machine learning-engineers die kunnen helpen bij het verplaatsen van de modellen naar een nieuw gegevensproduct, zoals wordt beschreven in de rol van het team van een gegevenstoepassing.
Het data science-team blijft samenwerken met de bijbehorende gegevensproducteigenaren om feedback, ondersteuning en opgeloste en updatemodellen in productie vast te leggen en bij te werken met behulp van een machine learning ops-methodologie.
Analist
Analisten vertegenwoordigen een grote groep met bedrijfsanalisten, hoofdgebruikers en over het algemeen iedereen in de organisatie die geïnteresseerd is in het optimaliseren van gegevens om nieuwe zakelijke inzichten te creëren. Selfservice-inschakeling is een belangrijk principe dat analisten ondersteunt voor toegang tot analyses en gegevens zonder formele IT-budget en -resources te hoeven beveiligen.
Fooi
Ondernemingen moeten inzichten bekijken die zijn gemaakt door analisten als de volgende set potentiële gegevensproducten die moeten worden gecertificeerd voor anderen die binnen het bedrijf kunnen worden gebruikt.
Gegevens zoeken en aanvragen
Analisten raadplegen data marketplaces/catalogi om relevante gegevensproducten te ontdekken.
Als de gegevensasset niet kan worden gevonden of niet bestaat, openen analisten een ondersteuningsticket met het gegevenstoepassingsteam. Het gegevenstoepassingsteam helpt bij het vinden van de gegevensset of het toevoegen van de aanvraag aan hun achterstand om deze in een andere ontwikkelingscyclus te beoordelen.
Als de gegevensset bestaat, kan analyse microsoft Entra-groepslidmaatschap identificeren voor assets die worden vermeld in de catalogus en de Azure-toegangspakketportal gebruiken om toegang aan te vragen tot de Microsoft Entra-groep.
Nieuwe rapporten maken
Analisten kunnen hulpprogramma's zoals Microsoft Power BI gebruiken om gegevensproducten te integreren in rapporten. Deze rapporten kunnen voor hun individuele gebruik of het publiceren van een gecertificeerd gegevensproduct zijn. Voordat u het rapport in de hele organisatie publiceert, moet het worden gecertificeerd met een gegevensproductcertificeringsproces voor beveiliging, naleving en prestaties.
Uitvoeren als nodig query's
Analyse op cloudschaal heeft gedeelde werkruimten waar analisten query's kunnen uitvoeren op gegevens, afhankelijk van machtigingen. Het is gebruikelijk dat gegevensproducten toegewezen berekeningen bieden om query's uit te voeren wanneer ze nodig zijn. In beide gevallen kan de analist query's uitvoeren op gegevensproducten in de gegevenslandingszones. Het is ook onderhevig aan machtigingen. De resultaten van de query's kunnen worden opgeslagen in Azure Data Lake-werkruimten die opnieuw moeten worden gebruikt.
Feedback van gebruikers
Aangezien analisten kunnen fungeren als een niet-opgehaalde broninformatie en verbeteringen, worden ondernemingen sterk aangemoedigd om feedbackgroepen voor gebruikers te maken voor elke gegevenslandingszone.
Naast deelname aan deze gebruikersgroepen moeten analisten gegevensassetfeedback indienen bij het datatoepassingsteam en problemen met de gegevenscatalogus in de gegevenscatalogus of de OPLOSSING voor IT-servicebeheer. Ze kunnen problemen met het gegevensproces indienen bij het gegevenstoepassingsteam of binnen een IT-servicebeheeroplossing.
Notitie
Een IT-servicebeheer moet fungeren als een centrale locatie voor het indienen van feedback en het escaleren van problemen. Het indienen van directe feedback aan afzonderlijke teams lijkt een snellere oplossing te zijn, maar deze aanpak geeft het bedrijf geen inzicht in de uitdagingen in het platform. Een IT-servicebeheeroplossing met de juiste routering naar de datatoepassingsteams kan het bedrijf één weergave geven in de hele onderneming.
Matrix voor verantwoordelijkheidstoewijzing
- Verantwoordelijk: Wie de taak voltooit?
- Verantwoordelijk: Wie neemt beslissingen en neemt u acties op de taak?
- Geraadpleegd: Wie ontvangt communicatie over beslissingen en taken?
- Geïnformeerd: Wie wordt bijgewerkt over de beslissingen en acties tijdens het project?
| - Rol | Cloudomgeving | Landingszone voor gegevensbeheer | Gegevenslandingszone | Gegevensintegratie | Gegevensproducten |
|---|---|---|---|---|---|
| Service-eigenaar | Hoogte | Aansprakelijk | Geraadpleegd op de hoogte | Geraadpleegd op de hoogte | Geraadpleegd op de hoogte |
| Service-eigenaar van gegevenslandingszone | Hoogte | Geraadpleegd op de hoogte | Aansprakelijk | Aansprakelijk | Aansprakelijk |
| Cloudplatform-ops | Verantwoordelijk | Geraadpleegd | Geraadpleegd | Geraadpleegd | Geraadpleegd |
| Gegevensplatform-ops | Geraadpleegd | Verantwoordelijk | Verantwoordelijk | Geraadpleegd | Geraadpleegd |
| Gegevenslandingszone-ops | Hoogte | Verantwoordelijk | Verantwoordelijk | Verantwoordelijk | Verantwoordelijk |
| Gegevenstoepassingsteam | Hoogte | Hoogte | Hoogte | Verantwoordelijk |