Inzicht in teams en functies voor analyses op cloudschaal in Azure
Voor analyses op cloudschaal raden we u aan teams zoals opname, verwerking, analyse, verbruik en visualisatie te verplaatsen van het werken in horizontaal gesiloerde teams tot flexibele verticale teams voor meerdere domeinen in elke laag. Platformteams zoals gegevensplatformbewerkingen en platformbewerkingen worden gegroepeerd in een gemeenschappelijke platformgroep.
Platformgroep
De platformgroep bestaat uit twee teams:
Platform-ops: Platform-ops maken deel uit van de platformgroep. Zij beheren en bezitten het cloudplatform. Dit team is verantwoordelijk voor het opzetten van de landingszone voor gegevensbeheer en de ondersteunende structuur voor de data-landingszone, zoals netwerken, peering, basisdiensten en monitoring binnen analyses op cloudschaal. Meestal assisteren ze bij het ontwikkelen van IT-servicebeheerinterfaces voor gebruikersprofielen in de datalandingzone aan het begin van de implementatie van analyses op cloudschaal. Deze interfaces zijn meestal REST API-aanroepen naar een service om gegevensproducten te onboarden, beveiliging in te stellen en services toe te voegen aan datalandingszones.
Gegevensplatformops: De groep gegevensplatform-ops is ondergebracht in de platformgroep. Gegevensplatform-activiteiten bieden services zoals centrale monitoring, catalogiseren en herbruikbare beleidsregels voor datalandingszones en -producten. De operationele beheerders van het gegevensplatform zijn verantwoordelijk voor de landingszone van gegevensbeheer, en de andere verantwoordelijkheden van het team zijn:
Infrastructuur ontwikkelen
- Sjablonen voor infrastructuur als code ontwikkelen voor landingszones voor gegevens; de sjablonen moeten na verloop van tijd worden bijgewerkt en onderhouden en kunnen meerdere scenario's omvatten.
- Geef prioriteit aan sjablonen en voeg nieuwe functies toe op basis van feedback van andere teams.
- Werk in een agile framework met het algemene doel van het produceren van standaardinfrastructuursjablonen.
Reageren op nieuwe aanvragen voor gegevenslandingszones
Het dataplatform ops-team moet de hulpprogramma's en services leveren ter ondersteuning van de sjablonen die ze hebben gemaakt. IT-hulpprogramma's voor servicebeheer, zoals ServiceNow, kunnen ticketaanvragen verwerken die zijn goedgekeurd door het dataplatform-team voor het maken van nieuwe landingszones voor gegevens. Nadat deze is goedgekeurd, zou een nieuwe landingszone van de basissjabloon worden gesplitst om een nieuw DevOps-project te maken en zouden pijplijnen sjablonen implementeren in een nieuwe omgeving.
De feedback- en verbeteringslus van het gegevensplatform
Er zijn twee opties beschikbaar om de sjablonen te verbeteren:
- Teams die verantwoordelijk zijn voor infrastructuursjabloonexemplaren kunnen hun DevOps-sjablonen en -implementaties verbeteren. Als teams problemen in de sjablonen ontdekken, kunnen gegevensplatformoperaties de teams ondersteunen en wijzigingen vanuit hun 'fork' terug samenvoegen in de sjabloon.
- Andere teams voor gegevenslandingszones moeten in staat zijn om verbeterings- en achterstandstickets te maken die sjablonen zouden verbeteren op basis van de prioriteit van de tickets.
Azure-beleid voor analyses op cloudschaal
Cloudanalyseprincipes benadrukken zelfbedieningswendbaarheid en richtlijnen om gegevens, kosten en patronen te beschermen. Gegevensplatform-ops werken met platform-ops om kwaliteit te definiëren en deze teams werken samen om specifiek gegevensbeleid te implementeren. Gegevensplatform-ops moeten een beoordelingsproces volgen om nieuwe functies bij te werken en te onderhouden die worden toegevoegd aan producten.
Landingszones voor gegevensbeheer implementeren en gebruiken
Gegevensplatform-ops en platform-ops werken samen om landingszones voor gegevensbeheer te implementeren en te gebruiken. Een gegevensbeheerlandingszone biedt gedeelde services aan gegevenslandingszones en vormt daarmee een centraal onderdeel van analyses op cloudschaal.
Gegevenslandingszone-operaties
Gegevenslandingszone-ops werken en onderhouden hun exemplaar van de gegevenslandingszone terwijl ze reageren op aanvragen van het datatoepassingsteam. Ze bieden veel van dezelfde services als gegevensplatform-operaties, maar zijn beperkt tot hun gegevenslandingszone.
Ze werken vanuit de afgetakte opslagplaats die wordt gemaakt wanneer een gegevenslandingszone tot stand is gebracht. Om beleidswijzigingen aan te vragen, moeten ze tickets indienen voor dataplatform-operaties om deze uitzonderingen mogelijk te maken.
Het gegevenstoepassingsteam ondersteunen om gegevensproducten aan te passen
Het ops-team voor gegevenslandingszones ondersteunt het datatoepassingsteam door pull-aanvragen te gebruiken om nieuwe productsjablonen te verzenden naar hun respectieve gegevensproductopslagplaatsen.
Als eigenaar van de landingszone stuurt Azure DevOps de goedkeuring voor wijzigingen in gegevenslandingszone-ops:
- Indien goedgekeurd, worden de sjabloonwijzigingen verplaatst naar de hoofdvertakking en geïmplementeerd naar productie via continue integratie/continue ontwikkeling, waardoor het gegevensproductplatform/de infrastructuur wordt bijgewerkt.
- Als dit wordt geweigerd, werken gegevenslandingszone-ops samen met het gegevenstoepassingsteam om de wijzigingen op te lossen.
Reageren op nieuwe gegevensproductaanvragen
Data landing zone ops ondersteunen gegevensapplicatieteams bij het maken van nieuwe dataproducten. Wanneer een gegevenstoepassingsteam hulp vraagt, organiseert een IT-servicebeheeroplossing, zoals een logische automatiserings-app, de goedkeuring of implementatie van een nieuwe opslagplaats voor gegevenstoepassingen. Gegevenslandingszone-operators worden op de hoogte gesteld van nieuwe aanvragen om implementaties goed te keuren of te weigeren. Nadat dit is goedgekeurd, wordt een nieuw DevOps-project gemaakt, worden de hoofdsjabloon en artefacten gesplitst en wordt er een nieuwe gegevenstoepassing geïmplementeerd.
Voldoen aan het Azure Well-Architected Framework
Gegevenslandingszone-ops zijn verantwoordelijk voor de gegevenslandingszone en het wordt aanbevolen dat het team bedreven is in het Azure Well-Architected Framework, dat richtlijnen biedt voor kostenoptimalisatie, betrouwbaarheid en beveiliging.
Zaken zoals gebruikelijk
Gegevenslandingszone-ops zijn verantwoordelijk voor zakelijke taken, waaronder het verzamelen van feedback- en verbeteringsaanvragen. Deze aanvragen worden regelmatig geprioriteerd en gedeeld met gegevensplatform-ops. Het team bewaakt de data-afleverzone voor incidenten en statusmeldingen. Ze schakelen tijdens ernstige incidenten andere ops-teams in om back-ups te herstellen, failovers uit te voeren en services op te schalen.
Gegevenstoepassingsteam
Het datatoepassingsteam levert nieuwe gegevensproducten aan het bedrijf. Ze halen gegevens uit leesdatabronnen van gegevensintegraties en transformeren deze tot bedrijfsoplossingen. Alles wat gegevens voor gebruik transformeert, wordt geclassificeerd als een gegevensproduct. Dit team is vaak een combinatie van technische specialisten en vakexperts die het bedrijf kunnen helpen snel waarde te bereiken. Gegevensproducten kunnen variëren van eenvoudige rapporten en nieuwe gegevensproducten tot aangepaste instellingen met gegevensgestuurde Kubernetes-web-apps.
Nieuwe gegevensproducten
Producteigenaren en bedrijfsvertegenwoordigers maken aanvragen voor nieuwe gegevensproducten wanneer ze nodig zijn. Het datakantoor beoordeelt de vereisten en stelt een nieuw datatoepassingsteam samen met een scala aan expertise. Het team identificeert de vereiste gegevensproducten en vraagt toestemming om toegang te krijgen tot de gegevensasset. Als er een nieuw gegevensproduct nodig is, ontvangt het gegevenstoepassingsteam een ticket om het op te nemen. Het team identificeert de services die vereist zijn voor het nieuwe gegevensproduct en vraagt een nieuw gegevensproduct aan via het implementatieproces van de gegevenstoepassing. Het datatoepassingsteam ontvangt een geforkte repo van de masterdatatoepassingssjabloon om de datatoepassing te implementeren.
Gegevensproducten certificeren
In een selfserviceplatform kan iedereen rapporten maken, gegevensproducten cureren in een Azure Data Lake-ontwikkelaarsopslagaccount en gegevensproducten vrijgeven die het bedrijf kan gebruiken. Aanvragen voor beoordeling van gegevensproduct treden op wanneer:
- Bedrijfssponsoren registreren tickets om gegevensproducten te certificeren.
- Gegevensplatformen nomineren gegevensproducten op basis van populariteit.
Een gegevenstoepassingsteam kan een certificeringsproces stimuleren, gedefinieerd door gegevensplatformops en digitale beveiliging, waaronder:
- Tests die zijn ontworpen om gegevenstransformaties en bedrijfslogica te valideren
- Evaluaties voor beveiligings-, nalevings- of prestatie-impact
Bij certificering worden artefacten gesorteerd en geüpload naar een opslagplaats voor gegevensproduct, wordt documentatie gepubliceerd en wordt het gegevenstoepassingsteam op de hoogte gesteld.
Productondersteuning
Gebruikers kunnen feedback verzenden met een IT-servicebeheeroplossing of rechtstreeks in het product als ticket dat wordt doorgestuurd naar de eigenaar van het gegevensproduct. Deze persoon beoordeelt het verzoek en bepaalt of het naar het gegevenstoepassingsteam moet worden geëscaleerd om het te corrigeren, of om feedback in een productachterstand op te nemen en te evalueren tijdens de cycli van productplanning.
Team voor data science-toepassingen
Hoewel het data science-productenteam gegevensproducten maakt, is het uniek omdat hun functies leiden tot gegevensproducten. Hun werk resulteert in gepubliceerde modellen die gegevensproducten worden die anderen kunnen gebruiken en het patroon volgt een Machine Learning-ops-model dat is gekoppeld aan de gegevenslandingszone.
Het data science-productenteam begint met het zoeken naar relevante gegevensproducten en het vinden van relevante gegevensproducten voor hun use-case. Oplossingen voor gegevensbeheer kunnen meer details weergeven, zoals gegevenskwaliteit, herkomst of een vergelijkbare gegevensset of een vergelijkbaar profiel. Ze onderzoeken of er een voorbeeldgegevensset beschikbaar is en of de gegevens relevant zijn voor het project. Nadat gegevenstoegang is verleend via een gegevenscatalogus of een Microsoft Entra-toegangspakket, gebruikt het team de services in de gegevenslandingszone om de gegevens te verkennen en te analyseren.
Voordat alle gegevens worden verwerkt, gebruikt het team lokale of externe berekeningen om voorbeeldgegevensproducten te verwerken en te analyseren. Ze kunnen externe rekendoelen optimaliseren met omvangrijkere gegevensproducten om machine learning-modellen te ontwikkelen en trainen, waarbij runs, output en modellen worden bijgehouden in Azure Machine Learning.
Wanneer het team machine learning-modellen heeft ontwikkeld, beginnen ze met het operationeel maken van deze modellen. Voor het bereiken van dit doel breiden ze het team uit met DataOps- en machine learning-technici die kunnen helpen bij het verplaatsen van de modellen naar een nieuw gegevensproduct, zoals wordt beschreven in de rol van een datatoepassingsteam.
Het data science-team blijft samenwerken met de bijbehorende eigenaren van gegevensproducten om feedback te verzamelen, ondersteuning te bieden en modellen in productie bij te werken met behulp van een machine learning ops-methodologie.
Analist
Analisten vertegenwoordigen een grote groep met bedrijfsanalisten, hoofdgebruikers en over het algemeen iedereen in de organisatie die geïnteresseerd is in het optimaliseren van gegevens om nieuwe zakelijke inzichten te creëren. Bevorderen van selfservice is een belangrijk principe dat analisten ondersteunt bij het openen van analyses en gegevens zonder een formeel IT-budget en middelen te hoeven aanvragen.
Fooi
Ondernemingen moeten inzichten bekijken die zijn gemaakt door analisten als de volgende set potentiële gegevensproducten die moeten worden gecertificeerd voor anderen die binnen het bedrijf kunnen worden gebruikt.
Gegevens zoeken en aanvragen
Analisten raadplegen data marketplaces/catalogi om relevante gegevensproducten te ontdekken.
Als de gegevensasset niet kan worden gevonden of niet bestaat, openen analisten een ondersteuningsticket bij het gegevenstoepassingsteam. Het team voor gegevensapplicaties helpt bij het vinden van de gegevensset of voegt het verzoek toe aan de backlog om dit in een andere ontwikkelingscyclus te beoordelen.
Als de gegevensset bestaat, kunnen analisten microsoft Entra-groepslidmaatschap identificeren voor assets die worden vermeld in de catalogus en de Azure-toegangspakketportal gebruiken om toegang aan te vragen tot de Microsoft Entra-groep.
Nieuwe rapporten maken
Analisten kunnen hulpprogramma's zoals Microsoft Power BI gebruiken om gegevensproducten te integreren in rapporten. Deze rapporten kunnen voor hun individuele gebruik of voor het publiceren van een gecertificeerd gegevensproduct zijn. Voordat u het rapport in de hele organisatie publiceert, moet het worden gecertificeerd met een gegevensproductcertificeringsproces voor beveiliging, naleving en prestaties.
Voer query's uit indien nodig
Analyse op cloudschaal heeft gedeelde werkruimten waar analisten query's kunnen uitvoeren op gegevens, afhankelijk van machtigingen. Het is gebruikelijk dat gegevensproducten toegewezen berekeningen bieden om query's uit te voeren, indien nodig. In beide gevallen kunnen analisten query's uitvoeren op gegevensproducten in de datalandingszones, afhankelijk van machtigingen. De resultaten van de query's kunnen worden opgeslagen in Azure Data Lake-werkruimten die opnieuw moeten worden gebruikt.
Feedback van gebruikers
Omdat analisten kunnen fungeren als een niet-opgehaalde bron van informatie en verbeteringen, worden ondernemingen sterk aangemoedigd om feedbackgroepen voor gebruikers te maken voor elke datalandingszone.
Naast deelname aan deze gebruikersgroepen moeten analisten feedback over gegevensassets indienen bij het datatoepassingsteam en problemen met de gegevenscatalogus melden binnen de gegevenscatalogus of de IT-servicebeheeroplossing. Ze kunnen problemen met het gegevensproces indienen bij het gegevenstoepassingsteam of binnen een IT-servicebeheeroplossing.
Notitie
Een IT-servicebeheeroplossing moet fungeren als een centrale locatie voor het indienen van feedback en het escaleren van problemen. Het indienen van directe feedback aan afzonderlijke teams lijkt een snellere oplossing te zijn, maar deze aanpak geeft het bedrijf geen inzicht in de uitdagingen in het platform. Een IT-servicebeheeroplossing met de juiste routering naar de datatoepassingsteams kan het bedrijf één weergave geven in de hele onderneming.
Matrix voor verantwoordelijkheidstoewijzing
- Verantwoordelijk: Wie voert de taak uit?
- Verantwoordelijk: Wie neemt beslissingen en neemt acties op de taak?
- Geraadpleegd: Wie ontvangt communicatie over beslissingen en taken?
- Geïnformeerd: Wie wordt bijgewerkt over de beslissingen en acties tijdens het project?
| Rol | Cloudomgeving | Landingszone voor gegevensbeheer | Gegevenslandingszone | Gegevensintegratie | Gegevensproducten |
|---|---|---|---|---|---|
| Service-eigenaar | Geïnformeerd | Verantwoordelijk | Graadpleegd en geïnformeerd | Geconsulteerde geïnformeerd | Geïnformeerd en geraadpleegd |
| Service-eigenaar van gegevenslandingszone | Geïnformeerd | Geraadpleegde geïnformeerd | Verantwoordelijk | Verantwoordelijk | Verantwoordelijk |
| Cloudplatform-operaties | Verantwoordelijk | Geraadpleegd | Geraadpleegd | Geraadpleegd | Geraadpleegd |
| Gegevensplatform-activiteiten | Geraadpleegd | Verantwoordelijk | Verantwoordelijk | Geraadpleegd | Geraadpleegd |
| Gegevenslandingszone-operaties | Geïnformeerd | Verantwoordelijk | Verantwoordelijk | Verantwoordelijk | Verantwoordelijk |
| Gegevenstoepassingsteam | Geïnformeerd | Geïnformeerd | Geïnformeerd | Verantwoordelijk |