Analysegegevensproducten op cloudschaal in Azure
Gegevensproducten zijn gegevens die worden geleverd als producten en berekend, opgeslagen en bediend door polyglot persistence-services, die mogelijk vereist zijn voor bepaalde gebruiksscenario's. Het proces voor het maken en leveren van een gegevensproduct kan services en technologieën vereisen die niet zijn opgenomen in de gegevenslandingszone kernservices. Een voorbeeld hiervan is rapportage met nichevereisten, zoals naleving en belastingrapportage.
Ontwerpoverwegingen
Een gegevenslandingszone kan meerdere gegevensproducten leveren die zijn gemaakt door gegevens op te nemen vanuit dezelfde gegevenslandingszone of vanuit meerdere gegevenslandingszones. Dit wordt weergegeven in het volgende diagram.
In het bovenstaande voorbeeld ziet u:
- Verbruik van gegevens in intrazone:
- Gegevensproduct B verbruikt gegevens uit gegevensproduct A en andere gegevens of gegevensproducten die in de data lake in een eigen landingszone aanwezig zijn.
- Gegevensproducten C en D verbruiken alleen gegevens uit hun eigen respectieve datalandingszones.
- Verbruik van gegevens in interzone:
- Gegevensproduct B verbruikt ook gegevens uit gegevensproduct C en de gegevens in de data lake van landingszone 3.
Belangrijk
In het geval van gegevensverbruik tussen zones, omdat gegevensproduct B wordt gemaakt door gegevenslandingszone 3 te lezen, vereist deze leestoegang goedkeuring van de bewerkingen van de gegevenslandingszone en integratiebewerkingen teams van gegevenslandingszone 3.
Belangrijk
Gegevensproduct B verbruikt gegevens uit gegevensproducten A en C. Voordat dit kan gebeuren, moet gegevensproduct B het verbruik van gegevensproducten registreren via overeenkomsten voor het delen van gegevens. Deze overeenkomst voor het delen van gegevens moet de herkomst van gegevensproduct A bijwerken naar gegevensproduct B en van gegevensproduct C naar gegevensproduct B.
De resourcegroep voor een gegevensproduct bevat alle services die nodig zijn om het te maken en te onderhouden. We kunnen deze resourcegroep een gegevenstoepassingnoemen. Voorbeelden van services die deel kunnen uitmaken van een gegevenstoepassing zijn Azure Functions, Azure App Service, Logic Apps, Azure Analysis Services, Azure Cognitive Services, Azure Machine Learning, Azure SQL Database, Azure Database for MySQL en Azure Cosmos DB.
Gegevensproducten bevatten gegevens uit READ gegevensbronnen waarop enkele gegevenstransformaties zijn toegepast. Voorbeelden kunnen een nieuw samengestelde gegevensset of een BI-rapport zijn.
Ontwerpaanaanvelingen
Bouw gegevensproducten in uw gegevenslandingszone door te voldoen aan ontwerpprincipes waarmee u kunt schalen met gegevensbeheer. In de volgende secties vindt u ontwerpaanvelingen om u te helpen bij het plannen van uw gegevenstoepassingsecosysteem.
Meerdere resourcegroepen implementeren
Elke gegevenstoepassing is een resourcegroep. Omdat datatoepassingen rekenservices, polyglot persistentieservices of beide zijn, kunnen ze alleen afhankelijk van bepaalde gebruiksvoorbeelden vereist zijn. Daarom worden ze beschouwd als een optioneel onderdeel van de landingszone voor gegevens. In gevallen waarin u gegevenstoepassingen nodig hebt, maakt u meerdere resourcegroepen per gegevenstoepassing, zoals in het volgende diagram wordt weergegeven.
Beperkingen instellen
Azure Policy bepaalt de standaardconfiguratie van services binnen een gegevenslandingszone. U kunt operationele analyses beschouwen als meerdere resourcegroepen die uw gegevensproductteam kan aanvragen vanuit een standaardservicecatalogus. Met Behulp van Azure Policy kunt u de beveiligingsgrens en de vereiste functieset configureren.
Belangrijk
Als u consistentie wilt stimuleren, configureert u één Azure Policy voor elke gegevenstoepassing.
Gegevens van meerdere locaties gebruiken
Gegevenstoepassingen beheren, organiseren en begrijpen gegevens uit meerdere gegevensassets en presenteren inzichten die zijn verkregen. Een gegevensproduct is het resultaat van gegevens uit een of meer gegevenstoepassingen binnen datalandingszones. Sta uw gegevenstoepassingen toe om zo nodig toegang te krijgen tot gegevens uit meerdere en verschillende bronnen.
Naar behoefte schalen
Services waaruit gegevenstoepassingen bestaan, zijn incrementele implementaties in de gegevenslandingszone. Schaal uw gegevenstoepassingen naar behoefte.
Gegevensdetectie inschakelen
Registreer uw gegevensproducten automatisch in een gegevenscatalogus, zoals Microsoft Purview om gegevensscans toe te staan.
Uw gegevensproducten identificeren
Wanneer u begint met het plannen van een gegevenslandingszone, identificeert u zo veel gegevensproducten (en de gegevenstoepassingen die deze uitvoeren en onderhouden), indien nodig om de architectuur van uw gegevensproducttoepassing te stimuleren. Overeenstemming met de geïmplementeerde platformgovernance moet de grootste rol spelen in uw beslissingen.
Richt u op de wijze waarop uw gegevenstoepassingen gegevensproducenten en consumenten voor anderen zijn. Stel dat u een reeks gegevensproducten (A, B, C en D) hebt geïdentificeerd die gegevens produceren en gebruiken. U hebt gegevensproducten A en D nodig als bronnen voor de gegevens in Data Application B voor gegevensproduct B. Gegevensproduct B wordt gemaakt op basis van de gegevens die Data Application B verbruikt uit gegevensproducten A en D. Gegevenstoepassing B fungeert als gegevensproducent zelf en produceert ook gegevens voor gegevensproduct C.
Uw gegevenstoepassingsomgeving beheren met infrastructuur als code
Governance en infrastructuur als code moeten de omgeving van de gegevenstoepassing beheren in uw ecosysteem van gegevensproducten, zoals wordt weergegeven in het vorige diagram.
Gegevensmodellen publiceren
Uw gegevensproductteams moeten hun gegevensmodellen publiceren in een modelopslagplaats.
Verwachtingen instellen voor gebruikers van gegevensproduct
Werk uw contracten voor het delen van gegevens bij met serviceovereenkomsten en certificeringen voor uw gegevensproducten, zodat u nauwkeurige verwachtingen kunt overbrengen aan potentiële gebruikers van het gegevensproduct.
Herkomst vastleggen
Als gegevensproduct B wordt gemaakt op basis van gegevens die afkomstig zijn van gegevensproducten A en D, moet herkomst worden vastgelegd van A en D naar B. Verdere herkomst moet ook worden vastgelegd voor gegevensproduct C, omdat deze wordt gemaakt met behulp van gegevens van gegevensproduct B. Bijgewerkte herkomst moet worden vastgelegd in een gegevensherkomsttoepassing vóór elke release van uw gegevensproduct.
Notitie
Met Behulp van Azure Pipelines kunt u goedkeuringspoorten bouwen en functies aanroepen die ervoor kunnen zorgen dat metagegevens, herkomst en SLA's worden geregistreerd in de juiste governanceservice.
Architectuur voor gegevenstoepassingen definiëren
U moet een gedetailleerde architectuur maken voor elk gegevensproduct dat de relatie met andere gegevensproducten, de bijbehorende afhankelijkheden en de toegangsvereisten volledig definieert.