Referentiepatronen voor gegevenstoepassingen

Bij het onboarden van een gegevenstoepassing naar een Data Landing Zone krijgt het team toegang tot hun toegewezen resourcegroep, subnet en gedeelde resources. Vanaf dit moment wordt het eigendom van de omgeving overgedragen aan het gegevenstoepassingsteam. Deze teams moeten verantwoordelijkheid nemen vanuit het perspectief van end-to-end implementatie en kostenverantwoordelijkheid.

Om het proces van aan de slag te vereenvoudigen en de doorlooptijd te verkorten om een omgeving te maken voor een specifieke use case, kunnen organisaties interne referentiepatronen bieden. Deze referentie-implementaties bestaan uit de IaC-definities (Infrastructure as Code) om een set services te maken voor een specifieke use-case, zoals batchgegevensverwerking, streaminggegevensverwerking of gegevenswetenschap, en demonstreren een pad naar succes. Deze patronen bevatten mogelijk ook algemene toepassingscode die kan worden gebruikt als basislijn bij het implementeren van gegevensoplossingen. Referentiepatronen voor gegevenstoepassingen kunnen per organisatie verschillen en sterk afhankelijk zijn van de gebruikte hulpprogramma's en veelgebruikte patronen voor de implementatie van gegevens in Data Landing Zones.

Andere automatisering kan worden gebruikt om mogelijke wrijvingspunten verder te verminderen en zelfs de eerste implementatie van het patroon voor datatoepassingsteams te automatiseren. Zie Platform-automatisering en DevOps voor analyses op cloudschaalvoor meer informatie.

Uiteindelijk moet het doel zijn om deze referentie-implementaties over te dragen aan de datatoepassingsteams, omdat ze eigenaar moeten zijn van de algehele codebasis van hun oplossing. Extra abstractielagen, zoals azure-sjabloonspecificaties, zijn ook een optie, maar verhogen het aantal wrijvingspunten, omdat vereiste wijzigingen opnieuw moeten worden aangevraagd vanuit een centraal team dat eigenaar is van en onderhoudt deze resources. Het centrale team moet vervolgens actie ondernemen om de wijzigingen te laten testen en uitbrengen. Daarnaast kan een complexer releasebeheerproces nodig zijn om geen invloed te hebben op andere consumenten van de sjabloonspecificatie. Ten slotte worden de sjablonen na verloop van tijd complexer omdat elk team verschillende parameters kan vereisen om bepaalde wijzigingen in de sjabloon toe te passen. Daarom is het overdragen van de referentiepatronen de eenvoudigste en meest effectieve oplossing, omdat hierdoor de datatoepassingsteams de benodigde wijzigingen kunnen aanbrengen als dat nodig is. Het blootstellen van deze teams aan het concept van IaC is een goede aanpak die enige tijd kan duren, maar uiteindelijk leidt dit tot betere technische procedures op het gegevensplatform.

Zie Cloud-schaalanalyses schalenvoor meer informatie.