Metadatastandarder
Metadatahantering spelar en avgörande roll i dataarkitekturen. Metadata är data om andra data. Den beskriver data och tillhandahåller en referens som hjälper dig att hitta, skydda och kontrollera data. Metadata binder också samman data. Den kan användas för att verifiera datas integritet och kvalitet, dirigera eller replikera data till en ny plats, transformera data och förstå datas betydelser. Metadata är också viktiga för demokratisering av data via självbetjäningsportaler.
Det finns en växande trend i branschen att föra datainsikter närmare dataanalytiker och forskare med hjälp av portaler som använder mer metadata. Den här trenden kallas dataobservabilitet. Dataobservabilitet använder begrepp som metadatasjö, kunskapsdiagram eller metadatadiagram för att beskriva plattformar där metadata centraliseras. Det är ett bra sätt att skapa en enhetlig vy över hur data används och hämtas i hela organisationen när du använder ett distribuerat datanät.
En bra strategi för metadatahantering växer organiskt. Den börjar enkelt och litet genom att först identifiera de viktigaste områdena. En bra strategi för metadatahantering stöds också med tjänster och tydliga processer. För att komma igång är det bra att vara medveten om de olika metadatakategorierna:
- Affärsmetadata beskriver alla aspekter som används för styrning, hitta och förstå data. Några välkända exempel är affärsvillkor och definitioner och information om dataägarskap, användning och ursprung.
- Tekniska metadata beskriver de strukturella aspekterna av data vid designtillfället. Några välkända exempel är schemainformation, dataformat och protokollinformation samt krypterings- och dekrypteringsnycklar.
- Operativa metadata beskriver bearbetningsaspekter av data vid körning. Några välkända exempel är processinformation, körningstid, information om processfel och jobb-ID:n.
- Sociala metadata beskriver användarperspektivet för data från sina konsumenter. Några välkända exempel är användnings- och användarspårningsinformation, sökresultatdata, filter och klick, visningstid, profilträffar och kommentarer.
I decentraliserad dataarkitektur är metadatahantering en organisationsutmaning som kräver att hitta en balans mellan centralt hanterade metadata och federerade hanterade metadata. Det är viktigt att förstå team och funktioner för analys i molnskala i Azure när du planerar din metadatahantering. Genom att använda en gemensam datahanteringspraxis kan du förbättra kommunikationen, integreringen och dataflödesautomationen mellan dina team. Du kan hantera en del av komplexiteten i metadatahantering genom att hitta rätt balans mellan central styrning och domänägarskap.
När du bestämmer vilka metadata som ska hanteras centralt eller federera till dina datadomäner och påbörja implementeringen kan du fråga dig själv:
- Vilka affärsmetadata är viktiga?
- Vilka tekniska metadata krävs för samverkan?
- Vilka processer och strömmar samlar in data?
- Var skapas och underhålls modellerna eller schemana?
- Vilken information behöver teamen leverera centralt för att datastyrningsavdelningen ska kunna utföra sitt arbete på rätt sätt?
Använd dina svar på dessa frågor, mappa ut innehållslivscykeln för var och en av dina metadataströmmar och fastställa alla beroenden. Sedan har du en metadatamodell som kan ansluta affärsdomäner, processer, teknik och data.
När du vet vilka metadata du behöver måste du välja en plats där du kan lagra och bearbeta dem. Du kan använda Microsoft Purview för detta.
Använda Microsoft Purview för att hantera din dataegendom i stort
Microsoft Purview är en enhetlig datastyrningslösning som hjälper dig att hantera och styra dina lokala, multimoln- och saaS-data (software-as-a-service). Den hanterar metadata i stor skala eftersom det är en helt automatiserad tjänst som intelligent utför dataidentifiering, datagenomsökning, datakvalitet och åtkomsthantering. Den ger också en holistisk karta med många insikter om din datanätarkitektur.
Microsoft Purview är en omfattande uppsättning lösningar som kan hjälpa din organisation att styra, skydda och hantera data, oavsett var de finns. Microsoft Purview-lösningar ger integrerad täckning och hjälper till att hantera fragmentering av data mellan organisationer, bristande synlighet som hämmar dataskydd och styrning samt suddning av traditionella IT-hanteringsroller.
Microsoft Purview kombinerar lösningar och tjänster för datastyrning och efterlevnad till en enhetlig plattform för att hjälpa din organisation:
- Få insyn i data i hela organisationen
- Skydda och hantera känsliga data under hela livscykeln oavsett var de finns
- Styra data sömlöst på nya, omfattande sätt
- Hantera kritiska datarisker och regelkrav
När du implementerar Microsoft Purview bör du undvika att snabbt införa för mycket förändring och komplexitet. Tekniska metadata utgör grunden för Microsoft Purview. Du måste samla in och organisera dina metadata innan du förstår det.
När du har dina metadata börjar du med grunderna:
- Affärsvillkor
- Listor över auktoritativa datakällor
- Listor över databaser
- Styrningsdomäner
- Schemainformation
- Dataägarskap
- Dataförvaltning
- Säkerhet
- Datakvalitet
Skala sedan genom att långsamt involvera fler domänägare och dataförvaltare och genom att lägga till fler klassificeringar och känslighetsetiketter. Dessa tillägg förbättrar sökupplevelsen och ger bättre hantering av dataåtkomst.
Microsoft Purview erbjuder en funktion som kallas styrningsdomäner, som upprättar gränser för enhetlig styrning, ägarskap och identifiering av dataprodukter och affärsbegrepp i din domänorienterade arkitektur. Mer information finns i Styrningsdomäner i Microsoft Purview.
Använda Azure Cosmos DB för att skapa ett kunskapsdiagram
En datainsiktslösning måste beskriva hur data används och relationerna mellan entiteter som källdata och dataprodukter samt mellan dataprodukter från en domän och beroende produkter från en annan domän. Du kan använda en grafdatabas eller ett anpassat användargränssnitt för att modellera dessa relationer.
Om du vill skapa en enhetlig vy över organisationens data med en anpassad användarupplevelse kan du använda Azure Cosmos DB. Azure Cosmos DB är en globalt distribuerad databastjänst med flera modeller med NoSQL-slutpunkter. Den tillhandahåller en grafdatabastjänst via Azure Cosmos DB för Apache Gremlin, som kan lagra massiva grafer med miljarder hörn och kanter.
Slutresultatet av Azure Cosmos DB-arkitekturen är en organisationsomfattande graf som ger en enhetlig vy över alla data i din organisation med kontext från slutpunkt till slutpunkt. Metadatasjön handlar inte bara om att lagra information. Den organiserar även aktivt dina metadata som ett diagram genom att ansluta dem till andra tjänster och verktyg. Med den här organiserade grafen kan du korskorrelera många ämnesområden, inklusive:
- Domäner
- Datakvalitet
- Dataanvändning
- Affärsfunktioner
- Programfunktioner
- Teknisk arkitekturinformation
- Drifthändelser
- Organisationsmetadata
- Metadata för programägarskap
- Platsinformation
- Information om programlivscykelhantering