Gerenciar dados mestre na malha de dados
As empresas que usam uma arquitetura de malha de dados geralmente têm um grande número de domínios, cada um contendo sistemas e dados exclusivos.
Essa distribuição generalizada de dados aumenta a complexidade porque várias versões dos mesmos dados podem existir nessa configuração. A integração requer mais esforço porque os proprietários têm de integrar e harmonizar todas as diferentes partes dos mesmos dados de vários domínios. Os dados podem ser inconsistentes entre esses diferentes domínios, e a qualidade dos dados também pode variar. Aplique de gerenciamento de dados mestre (MDM) para enfrentar esses desafios.
Gerenciamento de dados mestre orientado a domínio
Os números mestres de identificação são um aspeto importante do seu MDM. Esses números vinculam dados masterizados e dados de seus domínios. Eles são essenciais para a sua capacidade de rastrear quais dados foram centralizados e quais dados se relacionam. Você só pode identificar dados exclusivos e atribuir números de identificação mestre centralmente, não localmente dentro de um sistema. Seus dados mestre de sistemas diferentes devem estar juntos em sua solução de MDM.
O MDM funciona de forma diferente em arquiteturas orientadas a domínios devido à sua natureza distribuída. A consistência é mais difícil de alcançar porque vós dependes do MDM nos vossos domínios.
Uma maneira de obter consistência é pedir que os seus domínios cumpram os dados mestres geridos centralmente ao distribuir produtos de dados . Você pode publicar uma lista de dados mestre em um repositório de dados mestre ou repositório central. O seu domínio pode classificar dados usando os identificadores de referência empresarial dos dados de referência empresarial ao distribuir produtos de dados por outros domínios. Isso permite que seus outros domínios reconheçam rapidamente quaisquer dados mestre dentro desses produtos de dados.
Você também pode criar novos domínios MDM ao agrupar suas atividades MDM e usar um armazenamento de dados mestre como um repositório centralizado. Cada novo domínio MDM deve conter um titular de dados específico no qual a identificação e o controle dos dados mestre se concentram. Alguns exemplos bem conhecidos desses dados incluem clientes, produtos, funcionários, localizações geográficas e informações financeiras e de risco. Os dados geridos desses domínios MDM devem ser integrados de volta a outros domínios. Esta distribuição de dados é semelhante à distribuição dos seus produtos de dados.
Você pode definir o escopo do gerenciamento de dados mestre e permitir diferentes abordagens para a distribuição de produtos de dados. Dentro dos limites de um determinado escopo, os produtos de dados não precisam estar em conformidade com os dados mestre da empresa, mas além dos limites do escopo, os produtos de dados devem estar em conformidade. Você também pode aplicar esse padrão de forma inversa, exigindo a adesão aos dados mestre apenas dentro de um escopo específico e não fora dele. Nessas configurações, seus dados masterizados são gerenciados centralmente dentro de sua solução MDM. Seus domínios precisam trocar dados mestre para que saibam quais dados locais mapear para dados mestre centrais. Identifique e mantenha estas relações para saber quais dados estão dominados e quais dados pode vincular rapidamente. Se uma chave de domínio local em um sistema operacional for alterada, um identificador mestre será o único elemento que une tudo.
Ao distribuir identificadores mestres, não extrapole seus identificadores mestres MDM para todos os sistemas de origem. Isso pode causar problemas de consistência. Somente seus aplicativos ou sistemas sujeitos ao MDM devem obter um identificador mestre do hub MDM. Os sistemas não sujeitos a MDM devem usar sua própria integridade local (domínio).
Gerenciamento de dados mestre no nível do domínio
Quando você procura por dados sobrepostos, provavelmente descobrirá vários graus de sobreposição. Alguns dados são genéricos e abrangem muitos domínios. Outros dados têm sobreposição limitada e abrangem apenas alguns domínios. Distinga a quantidade de dados sobrepostos e sua importância estendendo o MDM ao MDM no nível do domínio. Pode fazer isto criando visões parciais dos seus dados mestres num determinado escopo. Isso é útil quando seus dados são compartilhados entre alguns, mas não todos, de seus domínios.
É importante que domínios sobrepostos gerenciem dados, mas não tenham dependência central. As soluções MDM podem ajudá-lo a alcançar este objetivo. Você pode simplificar tremendamente o uso abstraindo a infraestrutura e fornecendo MDM como um serviço para seus domínios. Se você usar uma solução central, aplique exibições segregadas para cada domínio ou escopo individual.
Obtenha consistência com componentes reutilizáveis
A partilha de código é outra maneira de garantir a colaboração e a reutilização dos dados principais. Em vez de compartilhar dados mestres, você compartilha o código subjacente (trechos e scripts) para gerar saídas e promover uma reutilização eficaz. Armazene esse código subjacente em um repositório central e aberto com controle de versão. Todas as suas equipas podem contribuir e melhorar o código que reside neste repositório.
Neste modelo, você aplica a lógica de negócios somente dentro de domínios. Suas equipes podem desviar, fazer melhorias ou usar versões ligeiramente otimizadas da lógica como acharem melhor. Você pode regenerar suas saídas à medida que melhorias de sua comunidade são adicionadas ao seu repositório de código central.
Observe que permitir que suas equipes modifiquem seu código pode dificultar a comparação de resultados entre várias equipes, o que pode afetar a consistência.
Resumo do gerenciamento de dados mestre
Os utilizadores só podem tomar decisões corretas se os dados que utilizam forem consistentes e corretos. Usando o MDM, você pode garantir a consistência e a qualidade dos seus dados no nível corporativo.
Sua organização deve encontrar o equilíbrio correto para o MDM. Ter muitas áreas de dados mestre ou valores de referência leva a um alinhamento entre domínios demais. Não ter dados empresariais torna impossível comparar quaisquer resultados. Uma maneira prática de começar a usar o MDM de forma equilibrada é implementar um repositório. Essa é a maneira mais simples de gerenciar os dados mestre da sua organização. Com um repositório, você não precisa ajustar seus sistemas de domínio para saber quais dados são de baixa qualidade ou precisam ser alinhados. Com um repositório que ajuda você a obter essas informações, você pode entregar valor mais rapidamente.
Depois de implementar um repositório, você precisa descrever um escopo claro. Não caia na armadilha da unificação de dados corporativos selecionando todos os dados. Domine apenas os dados dos seus campos mais importantes. Comece selecionando os assuntos que agregam mais valor, como clientes, contratos, produtos e unidades organizacionais. Seu número de atributos deve estar nas dezenas, não nas centenas ou milhares.
Alinhe seus processos e governança depois de chegar a um acordo com seus domínios. Torne claros quaisquer acordos sobre cronogramas e revisões para todos os domínios. Além disso, certifique-se de trabalhar em seus metadados. Catalogar os dados principais. Certifique-se de que os seus domínios saibam quais elementos de dados são candidatos de determinados sistemas de origem e como esses elementos fluem através dos seus pipelines de dados.
O passo final, e o seu objetivo final, é alcançar a convivência. Suas melhorias devem fluir diretamente de volta para seus domínios. Esta é a parte mais difícil do processo porque exige que você faça muitas alterações na arquitetura. Seus domínios precisam ser capazes de lidar com correções e melhorias enviadas de sua solução de MDM gerenciada centralmente.