Gerenciar dados mestre na malha de dados
As empresas que usam uma arquitetura de malha de dados geralmente têm um grande número de domínios, cada um com sistemas e dados exclusivos.
Essa ampla difusão de dados aumenta a complexidade porque pode haver várias versões dos mesmos dados nessa configuração. A integração requer mais esforço porque os proprietários precisam integrar e harmonizar todas as diferentes partes dos mesmos dados de vários domínios. Os dados podem ser inconsistentes nos contextos desses diferentes domínios. A qualidade dos dados também pode variar. Aplique o MDM (Gerenciamento de Dados Mestre) para resolver esses desafios.
Gerenciamento de dados mestre orientado ao domínio
Os números de identificação de mestre são um aspecto importante do MDM. Eles vinculam dados mestre e dados de seus domínios. Esses números são fundamentais para que seja possível rastrear quais dados foram transformados em mestre e quais pertencem juntos. Só é possível identificar dados exclusivos e atribuir números de identificação de mestre centralmente, não localmente em um sistema. Seus dados mestre de sistemas diferentes precisam estar juntos na solução de MDM.
O MDM funciona de maneira diferente em arquiteturas orientadas ao domínio devido à natureza distribuída delas. É mais difícil de obter consistência porque você conta com o MDM em seus domínios.
Uma abordagem possível é solicitar que seus domínios se ajustem aos dados mestre gerenciados centralmente ao distribuir produtos de dados. É possível publicar uma lista de dados mestre em um repositório de dados mestre ou em um repositório central. Seu domínio pode usar os identificadores de referência corporativos de seus dados de referência corporativos para a classificação de dados ao distribuir produtos de dados em outros domínios. Isso permite que outros domínios reconheçam todos os dados mestre nesses produtos de dados rapidamente.
Também é possível criar domínios de MDM ao agrupar suas atividades de MDM e usar um repositório de dados mestre como um repositório centralizado. Cada novo domínio de MDM deve conter um titular de dados específico no qual a identificação e o controle dos dados mestre se concentram. Alguns exemplos conhecidos desses dados incluem clientes, produtos, funcionários, localizações geográficas e informações de finanças e riscos. Os dados mestre desses domínios de MDM devem encontrar o caminho de volta para outros domínios. Essa distribuição de dados é semelhante à distribuição de produtos de dados.
É possível definir o escopo do gerenciamento de dados mestre e permitir diferentes abordagens para a distribuição de produtos de dados. Dentro dos limites de um determinado escopo, os produtos de dados não precisam estar em conformidade com os dados mestre da empresa, mas devem estar em casos externos a esses limites. Também é possível aplicar esse padrão ao contrário, exigindo a adesão aos dados mestre somente dentro de um escopo específico, não fora dele. Nessas configurações, seus dados mestre são gerenciados centralmente na solução de MDM. Seus domínios precisam trocar dados mestre para saber quais dados locais mapear para dados mestre centrais. Identifique e mantenha essas relações para saber quais dados foram transformados em mestre e quais podem ser rapidamente vinculados. Se uma chave de domínio local em um sistema operacional for alterada, um identificador de mestre será o único elemento que une tudo.
Ao distribuir identificadores de mestre, não extrapole os identificadores de mestre do MDM para todos os sistemas de origem. Isso pode causar problemas de consistência. Somente seus aplicativos ou sistemas sujeitos ao MDM devem obter um identificador de mestre do hub de MDM. Os sistemas que não estão sujeitos ao MDM devem usar a própria integridade local (domínio).
Gerenciamento de dados mestre em nível de domínio
Ao procurar dados sobrepostos, você provavelmente descobrirá vários graus de sobreposição. Alguns dados são genéricos e abrangem muitos domínios. Outros têm sobreposição limitada e abrangem apenas alguns domínios. Distinga a quantidade de sobreposição de dados e a importância dela estendendo o MDM para o MDM em nível de domínio. Para isso, crie exibições parciais de seus dados mestre dentro de um escopo específico. Isso é útil quando seus dados são compartilhados entre alguns, mas não todos, os seus domínios.
É importante que domínios sobrepostos gerenciem dados, mas não tenham dependência central. As soluções de MDM podem ajudar você com isso. É possível simplificar significativamente o uso abstraindo a infraestrutura e fornecendo o MDM como um serviço para seus domínios. Se você usar uma solução central, aplique exibições segregadas para cada domínio ou escopo individual.
Obter consistência com componentes reutilizáveis
O compartilhamento de código é outra maneira de garantir a colaboração e a reutilização de dados mestre. Em vez de compartilhar dados mestre, você compartilha o código subjacente (snippets e scripts) para gerar saídas e promover a reutilização efetiva. Armazene esse código subjacente em um repositório central e aberto com controle de versão. Todas as equipes podem contribuir e aprimorar o código que reside nesse repositório.
Neste modelo, você aplica a lógica de negócios somente em domínios. Suas equipes podem desviar, fazer melhorias ou usar versões ligeiramente otimizadas da lógica conforme desejado. É possível regenerar suas saídas à medida que melhorias de sua comunidade são adicionadas ao repositório de código central.
Observe que permitir que suas equipes modifiquem seu código pode dificultar a comparação de resultados entre várias equipes, o que pode afetar a consistência.
Resumo do gerenciamento de dados mestre
Os usuários só poderão tomar decisões corretas se os dados usados forem consistentes e corretos. Com o MDM, é possível garantir a consistência e a qualidade dos dados no nível corporativo.
Sua organização deve encontrar o equilíbrio correto para o MDM. Ter muitas áreas de dados mestre ou valores de referência requer muito alinhamento entre domínios. Não ter nenhum dado corporativo impossibilita a comparação de qualquer resultado. Uma abordagem prática para começar a usar o MDM de maneira equilibrada é implementar um repositório. Essa é a maneira mais simples de gerenciar os dados mestre da sua organização. Com um repositório, você não precisa ajustar seus sistemas de domínio para saber quais dados são de baixa qualidade ou precisam ser alinhados. Com um repositório que ajuda você a obter essas informações, é possível fornecer valor mais rapidamente.
Depois de implementar um repositório, você precisará estruturar um escopo claro. Não caia na armadilha da unificação de dados corporativos selecionando todos os dados. Somente crie dados mestre de seus campos mais importantes. Comece selecionando assuntos que agregam mais valor, como clientes, contratos, produtos e unidades organizacionais. Seu número de atributos deve estar nas dezenas, não nas centenas ou milhares.
Alinhe seus processos e sua governança depois de chegar a um acordo com relação aos seus domínios. Deixe claro todos os contratos sobre linhas do tempo e revisões para todos os domínios. Além disso, certifique-se de trabalhar em seus metadados. Catalogue seus dados mestre. Verifique se seus domínios sabem quais elementos de dados são candidatos de quais sistemas de origem e como esses elementos fluem pelos pipelines de dados.
A etapa final, e seu maior objetivo, é alcançar a coexistência. Suas melhorias devem fluir diretamente de volta para seus domínios. Essa é a parte mais difícil do processo, pois exige que você faça muitas alterações de arquitetura. Seus domínios precisam ser capazes de lidar com correções e melhorias enviadas de sua solução de MDM gerenciada centralmente.