Melhores práticas de desenvolvimento do catálogo de dados

Neste artigo, vamos rever as estratégias de governação de dados que pode implementar para manter dados saudáveis, valiosos e detetáveis. Para obter uma lista dos passos técnicos para configurar o seu catálogo de dados, veja o nosso guia para começar a utilizar o catálogo de dados.

1. Conhecer os seus dados com conceitos empresariais
   1. Criar domínios de governação
   2. Criar produtos de dados
   3. Definir termos do glossário
2. Desbloquear valor comercial
   1. Permitir que os utilizadores pesquisem e procurem os seus novos domínios e produtos
   2. Criar OKRs
   3. Acesso a dados conformes
   4. Criar modelos de dados lógicos com Elementos de Dados Críticos
3. Melhorar a maturidade dos dados
   1. Melhorar os produtos de dados com ações focadas na governação
   2. Melhorar a fiabilidade dos seus dados com a qualidade dos dados\
   3. Criar uma origem de produtos de dados verdadeiros com a gestão de dados master
   4. Medir a maturidade da governação com controlos de estado de funcionamento dos dados
   5. Criar normas específicas do domínio

Conhecer os seus dados com conceitos empresariais

Conceitos empresariais como domínios de governação, produtos de dados e termos do glossário unem os seus dados com as suas práticas comerciais diárias. Isto não só torna mais fácil para os consumidores de dados compreender os dados que estão a utilizar, como permite-lhe democratizar a governação de dados desses recursos. Utilize os seus especialistas e campeões de dados existentes para criar o seu catálogo de dados num recurso avançado.

Criar domínios de governação

Os domínios de governação são utilizados para distribuir tarefas de propriedade e manutenção e facilitam a localização dos dados de que precisam. A distribuição de informações por domínios de governação permite que os seus utilizadores atinjam o nível certo de informações de que precisam, sem ter de percorrer a totalidade do seu património de dados.

Ao criar domínios de governação ou ao rever a sua estrutura de domínio de governação, seguem-se alguns aspetos a considerar:

1. Modelo de estrutura de domínio de governação
2. Planeamento de desenvolvimento

Modelos de estrutura de domínio de governação

• Domínio central (bom) – utilizar um único domínio pode ser eficiente para pequenas organizações, mas pode não dimensionar bem e é propenso a estrangulamentos durante o crescimento.
• Domínios baseados em departamentos (bons) – os departamentos não tomam decisões de forma consistente e, se os departamentos mudarem regularmente, poderá ter de mudar a estrutura do catálogo de dados.
• Domínios funcionais/de linha de governação (melhor) – concede flexibilidade às equipas e alinha-se com o modelo de negócio existente. Isto pode ser difícil de gerir em escala e pode precisar de muitos subdomínios para capacitar os decisores de dados. Também pode criar silos de utilização de dados, que é a antítese da abordagem de governação do catálogo de dados.
• Domain mix (melhor) – ter uma combinação de domínios entre áreas de assunto/domínios de dados, domínios funcionais, domínios regulamentares e domínios de projeto alinha os seus dados com os respetivos especialistas. No catálogo de dados, os seus especialistas em dados são o recurso mais poderoso; sabem que políticas têm de ser aplicadas e o que as outras pessoas precisam de saber para utilizarem mais os dados. Esta estrutura também será a atualização organizacional mais durável, uma vez que se baseia na forma como os dados são utilizados no dia-a-dia, em vez de nas estruturas empresariais.

Planeamento do desenvolvimento de domínios de governação

1. Quando começar a criar os seus domínios de governação, comece com alguns domínios alinhados com as equipas que já têm uma gestão de dados forte:
   1. Atribua administradores de dados e proprietários de produtos de dados aos seus domínios de governação e peça-lhes que comecem a desenvolver num glossário e produtos de dados que se alinham com as práticas atuais.
   2. Se necessário, analise os dados no mapa de dados em paralelo para complementar os seus produtos de dados.
   3. Deixe o domínio de governação num estado de rascunho até que alguns produtos de dados tenham sido desenvolvidos e estejam prontos para os utilizadores.
2. Publique o seu domínio de governação e atribua permissões de leitor do catálogo de dados aos seus primeiros utilizadores para que comecem a explorar.
3. Com o feedback do seu primeiro lote de utilizadores, itere sobre produtos de dados existentes ou expanda para os seus próximos produtos de dados ou domínios de governação.
4. A partir de alguns domínios de governação que têm, na sua maioria, uma cobertura completa com produtos de dados, garante aos consumidores de dados que o catálogo de dados tem o que precisam e que podem continuar a regressar.

Dica

Não é recomendado alinhar os domínios de governação com os domínios da plataforma. Normalmente, as TI estão alinhadas com uma estrutura tecnológica ou serviço/aplicação e não estão alinhadas com a forma como os dados são utilizados pelas equipas empresariais. Os domínios de plataforma no mapa de dados provavelmente alinham-se com estas equipas de tecnologia, em vez das suas equipas empresariais. O objetivo dos domínios de governação é alinhar os utilizadores empresariais com as informações mais úteis para os mesmos. Concentre-se na utilização de dados, em vez da estrutura de dados, para desenvolver os seus domínios de governação.

Criar produtos de dados

Grande parte dos dados armazenados atualmente tem pouco ou nenhum valor conhecido e pode demorar tempo e esforço manual para avaliar e compreender antes de poder ser removido ou melhorado. Concentrar-se nos dados com valor e utilização conhecidos permitirá que mais equipas criem valores consistentes e mostrem os benefícios de terem dados bem compreendidos e altamente utilizados. Isto facilita a adoção de práticas de governação de dados e facilita o esforço para limpo os patrimónios de dados à medida que o valor de cada recurso de dados se torna mais claro.

Concentre-se nos recursos de dados que já existem na sua organização. Adicioná-los como produtos de dados no seu catálogo de dados tornará mais fácil para os seus utilizadores detetá-los. Também tornará o acesso mais dimensionável e melhorará a fiabilidade com linhagem, qualidade de dados e responsabilidade. Alguns exemplos de recursos de dados existentes são:

1. Lagos de dados de zona dourada, lojas SQL altamente organizadas, armazéns de dados/data lakehouses organizados que as equipas utilizam para apoiar as suas práticas diárias.
2. Relatórios que são utilizados para tomar decisões.
3. Tabelas de dados utilizadas em ambientes de relatórios.
4. Dados principais e de referência.

Planeamento do desenvolvimento de produtos de dados

1. Os produtos de dados de planeamento devem fazer parte do seu processo de ingestão quando as origens de dados são adicionadas ao Mapa de Dados do Microsoft Purview. Os Proprietários de Produtos de Dados devem saber quais os arquivos de dados que estão a ser registados e analisados e que têm recursos de dados prontos para serem adicionados ao catálogo de dados.
2. Crie os seus primeiros produtos de dados a partir de recursos de dados principais que foram analisados no mapa de dados.
3. Publique os seus primeiros produtos de dados quando os seus utilizadores estiverem prontos para consumir dados com esse domínio.

Definir termos do glossário

Quando estiver a criar termos, comece com o que já sabe e continue a criar valor a partir dos seus dados para mostrar onde o esforço é o mais impactante. Seguem-se algumas sugestões que pode seguir ao criar e gerir termos do glossário para criar o maior valor.

1. Dar dados aos utilizadores mais apaixonados demonstra a capacidade de continuar a aumentar o valor e fornece prioridades para uma maior governação.
2. Muitas equipas empresariais já têm um glossário para ajudar os novos colaboradores a orientarem-se no negócio. Utilize-os como alguns dos seus candidatos ao primeiro mandato para descrever um domínio de governação e os respetivos dados.
3. Se não tiver a certeza se um termo representa outro conceito (como uma entidade ou processo de negócio), adicionar um termo é um bom ponto de partida para que os metadados mais básicos sejam recolhidos. Se necessário, o th term pode expirar e um novo conceito pode ser utilizado para recolher mais metadados e impulsionar a experiência ponto a ponto pretendida.
4. Assim que os termos do glossário forem adicionados, ligar estes termos a produtos de dados melhorará a deteção de produtos de dados e melhorará o conhecimento dos dados por parte dos consumidores.
5. Verificar periodicamente os produtos de dados mapeados para um termo para permitir que os responsáveis pelos dados compreendam melhor a sua utilização em todo o património de dados.
6. As definições de termos podem sempre ser melhoradas e editadas. Aguardar a publicação de um termo até estar totalmente alinhado atrasará a utilização do termo pelas equipas e impedirá a criação de novos valores ou o escalamento de potenciais melhorias.

Planeamento do desenvolvimento de termos

1. Os responsáveis pelos dados devem aprender a estrutura do domínio de governação e, em seguida, começar a adicionar termos conhecidos e começar a desenvolver novos.
2. As definições de termos devem ser desenvolvidas e conter informações valiosas para que os consumidores compreendam o seu contexto e utilização.
3. O primeiro conjunto de termos e produtos de dados deve ser publicado em conjunto para que os consumidores iniciem os seus casos de utilização de dados e deteção de dados no catálogo.
4. A criação de conhecimentos semânticos nunca para, por isso, faça um plano sobre como pode permitir que a sua equipa continue a contribuir com termos ao longo do ciclo de vida de governação.

Desbloquear valor comercial

Agora que as estruturas básicas do catálogo de dados estão implementadas, está na altura de começar a desbloquear o valor dos seus dados, tornando-os acessíveis aos seus utilizadores e ligando-os diretamente aos seus objetivos empresariais. A criação de valor a partir de dados provém da utilização dos mesmos, mas utilizar dados significa que todas as pessoas na empresa têm de encontrar os dados corretos no momento certo e no formato certo para fornecer as informações ou funcionalidades necessárias. Os consumidores de dados são a chave para tornar o novo valor empresarial a partir dos dados.

Permitir que os utilizadores procurem e naveguem nos seus domínios de governação e produtos de dados

Demorou algum tempo a criar domínios de governação e produtos de dados, por isso, dê aos consumidores de dados acesso para os utilizar e ver como funcionam. Os utilizadores empresariais podem estar à procura de relatórios estratégicos que já estejam disponíveis com as informações necessárias para tomar decisões empresariais de forma oportuna e bem informada.

Eis como pode pensar em conceder acesso aos seus utilizadores estrategicamente:

• Não comece por conceder acesso ao catálogo de dados a todas as pessoas na sua empresa. Ative primeiro as equipas que precisam dos dados que tem no seu catálogo. Se os seus produtos de dados não estiverem disponíveis no formato de que os cientistas precisam ou se os dados não estiverem em relatórios predefinidos para utilizadores empresariais, perderão a confiança no seu catálogo. Permitir que as funções certas utilizem primeiro o catálogo para criar o caminho para o sucesso.
• Comece pelas equipas que precisam dos dados que tem no seu catálogo primeiro. Para quem foram os seus produtos de dados? Que equipas ajudaram a desenvolver os seus termos do glossário? São bons candidatos iniciais.
• Comece com analistas e especialistas em dados que podem indicar onde existem lacunas no catálogo. Podem ajudar a apontar para especialistas e empresários que podem contribuir para o catálogo de dados. Ao longo do tempo, a conclusão do catálogo de dados será suficientemente boa para que todas as pessoas na empresa consigam encontrar a maioria das suas necessidades de dados.

Crie OKRs

Demonstre o valor comercial dos seus dados ao criar Objetivos e Resultados Chave e atar os mesmos aos produtos de dados que ajudam a impulsionar ou medir esse valor. Garantir que os líderes empresariais apreciam o valor dos seus dados e a importância da governação irá impulsionar a atribuição de prioridades e novas sinergias na forma como as equipas criam, mantêm e governam os seus dados para criar informações.

Criar um objetivo fornece reconhecimento imediato da importância dos dados para os utilizadores e para a empresa que impulsiona. Isto melhora significativamente a compreensão do papel que determinados dados desempenham nos processos de negócio ou na capacidade de atingir os seus objetivos.

1. Considere OKRs para melhoramentos de processos, problemas de qualidade, objetivos estratégicos importantes e qualquer outra coisa que medisse com dados para demonstrar o valor comercial e a mudança.
2. Certifique-se de que cria um resultado chave para cada objetivo para mostrar como o objetivo está a ser medido e avaliado e crie responsabilidade para cumprir esse objetivo.
3. Pode haver objetivos complexos que têm muitos resultados importantes necessários para conseguir alcançar. Os principais resultados podem progredir independentemente dos outros resultados principais que a medição pode mostrar as áreas que precisam de atribuição de prioridades ou ajudar a retomar o controlo.

Acesso a dados conformes

Fornecer acesso aos dados pode introduzir riscos para a sua empresa e seguir normas e políticas conhecidas é uma obrigação de garantir que o acesso é concedido adequadamente e que existe uma utilização responsável dos dados. Os utilizadores no catálogo de dados podem preencher um formulário para acesso a dados no momento da deteção ou utilização de dados. Manter este formulário e processo como parte do catálogo torna o acesso, seguro, rápido e consistente para um património de dados altamente variável e técnico. Seguem-se algumas formas de configurar o acesso com êxito no seu catálogo:

• Certifique-se de que os aprovadores adequados estão em vigor nos produtos de dados e que compreendem as necessidades de processamento dos produtos de dados.
• Alguns produtos de dados podem ter centenas ou milhares de pedidos de acesso, pelo que pode ser necessário ter uma equipa em fusos horários distribuídos para garantir o acesso oportuno à aprovação e ao aprovisionamento.
• Prepare grupos ou efetue cópias de segurança de aprovadores caso existam férias ou folgas não planeadas.
• Os proprietários de domínios de governação devem marcar periodicamente no resumo dos pedidos de acesso para validar as expetativas e ver se as alterações aos controlos que monitorizam o processo de pedido de acesso estão a impulsionar os tempos de resposta pretendidos.

Criar modelos de dados lógicos com elementos de dados críticos

Melhorar a compreensão técnica profunda e as expectativas das entidades e elementos de dados incluirá novos controlos para afirmar se os dados estão a satisfazer essas expectativas. A criação de dicionários de dados e modelos lógicos de dados fornece a estrutura e as expectativas empresariais profundas dos dados que garantem que são adequados para o seu objetivo. Ao incorporar este conhecimento no Catálogo de Dados as equipas irão compreender imediatamente como os dados são estruturados e porquê, e como o que está realmente disponível no património de dados físicos pode diferir.

• Concentre-se nos elementos de dados mais importantes para o seu domínio. Os elementos de dados críticos mostrarão a profunda experiência e importância que os dados têm na sua empresa.
• Não se concentre na totalidade dos elementos em todo um domínio. Nem todas as colunas precisam deste nível de controlo e muitos elementos de dados podem ser auto-explicativos para os utilizadores.
• Avaliar elementos de dados críticos em diferentes equipas garante que as equipas empresariais têm uma compreensão comum dos seus dados e como o que uma equipa cria está a afetar muitas outras áreas do negócio.
• Alinhar políticas de acesso com elementos de dados críticos garante que existem controlos de acesso adequados para dados críticos em todo o seu património de dados.
• Criar regras de qualidade de dados para elementos de dados críticos garante que os dados cumprem as expetativas independentemente de onde ou como estão a ser utilizados.

Melhorar a maturidade dos dados

Melhore o seu património de dados e governação para preencher lacunas e remover estrangulamentos na criação de valores:

• Monitorize as suas ações de estado de funcionamento para melhorar a governação incrementalmente em todo o catálogo de dados.
• Otimize para novas utilizações dos dados e elimine problemas de dados ao melhorar a qualidade dos dados.
• Crie os melhores produtos de dados da classe para origens de dados simples com master gestão de dados.
• Avalie o estado de funcionamento dos dados e dê prioridade ao maior impacto no valor.

Investir profundamente nos dados principais que gerem a sua empresa garante que estes dados são utilizáveis em toda a empresa, eliminando consistentemente problemas de dados e fornecendo uma base estável para a criação de informações. Ter evidências de problemas de dados ajuda a garantir a capacidade de ação da governação de Dados, mas irá impulsionar melhorias que irão desbloquear imediatamente um novo valor sem investir em áreas de dados com baixo valor ainda não sejam totalmente compreendidas. Melhorar continuamente a maturidade dos dados ajudará as equipas a partilhar aprendizagens entre si e a mostrar a prova da melhoria à medida que as alterações ocorrem.

Melhorar os produtos de dados com ações focadas na governação

A criação de confiança nos dados requer um melhoramento e suporte contínuos. Embora os consumidores dediquem algum tempo a encontrar e aplicar dados, chamando a atenção para problemas ou necessidades de suporte, existem ações fáceis que podem ser tomadas antecipadamente com base nas melhores práticas. As ações de estado de funcionamento na gestão do estado de funcionamento fornecem uma lista completa destas ações úteis para o seu catálogo de dados, para o ajudar a concentrar-se no que pode fazer a seguir para melhorar a sua governação. Seguem-se algumas das melhores práticas para utilizar ações de estado de funcionamento para obter o máximo valor:

• Verifique as ações dos seus produtos de dados enquanto estes ainda se encontram num estado de rascunho. Isto garante que, ao publicá-lo, tem as noções básicas abrangidas e proporciona conforto aos consumidores de que estes dados foram publicados com cuidado.
• Nem todas as ações têm de ser tomadas ao mesmo tempo. Algumas ações podem demorar algum tempo a resolve à medida que aprende mais sobre os dados ou trabalha com administradores para criar mais clareza. Continue a verificar as ações para ver onde estão prontas as novas melhorias.
• Se as ações começarem a parecer esmagadoras, desnecessárias ou como se fossem ruído de baixo valor, considere fazer alterações aos seus controlos de saúde. Otimizar o número de ações executadas por qualquer pessoa garante que o nível certo de governação está a ser aplicado aos dados.

Melhorar a fiabilidade dos seus dados com a qualidade dos dados

Muitas vezes, a qualidade dos dados é um projeto único para corrigir um problema específico nos dados. Estas melhorias, mas não duram. Uma boa qualidade dos dados requer uma avaliação e melhoria contínuas para garantir que os problemas não são devolvidos ou que não são criados novos problemas.

• Uma vez definida uma linha de base de expetativas de qualidade de dados. criar um plano para remediar problemas em tempo útil é essencial para manter a empresa a funcionar com dados adequados para utilização.
• Agendar as análises de qualidade de dados para serem executadas regularmente ajudará a garantir aos consumidores que os dados estão continuamente a ser melhorados e são altamente suportados.
• Definir alertas sobre as regras críticas e as alterações de classificação permitirá que os fornecedores de dados corrijam os problemas antes de um consumidor encontrar ou ter um problema. Os alertas também podem ser utilizados para partilhar de forma transparente com os consumidores problemas antes de os encontrarem numa experiência ou ao tomarem uma decisão com base em dados de má qualidade.

Criar uma origem de produtos de dados verdadeiros com a gestão de dados master

Alguns dados são tão críticos para quase todos os processos e para toda a empresa que merecem níveis excecionais de gestão e governação. Normalmente, estas entidades de dados são entidades transversais, como listas de clientes ou perfis de funcionários, e podem exigir uma experiência e experiência empresariais profundas em muitos processos empresariais. Alguns dados são altamente utilizáveis, mas de baixa escala, e ainda beneficiam do nível mais profundo de controlo e gestão; como atributos de dados de referência de país/região, moeda ou segmentos da indústria. Cada um destes tipos de dados beneficiaria de master soluções de gestão de dados para criar uma fonte de verdade adequada para utilização em toda a sua empresa.

• Praticar master gestão de dados com qualidade de dados é fundamental para garantir que estes dados vitais são limpo e consistentes.
• Este nível de gestão de dados é de elevado esforço, pelo que deve escolher elementos de dados valiosos ou elementos de dados de alto risco para garantir que o seu esforço produz um valor elevado.
• Criar um elemento de dados crítico e um produto de dados para dados dominados. Estes objetos de parceiro ajudarão a elevar os seus dados dominados no catálogo de dados e a aumentar a sua utilização e compreensão.
• Crie novos controlos de estado de funcionamento para master dados para avaliar continuamente a sua utilização em escala e impedir que novos dados não mestres ganhem utilização e causem confusão num património de dados em rápida evolução.

Medir a maturidade da governação com controlos de estado de funcionamento dos dados

A avaliação do vencimento da governação de dados em escala em toda a empresa é necessária para garantir que a governação é eficaz e criar valor comercial. Ao aplicar a medição incorporada de controlos, a gestão do estado de funcionamento permite que o escritório de dados central ou um domínio de governação individual veja onde pode ser feito mais. Recolher estas provas em escala eleva rapidamente os problemas de dados mais críticos que afetam a empresa e onde um problema pode afetar muitas áreas da empresa. Esta evidência ajuda a resolve problemas de atribuição de prioridades ao fazer alterações à gestão de dados e demonstra rapidamente o valor de ter o nível certo de governação implementado.

1. Estabeleça um ritmo de negócio para rever as práticas de gestão do estado de funcionamento:
   1. Faça uma revisão mensal com os líderes de domínio de governação e o escritório de dados central para discutir prioridades e necessidades de novas soluções técnicas ou de governação.
   2. Capacite as equipas a aprofundarem os seus relatórios de gestão de saúde para se certificarem de que podem tomar as melhores decisões para criar o valor de que precisam na sua empresa.
   3. Coloque a gestão do estado de funcionamento em todos os níveis da empresa, desde o SLT até ao responsável individual, para garantir que a governação está corretamente nivelada e consistentemente acionável.
   4. Quando os dados tiverem problemas maiores que requerem colaboração entre empresas ou governação mais profunda, considere criar um novo domínio de governação e definir a propriedade para impulsionar a governação desses dados.
2. Não espere que todos os domínios de governação tenham o mesmo nível de maturidade ou se concentrem nos mesmos aspetos da governação:
   1. Permitir a governação ao nível certo permite que os proprietários das empresas tomem as decisões mais valiosas sobre o que fazer com os seus dados.
   2. Nem todas as partes da empresa têm as mesmas necessidades dos seus dados e forçar níveis mais profundos de governação pode não ajudar a criar valor comercial quando o foco está noutro local.
   3. Alguns dados são menos valiosos ou emergentes no património de dados e o valor ainda não é totalmente conhecido. Permitir que as equipas se movam rapidamente e se adaptem às suas necessidades, podem amadurecer a governação com o valor dos dados.
3. Avalie consistentemente a gestão do estado de funcionamento para procurar grandes alterações que possam indicar grandes problemas ou novas aprendizagens que precisem de atenção.
4. Partilhe as suas classificações de gestão de estado de funcionamento. A partilha pode reunir equipas para saber o que funciona para as mesmas ou como estão a encontrar novos controlos para criar novos valores num domínio. Ver o aspeto da saúde "boa" pode motivar outras equipas a melhorar e garantir que também estão a fornecer dados valiosos aos seus consumidores.

Criar normas específicas do domínio

Garantir que a governação de dados tem o tamanho certo para o nível de valor e controlo necessário é melhor processado pelos proprietários empresariais dos dados. Estas equipas empresariais já têm dependências nos dados e estão na melhor posição para definir as suas expetativas e têm de garantir que os dados são valiosos.

• Capacite os domínios de governação para criar novos controlos para os respetivos dados, independentemente de onde os dados são utilizados.
• Não espere que todos os domínios de governação precisem do mesmo nível de controlos ou adotem todos os controlos. Os dados confinados para utilização numa única parte do negócio por predefinição podem não beneficiar de um elevado nível de controlo. Criar mais controlo sobre os dados que não têm o valor adequado pode impedir que as equipas recolham ou mantenham dados que não estejam totalmente utilizados.
• Utilize o nível de controlo certo para ajudar a priorizar onde os dados de baixo valor podem ser removidos do domínio de governação para eliminar riscos e aumentar o valor do património de dados.