Partilhar via

Secção 4: Executar a qualidade dos dados

  • Artigo

Agora que tem um produto de dados disponível no catálogo, a execução de regras de qualidade de dados indicará a todos que os dados estão em boa forma e prontos para serem utilizados. À medida que mais se aprende sobre os dados, podem ser adicionadas novas regras de qualidade de dados para garantir que são adequadas para todos os casos de utilização. Garantir que os produtos de dados têm a mais alta qualidade ajudará a criar confiança nos seus dados e a informar as outras pessoas de que estão a ser monitorizados de forma melhorada. À medida que o valor dos dados aumenta, a qualidade desses dados terá de ser monitorizada e controlada de forma mais detalhada, uma vez que os problemas de qualidade dos dados podem causar enormes impactos se forem mal geridos.

Pré-requisitos

  • As regras de qualidade dos dados só podem ser executadas em tabelas de formato delta no ADLS Gen2 e no Microsoft Fabric.
  • A Identidade Gerida do Microsoft Purview tem de estar ativada para ler a origem de dados, uma vez que é a única credencial suportada para a qualidade dos dados atualmente.
  • Tem de ter a função de responsável pela qualidade dos dados no domínio de governação no qual está a executar a qualidade dos dados.
  • Tem de ser o proprietário ou ter acesso de administrador de acesso de utilizador à origem de dados que está a ligar à análise da qualidade dos dados para garantir uma autorização de segurança adequada para analisar os dados.
  • Tem de ter a função de responsável pelo perfil de dados para executar perfis nos seus dados.

Criar e executar regras de qualidade de dados

  1. Abra o portal do Microsoft Purview.

  2. Selecione Catálogo unificado.

  3. Selecione o separador Qualidade dos dados em Gestão de dados.

  4. Selecione o Domínio de Estado de Funcionamento Pessoal criado na secção 1.

  5. Selecione o botão Gerir e selecioneConnections no menu. Criar esta ligação irá garantir que consegue executar análises de qualidade de dados na sua origem de dados nesse domínio de governação, impedindo que as equipas obtenham acesso ao conhecimento dos dados sem uma autorização adequada.

    Captura de ecrã a mostrar a adição de uma ligação de qualidade de dados.

  6. Selecione Novo no ecrã de ligações para criar uma nova ligação:

    1. Indique o nome a apresentar "ADLSg2 DQ do Estado de Funcionamento Pessoal".
    2. Selecione o tipo de origem de Azure Data Lake Storage Gen2.
      1. Indique os detalhes da origem de dados criada na secção 2.

        Observação

        A credencial tem de ser o MICROSOFT Purview MSI (sistema) para uma ligação de qualidade de dados

      2. Selecione Testar ligação
      3. Assim que a ligação for testada, selecione Submeter

Assim que a ligação for estabelecida, estará pronto para executar perfis e começar a criar regras de qualidade de dados. Isto garante que os especialistas que conhecem as regras de negócio e as regras adequadas estão em execução nos produtos de dados mais importantes.

  1. Voltar à página Qualidade dos dados.
  2. Selecione o domínio de governação do Estado de Funcionamento Pessoal.
  3. Selecione o produto de dados Covid-19 Vacinação e Tendência de Casos por Idade incorporado na secção 3.
  4. Selecione o recurso que foi adicionado ao produto de dados. (Tem de estar no formato delta da secção 2 ou a qualidade dos dados não será executada).
  5. Aplique regras de qualidade de dados às colunas dos dados a medir se está a satisfazer as suas expectativas de qualidade:
    1. Selecione o separador Regras no recurso selecionado.
    2. Selecione Nova regra.
    3. Selecione Regra de campos vazios/em branco.
    4. Indique os detalhes:
      • Selecione a coluna AgeGroupVacc no menu pendente da coluna
      • Nome da Regra: Confirmar a Existência do Grupo Etário da Vacinação
    5. Selecione Criar.
    6. Selecione Nova regra.
    7. Selecione Correspondência de tipo de dados.
    8. Indique os detalhes.
    9. Selecione DataAdicionar coluna.
    10. Selecione Criar.
  6. Selecione Executar Análise de qualidade dos dados.

Dados de Perfil

Crie um perfil para os seus dados verem as estáticas de alto nível de cada coluna e detetar anomalias que possam ter uma nova regra.

  1. Em Catálogo unificado, selecione Gestão de estado de funcionamento e, em seguida, selecione Qualidade dos dados.
  2. Selecionar Dados de perfil
  3. Selecione a caixa superior junto a Nome da coluna para criar perfis para todas as colunas. O Microsoft Purview recomendará as colunas a criar perfis e pode selecionar colunas que sabe que valem a pena criar perfis para ajudar a impedir perfis em dados altamente confidenciais ou dados que sabe que serão pouco preenchidos.
  4. Selecione Executar perfil

Quando a análise estiver concluída, poderá rever a classificação e o perfil da qualidade dos dados do seu novo produto de dados e a classificação de qualidade dos dados estará disponível para todos os utilizadores do catálogo, garantindo que todos conhecem a status dos dados.

Crie uma agenda para as análises de qualidade de dados para garantir que está continuamente a monitorizar problemas de qualidade dos dados. Defina alertas para se certificar de que está a resolver problemas de qualidade dos dados antes de os consumidores serem afetados.

  1. Em Gestão do estado de funcionamento, selecione Qualidade dos dados.
  2. Selecione o domínio Estado de Funcionamento Pessoal onde configurámos as regras de qualidade dos dados.
  3. Na lista pendente Gerir , selecione Análises agendadas.
  4. Na página Análises agendadas , selecione Novo.
  5. Adicionar detalhes da Descrição Geral
    1. Nome: Avaliação Mensal do DQ do Estado de Funcionamento Pessoal
    2. Descrição: análise mensal das regras de DQ para obter melhorias contínuas.
  6. Selecione Continuar
  7. Selecione o âmbito da análise
  8. Selecione a caixa junto ao produto de dados Vacinação Covid-19 e Tendência de Casos por Idade
  9. Selecione Continuar
  10. Agende a análise para garantir que é executada no último dia de cada mês
    1. Selecione Recorrente
    2. Periodicidade: a cada um mês
    3. Dias do mês: Último
    4. Hora de análise de agendamento (UTC): 12:00:00
    5. Iniciar periodicidade às (UTC): deixe como predefinição
  11. Selecione Continuar
  12. Reveja os detalhes da análise para ver se existem alterações que gostaria de fazer antes de guardar.
  13. Selecione Salvar. Uma vez que acionámos uma análise manual anteriormente, não precisamos de acionar outra análise agora, mas se for necessária uma nova análise, selecione Guardar e executar.

Configurar alertas

Assim que a qualidade dos dados tiver as análises agendadas, existem alertas que podem ser acionados para informar os responsáveis se existem problemas ou atenção necessários devido a problemas de qualidade dos dados ou falhas de análise. Configure um alerta de qualidade de dados para análises falhadas e quando a classificação diminui mais de 5%.

  1. Voltar ao domínio Estado de Funcionamento Pessoal na página Qualidade dos dados.
  2. Na lista pendente Gerir , selecione Alertas.
  3. Selecione Novo.
  4. Introduzir detalhes do alerta
    1. Nome a Apresentar: Análise Mensal do DQ do Estado de Funcionamento Pessoal
    2. Descrição: para garantir que os limiares mínimos de DQ estão a satisfazer as expectativas dos consumidores.
    3. Destino: a classificação diminui em mais do que
    4. Limiar: 5
    5. Desativar notificações: deixe desmarcado
    6. Ativar a notificação para análises de qualidade falhadas: deixar selecionada
    7. Destinatário: introduza o seu nome
  5. Selecione Continuar.

Dica

Ao implementar no seu Catálogo unificado irá querer enviar os alertas aos administradores que podem notificar os consumidores do problema e trabalhar com o proprietário técnico dos dados para fazer correções.

No final desta secção, terá agora um Catálogo unificado funcional com qualidade de dados operacionais para gerir os dados que está a oferecer aos consumidores de dados organizacionais. Tudo tem sido para obter os dados mais valiosos para o consumidor e criar confiança nos dados que eles estariam a utilizar. À medida que o valor dos dados aumenta e surgem novas estratégias de dados, a secção seguinte ajudará a mostrar como pode gerir todo o catálogo ou aprofundar a gestão de dados específica com Os Dados Principais.

Próximas etapas

Secção 5 – Gestão de dados principal