Compartilhar via

Configurar e executar a análise da qualidade dos dados

  • Artigo

As análises de qualidade dos dados analisam os recursos de dados com base nas regras de qualidade dos dados aplicadas e produzem uma classificação. Os responsáveis pelos dados podem utilizar essa classificação para avaliar o estado de funcionamento dos dados e resolver quaisquer problemas que possam estar a reduzir a qualidade dos seus dados.

Pré-requisitos

  • Para executar e agendar análises de avaliação da qualidade dos dados, os utilizadores têm de ter a função de responsável pela qualidade dos dados.
  • Atualmente, a conta do Microsoft Purview pode ser definida para permitir o acesso público ou o acesso gerido à vNet para que as análises de qualidade dos dados possam ser executadas.

Ciclo de vida da qualidade de dados

A análise da qualidade dos dados é o sétimo passo do ciclo de vida da qualidade de dados de um recurso de dados. Os passos anteriores são:

  1. Atribua permissões de administrador de qualidade de dados aos utilizadores no Catálogo unificado para utilizar todas as funcionalidades de qualidade de dados.
  2. Registe e analise uma origem de dados no seu Mapa de Dados do Microsoft Purview.
  3. Adicionar o recurso de dados a um produto de dados
  4. Configure uma ligação de origem de dados para preparar a sua origem para a avaliação da qualidade dos dados.
  5. Configure e execute a criação de perfis de dados para um recurso na sua origem de dados.
    1. Quando a criação de perfis estiver concluída, procure os resultados de cada coluna no recurso de dados para compreender a estrutura e o estado atuais dos seus dados.
  6. Configure regras de qualidade de dados com base nos resultados da criação de perfis e aplique-as ao recurso de dados.

Origens de dados multi cloud suportadas

  • Azure Data Lake Storage (ADLS Gen2)
    • Tipos de Ficheiro: Delta Parquet e Parquet
  • Banco de Dados SQL Azure
  • O património de dados de recursos de infraestrutura no OneLake inclui o atalho e o espelhamento do património de dados. A análise da Qualidade dos Dados é suportada apenas para tabelas delta do Lakehouse e ficheiros parquet.
    • Espelhamento do património de dados: CosmosDB, Snowflake, SQL do Azure
    • Propriedade de dados de atalho: AWS S3, GCS, AdlsG2 e dataverse
  • Azure Synapse armazém de dados e sem servidor
  • Catálogo do Unity no Azure Databricks
  • Snowflake
  • Google Big Query (Pré-visualização Privada)

Importante

A Qualidade dos Dados para o ficheiro Parquet foi concebida para suportar:

  1. Um diretório com o Ficheiro de Peça Parquet. Por exemplo: ./Sales/{Parquet Part Files}. O Nome Completamente Qualificado tem de seguir https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}. Certifique-se de que não temos {n} padrões na estrutura de diretório/subdiretório. Em vez disso, tem de ser um FQN direto que conduza a {SparkPartitions}.
  2. Um diretório com Ficheiros Parquet Particionados, particionado por Colunas no conjunto de dados, como dados de vendas particionados por ano e mês. por exemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Ambos os cenários essenciais que apresentam um esquema de conjunto de dados parquet consistente são suportados.
Limitação: Não foi concebido para ou não suporta N Hierarquias arbitrárias de Diretórios com Ficheiros Parquet. Aconselhamos o cliente a apresentar dados na estrutura construída (1) ou (2).

Métodos de autenticação suportados

Atualmente, o Microsoft Purview só pode executar análises de qualidade de dados com a Identidade Gerida como opção de autenticação. Os serviços de Qualidade de Dados são executados no Apache Spark 3.4 e no Delta Lake 2.4. Para obter mais informações sobre as regiões suportadas, veja Descrição geral da qualidade dos dados.

Importante

Se o esquema for atualizado na origem de dados, é necessário executar novamente a análise do mapa de dados antes de executar uma análise de qualidade de dados.

Executar uma análise de qualidade de dados

  1. Configure uma ligação de origem de dados para os recursos que está a analisar quanto à qualidade dos dados, caso ainda não as tenha criado.

  2. Em Catálogo unificado do Microsoft Purview, selecione o menu Gestão do Estado de Funcionamento e Submenu Qualidade dos dados.

  3. Selecione um domínio de governação na lista.

    Captura de ecrã a mostrar um domínio de governação e um produto de dados.

  4. Selecione um produto de dados para avaliar a qualidade dos dados dos recursos de dados associados a esse produto.

    Captura de ecrã a mostrar a seleção do recurso de dados do produto de dados.

  5. Selecionar o produto de dados leva-o para a página Descrição geral da qualidade dos dados. Pode procurar as regras de qualidade de dados existentes e adicionar novas regras ao selecionar o menu Regras nesta página. Pode procurar o esquema do recurso de dados ao selecionar o menu Esquema a partir desta página.

    Captura de ecrã a mostrar a página de descrição geral da análise da qualidade dos dados.

  6. Procure as regras que já foram adicionadas à análise dos recursos selecionados e ative-os ou desative-os na coluna Estado .

    Captura de ecrã a mostrar a página de regras de qualidade de dados.

  7. Execute a análise de qualidade ao selecionar o botão Executar análise de qualidade na página de descrição geral.

    Captura de ecrã da página de descrição geral da qualidade dos dados com o botão de análise de qualidade de execução realçado.

  8. Enquanto a análise está em execução, pode controlar o progresso da página de monitorização da qualidade dos dados no domínio de governação.

Agendar análises de qualidade de dados

Embora as análises de qualidade de dados possam ser executadas ad hoc ao selecionar o botão Executar análise de qualidade, em cenários de produção é provável que os dados de origem estejam constantemente atualizados e, por isso, queremos ter a certeza de que monitorizamos regularmente a qualidade dos dados para detetar quaisquer problemas. Para nos permitir gerir análises de qualidade de atualização regulares, podemos automatizar o processo de análise.

  1. Em Catálogo unificado do Microsoft Purview, selecione o menu Gestão do Estado de Funcionamento e Submenu Qualidade dos dados.

  2. Selecione um domínio de governação na lista.

  3. Selecione o botão Gerir no lado direito da página e selecione Análises agendadas.

    Captura de ecrã da página de qualidade dos dados de um domínio de governação, com o botão análises agendadas realçado.

  4. Preencha o formulário na página Criar análise agendada . Adicione um nome e uma descrição para a origem que está a configurar a agenda.

    Captura de ecrã a mostrar o separador de descrição geral criar uma página de análise agendada.

  5. Selecione Continuar.

  6. No separador Âmbito , selecione produtos e recursos de dados individuais ou todos os produtos de dados e recursos de dados de todo o domínio de governação.

    Captura de ecrã a mostrar o separador Criar um âmbito de página de análise agendado.

  7. Selecione Continuar.

  8. Defina uma agenda com base nas suas preferências e selecione Continuar.

    Captura de ecrã a mostrar o separador Criar uma agenda de página de análise agendada.

  9. No separador Rever, selecione Guardar (ou Guardar e executar para testar imediatamente) para concluir o agendamento da análise de avaliação da qualidade dos dados.

    Captura de ecrã do separador Criar uma página de análise agendada.

  10. Pode monitorizar as análises agendadas na página de monitorização da tarefa de qualidade de dados no separador Análises .

Eliminar análises de qualidade de dados anteriores

  1. Em Catálogo unificado do Microsoft Purview, selecione o menu Gestão do Estado de Funcionamento e Submenu Qualidade dos dados.
  2. Selecione um domínio de governação na lista.
  3. Selecione o botão de reticências ('...') na parte superior da página.
  4. Selecione Eliminar dados de qualidade de dados para eliminar o histórico de execuções de qualidade de dados.

Observação

Recomendamos que utilize apenas esta eliminação para execuções de testes, execuções de qualidade de dados com erro ou caso esteja a remover um recurso de dados de um produto de dados.

Se quiser remover um recurso de dados de um produto de dados, se esse recurso de dados tiver uma classificação de qualidade de dados, primeiro terá de eliminar a classificação de qualidade dos dados e, em seguida, remover o recurso de dados do produto de dados.

Importante

O formato Delta é maioritariamente detetado automaticamente se o formato for padrão e estiver correto nos sistemas de origem. Para analisar o formato de ficheiro Parquet ou iceberg para obter a classificação da qualidade dos dados, tem de alterar o tipo de recurso de dados para Parquet ou iceberg. Conforme mostrado na captura de ecrã abaixo, altere o tipo de recurso de dados predefinido *Parquet ou outro formato suportado se o formato de ficheiro do recurso de dados não for delta. Esta alteração tem de ser feita antes de configurar a tarefa de análise da Qualidade dos Dados.

Captura de ecrã a mostrar a seleção do tipo de recurso.

Próximas etapas