Como criar perfis de dados de fontes de dados no Catálogo de Dados do Azure
Importante
O Catálogo de Dados do Azure foi desativado em 15 de maio de 2024.
Para recursos de catálogo de dados, use o serviço Microsoft Purview, que oferece governança de dados unificada para todo o seu conjunto de dados.
Introdução
O Catálogo de Dados do Microsoft Azure é um serviço de nuvem totalmente gerenciado que serve como um sistema de registro e sistema de descoberta para fontes de dados corporativas. Em outras palavras, o Catálogo de Dados do Azure tem tudo a ver com ajudar as pessoas a descobrir, entender e usar fontes de dados e ajudar as organizações a obter mais valor de seus dados existentes. Quando uma fonte de dados é registrada no Catálogo de Dados do Azure, seus metadados são copiados e indexados pelo serviço, mas a história não termina aí.
O recurso Perfil de Dados do Catálogo de Dados do Azure examina os dados de fontes de dados com suporte em seu catálogo e coleta estatísticas e informações sobre esses dados. É fácil incluir um perfil dos seus ativos de dados. Ao registrar um ativo de dados, escolha Incluir perfil de dados na ferramenta de registro da fonte de dados.
O que é a definição de perfis de dados?
A definição de perfis de dados examina os dados na fonte de dados que está a ser registada e recolhe estatísticas e informações sobre esses dados. Durante a descoberta da fonte de dados, essas estatísticas podem ajudá-lo a determinar a adequação dos dados para resolver seus problemas de negócios.
As seguintes fontes de dados oferecem suporte à criação de perfis de dados:
- Tabelas e modos de exibição do SQL Server (incluindo o Banco de Dados SQL do Azure e o Azure Synapse Analytics)
- Tabelas e visualizações Oracle
- Tabelas e visualizações Teradata
- Tabelas do Hive
A inclusão de perfis de dados ao registrar ativos de dados ajuda os usuários a responder a perguntas sobre fontes de dados, incluindo:
- Pode ser usado para resolver o problema do meu negócio?
- Os dados estão em conformidade com padrões ou padrões específicos?
- Quais são algumas das anomalias da fonte de dados?
- Quais são os possíveis desafios da integração desses dados no meu aplicativo?
Nota
Você também pode adicionar documentação a um ativo para descrever como os dados podem ser integrados a um aplicativo. Consulte Como documentar fontes de dados.
Como incluir um perfil de dados ao registrar uma fonte de dados
É fácil incluir um perfil da sua fonte de dados. Ao registrar uma fonte de dados, no painel Objetos a serem registrados da ferramenta de registro da fonte de dados, escolha Incluir Perfil de Dados.
Para saber mais sobre como registrar fontes de dados, consulte Como registrar fontes de dados e Introdução ao Catálogo de Dados do Azure.
Filtragem em ativos de dados que incluem perfis de dados
Para descobrir ativos de dados que incluem um perfil de dados, você pode incluir has:tableDataProfiles ou has:columnsDataProfiles como um dos seus termos de pesquisa.
Nota
Selecionar Incluir Perfil de Dados na ferramenta de registro da fonte de dados inclui informações de perfil em nível de tabela e coluna. No entanto, a API do Catálogo de Dados permite que os ativos de dados sejam registrados com apenas um conjunto de informações de perfil incluído.
Visualizando informações de perfil de dados
Depois de encontrar uma fonte de dados adequada com um perfil, você pode visualizar os detalhes do perfil de dados. Para exibir o perfil de dados, selecione um ativo de dados e escolha Perfil de Dados na janela do portal do Catálogo de Dados.
Um perfil de dados no Catálogo de Dados do Azure mostra informações de perfil de tabela e coluna, incluindo:
Perfil de dados do objeto
- Número de linhas
- Tamanho da tabela
- Quando o objeto foi atualizado pela última vez
Perfil de dados da coluna
- Tipo de dados de coluna
- Número de valores distintos
- Número de linhas com valores NULL
- Mínimo, máximo, média e desvio padrão para valores de coluna
Resumo
O perfil de dados fornece estatísticas e informações sobre ativos de dados registrados para ajudá-lo a determinar a adequação dos dados para resolver problemas de negócios. Além de anotar e documentar fontes de dados, os perfis de dados podem fornecer aos usuários uma compreensão mais profunda de seus dados.