Gerir a Qualidade dos dados para elementos de dados críticos (pré-visualização)
Os elementos de dados críticos (CDEs) são um agrupamento lógico de colunas importantes entre tabelas nas suas origens de dados que lhe permitem concentrar estrategicamente os seus esforços de governação onde terá mais efeito.
Qualidade de Dados do Microsoft Purview oferece uma solução integrada para medir a qualidade dos Elementos de Dados Críticos (CDEs), permitindo às organizações garantir que estes elementos de dados principais cumprem as normas necessárias para precisão, integridade, consistência e integridade.
As organizações podem estabelecer limiares de qualidade específicos que os CDEs têm de cumprir para manter a sua qualidade. Esses limiares são aplicados ao nível lógico do CDE, mas são reduzidos a todas as colunas individuais que compõem o CDE. Estas regras podem abranger vários aspetos da qualidade dos dados, incluindo validação, limpeza, uniformização e melhoramento. Por exemplo: as regras de qualidade dos dados podem especificar que os endereços dos clientes têm de ser padronizados para um formato específico ou que os IDs dos colaboradores têm de cumprir um determinado padrão.
Assim que as regras de qualidade dos dados forem aplicadas aos CDEs, Qualidade de Dados do Microsoft Purview avalia sistematicamente os elementos de dados físicos subjacentes para avaliar a conformidade com estas regras. Ao utilizar a abordagem integrada da Qualidade de Dados do Purview, as organizações podem monitorizar e gerir proativamente a qualidade dos respetivos elementos de dados críticos, garantindo que se mantêm fiáveis, precisos e adequados para fins. Isto não só melhora os processos de tomada de decisões, como também ajuda a mitigar os riscos associados a erros ou inconsistências de dados, o que, em última análise, gera melhores resultados empresariais.
Tipos de recursos suportados
- Azure Data Lake Storage (ADLS Gen2)
- Tipos de Ficheiro: Delta e Parquet
- Banco de Dados SQL Azure
- O património de dados de recursos de infraestrutura no OneLake inclui o atalho e o espelhamento do património de dados. A análise da Qualidade dos Dados é suportada apenas para tabelas delta do Lakehouse e ficheiros parquet.
- Espelhamento do património de dados: CosmosDB, Snowflake, SQL do Azure
- Propriedade de dados de atalho: AWS S3, GCS, AdlsG2 e dataverse
- Azure Synapse armazém de dados e sem servidor
- Catálogo do Unity no Azure Databricks
- Snowflake
- Google Big Query (Pré-visualização Privada)
Regras de qualidade de dados disponíveis para CDEs
Qualidade de Dados do Microsoft Purview ativa a configuração das regras abaixo para CDEs. Selecionar uma regra irá encaminhá-lo para o artigo regras gerais de qualidade de dados para obter mais informações.
| Regra | Definição |
|---|---|
| Valores exclusivos | Confirma que os valores numa coluna são exclusivos. |
| Correspondência do tipo de dados | Confirma que os valores numa coluna correspondem aos respetivos requisitos de tipo de dados. |
| Campos vazios/em branco | Procura campos em branco e vazios numa coluna onde devem existir valores. |
Configurar a qualidade dos dados para CDEs
Se ainda não o fez, crie um elemento de dados crítico (CDE) e adicione colunas.
Abra o CDE ao:
- Abra o Catálogo Unificado do Microsoft Purview e selecione Submenu Gestão de dados e Domínios de governação .
- Selecione um domínio de governação na lista.
- Selecione o mosaico Elementos de dados críticos .
- Selecione um elemento de dados crítico na lista.
Selecione o separador Qualidade dos dados no elemento de dados crítico.
Adicione uma nova regra ao elemento de dados críticos ao selecionar Nova regra.
Selecione o tipo de regra de qualidade de dados que pretende utilizar e selecione Seguinte.
Indique os detalhes necessários para o seu tipo de regra.
Escolha se pretende ativar ou desativar a regra.
Selecione Criar.
Executar regras de qualidade de dados para CDEs
Quando uma análise de qualidade de dados é executada para um recurso de dados disponível que tem uma coluna associada a um CDE, as regras de qualidade de dados que configurou para esse CDE produzirão uma pontuação.
Agende ou execute uma análise da qualidade dos dados dos recursos de dados associados à CDE.
Monitorize o progresso da tarefa de análise da qualidade dos dados à medida que é executada, garantindo que é concluída sem erros ou interrupções. Verifique se as regras de qualidade dos dados aplicados foram executadas com êxito a partir do histórico snapshot.
Reveja os resultados da tarefa de análise para avaliar a qualidade do recurso de dados CDE com base nas regras aplicadas.
Analise os resultados da tarefa de análise da qualidade dos dados para identificar quaisquer problemas, anomalias ou áreas de melhoria relacionadas com o recurso de dados CDE. Isto pode envolver limpeza, uniformização ou melhoramento dos dados para melhorar a sua qualidade.
