Qualidade dos dados do Google BigQuery (Pré-visualização)

Artigo
11/11/2024

Recursos compatíveis

Ao analisar a origem do Google BigQuery, o Microsoft Purview suporta:

Extrair metadados técnicos, incluindo:
- Projetos e conjuntos de dados
- Tabelas, incluindo as colunas
- Vistas, incluindo as colunas
Obter linhagem estática nas relações de recursos entre tabelas e vistas.

Ao configurar a análise, pode optar por analisar todo um projeto do Google BigQuery. Também pode definir o âmbito da análise para um subconjunto de conjuntos de dados que correspondem aos nomes especificados ou aos padrões de nome.

Limitações conhecidas

Atualmente, o Microsoft Purview só suporta a análise de conjuntos de dados do Google BigQuery na localização multi-regional dos EUA. Se o conjunto de dados especificado estiver noutra localização, por exemplo, us-east1 ou UE, verá que a análise é concluída, mas não são apresentados recursos no Microsoft Purview.
Quando o objeto é eliminado da origem de dados, atualmente a análise subsequente não é removida automaticamente do recurso correspondente no Microsoft Purview.

Configurar a análise de datamap para catalogar dados do Google BigQuery no Microsoft Purview

Registar um projeto do Google BigQuery

Abra o Microsoft Purview e selecione Mapa de Dados no painel de navegação esquerdo.
Selecione Registrar.
Em Registar origens, selecione Google BigQuery. Selecione Continuar.
- Introduza um Nome que a origem de dados será listada no Catálogo.
- Introduza o ProjectID. Este deve ser um ID de projeto completamente qualificado. Por exemplo, mydomain.com: myProject
- Selecione uma coleção na lista.
- Selecione Registrar.

Configurar uma análise de datamap para o projeto Google BigQuery

Certifique-se de que está configurado um runtime de integração autoalojado. Se não estiver configurado, utilize os passos mencionados nos pré-requisitos
Navegue para Origens.
Selecione o projeto BigQuery registado.
Selecione + Nova análise.
Indique os detalhes abaixo:
- Nome: o nome da análise
- Ligar através do runtime de integração: selecione o runtime de integração autoalojado configurado
- Credencial: ao configurar a credencial do BigQuery, certifique-se de que:
  - Selecione Autenticação Básica como método de Autenticação
  - Indique o ID de e-mail da conta de serviço no campo Nome de utilizador. Por exemplo, xyz@developer.gserviceaccount.com
  - Siga os passos abaixo para gerar a chave privada. Copie todo o ficheiro de chave JSON e armazene-o como o valor de um segredo Key Vault.
  - Para criar uma nova chave privada a partir da plataforma cloud da Google:
    - No menu de navegação, selecione IAM (Gestão de Acesso a Identidades) e selecione Administração --> Contas de Serviço --> Selecionar um projeto -->
    - Selecione o endereço de e-mail da conta de serviço para a qual pretende criar uma chave.
    - Selecione o separador Chaves.
    - Selecione o menu pendente Adicionar tecla e, em seguida, selecione Criar nova chave.
    - Selecione formato JSON.
- Especifique o caminho para a localização do controlador JDBC (Conectividade da Base de Dados Java) no computador onde o runtime de integração autoalojado está em execução. Por exemplo: D:\Drivers\GoogleBigQuery.
- Especifique uma lista de conjuntos de dados do BigQuery a importar. Por exemplo, conjunto de dados1; conjunto de dados2. Quando a lista estiver vazia, todos os conjuntos de dados disponíveis são importados.
- Memória máxima (em GB) disponível na VM (Máquina Virtual) a utilizar através de processos de análise. Isto depende do tamanho do projeto Google BigQuery a ser analisado.
Selecione Testar ligação.
Selecione Continuar.
Escolha o acionador de análise. Pode configurar uma agenda ou executar a análise uma vez.
Reveja a análise e selecione Guardar e Executar.

Depois de analisados, os recursos de dados no projeto Google BigQuery estarão disponíveis na pesquisa do Catálogo Unificado. Para obter mais detalhes sobre como ligar e gerir o Google BigQuery no Microsoft Purview, siga este documento.

Importante

Eliminar a análise não elimina os recursos de catálogo criados a partir de análises anteriores.

Configurar a ligação ao projeto Google BigQuery para análise da qualidade dos dados

Neste momento, temos o recurso analisado pronto para catalogação e governação. Associe os recursos analisados aos Produtos de Dados num Domínio de Governação para configurar a análise da Qualidade dos Dados.

Selecione o separador Gestão de Domínio > de Governação de qualidade > de dados para criar ligação.
Configurar ligação
- Adicionar nome e descrição da ligação
- Selecionar o tipo de origem Google BigQuery
- Adicionar ID do Projeto, Nome do conjunto de dados e Nome da tabela
- Selecione Chave privada da conta de serviço
  - Adicionar subscrição do Azure
  - Ligação ao cofre de chaves
  - nome do segredo
  - secret version
Teste a ligação para que a ligação da origem de dados seja configurada com êxito.

Importante

Os responsáveis pela qualidade dos dados precisam de acesso só de leitura ao Google BigQuery para configurar a ligação de qualidade dos dados. A vNet e o Ponto final privado ainda não são suportados para a origem de dados Google BigQuery para o serviço de análise de qualidade de dados.

Análise da qualidade dos dados e da criação de perfis para dados no Google BigQuery

Depois de concluída a configuração da ligação com êxito, pode criar perfis, criar e aplicar regras e executar a análise da Qualidade dos Dados dos seus dados no Google BigQuery. Siga a orientação passo a passo descrita nos documentos abaixo:

Compartilhar via