Compartilhar via

Ligar e gerir projetos do Google BigQuery no Microsoft Purview

  • Artigo

Este artigo descreve como registar projetos do Google BigQuery e como autenticar e interagir com o Google BigQuery no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Extração de Metadados Verificação Completa Análise Incremental Análise de Âmbito Classificação Rotulamento Política de Acesso Linhagem Compartilhamento de Dados Modo de exibição ao vivo
Sim Sim Não Sim Não Não Não Sim Não Não

Ao analisar a origem do Google BigQuery, o Microsoft Purview suporta:

  • Extrair metadados técnicos, incluindo:

    • Projetos
    • Conjuntos de dados
    • Tabelas, incluindo as colunas
    • Vistas, incluindo as colunas

  • Obter linhagem estática nas relações de recursos entre tabelas e vistas.

Ao configurar a análise, pode optar por analisar todo um projeto do Google BigQuery ou definir o âmbito da análise para um subconjunto de conjuntos de dados que correspondem aos nomes ou padrões de nome especificados.

Limitações conhecidas

  • Atualmente, o Microsoft Purview só suporta a análise de conjuntos de dados do Google BigQuery na localização multi-regional dos EUA. Se o conjunto de dados especificado estiver noutra localização, por exemplo, us-east1 ou UE, irá observar a análise concluída, mas nenhum recurso apresentado no Microsoft Purview.
  • Quando o objeto é eliminado da origem de dados, atualmente a análise subsequente não remove automaticamente o recurso correspondente no Microsoft Purview.

Pré-requisitos

Permissões necessárias para análise

A conta de serviço Google BigQuery que utiliza para análise tem de ter as funções BigQuery Metadata Viewer e BigQuery Job User IAM nos projetos que pretende analisar. Estas permissões são necessárias porque o Microsoft Purview extrai os metadados ao ler as tabelas do sistema de bases de dados do Google BigQuery (por exemplo, INFORMATION_SCHEMA). E o controlador JDBC do Google BigQuery subjacente cria uma tarefa bigQuery quando precisa de ler a partir destas tabelas de sistema.

O Microsoft Purview utiliza o protocolo Oauth 2.0 para aceder ao serviço Google BigQuery. Configure a credencial ao seguir as instruções na secção Criar e executar análise .

Registrar

Esta secção descreve como registar um projeto Google BigQuery no Microsoft Purview através do portal de governação do Microsoft Purview.

Passos para registar

  1. Abra o portal de governação do Microsoft Purview ao:

  2. Selecione Mapa de Dados no painel de navegação esquerdo.

  3. Selecione Registar.

  4. Em Registar origens, selecione Google BigQuery . Selecione Continuar.

    registar origem do BigQuery

No ecrã Registar origens (Google BigQuery), faça o seguinte:

  1. Introduza um Nome que a origem de dados será listada no Catálogo.

  2. Introduza o ProjectID. Este deve ser um ID de projeto completamente qualificado. Por exemplo, mydomain.com:myProject

  3. Selecione uma coleção na lista.

  4. Selecione Registrar.

    configurar a origem do BigQuery

Examinar

Siga os passos abaixo para analisar um projeto do Google BigQuery para identificar automaticamente os recursos. Para obter mais informações sobre a análise em geral, veja a nossa introdução às análises e ingestão.

Criar e executar a análise

  1. No Centro de Gestão, selecione Runtimes de integração. Certifique-se de que está configurado um runtime de integração autoalojado. Se não estiver configurado, utilize os passos mencionados nos pré-requisitos.

  2. Navegue para Origens.

  3. Selecione o projeto BigQuery registado.

  4. Selecione + Nova análise.

  5. Indique os detalhes abaixo:

    1. Nome: o nome da análise

    2. Ligar através do runtime de integração: selecione o runtime de integração autoalojado configurado

    3. Credencial: ao configurar a credencial do BigQuery, certifique-se de que:

      • Selecione Autenticação Básica como método de Autenticação
      • Indique o ID de e-mail da conta de serviço no campo Nome de utilizador. Por exemplo, xyz\@developer.gserviceaccount.com
      • Siga os passos abaixo para gerar a chave privada, copie todo o ficheiro de chave JSON e, em seguida, armazene-o como o valor de um segredo Key Vault.

      Para criar uma nova chave privada a partir da plataforma cloud da Google:

      1. No menu de navegação, selecione IAM & Administração –> Contas de Serviço –> Selecionar um projeto –>
      2. Selecione o endereço de e-mail da conta de serviço para a qual pretende criar uma chave.
      3. Selecione o separador Chaves .
      4. Selecione o menu pendente Adicionar tecla e, em seguida, selecione Criar nova chave.
      5. Selecione formato JSON.

      Observação

      Os conteúdos da chave privada são guardados num ficheiro temporário na VM quando os processos de análise estão em execução. Este ficheiro temporário é eliminado depois de as análises serem concluídas com êxito. Em caso de falha de análise, o sistema continuará a tentar até ao êxito. Certifique-se de que o acesso está devidamente restrito na VM onde o SHIR está em execução.

      Para saber mais sobre as credenciais, veja a ligação aqui.

    4. Localização do controlador: especifique o caminho para a localização do controlador JDBC no computador onde o runtime de integração autoalojado está em execução. Por exemplo: D:\Drivers\GoogleBigQuery.

      1. Para o runtime de integração autoalojado num computador local: D:\Drivers\GoogleBigQuery. É o caminho para a localização válida da pasta JAR. O valor tem de ser um caminho de ficheiro absoluto válido e não contém espaço. Certifique-se de que o controlador está acessível através do runtime de integração autoalojado;; saiba mais na secção de pré-requisitos.
      2. Para o runtime de integração autoalojado suportado pelo Kubernetes: ./drivers/GoogleBigQuery. É o caminho para a localização válida da pasta JAR. O valor tem de ser um caminho de ficheiro relativo válido. Veja a documentação para configurar uma análise com controladores externos para carregar controladores com antecedência.

    5. Conjunto de dados: especifique uma lista de conjuntos de dados do BigQuery a importar. Por exemplo, dataset1;dataset2. Quando a lista estiver vazia, todos os conjuntos de dados disponíveis são importados. Os padrões de nome de conjuntos de dados aceitáveis podem ser nomes estáticos ou conter %.

      Exemplo: A%;%B;%C%;D

      • Começar com A ou
      • terminar com B ou
      • contenham C ou
      • igual a D

      A utilização de NÃO e carateres especiais não é aceitável.

    6. Memória máxima disponível: memória máxima (em GB) disponível na VM a utilizar através de processos de análise. Isto depende do tamanho do projeto Google BigQuery a ser analisado.

      analisar origem do BigQuery

  6. Selecione Testar ligação.

  7. Selecione Continuar.

  8. Escolha o acionador de análise. Pode configurar uma agenda ou executar a análise uma vez.

  9. Reveja a análise e selecione Guardar e Executar.

Ver as suas análises e execuções de análise

Para ver as análises existentes:

  1. Aceda ao portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
  2. Selecione a origem de dados. Pode ver uma lista de análises existentes nessa origem de dados em Análises recentes ou pode ver todas as análises no separador Análises .
  3. Selecione a análise que tem os resultados que pretende ver. O painel mostra-lhe todas as execuções de análise anteriores, juntamente com as status e as métricas de cada execução de análise.
  4. Selecione o ID de execução para marcar os detalhes da execução da análise.

Gerir as suas análises

Para editar, cancelar ou eliminar uma análise:

  1. Aceda ao portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

  2. Selecione a origem de dados. Pode ver uma lista de análises existentes nessa origem de dados em Análises recentes ou pode ver todas as análises no separador Análises .

  3. Selecione a análise que pretende gerir. Você poderá:

    • Edite a análise ao selecionar Editar análise.
    • Cancele uma análise em curso ao selecionar Cancelar execução de análise.
    • Elimine a análise ao selecionar Eliminar análise.

Observação

  • Eliminar a análise não elimina os recursos de catálogo criados a partir de análises anteriores.

Linhagem

Depois de analisar a origem do Google BigQuery, pode procurar no catálogo de dados ou no catálogo de dados de pesquisa para ver os detalhes do recurso.

Aceda ao separador ativo -> linhagem. Pode ver a relação de recursos quando aplicável. Veja a secção de capacidades suportadas nos cenários de linhagem do Google BigQuery suportados. Para obter mais informações sobre a linhagem em geral, veja Guia do utilizador da linhagem e linhagem de dados.

Vista de linhagem do Google BigQuery

Próximas etapas

Agora que registou a sua origem, siga os guias abaixo para saber mais sobre o Microsoft Purview e os seus dados.