Conectar-se e gerenciar o Catálogo do Unity do Azure Databricks no Microsoft Purview (versão prévia)

Este artigo descreve como registrar o Azure Databricks e como autenticar e interagir com o Catálogo do Azure Databricks Unity no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Importante

Este recurso está atualmente no modo de visualização. Os Termos de Uso Suplementares para Visualizações do Microsoft Azure incluem termos legais adicionais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral.

Recursos compatíveis

Extração de metadados	Verificação Completa	Verificação Incremental	Verificação em escopo	Classificação	Rotulamento	Política de Acesso	Linhagem	Compartilhamento de dados	Exibição ao vivo
Sim	Sim	Não	Sim	Não	Não	Não	Não	Não	Não

Ao examinar o Catálogo do Azure Databricks Unity, o Microsoft Purview dá suporte a:

• Metastore
• Catálogos
• Esquemas
• Tabelas incluindo as colunas
• Exibições incluindo as colunas

Ao configurar a verificação, você pode optar por examinar todo o Catálogo do Unity ou escopo da verificação para um subconjunto de catálogos.

Observação

Esse conector traz metadados do Catálogo do Unity do Azure Databricks. Para verificar metadados no escopo do workspace do Azure Databricks, consulte o conector metastore do Azure Databricks Hive.

Limitações conhecidas

• Atualmente, não há suporte para verificação se o workspace do Azure Databricks não permitir o acesso da rede pública ou se sua conta do Purview não habilitar o acesso de todas as redes. Estamos adicionando esse suporte em breve.
• Quando o objeto é excluído da fonte de dados, atualmente, a verificação subsequente não removerá automaticamente o ativo correspondente no Microsoft Purview.

Pré-requisitos

• Você deve ter uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.

• Você deve ter uma conta ativa do Microsoft Purview.

• Você precisa de um Key Vault do Azure e conceder permissões do Microsoft Purview para acessar segredos.

• Você precisa de permissões de Administrador de Fonte de Dados e Leitor de Dados para registrar uma fonte e gerenciá-la no portal de governança do Microsoft Purview. Para obter mais informações sobre permissões, consulte Controle de acesso no Microsoft Purview.

• Para examinar o Catálogo do Azure Databricks Unity, o Microsoft Purview se conecta a um SQL Warehouse em seu workspace e usa o Token de Acesso Pessoal para autenticação. Você precisa ter um workspace do Azure Databricks habilitado e anexado ao metastore que você deseja examinar. No workspace do Azure Databricks:

  • Gere um token de acesso pessoal e armazene-o como um segredo no Azure Key Vault.

    • Para todos os objetos que você deseja trazer para o Microsoft Purview, o usuário precisa ter pelo menos privilégio SELECT em tabelas/exibições, USE CATALOG no catálogo do objeto e USE SCHEMA no esquema do objeto.

    • Para verificar todos os objetos em um metastore do Catálogo do Unity, use um usuário com função de administrador metastore. Saiba mais em Gerenciar privilégios no Catálogo do Unity e privilégios do Catálogo do Unity e objetos protegíveis.

  • Crie um SQL Warehouse. Você também pode usar o warehouse starter autocretado, se aplicável.

    • Observe o caminho HTTP. Você pode encontrá-lo no workspace do Azure Databricks –> SQL Warehouses –> seu warehouse –> Detalhes da conexão –> caminho HTTP.

    • Verifique se o usuário tem a permissão Pode Usar para se conectar ao SQL warehouse do Azure Databricks. Saiba mais no controle de acesso do SQL Warehouse.

Registrar

Esta seção descreve como registrar um workspace do Azure Databricks no Microsoft Purview usando o portal de governança do Microsoft Purview.

1. Acesse sua conta do Microsoft Purview.

2. Selecione Mapa de Dados no painel esquerdo.

3. Selecione Registrar.

4. Em Registrar fontes, selecione Continuar do Azure Databricks>.

5. Na tela Registrar fontes (Azure Databricks), faça o seguinte:

   1. Para Nome, insira um nome que o Microsoft Purview listará como a fonte de dados.

   2. Para a assinatura do Azure e o nome do workspace do Databricks, selecione a assinatura e o workspace que você deseja examinar na lista suspensa. A URL do workspace do Databricks é preenchida automaticamente.

   3. Para Selecionar uma coleção, escolha uma coleção na lista ou crie uma nova. Essa etapa é opcional.

   

6. Selecione Concluir.

Examinar

Dica

Para solucionar problemas com a verificação:

1. Confirme se você seguiu todos os pré-requisitos.
2. Examine nossa documentação de solução de problemas de verificação.

Use as etapas a seguir para examinar o Azure Databricks para identificar automaticamente os ativos. Para obter mais informações sobre a verificação em geral, consulte Verificações e ingestão no Microsoft Purview.

1. Vá para Fontes.

2. Selecione o Azure Databricks registrado.

3. Selecione + Nova verificação.

4. Forneça os seguintes detalhes:

   1. Nome: insira um nome para a verificação.

   2. Método de extração: Indique para extrair metadados do Hive Metastore ou do Catálogo do Unity. Selecione Catálogo do Unity.

   3. Conectar por meio do runtime de integração: escolha o runtime de integração resolvido automaticamente padrão.

   4. Credencial: selecione a credencial para se conectar à fonte de dados. Certifique-se de:

      • Selecione Autenticação de Token de Acesso ao criar uma credencial.
      • Forneça o nome secreto do token de acesso pessoal que você criou em Pré-requisitos na caixa apropriada.

      Para obter mais informações, consulte Credenciais para autenticação de origem no Microsoft Purview.

   5. Caminho HTTP: Especifique o caminho HTTP do Databricks SQL Warehouse ao qual o Microsoft Purview se conectará e executará a verificação, por exemplo. . /sql/1.0/endpoints/xxxxxxxxxxxxxxxx Você pode encontrá-lo no workspace do Azure Databricks –> SQL Warehouses –> seu warehouse –> Detalhes da conexão –> caminho HTTP.

5. Clique em Testar conexão para validar as configurações.

   

6. Selecione Continuar.

7. Em Escopo da página de verificação , selecione os catálogos que você deseja examinar.

   

8. Para a verificação do gatilho, escolha se deve configurar um agendamento ou executar a verificação uma vez.

9. Examine a verificação e selecione Salvar e Executar.

Depois que a verificação for concluída com êxito, confira como procurar e pesquisar ativos.

Exibir suas verificações e verificar execuções

Para exibir as verificações existentes:

1. Acesse o portal de governança do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou exibir todas as verificações na guia Verificações .
3. Selecione a verificação que tem resultados que você deseja exibir. O painel mostra todas as execuções de verificação anteriores, juntamente com as status e métricas para cada execução de verificação.
4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas verificações

Para editar, cancelar ou excluir uma verificação:

1. Acesse o portal de governança do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou exibir todas as verificações na guia Verificações .

3. Selecione a verificação que você deseja gerenciar. Você poderá:

   • Edite a verificação selecionando Editar verificação.
   • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
   • Exclua sua verificação selecionando Excluir verificação.

Observação

• A exclusão da verificação não exclui os ativos de catálogo criados de verificações anteriores.
• O ativo não será mais atualizado com alterações de esquema se sua tabela de origem tiver sido alterada e você examinar novamente a tabela de origem depois de editar a descrição na guia Esquema do Microsoft Purview.

Procurar e pesquisar ativos

Depois de examinar o Azure Databricks, você pode procurar o catálogo de dados ou o catálogo de dados de pesquisa para exibir os detalhes do ativo.

Ao navegar por tipos de origem, você verá duas entradas para o Catálogo do Azure Databricks Unity e o Azure Databricks , respectivamente. O primeiro contém os artefatos do Catálogo do Unity, incluindo o metastore e seus catálogos/esquemas/tabelas/exibições, enquanto este último contém o workspace.

No ativo workspace do Azure Databricks, você pode encontrar o Catálogo do Unity associado na guia Propriedades, revertido também.

Próximas etapas

Agora que você registrou sua origem, use os seguintes guias para saber mais sobre o Microsoft Purview e seus dados:

• Pesquisar o catálogo de dados
• Insights do Data Estate no Microsoft Purview