Gerenciar metastores do Catálogo do Unity

Este artigo mostra como atualizar, excluir e gerenciar o comportamento dos metastores do Catálogo do Unity em sua conta do Azure Databricks.

Para saber mais sobre os metastores do Catálogo do Unity e como criá-los, consulte Criar um metastore do Catálogo do Unity.

Permitir que um metastore seja atribuído automaticamente a novos workspaces

Para atribuir um metastore existente do Catálogo do Unity automaticamente a novos workspaces na região desse metastore, um administrador de conta pode habilitar a atribuição automática de workspace para o metastore. Se essa configuração não for selecionada, o administrador que cria um workspace na mesma região que o metastore deverá habilitar manualmente o workspace para o Catálogo do Unity e selecionar o metastore em uma lista suspensa.

Antes de um administrador de conta habilitar essa opção, ele deve entender os seguintes impactos em novos workspaces:

• Um catálogo de espaço de trabalho será criado e todos os usuários do espaço de trabalho terão os privilégios necessários para criar objetos nele. Confira Habilitação automática do Catálogo do Unity.
• Os administradores do workspace terão as permissões necessárias para criar objetos protegíveis no nível do metastore, como catálogos e locais externos. Consulte Privilégios de administrador do espaço de trabalho quando os espaços de trabalho são habilitados automaticamente para o Catálogo do Unity.
• Se o armazenamento no nível do metastore já estiver habilitado para o metastore, o workspace poderá usar esse armazenamento. Consulte Especificar um local de armazenamento gerenciado no catálogo do Unity.
• Se um administrador de metastore for definido para o metastore, ele poderá gerenciar o acesso a todos os objetos protegíveis em todos os workspaces anexados ao metastore. Consulte os administradores do Metastore.
• A configuração de Compartilhamento Delta (habilitada ou desabilitada) para o metastore será aplicada a todos os workspaces anexados ao metastore. Consulte Configurar o compartilhamento delta para sua conta (para provedores).

Para habilitar a atribuição automática:

1. Como administrador da conta, acesse o console da conta do Azure Databricks.
2. Clique em Catálogo.
3. Selecione seu metastore.
4. Na guia Configuração , em Atribuição de workspace, selecione Atribuir automaticamente novos workspaces <region> a este metastore.
5. Na caixa de diálogo de confirmação, clique em Ativar atribuição automática.

Adicionar armazenamento gerenciado a um metastore existente

O armazenamento gerenciado no nível do metastore é opcional e não está incluído em metastores que foram criados automaticamente. Talvez você queira adicionar o armazenamento no nível do metastore ao seu metastore se preferir um modelo de isolamento de dados que armazene dados centralmente para vários workspaces. Você precisará de armazenamento no nível do metastore se quiser compartilhar notebooks usando o Compartilhamento Delta ou se for um parceiro do Azure Databricks que usa locais de preparo pessoal.

Consulte também Especificar um local de armazenamento gerenciado no catálogo do Unity.

Requisitos

• Você deve ter pelo menos um workspace anexado ao metastore do Catálogo do Unity.
• Permissões do Azure Databricks necessárias:
  • Para criar um local externo, você deve ser um administrador do metastore ou um usuário com privilégios CREATE EXTERNAL LOCATION e CREATE STORAGE CREDENTIAL.
  • Para adicionar o local de armazenamento à definição de metastore, você deve ser um administrador da conta. Para obter instruções sobre como habilitar a função de administrador de conta em sua conta, confira Estabeleça seu primeiro administrador de conta.
• Permissões de locatário do Azure necessárias:
  • Permissão para criar uma conta de armazenamento a ser usada com o Azure Data Lake Storage Gen2. Essa conta de armazenamento deve ter um namespace hierárquico. Confira Criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2.
  • Permissão para criar um novo recurso para manter uma identidade gerenciada atribuída pelo sistema. Isso requer que você seja um Colaborador ou Proprietário de um grupo de recursos em qualquer assinatura no locatário.

Etapa 1: Criar o local de armazenamento

Siga as instruções na Etapa 1 (Opcional): Criar um contêiner de armazenamento para armazenamento gerenciado no nível do metastore e Etapa 2 (Opcional): Criar uma identidade gerenciada para acessar o local de armazenamento gerenciado para criar um contêiner de armazenamento no Azure Data Lake Storage Gen2 e um conector de acesso do Azure Databricks que contém uma identidade gerenciada que tenha acesso ao contêiner de armazenamento.

Etapa 2: Criar um local externo no Catálogo do Unity

Nessa etapa, você cria um local externo no Catálogo do Unity que faz referência ao caminho do ADLS Gen 2 que você acabou de criar.

1. Crie uma credencial de armazenamento.

   A credencial de armazenamento representará a identidade gerenciada do Azure que você criou na Etapa 1: Criar o local de armazenamento.

   Siga as instruções em Criar uma credencial de armazenamento para se conectar ao Azure Data Lake Storage Gen2.

2. Crie um local externo que faça referência à credencial de armazenamento que você criou na etapa anterior e ao contêiner de armazenamento do ADLS Gen 2 que você criou na Etapa 1: Criar o local de armazenamento.

   Siga as instruções em Criar um local externo para conectar o armazenamento em nuvem ao Azure Databricks

3. Conceda a si mesmo o privilégio CREATE MANAGED STORAGE no local externo.

   1. Clique no nome do local externo para abrir o painel de detalhes.
   2. Na guia Permissões, clique em Conceder.
   3. Na caixa de diálogo Conceder no <external location>, selecione você mesmo no campo Entidades de segurança e selecione CREATE MANAGED STORAGE.
   4. Clique em Conceder.

Etapa 3: Adicionar o local de armazenamento ao metastore

Depois de criar um local externo que represente o bucket de armazenamento do metastore, você poderá adicioná-lo ao metastore.

1. Como administrador de conta, faça logon no console da conta.

2. Clique em Catálogo.

3. Clique no nome do metastore.

4. Confirme se você é o Administrador do metastore.

   Se não for, clique em Editar e atribua a si mesmo como administrador do metastore. Você pode cancelar a atribuição quando terminar esse procedimento.

5. Na guia Configuração, ao lado de Caminho do ADLS Gen 2, clique em Definir.

6. Na caixa de diálogo Definir raiz do metastore, insira o caminho do ADLS Gen 2 usado para criar o local externo e clique em Atualizar.

   Você não poderá modificar esse caminho depois de defini-lo.

Adicionar um administrador de metastore

Os administradores do metastore são opcionais, mas há situações em que você pode querer um para o seu metastore. Confira Atribuir um administrador de metastore.

Excluir um metastore

Se você estiver fechando sua conta do Azure Databricks ou tiver outro motivo para excluir o acesso aos dados gerenciados pelo metastore do Catálogo do Unity, poderá excluir o metastore.

Aviso

Todos os objetos gerenciados pelo metastore ficarão inacessíveis usando workspaces do Azure Databricks. Essa ação não pode ser desfeita.

Os dados e metadados da tabela gerenciada serão excluídos automaticamente após 30 dias. Os dados de tabela externa no armazenamento em nuvem não são afetados pela exclusão do metastore.

Para excluir um metastore:

1. Como administrador do metastore, faça logon no console da conta.
2. Clique em Catálogo.
3. Clique no nome do metastore.
4. Na guia Configuração, clique no menu de três botões no canto superior direito e selecione Excluir.
5. Na caixa de diálogo de confirmação, insira o nome do metastore e clique em Excluir.