Gerenciar metastores do Catálogo Unity

Este artigo mostra como atualizar, excluir e gerenciar o comportamento dos metastores do Catálogo Unity em sua conta do Azure Databricks.

Para saber mais sobre os metastores do Unity Catalog e como criá-los, consulte Criar um metastore do Unity Catalog.

Permitir que um metastore seja atribuído automaticamente a novos espaços de trabalho

Para atribuir automaticamente um metastore existente do Unity Catalog a novos espaços de trabalho na região desse metastore, um administrador de conta pode habilitar a atribuição automática do espaço de trabalho para o metastore. Se essa configuração não for selecionada, o administrador que criar um espaço de trabalho na mesma região do metastore deverá habilitar manualmente o espaço de trabalho para o Unity Catalog e selecionar o metastore em uma lista suspensa.

Antes de um administrador de conta habilitar essa opção, ele deve entender os seguintes impactos nos novos espaços de trabalho:

• Um catálogo de espaço de trabalho será criado e todos os usuários do espaço de trabalho terão os privilégios necessários para criar objetos nele. Veja Ativação automática do Unity Catalog.
• Os administradores do espaço de trabalho terão as permissões necessárias para criar objetos protegíveis no nível do metastore, como catálogos e locais externos. Consulte Privilégios de administrador do espaço de trabalho quando os espaços de trabalho são ativados para o Unity Catalog automaticamente.
• Se o armazenamento no nível do metastore já estiver habilitado para o metastore, o espaço de trabalho poderá usar esse armazenamento. Consulte Especificar um local de armazenamento gerenciado no Catálogo Unity.
• Se um administrador de metastore for definido para o metastore, ele poderá gerenciar o acesso a todos os objetos protegíveis em todos os espaços de trabalho anexados ao metastore. Consulte Administradores da Metastore.
• A configuração de Compartilhamento Delta (habilitada ou desabilitada) para o metastore será aplicada a todos os espaços de trabalho anexados ao metastore. Consulte Configurar a Partilha Delta para a sua conta (para fornecedores).

Para ativar a atribuição automática:

1. Como administrador de conta, vá para o console de conta do Azure Databricks.
2. Clique em Catálogo.
3. Selecione seu metastore.
4. Na guia Configuração, em Atribuição de espaço de trabalho, selecione Atribuir automaticamente novos espaços de <region> trabalho a este metastore.
5. Na caixa de diálogo de confirmação, clique em Ativar atribuição automática.

Adicionar armazenamento gerenciado a um metastore existente

O armazenamento gerenciado no nível de metastore é opcional e não está incluído para metastores criados automaticamente. Talvez você queira adicionar armazenamento no nível de metastore ao seu metastore se preferir um modelo de isolamento de dados que armazene dados centralmente para vários espaços de trabalho. Você precisará de armazenamento ao nível de metastore se for um parceiro do Azure Databricks que utiliza locais de preparação pessoais.

Consulte também Especificar um local de armazenamento gerenciado no Unity Catalog.

Requisitos

• Você deve ter pelo menos um espaço de trabalho anexado ao metastore do Unity Catalog.
• Permissões do Azure Databricks necessárias:
  • Para criar um local externo, você deve ser um administrador ou usuário de metastore com os CREATE EXTERNAL LOCATION privilégios e CREATE STORAGE CREDENTIAL .
  • Para adicionar o local de armazenamento à definição de metastore, você deve ser um administrador de conta. Para obter instruções sobre como ativar a função de administrador da conta na sua conta, consulte Estabelecer o seu primeiro administrador de conta.
• Permissões de locatário do Azure necessárias:
  • Permissão para criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2. Essa conta de armazenamento deve ter um namespace hierárquico. Consulte Criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2.
  • Permissão para criar um novo recurso para manter uma identidade gerenciada atribuída ao sistema. Isso requer que você seja um Colaborador ou Proprietário de um grupo de recursos em qualquer assinatura no locatário.

Etapa 1: Criar o local de armazenamento

Siga as instruções na Etapa 1 (Opcional): Criar um contêiner de armazenamento para armazenamento gerenciado no nível de metastore e Etapa 2 (Opcional): Criar uma identidade gerenciada para acessar o local de armazenamento gerenciado para criar um contêiner de armazenamento no Azure Data Lake Storage Gen2 e um conector de acesso do Azure Databricks que contenha uma identidade gerenciada que tenha acesso ao contêiner de armazenamento.

Etapa 2: Criar um local externo no Catálogo Unity

Nesta etapa, você cria um local externo no Unity Catalog que faz referência ao caminho ADLS Gen 2 que você acabou de criar.

1. Crie uma credencial de armazenamento.

   A credencial de armazenamento representará a identidade gerenciada do Azure que você criou na Etapa 1: Criar o local de armazenamento.

   Siga as instruções em Criar uma credencial de armazenamento para se conectar ao Azure Data Lake Storage Gen2.

2. Crie um local externo que faça referência à credencial de armazenamento criada na etapa anterior e ao contêiner de armazenamento ADLS Gen 2 criado na Etapa 1: criar o local de armazenamento.

   Siga as instruções em Criar um local externo para conectar o armazenamento em nuvem ao Azure Databricks

3. Conceda a si mesmo o CREATE MANAGED STORAGE privilégio no local externo.

   1. Clique no nome do local externo para abrir o painel de detalhes.
   2. Na guia Permissões, clique em Conceder.
   3. Na caixa de diálogo Conceder em<external location>, selecione-se no campo Entidades e selecione CREATE MANAGED STORAGE.
   4. Clique em Conceder.

Etapa 3: Adicionar o local de armazenamento ao metastore

Depois de criar um local externo que represente o bucket de armazenamento do metastore, você pode adicioná-lo ao metastore.

1. Como administrador da conta, inicie sessão na consola da conta.

2. Clique em Catálogo.

3. Clique no nome do metastore.

4. Confirme que você é o administrador da Metastore.

   Se não estiver, clique em Editar e atribua-se como administrador do metastore. Você pode cancelar a atribuição de si mesmo quando terminar este procedimento.

5. Na guia Configuração, ao lado do caminho ADLS Gen 2, clique em Definir.

6. Na caixa de diálogo Definir raiz do metastore, insira o caminho do ADLS Gen 2 usado para criar o local externo e clique em Atualizar.

   Não é possível modificar esse caminho depois de defini-lo, mas você pode removê-lo e adicionar um novo caminho, se necessário.

Remover armazenamento no nível de metastore

Se tiver armazenamento ao nível do metastore para tabelas e volumes geridos (também conhecido como raiz de armazenamento do metastore), mas quiser impor o isolamento do armazenamento de dados ao nível do catálogo ou esquema, pode remover a opção de armazenamento ao nível do metastore. Quando o faz, acontece o seguinte:

• Os catálogos existentes que não têm uma raiz de armazenamento especificada recebem a localização de armazenamento em nuvem da raiz de armazenamento do metastore como seu local de armazenamento gerido ao nível do catálogo. Em outras palavras, a raiz de armazenamento do metastore é "empurrada para baixo" para esses catálogos. O acesso aos dados nestes catálogos continua a funcionar sem interrupção.
• Dependendo de como seu metastore foi criado, pode não haver um local externo protegível definido no Unity Catalog para a raiz de armazenamento do metastore. Nesse caso, um novo local externo e uma credencial de armazenamento associada são criados para ele. O novo local externo é nomeado prior_metastore_root_location por padrão.
• Sempre que um usuário cria um catálogo, ele deve fornecer um local de armazenamento dedicado que esteja registrado no Unity Catalog como um local externo.

Observação

Se você usar o Compartilhamento Delta para compartilhar blocos de anotações e tiver usado a raiz do metastore como armazenamento de bloco de anotações compartilhado, deverá fazer o seguinte antes de remover a raiz do metastore:

1. Remova o caderno da partilha.
2. Adicione de novo o bloco de notas utilizando uma localização dedicada para armazenamento.

Consulte Adicionar ficheiros de bloco de notas a uma partilha.

Remover a raiz de armazenamento do metastore:

1. Como administrador da conta, inicie sessão na consola da conta.
2. Clique em Catálogo.
3. Clique no nome do metastore.
4. Na guia de configuração , em de caminho ADLS Gen 2 , clique no botão Remover.
5. Na caixa de diálogo de confirmação, clique em Remover.

Adicionar um administrador de metastore

Os administradores da Metastore são opcionais, mas há situações em que você pode querer um para a sua metastore. Consulte Atribuir um administrador de metastore.

Excluir um metastore

Se você estiver fechando sua conta do Azure Databricks ou tiver outro motivo para excluir o acesso aos dados gerenciados pelo metastore do Catálogo Unity, poderá excluir o metastore.

Aviso

Todos os objetos gerenciados pelo metastore ficarão inacessíveis usando espaços de trabalho do Azure Databricks. Esta ação não pode ser anulada.

Os dados e metadados da tabela gerenciada serão excluídos automaticamente após 30 dias. Os dados de tabelas externas em seu armazenamento em nuvem não são afetados pela exclusão do metastore.

Para excluir um metastore:

1. Como administrador de metastore, faça login no console da conta.
2. Clique em Catálogo.
3. Clique no nome do metastore.
4. Na guia Configuração, clique no menu de três botões no canto superior direito e selecione Excluir.
5. Na caixa de diálogo de confirmação, digite o nome do metastore e clique em Excluir.