Especificar um local de armazenamento gerenciado no Unity Catalog
Um local de armazenamento gerenciado especifica um local no armazenamento de objetos na nuvem para armazenar dados para tabelas gerenciadas e volumes gerenciados.
Você pode associar um local de armazenamento gerenciado a um metastore, catálogo ou esquema. Os locais de armazenamento gerenciado em níveis inferiores na hierarquia substituem os locais de armazenamento definidos em níveis mais altos quando tabelas gerenciadas ou volumes gerenciados são criados.
O Databricks recomenda que você atribua armazenamento gerenciado no nível do catálogo para isolamento lógico de dados, com o nível do metastore e o nível do esquema como opções.
Novos espaços de trabalho habilitados para o Unity Catalog são criados automaticamente sem um local de armazenamento gerenciado no nível de metastore. No entanto, o armazenamento a nível de metastore é necessário para algumas funcionalidades, como o uso de locais de preparação pessoal ao atuar como parceiro da Databricks. Consulte Ativação automática do catálogo Unity, Governança de dados e blocos de construção de isolamento de dados e Criar um metastore do catálogo Unity.
O que é um local de armazenamento gerenciado?
Os locais de armazenamento gerenciado têm as seguintes propriedades:
- Tabelas gerenciadas e volumes gerenciados armazenam dados e arquivos de metadados em locais de armazenamento gerenciados.
- Os locais de armazenamento gerenciado não podem se sobrepor a tabelas ou volumes externos.
A tabela a seguir descreve como um local de armazenamento gerenciado é declarado e associado a objetos do Unity Catalog:
| Objeto Unity Catalog associado | Como definir | Relação com locais externos |
|---|---|---|
| Metastore | Configurado pelo administrador da conta durante a criação do metastore. | Não é possível sobrepor um local externo. |
| Catálogo | Especificado durante a criação do catálogo usando a MANAGED LOCATION palavra-chave. |
Deve estar contido dentro de um local externo. |
| Esquema | Especificado durante a criação do esquema usando a MANAGED LOCATION palavra-chave. |
Deve estar contido dentro de um local externo. |
O local de armazenamento gerenciado que armazena dados e metadados para tabelas gerenciadas e volumes gerenciados usa as seguintes regras:
- Se o esquema que contém tiver um local gerenciado, os dados serão armazenados no local gerenciado pelo esquema.
- Se o esquema que contém não tiver um local gerenciado, mas o catálogo tiver um local gerenciado, os dados serão armazenados no local gerenciado pelo catálogo.
- Se nem o esquema que contém nem o catálogo que contém tiverem um local gerenciado, os dados serão armazenados no local gerenciado do metastore.
O Unity Catalog evita a sobreposição de governança de localização. Consulte Como funcionam os caminhos para dados gerenciados pelo Unity Catalog?.
Local de armazenamento gerenciado, raiz de armazenamento e local de armazenamento
Quando você especifica um MANAGED LOCATION para um catálogo ou esquema, o local fornecido é rastreado como a raiz de armazenamento no Unity Catalog. Para garantir que todas as entidades gerenciadas tenham um local exclusivo, o Unity Catalog adiciona subdiretórios com hash ao local especificado, usando o seguinte formato:
| Object | Caminho |
|---|---|
| Esquema | <storage-root>/__unitystorage/schemas/00000000-0000-0000-0000-000000000000 |
| Catálogo | <storage-root>/__unitystorage/catalogs/00000000-0000-0000-0000-000000000000 |
O caminho totalmente qualificado para o local de armazenamento gerenciado é rastreado como o local de armazenamento no Unity Catalog.
Você pode especificar o mesmo local de armazenamento gerenciado para vários esquemas e catálogos.
Privilégios necessários
Os usuários que têm o privilégio em um local externo podem configurar locais de armazenamento gerenciado durante a CREATE MANAGED STORAGE criação de catálogo ou esquema.
Os administradores de conta podem adicionar um local de armazenamento gerenciado opcional no nível do metastore.
Definir um local de armazenamento gerenciado para um metastore
Para definir um local de armazenamento gerenciado para um metastore, consulte Adicionar armazenamento gerenciado a um metastore existente.
Definir um local de armazenamento gerenciado para um catálogo
Defina um local de armazenamento gerenciado para um catálogo usando a palavra-chave durante a MANAGED LOCATION criação do catálogo, como no exemplo a seguir:
CREATE CATALOG <catalog-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Você também pode usar o Gerenciador de Catálogos para definir o local de armazenamento gerenciado para um catálogo. Consulte Criar catálogos.
Definir um local de armazenamento gerenciado para um esquema
Defina um local de armazenamento gerenciado para um esquema usando a palavra-chave durante a MANAGED LOCATION criação do esquema, como no exemplo a seguir:
CREATE SCHEMA <catalog>.<schema-name>
MANAGED LOCATION 'abfss://<container-name>@<storage-account>.dfs.core.windows.net/<path>/<directory>';
Você também pode usar o Catalog Explorer para definir o local de armazenamento gerenciado para um esquema. Consulte Criar esquemas.
Próximos passos
O Unity Catalog usa locais de armazenamento gerenciados automaticamente quando você cria tabelas gerenciadas e volumes gerenciados. Consulte Trabalhar com tabelas gerenciadas e O que são volumes do Catálogo Unity?.