Automatize a configuração do Unity Catalog usando o Terraform
Você pode automatizar a configuração do Unity Catalog usando o provedor Databricks Terraform. Este artigo fornece links para o guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos, juntamente com requisitos ("Antes de começar") e dicas de validação e implantação.
Antes de começar
Para automatizar a configuração do Unity Catalog usando o Terraform, você deve ter o seguinte:
- Sua conta do Azure Databricks deve estar no plano Premium.
- Em seu locatário do Azure, você deve ter permissão para criar:
- Uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2. Consulte Criar uma conta de armazenamento para usar com o Azure Data Lake Storage Gen2.
- Um novo recurso para manter uma identidade gerenciada atribuída ao sistema. Isso requer que tu sejas um
ContributorouOwnerde um grupo de recursos em qualquer subscrição no locatário.
Para usar o provedor Databricks Terraform para configurar um metastore para o Unity Catalog, armazenamento para o metastore, qualquer armazenamento externo e todas as suas credenciais de acesso relacionadas, você deve ter o seguinte:
- Uma conta do Azure.
- Um utilizador administrador ao nível da conta na sua conta Azure.
- Em sua máquina de desenvolvimento local, você deve ter:
O Terraform CLI. Consulte o download do Terraform no site do Terraform.
A CLI do Azure, conectada por meio do comando
az logincom um usuário que tenha direitos deContributorouOwnerà sua assinatura. Consulte Como instalar a CLI do Azure. Para iniciar sessão usando uma entidade de serviço do ID do Microsoft Entra, consulte início de sessão da CLI do Azure com uma entidade de serviço do ID do Microsoft Entra. Para iniciar sessão usando uma conta de utilizador do Azure Databricks, consulte início de sessão da CLI do Azure com uma conta de utilizador do Azure Databricks.Observação
Quando te autenticas com ferramentas, sistemas, scripts e aplicações automatizadas, é uma prática recomendada de segurança fazer login através do comando
az logincom um principal de serviço do Microsoft Entra ID. Consulte Iniciar sessão com uma entidade de serviço e Autenticação com a entidade de serviço do Azure.
Para usar o provedor Databricks Terraform para configurar todos os outros componentes de infraestrutura do Unity Catalog, você deve ter o seguinte:
- Um espaço de trabalho do Azure Databricks.
- Em sua máquina de desenvolvimento local, você deve ter:
- O Terraform CLI. Consulte o download do Terraform no site do Terraform.
- Um dos seguintes:
A versão 0.205 ou superior da CLI do Databricks, configurada com o seu Azure Databricks token de acesso pessoal ao executar
databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Consulte sobre a instalação ou atualização da CLI do Databricks e a autenticação por token de acesso pessoal do Azure Databricks .Observação
Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.
A CLI do Azure, conectada por meio do comando
az login. Consulte Como instalar a CLI do Azure. Para iniciar sessão usando uma entidade de serviço do ID do Microsoft Entra, consulte início de sessão da CLI do Azure com uma entidade de serviço do ID do Microsoft Entra. Para iniciar sessão usando uma conta de utilizador do Azure Databricks, consulte início de sessão da CLI do Azure com uma conta de utilizador do Azure Databricks.Observação
Quando te autenticas com ferramentas, sistemas, scripts e aplicações automatizadas, é uma prática recomendada de segurança fazer login através do comando
az logincom um principal de serviço do Microsoft Entra ID. Consulte Iniciar sessão com uma entidade de serviço e Autenticação com a entidade de serviço do Azure.As duas variáveis de ambiente do Azure Databricks a seguir:
-
DATABRICKS_HOST, defina o valor da URL da instância do espaço de trabalho , por exemplo,https://dbc-1234567890123456.cloud.databricks.com -
DATABRICKS_TOKEN, defina o valor do seu token de acesso pessoal do Azure Databricks ou token do Microsoft Entra ID (anteriormente Azure Ative Directory). Consulte também Monitorizar e revogar tokens de acesso pessoal.
Para definir essas variáveis de ambiente, consulte a documentação do seu sistema operacional.
Observação
Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.
-
Guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos
Para saber como implantar todos os pré-requisitos e habilitar o Unity Catalog para um espaço de trabalho, consulte Implantando recursos de pré-requisito e habilitando o Unity Catalog na documentação do provedor Databricks Terraform.
Se você já tiver alguns componentes de infraestrutura do Unity Catalog instalados, poderá usar o Terraform para implantar componentes adicionais da infraestrutura do Unity Catalog conforme necessário. Consulte cada seção do guia referenciado no parágrafo anterior e a seção Unity Catalog da documentação do provedor Databricks Terraform.
Validar, planejar, implantar ou destruir os recursos
- Para validar a sintaxe das configurações do Terraform sem implantá-las, execute o comando
terraform validate. - Para mostrar as ações que o Terraform tomaria para implantar as configurações, execute o comando
terraform plan. Na verdade, esse comando não implanta as configurações. - Para implantar as configurações, execute o comando
terraform deploy. - Para excluir os recursos implantados, execute o comando
terraform destroy.