Compartilhar via

Habilitar conectividade de cluster seguro

  • Artigo

Este artigo explica como usar a conectividade de cluster segura para workspaces do Azure Databricks. A conectividade de cluster segura também é conhecida como sem IP público (NPIP). Embora o plano de computação sem servidor não use conectividade de cluster segura, os recursos de computação sem servidor não têm endereços IP públicos.

Visão geral da conectividade de cluster seguro

Quando a conectividade segura do cluster está habilitada, as redes virtuais do cliente não têm portas abertas e os recursos de computação no plano de computação clássico não têm endereços IP públicos.

  • Cada cluster inicia uma conexão com a retransmissão de conectividade de cluster seguro do plano de controle durante a criação do cluster. O cluster estabelece essa conexão usando a porta 443 (HTTPS) e usa um endereço IP diferente do usado para o aplicativo Web e a API REST.
  • Quando o plano de controle executa tarefas de administração de cluster, essas solicitações são enviadas para o cluster por meio desse túnel.

Observação

Todo o tráfego de rede do Azure Databricks entre a VNet do plano de computação clássico e o plano de controle do Azure Databricks passa pela estrutura de rede da Microsoft, não pela Internet pública. Isso é verdadeiro mesmo se a conectividade de cluster segura estiver desabilitada.

Você pode habilitar a conectividade segura do cluster em um novo workspace ou adicioná-la a um workspace existente que já usa injeção de VNet.

Habilitar a conectividade segura do cluster em um novo workspace

Você pode habilitar a conectividade segura do cluster ao criar um workspace usando o portal do Azure ou um modelo do ARM (Azure Resource Manager).

Adicionar conectividade de cluster segura a um espaço de trabalho existente

Você pode habilitar a conectividade de cluster seguro em um workspace existente usando o portal do Azure, um modelo do ARM ou um provedor Terraform azurerm versão 3.41.0+. A atualização requer que o workspace utilize a injeção de VNet.

Importante

Se você usar um firewall ou outras alterações de configuração de rede para controlar a entrada ou a saída do plano de computação clássico, talvez seja necessário atualizar suas regras de firewall ou grupo de segurança de rede ao mesmo tempo que essas alterações para que elas entrem em vigor. Por exemplo, usando conectividade de cluster seguro, há uma conexão de saída adicional com o plano de controle e as conexões de entrada do plano de controle não são mais usadas.

Etapa 1: parar todos os recursos de computação

Interrompa todos os recursos de computação clássicos, como clusters, pools ou sql warehouses clássicos. O Databricks recomenda planejar o tempo da atualização considerando o tempo de inatividade.

Etapa 2: Atualizar o espaço de trabalho

Você pode atualizar o workspace usando o portal do Azure, um modelo do ARM ou o Terraform.

Use o portal do Azure

  1. Acesse o workspace do Azure Databricks no portal do Azure.
  2. Na navegação à esquerda, em Configurações, clique em Rede.
  3. Na guia Acesso à rede, defina Implantar o workspace do Azure Databricks com Conectividade de Cluster Seguro (sem IP público) como Habilitado.
  4. Clique em Save (Salvar).

A atualização da rede pode levar mais de 15 minutos para ser concluída.

Aplicar um modelo de ARM atualizado usando o portal do Azure

Use um modelo do ARM para definir o parâmetro enableNoPublicIp como True (true).

Observação

Se seu grupo de recursos gerenciados tiver um nome personalizado, você deverá modificar o modelo de acordo. Entre em contato com sua equipe de conta do Azure Databricks para obter mais informações.

  1. Copie o seguinte modelo do ARM de atualização JSON:

      {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
              "2018-04-01",
              "2020-02-15",
              "2022-04-01-preview",
              "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

    1. Acesse a página de Implantação personalizada do portal do Azure.

    2. Clique em Criar seu próprio modelo no editor.

    3. Cole o JSON para o modelo que você copiou.

    4. Clique em Save (Salvar).

    5. Preencha os parâmetros.

    6. Para atualizar um workspace existente, use os mesmos parâmetros que você usou para criar o workspace exceto enableNoPublicIp, que você deve definir como true. Defina a assinatura, região, nome do espaço de trabalho, nomes de sub-rede, ID de recurso da VNet existente.

      Importante

      O nome do grupo de recursos, o nome do workspace e os nomes da sub-rede são idênticos ao seu workspace existente, para que esse comando atualize o workspace existente em vez de criar um novo workspace.

    7. Clique em Examinar + Criar.

    8. Se não houver problemas de validação, clique em Criar.

    A atualização da rede pode levar mais de 15 minutos para ser concluída.

Aplicar uma atualização usando o Terraform

Para workspaces criados com o Terraform, você pode atualizar o workspace sem recriar o workspace.

Importante

Você deve usar o terraform-provider-azurerm versão 3.41.0 ou posterior e atualizar sua versão do provedor do Terraform conforme necessário. Versões anteriores tentam recriar o workspace se você alterar qualquer uma dessas configurações.

Altere as seguintes configurações do workspace:

  • no_public_ip no bloco custom_parameters pode ser alterado de false para true.

A atualização da rede pode levar mais de 15 minutos para ser concluída.

Etapa 3: validar a atualização

Depois que o workspace estiver em estado ativo, o trabalho de atualização será concluído. Verifique se a atualização foi aplicada:

  1. Abra o Azure Databricks no navegador da Web.

  2. Inicie um dos clusters do workspace e aguarde até que o cluster seja totalmente iniciado.

  3. Vá para a instância do seu espaço de trabalho no portal do Azure.

  4. Clique na ID azul ao lado do rótulo de campo Grupo de recursos gerenciados.

  5. Nesse grupo, localize as VMs para o cluster e clique em uma delas.

  6. Nas configurações da VM, em Propriedades, procure os campos na área Rede.

  7. Confirme se o campo Endereço IP público está vazio.

    Se estiver preenchida, a VM terá um endereço IP público, o que significa que a atualização falhou.

Reversão temporária da atualização para proteger a conectividade do cluster

Se algo der errado durante a implantação, você poderá reverter o processo como uma reversão temporária, mas não há suporte para a desabilitação do SCC em um workspace, exceto para reversão temporária antes de continuar a atualização mais tarde. Se isso for necessário temporariamente, você poderá seguir as instruções acima para atualização, mas definir enableNoPublicIp como false em vez de true.

Egresso de sub-redes de espaço de trabalho

Ao habilitar a conectividade de cluster seguro, ambas as suas sub-redes de espaço de trabalho são sub-redes privadas, pois os nós de cluster não têm endereços IP públicos.

Os detalhes de implementação do egresso de rede variam de acordo com a utilização da VNet padrão (gerenciada) ou se você usa a injeção de VNet para fornecer sua VNet na qual implantar o seu workspace.

Importante

Custos adicionais podem ser incorridos devido ao aumento do tráfego de egresso quando você usa a conectividade de cluster seguro. Para a implantação mais segura, a Microsoft e o Databricks recomendam que você habilite a conectividade segura do cluster.

Egresso com a VNet (gerenciada) padrão

Se você usar a conectividade de cluster seguro com a VNet padrão que o Azure Databricks cria, o Azure Databricks criará automaticamente um gateway NAT para o tráfego de saída das sub-redes do seu espaço de trabalho para a estrutura do Azure e a rede pública. O gateway NAT é criado dentro do grupo de recursos gerenciados pelo Azure Databricks. Não é possível modificar este grupo de recursos ou todos os recursos provisionados nele. Esse gateway NAT gera um custo adicional.

Saída com a injeção de VNet

Se você habilitar a conectividade de cluster segura em seu workspace que usa injeção de VNet, o Databricks recomenda que seu workspace tenha um IP público de saída estável. Endereços IP públicos de saída estáveis são úteis porque você pode adicioná-los a listas de permissões externas. Por exemplo, para se conectar do Azure Databricks ao Salesforce com um endereço IP de saída estável.

Aviso

A Microsoft anunciou que, em 30 de setembro de 2025, a conectividade de acesso de saída padrão para máquinas virtuais no Azure será desativada. Confira este comunicado. Isso significa que os workspaces existentes do Azure Databricks que usam o acesso de saída padrão em vez de um IP público de saída estável podem não continuar funcionando após essa data. O Databricks recomenda que você adicione métodos de saída explícitos para seus workspaces antes dessa data.

Para adicionar métodos de saída explícitos para seu workspace, use um Gateway da NAT do Azure ou UDRs (rotas definidas pelo usuário).

  • Gateway NAT do Azure: Use um Gateway NAT do Azure se suas implantações precisarem apenas de alguma personalização. Configure o gateway em ambas as sub-redes do espaço de trabalho para garantir que todo o tráfego de saída para a estrutura do Azure e a rede pública esteja em trânsito. Os clusters têm um IP público de egresso estável e é possível modificar a configuração para necessidades de egresso personalizadas. Você pode configurar isso usando um modelo do Azure ou no portal do Azure.
  • UDRs: use UDRs se suas implantações demandarem requisitos complexos de roteamento ou se seus workspaces usarem injeção de VNet com um firewall de saída. As UDRs garantem que o tráfego de rede seja roteado corretamente para seu espaço de trabalho, seja diretamente para os pontos de extremidade necessários ou por meio de um firewall de saída. Para usar UDRs, você precisa adicionar rotas diretas ou regras de firewall permitidas para o Azure Databricks de retransmissão de conectividade de cluster seguro e outros pontos de extremidade necessários listados em configurações de rota definidas pelo usuário para Azure Databricks.

Aviso

Não use um balanceador de carga de saída com um workspace que tenha conectividade de cluster segura habilitada. Em sistemas de produção, um balanceador de carga de saída pode levar ao risco de esgotamento de portas.