Configurar um firewall para acesso à computação sem servidor

Este artigo descreve como configurar um firewall de armazenamento do Azure para computação sem servidor usando a interface do usuário do console da conta do Azure Databricks. Use também a API de Configurações de Conectividade de Rede.

Para configurar um ponto de extremidade privado para acesso à computação sem servidor, consulte Configurar conectividade privada de computação sem servidor.

Importante

A partir de 4 de dezembro de 2024, a Databricks começará a cobrar pelos custos de rede em cargas de trabalho sem servidor que se conectam a recursos externos. O faturamento será implementado gradualmente e você poderá não ser cobrado até depois de 4 de dezembro de 2024. Você não será cobrado retroativamente pelo uso antes que o faturamento seja ativado. Depois que o faturamento for ativado, você poderá ser cobrado por:

• Conectividade privada com seus recursos por Link Privado. As cobranças de processamento de dados para conectividade privada com seus recursos por Link Privado são dispensadas indefinidamente. Taxas por hora serão aplicadas.
• Conectividade pública com seus recursos pelo gateway NAT.
• Encargos de transferência de dados incorridos, como quando a computação sem servidor e o recurso de destino estão em regiões diferentes.

Visão geral da habilitação do firewall para computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e uma NCC pode ser anexada a um ou mais workspaces

Uma NCC contém uma lista de identidades de rede para um tipo de recurso do Azure como regras padrão. Quando um NCC é anexado a um workspace, a computação sem servidor nesse workspace usa uma dessas redes para conectar o recurso do Azure. É possível incluir na lista de permitidos essas redes no firewall de recursos do Azure. Se você tiver firewalls de recursos do Azure sem armazenamento, contate a equipe de conta para obter informações sobre como usar IPs NAT estáveis ​​do Azure Databricks.

A habilitação do firewall NCC tem suporte em armazéns SQL sem servidor, trabalhos, notebooks, pipelines do Delta Live Tables e pontos de extremidade de serviço de modelos em CPU.

Como opção, você pode configurar o acesso à rede para a conta de armazenamento do workspace apenas de redes autorizadas, incluindo a computação sem servidor. Confira Habilitar o suporte de firewall para sua conta de armazenamento do espaço de trabalho. Quando uma NCC é anexado a um espaço de trabalho, as regras de rede são automaticamente adicionadas à conta de armazenamento do Azure para a conta de armazenamento do espaço de trabalho.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Implicações de custo do acesso ao armazenamento entre regiões

O firewall só se aplica quando os recursos do Azure estão na mesma região que o workspace do Azure Databricks. Para tráfego entre regiões da computação sem servidor do Azure Databricks (por exemplo, o workspace está na região Leste dos EUA e o armazenamento ADLS está no Oeste da Europa), o Azure Databricks roteia o tráfego através de um serviço de Gateway da NAT do Azure.

Requisitos

• Seu workspace deve estar no plano Premium.

• Você precisa ser um administrador da conta do Azure Databricks.

• Cada NCC pode ser anexado a até 50 espaços de trabalho.

• Cada conta do Azure Databricks pode ter até 10 NCCs por região.

• Você deve ter acesso WRITE às regras de rede da sua conta de Armazenamento do Microsoft Azure.

Etapa 1: Criar uma configuração de conectividade de rede e copiar as IDs de sub-rede

O Databricks recomenda o compartilhamento de NCCs entre workspaces na mesma unidade de negócios e aqueles que têm as mesmas propriedades de conectividade e região. Por exemplo, se alguns workspaces usarem o firewall de armazenamento e outros workspaces usarem a abordagem alternativa do Link Privado, use NCCs separados para esses casos de uso.

1. Como administrador da conta, acesse o console da conta.
2. Na barra lateral, clique em Recursos de Nuvem.
3. Clique em Configuração de conectividade de rede.
4. Clique em Adicionar configurações de conectividade de rede.
5. Digite um nome para a NCC.
6. Escolha a região. Isso deve corresponder à região do workspace.
7. Clique em Adicionar.
8. Na lista de NCCs, clique em seu novo NCC.
9. Em Regras Padrão em Identidades de rede, clique em Exibir todos.
10. Na caixa de diálogo, clique no botão Copiar sub-redes.
11. Clique em Fechar.

Etapa 2: Anexar uma NCC a workspaces

Você pode anexar um NCC a até 50 espaços de trabalho na mesma região que o NCC.

Para usar a API para anexar uma NCC a um workspace, consulte a API de Workspaces da Conta.

1. Na barra lateral do console da conta, clique em Workspaces.
2. Clique no nome do seu workspace.
3. Clique em Atualizar workspace.
4. No campo Configuração de conectividade de rede, selecione seu NCC. Se não estiver visível, confirme se você selecionou a mesma região para o workspace e o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os recursos de computação sem servidor executando no workspace.

Caso esteja usando esse recurso para se conectar à conta de armazenamento do espaço de trabalho, sua configuração será concluída. As regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Para contas de armazenamento adicionais, continue para a próxima etapa.

Etapa 3: Bloquear sua conta de armazenamento

Se você ainda não limitou o acesso à conta de Armazenamento do Microsoft Azure apenas para redes listadas em permissões, faça isso agora. Não é necessário fazer esta etapa para a conta de armazenamento do espaço de trabalho.

A criação de um firewall de armazenamento também afeta a conectividade do plano de computação clássico para seus recursos. Você também deve adicionar regras de rede para se conectar às suas contas de armazenamento a partir de recursos de computação clássicos.

1. Acesse o portal do Azure.
2. Navegue até sua conta de armazenamento para a fonte de dados.
3. Na navegação esquerda, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Habilitado a partir das redes virtuais e endereços IP selecionados.

Etapa 4: Adicionar regras de rede da conta de Armazenamento do Microsoft Azure

Não é necessário fazer esta etapa para a conta de armazenamento do espaço de trabalho.

1. Adicione uma regra de rede da conta de armazenamento do Azure para cada sub-rede. Você pode fazer isso usando a CLI do Azure, o PowerShell, o Terraform ou outras ferramentas de automação. Observe que essa etapa não pode ser feita na interface do usuário do Portal do Azure.

   O seguinte exemplo usa a CLI do Azure:

   az storage account network-rule add --subscription "<sub>" \
       --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
   

   • Substitua <sub> pelo nome da sua assinatura do Azure da conta de armazenamento.
   • Substitua <res> pelo grupo de recursos da sua conta de armazenamento.
   • Substitua <account> pelo nome da sua conta de armazenamento
   • Substitua <subnet> pela ID do recurso do ARM (resourceId) da sub-rede de computação sem servidor.

   Depois de executar todos os comandos, você poderá usar o portal do Azure para exibir sua conta de armazenamento e confirmar se há uma entrada na tabela Redes Virtuais que represente a nova sub-rede. No entanto, você não pode fazer as alterações de regras de rede no portal do Azure.

   Dica

   • Ao adicionar regras de rede da conta de armazenamento, use a API de Conectividade de Rede para recuperar as sub-redes mais recentes.
   • Evite armazenar informações de NCC localmente.
   • Ignore a menção de "Permissões insuficientes" na coluna de status do ponto de extremidade ou no aviso abaixo da lista de rede. Elas indica, apenas que você não tem permissões para ler as sub-redes do Azure Databricks, mas não interfere na capacidade dessa sub-rede sem servidor do Azure Databricks entrar em contato com o Armazenamento do Microsoft Azure.

   

2. Repita esse comando uma vez para cada sub-rede.

3. Para confirmar se sua conta de armazenamento usa essas configurações do portal do Azure, navegue até Rede em sua conta de armazenamento.

   Confirme se o Acesso à rede pública está definido como Habilitado a partir de redes virtuais selecionadas e endereços IP e redes permitidas estão listadas na seção Redes Virtuais.