Configurar a conectividade privada por meio da computação sem servidor

Esse artigo descreve como configurar a conectividade privada a partir da computação sem servidor utilizando a UI da consola da conta Azure Databricks. Use também a API de Configurações de Conectividade de Rede.

Se você configurar o recurso do Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso dos recursos de computação clássicos do Databricks também precisará usar pontos de extremidade privados.

Para configurar um firewall do Armazenamento do Microsoft Azure para acesso à computação sem servidor usando sub-redes, consulte Configurar um firewall para acesso à computação sem servidor. Para gerenciar regras de ponto de extremidade privado existentes, consulte Gerenciar regras de ponto de extremidade privado.

Importante

A partir de 4 de dezembro de 2024, a Databricks começará a cobrar pelos custos de rede em cargas de trabalho sem servidor que se conectam a recursos externos. O faturamento será implementado gradualmente e você poderá não ser cobrado até depois de 4 de dezembro de 2024. Você não será cobrado retroativamente pelo uso antes que o faturamento seja ativado. Depois que o faturamento for ativado, você poderá ser cobrado por:

• Conectividade privada com seus recursos por Link Privado. As cobranças de processamento de dados para conectividade privada com seus recursos por Link Privado são dispensadas indefinidamente. Taxas por hora serão aplicadas.
• Conectividade pública com seus recursos pelo gateway NAT.
• Encargos de transferência de dados incorridos, como quando a computação sem servidor e o recurso de destino estão em regiões diferentes.

Visão geral da conectividade privada para a computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e uma NCC pode ser anexada a um ou mais workspaces

Quando você adiciona um ponto de extremidade privado em uma NCC, o Azure Databricks cria uma solicitação de ponto de extremidade privado para o recurso do Azure. Depois que a solicitação é aceita no lado do recurso, o ponto de extremidade privado é usado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta do Azure Databricks e acessível somente em workspaces autorizados.

Os pontos de extremidade privados do NCC têm suporte de SQL warehouses, trabalhos, notebooks, Delta Live Tables e pontos de extremidade de serviço de modelo.

Observação

Só há suporte aos pontos de extremidade privados da NCC em fontes de dados gerenciadas por você. Para conexão com a conta de armazenamento do espaço de trabalho, entre em contato com sua equipe de conta do Azure Databricks.

Observação

O serviço de modelo usa o caminho de armazenamento de blobs do Azure para baixar artefatos de modelo, portanto, crie um ponto de extremidade privado para o blob de ID de sub-recurso. Você precisará do DFS para registrar modelos no Catálogo do Unity de notebooks sem servidor.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Requisitos

• Seu workspace deve estar no plano Premium.
• Você precisa ser um administrador da conta do Azure Databricks.
• Cada conta do Azure Databricks pode ter até 10 NCCs por região.
• Cada região pode ter 100 pontos de extremidade privados, distribuídos conforme necessário em 1 a 10 NCCs.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda o compartilhamento de NCCs entre os workspaces da mesma unidade de negócios e aqueles que têm as mesmas propriedades de conectividade. Por exemplo, se alguns workspaces usarem o Link Privado e outros workspaces usarem a habilitação do firewall, use NCCs separadas para esses casos de uso.

1. Como administrador da conta, acesse o console da conta.
2. Na barra lateral, clique em Recursos de Nuvem.
3. Clique em Configurações de conectividade de rede.
4. Clique em Adicionar configuração de conectividade de rede.
5. Digite um nome para a NCC.
6. Escolha a região. Isso deve corresponder à região do workspace.
7. Clique em Adicionar.

Etapa 2: Anexar uma NCC a um workspace

1. Na barra lateral do console da conta, clique em Workspaces.
2. Clique no nome do seu workspace.
3. Clique em Atualizar workspace.
4. No campo Configuração de conectividade de rede, selecione seu NCC. Se ela não estiver visível, confirme se você selecionou a mesma região do Azure para o workspace e a NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os serviços sem servidor em execução no workspace.

Etapa 3: criar pontos de extremidade privados

Você precisa criar uma regra de ponto de extremidade privado na NCC para cada recurso do Azure.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.
   1. Em outra guia do navegador, use o portal do Azure para navegar até os serviços do Azure da fonte de dados.
   2. Em sua página Visão geral, examine a seção Essentials.
   3. Clique no link modo de exibição JSON. A ID do recurso para o serviço é exibida na parte superior da página.
   4. Copie essa ID do recurso para outro local. Repita para todos os destinos. Para obter mais informações sobre como localizar sua ID de recurso, consulte Valores de zona DNS privada do Ponto de Extremidade Privado do Azure.
2. Volte para a guia do navegador do console da conta.
3. Na barra lateral, clique em Recursos de Nuvem.
4. Clique em Configurações de conectividade de rede.
5. Selecione a NCC criada na etapa 1.
6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
7. No campo ID de recurso do Azure de destino, cole a ID do recurso para o recurso.
8. No campo ID do sub-recurso do Azure, especifique a ID de destino e o tipo de sub-recurso. Cada regra de ponto de extremidade privado precisa usar uma ID de sub-recurso diferente. Para obter uma lista de tipos de sub-recursos com suporte, consulte Disponibilidade do Link Privado do Azure.
9. Clique em Adicionar.
10. Aguarde alguns minutos até que todas as regras de ponto de extremidade tenham o status PENDING.

Etapa 4: Aprovar os novos pontos de extremidade privados em seus recursos

Os pontos de extremidade só entrarão em vigor quando um administrador com direitos no recurso aprovar o novo ponto de extremidade privado. Para aprovar um ponto de extremidade privado usando o portal do Azure, faça o seguinte:

1. No portal do Microsoft Azure, navegue até seu recurso.

2. Na barra lateral, clique em Rede.

3. Clique em conexões de ponto de extremidade privado.

4. Clique na guia Acesso privado.

5. Abaixo de Conexões de ponto de extremidade privado, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada uma para aprovar e clique no botão Aprovar acima da lista.

7. Retorne à NCC no Azure Databricks e atualize a página do navegador até que todas as regras de ponto de extremidade tenham o status ESTABLISHED.

   

(Opcional) Etapa 5: defina sua conta de armazenamento para não permitir o acesso à rede pública

Se você ainda não limitou o acesso à conta de Armazenamento do Microsoft Azure apenas para redes listadas por permissões, você pode fazer isso.

1. Acesse o portal do Azure.
2. Navegue até sua conta de armazenamento para a fonte de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Desabilitado

Etapa 6: Reiniciar os recursos do plano de computação sem servidor e testar a conexão

1. Após a etapa anterior, aguarde cinco minutos adicionais para que as alterações sejam propagadas.
2. Reinicie todos os recursos do plano de computação sem servidor em execução nos workspaces aos quais o NCC está anexado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
3. Confirme se todos os recursos foram iniciados com êxito.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar que o SQL Warehouse sem servidor pode alcançar sua fonte de dados.