Visão geral da arquitetura do Azure Databricks

Este artigo fornece uma visão geral de alto nível da arquitetura do Azure Databricks, incluindo sua arquitetura corporativa, em combinação com o Azure.

Arquitetura de alto nível

O Azure Databricks opera a partir de um plano de controle e um plano de computação.

• O plano de controle inclui os serviços de back-end que o Azure Databricks gerencia em sua conta do Azure Databricks. O aplicativo Web está no plano de controle.

• O plano de computação é onde seus dados são processados. Existem dois tipos de planos de computação, dependendo da computação que você está usando.

  • Para computação sem servidor, os recursos de computação sem servidor são executados em um plano de computação sem servidor em sua conta do Azure Databricks.
  • Para computação clássica do Azure Databricks, os recursos de computação estão em sua assinatura do Azure no que é chamado de plano de computação clássico. Isso se refere à rede em sua assinatura do Azure e seus recursos.

  Para saber mais sobre computação clássica e computação sem servidor, consulte Tipos de computação.

Cada espaço de trabalho do Azure Databricks tem uma conta de armazenamento associada conhecida como conta de armazenamento do espaço de trabalho. A conta de armazenamento do espaço de trabalho está na sua assinatura do Azure.

O diagrama a seguir descreve a arquitetura geral do Azure Databricks.

Plano de computação sem servidor

No plano de computação sem servidor, os recursos de computação do Azure Databricks são executados em uma camada de computação em sua conta do Azure Databricks. O Azure Databricks cria um plano de computação sem servidor na mesma região do Azure que o plano de computação clássico do seu espaço de trabalho. Você seleciona essa região ao criar um espaço de trabalho.

Para proteger os dados do cliente dentro do plano de computação sem servidor, a computação sem servidor é executada dentro de um limite de rede para o espaço de trabalho, com várias camadas de segurança para isolar diferentes espaços de trabalho do cliente do Azure Databricks e controles de rede adicionais entre clusters do mesmo cliente.

Para saber mais sobre a rede no plano de computação sem servidor, Rede de plano de computação sem servidor.

Plano de computação clássico

No plano de computação clássico, os recursos de computação do Azure Databricks são executados em sua assinatura do Azure. Novos recursos de computação são criados na rede virtual de cada espaço de trabalho na assinatura do Azure do cliente.

Um plano de computação clássico tem isolamento natural porque é executado na própria assinatura do Azure de cada cliente. Para saber mais sobre redes no plano de computação clássico, consulte Rede de plano de computação clássica.

Para obter suporte regional, consulte Regiões do Azure Databricks.

Conta de armazenamento do espaço de trabalho

Quando você cria um espaço de trabalho, o Azure Databricks cria uma conta em sua assinatura do Azure para usar como a conta de armazenamento do espaço de trabalho.

A conta de armazenamento do espaço de trabalho contém:

• Dados do sistema de espaço de trabalho: os dados do sistema de espaço de trabalho são gerados à medida que você usa vários recursos do Azure Databricks, como a criação de blocos de anotações. Esse bucket inclui revisões de bloco de anotações, detalhes da execução do trabalho, resultados de comandos e logs do Spark
• DBFS: DBFS (Databricks File System) é um sistema de arquivos distribuído em ambientes do Azure Databricks acessíveis sob o dbfs:/ namespace. A raiz DBFS e as montagens DBFS estão ambas no dbfs:/ namespace. Armazenar e acessar dados usando a raiz DBFS ou montagens DBFS é um padrão preterido e não recomendado pelo Databricks. Para obter mais informações, consulte O que é DBFS?.
• Catálogo do espaço de trabalho Unity Catalog: Se o espaço de trabalho foi habilitado para o Unity Catalog automaticamente, a conta de armazenamento do espaço de trabalho conterá o catálogo de espaço de trabalho padrão. Todos os usuários em seu espaço de trabalho podem criar ativos no esquema padrão neste catálogo. Consulte Configurar e gerenciar o catálogo Unity.

Para limitar o acesso à sua conta de armazenamento de espaço de trabalho apenas de recursos e redes autorizados, consulte Ativar suporte de firewall para sua conta de armazenamento de espaço de trabalho.