Partilhar via

Tipos de armazém SQL

  • Artigo

O Databricks SQL suporta tipos sem servidor, profissionais e clássicos. Este artigo descreve os recursos disponíveis para cada tipo e compara o desempenho e os recursos.

Capacidades de desempenho por tipo

Cada tipo de SQL warehouse tem diferentes recursos de desempenho. A tabela a seguir mostra os recursos de desempenho suportados por cada tipo de SQL warehouse.

Tipo de armazém Motor de fótons E/S preditiva Gerenciamento inteligente de carga de trabalho
Sem servidor X X X
Pró X X
Clássico X

A lista a seguir descreve cada recurso de desempenho:

  • Photon: O mecanismo de consulta vetorizado interno no Databricks. Ele torna suas chamadas de API SQL e DataFrame existentes mais rápidas e reduz o custo total por carga de trabalho.

  • Predictive IO: Um conjunto de recursos para acelerar operações de verificação seletiva em consultas SQL. O I/O preditivo pode proporcionar uma ampla gama de aumentos de velocidade.

  • Gerenciamento inteligente de carga de trabalho (IWM): um conjunto de recursos que aprimora a capacidade do Databricks SQL Serverless de processar um grande número de consultas de forma rápida e econômica. Usando técnicas de previsão e gerenciamento dinâmico baseadas em IA, o IWM trabalha para verificar se as cargas de trabalho têm a quantidade certa de recursos rapidamente. A principal diferença reside nos recursos de IA no Databricks SQL para responder dinamicamente às demandas de carga de trabalho, em vez de usar limites estáticos.

    Observação

    Para obter preços para cada tipo de armazém e uma comparação detalhada de recursos, consulte Databricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, consulte Notas de versão do Databricks SQL.

Diferenças de desempenho entre tipos de SQL warehouse

Cada tipo de SQL warehouse tem características de desempenho diferentes.

Armazéns SQL sem servidor

Usando o Azure Databricks arquitetura sem servidor, um armazém SQL sem servidor dá suporte a todos os recursos de desempenho do Databricks SQL. Com um SQL warehouse sem servidor e seus recursos de desempenho, você obtém:

  • Tempo de arranque rápido (normalmente entre 2 e 6 segundos).
  • Escalonamento rápido para adquirir mais computação quando necessário para manter baixa latência.
  • Admissão de consultas está mais próxima das limitações do hardware do que das da máquina virtual.
  • Downscaling rápido para minimizar os custos quando a procura é baixa, fornecendo performance consistente com custos otimizados e recursos geridos de forma eficiente.

Escolha um SQL warehouse sem servidor para obter o melhor desempenho de inicialização, a E/S mais eficiente, o tratamento mais inteligente da demanda de consulta que varia muito ao longo do tempo e o rápido dimensionamento automático quando ocorre o enfileiramento de consultas. Consulte Dimensionamento automático sem servidor e enfileiramento de consultas.

Um SQL warehouse sem servidor funciona bem com estes tipos de cargas de trabalho:

  • ETL
  • Inteligência de negócios
  • Análise exploratória

Importante

Os armazéns SQL não suportam passagem de credenciais. A Databricks recomenda o uso do Unity Catalog para governança de dados. Consulte O que é o Unity Catalog?.

Armazéns SQL Pro

Um armazém SQL profissional suporta Photon e Predictive IO, mas não suporta Intelligent Workload Management. Com um armazém SQL profissional (ao contrário de um armazém SQL sem servidor), a camada de computação existe na sua conta de subscrição do Azure em vez de na sua conta do Azure Databricks. Sem o Gerenciamento Inteligente de Carga de Trabalho, os armazéns respondem menos à demanda de consultas que varia muito ao longo do tempo e não podem ser dimensionados automaticamente tão rapidamente quanto um SQL warehouse sem servidor. Um armazém SQL profissional demora vários minutos a iniciar (normalmente cerca de 4 minutos) e aumenta e diminui a escala com menos capacidade de resposta do que um armazém SQL sem servidor. Consulte Enfileiramento e dimensionamento automático para armazéns SQL profissionais e clássicos.

Utilize um armazém SQL profissional quando:

  • Os armazéns SQL sem servidor não estão disponíveis em uma região.
  • Você tem uma rede personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou no local para federação ou uma arquitetura de tipo híbrido. Por exemplo, use um armazém SQL pro se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar sua rede à sua rede local.

Armazéns SQL clássicos

Um armazém SQL clássico suporta Photon, mas não suporta E/S Preditiva ou Gestão Inteligente de Carga de Trabalho. Com um armazém SQL clássico (ao contrário de um armazém SQL sem servidor), a camada de computação existe na sua conta de subscrição do Azure em vez de na sua conta do Azure Databricks. Sem suporte para E/S Preditiva ou Gerenciamento Inteligente de Carga de Trabalho, um SQL warehouse clássico fornece apenas desempenho de nível básico e menos desempenho do que um armazém SQL sem servidor ou profissional. Um SQL warehouse clássico também leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e é dimensionado para cima e para baixo com menos capacidade de resposta do que um SQL warehouse sem servidor. Consulte Enfileiramento e dimensionamento automático para armazéns SQL profissionais e clássicos.

Use um SQL warehouse clássico para executar consultas interativas para exploração de dados com desempenho de nível básico e recursos SQL do Databricks.

Observação

Para obter informações sobre como dimensionar o SQL warehouse e como ele reage ao enfileiramento de consultas, consulte Queueing and autoscaling for pro and classic SQL warehouses.

Quais são as predefinições do tipo de depósito?

Para espaços de trabalho em regiões que oferecem suporte a armazéns SQL sem servidor e satisfazem os requisitos :

  • Usando a interface do usuário, o tipo de SQL warehouse padrão é sem servidor.
  • Usando a API SQL warehouses com parâmetros padrão, o tipo de SQL warehouse padrão é clássico. Para usar serverless, defina o parâmetro enable_serverless_compute como true e warehouse_type como pro. Se esse espaço de trabalho usou a API de armazéns SQL para criar um depósito entre 1º de novembro de 2022 e 19 de maio de 2023 e atende aos requisitos para armazéns SQL sem servidor, o padrão permanecerá definido como true. Para evitar ambiguidades, especialmente para organizações com muitos espaços de trabalho, a Databricks recomenda sempre definir este campo.
  • Se o espaço de trabalho usar um metastore externo do Hive herdado , não há suporte para SQL warehouses sem servidor. O tipo de armazém SQL padrão é o mesmo como se a computação sem servidor estivesse desabilitada, que é pro na interface do usuário e clássica usando a API. Além disso, entre em contato com sua equipe de conta do Azure Databricks para saber mais sobre o Catálogo Unity ou outras opções.

Para espaços de trabalho que não suportam armazéns SQL sem servidor:

  • Usando a interface de utilizador, o tipo de SQL warehouse padrão é pro.
  • Usando a API SQL warehouses com parâmetros padrão, o tipo de SQL warehouse padrão é clássico.