Compartilhar via

Tipos de SQL warehouse

  • Artigo

O Databricks SQL dá suporte aos seguintes tipos de SQL warehouses:

  • Sem servidor
  • Pro
  • Clássico

Cada tipo de SQL warehouse tem recursos de desempenho diferentes. A tabela a seguir mostra os recursos de desempenho compatíveis com cada tipo de SQL warehouse.

Tipo de depósito Mecanismo Photon E/S preditiva Gerenciamento de carga de trabalho inteligente
Sem servidor X X X
Pro X X
Clássico X

A seguinte lista descreve cada recurso de desempenho:

  • Photon: o mecanismo de consulta vetorizado nativo no Databricks. Isso torna suas chamadas de API SQL e DataFrame existentes mais rápidas e reduz o custo total por carga de trabalho.

  • E/S Preditiva: um conjunto de recursos para acelerar operações de verificação seletiva em consultas de SQL. A E/S Preditiva pode fornecer uma ampla gama de acelerações.

  • gerenciamento inteligente de carga de trabalho (IWM): um conjunto de recursos que aprimora a capacidade do Databricks SQL sem servidor processar um grande número de consultas de forma rápida e econômica. Usando as técnicas de previsão e gerenciamento dinâmico alimentados por IA, o IWM funciona para garantir que as cargas de trabalho tenham a quantidade certa de recursos rapidamente. A principal diferença está nos recursos de IA no Databricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.

    Observação

    Para obter preços para cada tipo de depósito e uma comparação detalhada de recursos, confira Databricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, confira Notas sobre a versão do Databricks SQL.

Diferenças de desempenho entre tipos de SQL warehouse

Cada tipo de SQL warehouse tem características de desempenho diferentes.

SQL warehouses sem servidor

Usando a arquitetura sem servidordo Azure Databricks, um SQL Warehouse sem servidor dá suporte a todos os recursos de desempenho do Databricks SQL. Com um SQL Warehouse sem servidor e seus recursos de desempenho, você obtém:

  • Tempo de inicialização rápido (normalmente entre 2 e 6 segundos).
  • Dimensionamento rápido para adquirir mais computação quando necessário para manter a baixa latência.
  • Admissão de consultas mais próxima da limitação do hardware ao invés da máquina virtual.
  • Redimensionamento rápido para minimizar os custos quando a demanda é baixa, fornecendo um desempenho consistente com custos e recursos otimizados.

Para obter o melhor desempenho de inicialização, E/S mais eficiente, manipulação mais inteligente da demanda de consulta que varia muito ao longo do tempo e dimensionamento automático rápido quando ocorre a consulta, escolha um SQL Warehouse sem servidor. Consulte Dimensionamento automático e consulta sem servidor.

Um SQL Warehouse sem servidor tem um bom desempenho com esses tipos de cargas de trabalho:

  • ETL
  • Business intelligence
  • Análise exploratória

Importante

Os warehouses SQL não dão suporte à passagem de credenciais. O Databricks recomenda usar o Catálogo do Unity para governança de dados. Veja O que é o Catálogo do Unity?.

SQL warehouses Pro

Um SQL warehouse profissional dá suporte ao Photon e à E/S Preditiva, mas não dá suporte ao Gerenciamento Inteligente de Carga de Trabalho. Com um SQL warehouse profissional (ao contrário de um SQL Warehouse sem servidor), a camada de computação existe em sua conta de assinatura do Azure em vez de em sua conta do Azure Databricks. Como resultado, um SQL warehouse profissional não dá suporte ao Gerenciamento Inteligente de Carga de Trabalho, tornando-o menos responsivo à demanda de consulta que varia muito ao longo do tempo e não consegue dimensionar automaticamente tão rapidamente quanto um SQL Warehouse sem servidor. Um SQL warehouse profissional leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e aumenta e reduz verticalmente com menos capacidade de resposta do que um SQL Warehouse sem servidor. Consulte Filas e dimensionamento automático dos warehouses do SQL profissionais e clássicos.

Use um SQL warehouse profissional quando:

  • Os SQL warehouses sem servidor não estão disponíveis em uma região.
  • Você tem um sistema de rede personalizado e deseja conectar bancos de dados em sua rede na nuvem ou local para federação ou uma arquitetura de tipo híbrido. Por exemplo, use um SQL warehouse Pro se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar você à sua rede local.

SQL warehouses clássicos

Um SQL warehouse clássico dá suporte ao Photon, mas não dá suporte à E/S Preditiva ou ao Gerenciamento Inteligente de Carga de Trabalho. Com um SQL Warehouse clássico (ao contrário de um SQL Warehouse sem servidor), a camada de computação existe na sua conta de assinatura do Azure em vez de na sua conta do Azure Databricks. Sem suporte para E/S Preditiva ou Gerenciamento inteligente de carga de trabalho, um SQL Warehouse clássico fornece apenas desempenho de nível de entrada e menos desempenho do que um SQL Warehouse sem servidor ou um sql warehouse profissional. Um SQL warehouse clássico também leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e aumenta e reduz verticalmente com menos capacidade de resposta do que um SQL Warehouse sem servidor. Consulte Filas e dimensionamento automático dos warehouses do SQL profissionais e clássicos.

Use um SQL warehouse clássico para executar consultas interativas para exploração de dados com desempenho de nível de entrada e recursos do SQL do Databricks.

Observação

Para obter informações sobre como dimensionar seu SQL warehouse e como o SQL warehouse é dimensionado em resposta à consulta, consulte Filas e dimensionamento automático para SQL warehouses profissionais e clássicos.

Quais são os padrões de tipo de warehouse?

Para workspaces em regiões que dão suporte a warehouses SQL sem servidor e atendem aos requisitos:

  • Usando a interface do usuário, o tipo de warehouse SQL padrão é sem servidor.
  • Usando a API de SQL warehouses com parâmetros padrão, o tipo de SQL warehouse padrão é clássico. Para usar o tipo sem servidor, defina o enable_serverless_compute parâmetro como true e também defina o warehouse_type como pro. Se esse workspace usou a API de SQL warehouses para criar um warehouse entre 1º de novembro de 2022 e 19 de maio de 2023 e atende aos requisitos de SQL warehouses sem servidor, o padrão permanece definido como true. Para evitar ambiguidade, especialmente para organizações com muitos workspaces, o Databricks recomenda que você sempre defina esse campo.
  • Se o workspace usar um metastore do Hive externo herdado, os warehouses SQL sem servidor não terão suporte. O tipo de warehouse SQL padrão é o mesmo, como se a computação sem servidor estivesse desabilitada, o que é pro na interface do usuário e clássico usando a API. Além disso, entre em contato com sua equipe de conta do Azure Databricks para saber mais sobre o Catálogo do Unity ou outras opções.

Para workspace que não dão suporte a warehouses SQL sem servidor:

  • Usando a interface do usuário, o tipo de warehouse SQL padrão é pro.
  • Usando a API de SQL warehouses com parâmetros padrão, o tipo de SQL warehouse padrão é clássico.