Tipos de sql warehouse
O Databricks SQL dá suporte a tipos clássicos, profissionais e sem servidor. Este artigo descreve os recursos disponíveis para cada tipo e compara o desempenho e os recursos.
Funcionalidades de desempenho por tipo
Cada tipo de sql warehouse tem recursos de desempenho diferentes. A tabela a seguir mostra os recursos de desempenho compatíveis com cada tipo de sql warehouse.
Tipo de armazém | Mecanismo de Foton | E/S preditiva | Gerenciamento inteligente de carga de trabalho |
---|---|---|---|
Sem servidor | X | X | X |
Profissional | X | X | |
Clássico | X |
A lista a seguir descreve cada recurso de desempenho:
Photon: o mecanismo interno de consulta vetorizada no Databricks. Isso torna suas chamadas de API SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho.
E/S Preditiva: um pacote de recursos para acelerar operações de varredura seletiva em consultas SQL. A E/S Preditiva pode fornecer uma ampla gama de acelerações.
gerenciamento de carga de trabalho inteligente (IWM): um conjunto de recursos que aprimora a capacidade do Databricks SQL Serverless de processar um grande número de consultas de forma rápida e econômica. Usando técnicas de previsão e gerenciamento dinâmico com IA, a IWM trabalha para assegurar rapidamente que as cargas de trabalho tenham a quantidade certa de recursos. A principal diferença está nos recursos de IA no DATAbricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.
Nota
Para obter preços para cada tipo de warehouse e uma comparação detalhada de recursos, consulte do DATAbricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, confira Notas sobre a versão do Databricks SQL.
Diferenças de desempenho entre tipos de sql warehouse
Cada tipo de sql warehouse tem características de desempenho diferentes.
Armazéns SQL sem servidor
Usando a arquitetura sem servidordo Azure Databricks, um warehouse SQL sem servidor dá suporte a todos os recursos de desempenho do Databricks SQL. Com um SQL Warehouse sem servidor e seus recursos de desempenho, você obtém:
- Tempo de inicialização rápido (normalmente entre 2 e 6 segundos).
- Dimensionamento rápido para adquirir mais capacidade computacional a fim de manter baixa latência quando necessário.
- A admissão de consulta está mais próxima da limitação do hardware do que da máquina virtual.
- Realizar um rápido downscaling para minimizar os custos quando a demanda é baixa, garantindo um desempenho consistente com custos e recursos otimizados.
Escolha um SQL Warehouse sem servidor para obter o melhor desempenho de inicialização, a E/S mais eficiente, o gerenciamento mais inteligente da demanda de consultas que varia significativamente ao longo do tempo, e o escalonamento automático rápido quando há enfileiramento de consultas. Confira Dimensionamento automático sem servidor e enfileiramento de consultas.
Um SQL Warehouse sem servidor tem um bom desempenho com esses tipos de cargas de trabalho:
- ETL
- Inteligência de Negócios
- Análise exploratória
Importante
Os warehouses SQL não dão suporte à passagem de credenciais. O Databricks recomenda usar o Catálogo do Unity para governança de dados. Confira O que é o Unity Catalog?.
Armazéns SQL Pro
Um SQL warehouse Pro dá suporte ao Photon e à E/S Preditiva, mas não dá suporte ao Gerenciamento Inteligente de Carga de Trabalho. Com um SQL Warehouse profissional (ao contrário de um SQL Warehouse sem servidor), a camada de computação fica na sua conta de assinatura do Azure, em vez de na sua conta do Azure Databricks. Sem o Gerenciamento Inteligente de Carga de Trabalho, os armazéns são menos responsivos à demanda de consulta que varia muito ao longo do tempo e não podem dimensionar automaticamente tão rapidamente quanto um SQL Warehouse sem servidor. Um SQL Warehouse profissional leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e escalona para cima e para baixo com menos responsividade do que um SQL Warehouse sem servidor. Confira Filas e dimensionamento automático dos warehouses SQL profissionais e clássicos.
Use um armazém de dados SQL profissional quando:
- Os sql warehouses sem servidor não estão disponíveis em uma região.
- Você tem uma rede definida personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou local para federação ou uma arquitetura de tipo híbrido. Por exemplo, use um SQL Warehouse profissional se você desejar integrar outros serviços à sua rede, como um barramento de eventos ou bancos de dados, ou conectar sua rede à rede local.
Armazéns SQL clássicos
Um sql warehouse clássico dá suporte ao Photon, mas não dá suporte à E/S Preditiva ou ao Gerenciamento Inteligente de Carga de Trabalho. Com um SQL Warehouse clássico (ao contrário de um SQL Warehouse sem servidor), a camada de computação existe em sua conta de assinatura do Azure em vez de em sua conta do Azure Databricks. Sem suporte para E/S Preditiva ou Gerenciamento de Carga de Trabalho Inteligente, um SQL Warehouse clássico fornece apenas desempenho de nível de entrada e menos desempenho do que um SQL Warehouse profissional ou sem servidor. Um SQL warehouse clássico também leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e escalona para cima e para baixo com menos responsividade do que um SQL warehouse sem servidor. Confira Filas e dimensionamento automático dos warehouses SQL profissionais e clássicos.
Use um armazém SQL clássico para executar consultas interativas de exploração de dados com desempenho básico e recursos do Databricks SQL.
Nota
Para obter informações sobre como dimensionar seu warehouse SQL e como ele se adapta em resposta à fila de consultas, confira Filas e dimensionamento automático para warehouses SQL profissionais e clássicos.
Quais são os padrões de tipos de warehouse?
Para workspaces em regiões com suporte para warehouses SQL sem servidor e atendem aos requisitos:
- Usando a interface do usuário, o tipo de warehouse SQL padrão é sem servidor.
- Usando a API sql warehouses com parâmetros padrão, o tipo de sql warehouse padrão é clássico. Para usar sem servidor, defina o parâmetro
enable_serverless_compute
comotrue
ewarehouse_type
parapro
. Se esse workspace usou a API de SQL Warehouses para criar um armazém entre 1º de novembro de 2022 e 19 de maio de 2023 e atende aos requisitos para SQL Warehouses sem servidor, o padrão permanece definido comotrue
. Para evitar ambiguidade, especialmente para organizações com muitos workspaces, o Databricks recomenda sempre definir esse campo. - Se o workspace usar um metastore do Hive externo herdado, os warehouses SQL sem servidor não terão suporte. O tipo de SQL Warehouse padrão é igual à situação em que a computação sem servidor está desabilitada, sendo 'pro' na interface do usuário e 'clássica' na utilização da API. Além disso, entre em contato com sua equipe de conta do Azure Databricks para saber mais sobre o Catálogo do Unity ou outras opções.
Para workspaces que não dão suporte a warehouses SQL sem servidor:
- Usando a interface do usuário, o tipo de warehouse SQL padrão é o profissional.
- Usando a API sql warehouses com parâmetros padrão, o tipo de sql warehouse padrão é clássico.