Notas sobre a versão do Databricks SQL

Este artigo lista novos recursos e aprimoramentos do Databricks SQL, juntamente com problemas conhecidos e perguntas frequentes.

Processo de liberação

O Databricks libera atualizações para a interface do usuário do aplicativo Web do Databricks SQL continuamente, com todos os usuários recebendo as mesmas atualizações distribuídas por um curto período de tempo.

Além disso, o Databricks normalmente lança novas versões de computação do SQL warehouse regularmente. Dois canais estão sempre disponíveis: Versão prévia e Atual.

Observação

As versões são disponibilizadas em fases. Sua conta do Databricks pode não ser atualizada com uma nova versão do SQL warehouse ou o recurso de SQL do Databricks até uma semana ou mais após a data de lançamento inicial.

Observação

O Databricks SQL Serverless não está disponível no Azure China. O Databricks SQL não está disponível nas regiões do Azure Governamental.

Canais

Os canais permitem que você escolha entre a versão de computação Atual do SQL Warehouse ou a Versão prévia. As versões prévias permitem que você experimente a funcionalidade antes que ela se torne o padrão SQL Databricks. Aproveite as versões prévias para testar suas consultas de produção e painéis em relação às alterações futuras.

Normalmente, uma versão prévia é promovida no canal atual cerca de duas semanas depois de ser lançada no canal de visualização. Alguns recursos, como recursos de segurança, atualizações de manutenção e correções de bugs, podem ser lançados diretamente no canal atual. De tempos em tempos, o Databricks pode promover uma versão prévia para o canal atual em um cronograma diferente. Cada nova versão será anunciada nas seções a seguir.

Para saber como alternar um warehouse SQL existente para o canal de versão prévia, confira Canais de versão prévia. Os recursos listados nas seções de atualizações da interface do usuário são independentes das versões de computação do SQL warehouse descritas na seção Problemas corrigidos das notas de versão.

Versões disponíveis do Databricks SQL

Canal atual: Databricks SQL versão 2024.40

• Confira os recursos da versão 2024.40.

21 de novembro de 2024

Tabelas do sistema do SQL warehouse (Visualização Pública)

• A system.compute.warehouses tabela registra quando os SQL warehouses são criados, editados e excluídos. Você pode usar a tabela para monitorar alterações nas configurações do depósito, incluindo o nome do depósito, tipo, tamanho, canal, tags, parada automática e configurações de dimensionamento automático. Consulte Referência da tabela do sistema de depósitos.

Descoberta de dados

• A guia Linhagem no Explorador de Catálogos foi reprojetada com uma interface do usuário aprimorada para filtragem de entidades.

13 de novembro de 2024

Painéis legados:

• Resolvido um problema em que as dicas de ferramentas de modelo não exibiam conteúdo detalhado para gráficos de eixo duplo e de vários campos.

6 de novembro de 2024

Suporte de agendamento legível para tabelas de streaming SQL do Databricks e exibições materializadas

Os usuários agora podem iniciar, criar e alterar agendamentos para tabelas de streaming e visualizações materializadas usando a sintaxe legível por humanos do agendamento CRON. Consulte ALTER MATERIALIZED VIEW, ALTER STREAMING TABLE, CREATE MATERIALIZED VIEW e CREATE STREAMING TABLE.

As tabelas de streaming agora dão suporte a consultas de viagem no tempo

Agora você pode usar a viagem no tempo para consultar versões anteriores da tabela com base no carimbo de data/hora ou na versão da tabela (conforme registrado no log de transações). Talvez seja necessário atualizar sua tabela de streaming antes de usar consultas de viagem no tempo. Consulte O que é a viagem no tempo do Delta Lake?

Não há suporte para consultas de viagem no tempo para exibições materializadas.

31 de outubro de 2024

Atualizações da interface do usuário

Novo editor SQL (Visualização Pública)

• Agora você pode executar a consulta SQL ativa usando o atalho Command de teclado (ou Ctrl) + + ShiftEnter .
• A área de entrada de parâmetros agora mostra uma barra de rolagem quando o texto se estende para fora da janela de exibição.
• Corrigido um problema que impedia que a página de detalhes do perfil de consulta fosse totalmente aberta.
• Agora você pode renomear consultas digitando o novo nome no título da guia.
• O botão Agendar agora está desabilitado para consultas que nunca foram salvas antes.

24 de outubro de 2024

Notas de versão para ferramentas de IA/BI

As notas de versão para painéis de AI/BI e AI/BI Genie foram movidas para notas de versão de AI/BI. Versões e atualizações futuras serão documentadas lá.

17 de outubro de 2024

Os destinos de notificação agora estão em disponibilidade geral

Você pode criar e configurar destinos de notificação que os usuários do workspace podem adicionar a determinados fluxos de trabalho, como alertas, trabalhos do Databricks e agendamentos de painel de IA/BI, para enviar emails ou webhooks quando um evento for executado. Confira Gerenciar destinos de notificação.

10 de outubro de 2024

Exibições materializadas e tabelas de streaming agora estão disponíveis no Databricks SQL

As tabelas de streaming permitem a ingestão incremental do armazenamento em nuvem e das filas de mensagens, enquanto as exibições materializadas são exibições pré-computadas que são atualizadas de forma automática e incremental à medida que novos dados chegam. Confira Usar exibições materializadas no Databricks SQL e Carregar dados usando tabelas de streaming no Databricks SQL.

Insights de consulta

• As novas colunas query_source, executed_as, e executed_as_user_id foram adicionadas à tabela do sistema de histórico de consultas. Consulte Referência da tabela do sistema de histórico de consultas.

3 de outubro de 2024

Suporte ao SQL warehouse sem servidor expandido

Agora, SQL warehouses sem servidor estão disponíveis na região swedencentral. Consulte Recursos com disponibilidade regional limitada.

Atualizações da interface do usuário

Os recursos listados nesta seção independem das versões de computação do SQL warehouse descritas acima.

Explorador de Catálogos

• Os comentários gerados por IA agora são compatíveis com catálogos, esquemas, volumes, modelos e funções, e os usuários podem usar o Assistente de bate-papo embutido para ajudar a editar seus comentários.

Funções de IA do SQL A função vector_search() agora está disponível em Visualização Pública. Confira a Função vector_search

26 de setembro de 2024

Suporte ao SQL warehouse sem servidor expandido

Agora, SQL warehouses sem servidor estão disponíveis na região francecentral. Consulte Recursos com disponibilidade regional limitada.

11 de setembro de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

Editor SQL

Agora você pode usar a sintaxe do marcador de parâmetro nomeado no editor SQL. A sintaxe do marcador de parâmetro nomeado pode ser usada no editor SQL, notebooks e painéis de IA/BI. Confira Trabalhar com parâmetros de consulta.

Consultas e painéis herdados

Os itens excluídos não aparecerm mais nas páginas de listagem para páginas de consultas SQL ou dashboards herdados. Encontre itens excluídos na pasta de lixeira do workspace. Os administradores do workspace podem visualizar itens excluídos nas pastas de lixeira de todos os usuários.

5 de setembro de 2024

Alterações na versão 2024.40

O Databricks SQL versão 2024.40 inclui as seguintes alterações comportamentais, novos recursos e melhorias.

Alterações comportamentais

• Alterar para o modo de associação de esquema padrão para exibições

  As exibições agora se adaptam às alterações de esquema na consulta subjacente usando a compensação de esquema com regras de conversão regulares. Essa é uma alteração do padrão anterior do modo BINDING, que gerou erros quando uma conversão segura não pôde ser executada ao referenciar o modo de exibição.

  Consulte CREATE VIEW e função cast.

• Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões boolianas externas

  Com esta versão, o uso de ! como sinônimo para NOT fora de expressões boolianas não é mais permitido. Por exemplo, instruções como a seguinte: CREATE ... IF ! EXISTS, IS ! NULL, uma propriedade de campo ou coluna ! NULL, ! IN e ! BETWEEN, deve ser substituído por: CREATE ... IF NOT EXISTS, IS NOT NULL, propriedade de campo ou coluna NOT NULL, NOT IN e NOT BETWEEN.

  Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

  O operador de prefixo booliano ! (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

• Não permitir sintaxe de definição de coluna não documentada em exibições

  O Databricks dá suporte a CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, NOT NULL restrições ou DEFAULT foi permitida. Com esta versão, não é mais possível usar essa sintaxe.

  Essa alteração garante a consistência, alinha-se com o padrão SQL e dá suporte a melhorias futuras.

• Adicionar uma restrição CHECK em uma coluna inválida retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

  Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e superior, uma instrução ALTER TABLE ADD CONSTRAINT que inclui uma restrição CHECK referenciando um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, era retornado um INTERNAL_ERROR.

Novos recursos e aprimoramentos

• Habilitar o Iceberg do UniForm usando ALTER TABLE

  Agora você pode habilitar o Iceberg do UniForm em tabelas existentes sem reescrever arquivos de dados. Consulte Habilitar alterando uma tabela existente.

• Funções de validação UTF-8

  Esta versão apresenta as seguintes funções para validar strings UTF-8:

  • is_valid_utf8 verificou se uma cadeia de caracteres é uma UTF-8 válida.
  • make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
  • validate_utf8 gerará um erro se a entrada não for uma string UTF-8 válida.
  • try_validate_utf8 retornará NULL se a entrada não for uma string UTF-8 válida.

• to_avro e from_avro funções

  As funções to_avro e from_avro permitem a conversão de tipos SQL em dados binários Avro e vice-versa.

• função try_url_decode

  Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada em URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

• Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não forçadas

  Para melhorar o desempenho da consulta, agora você poderá especificar a palavra-chave RELY em restrições FOREIGN KEY ao usar CREATE ou ALTER em uma tabela.

• Suporte à eliminação do recurso de tabela de verificação de restrições

  Substituições seletivas usando replaceWhere trabalhos agora executados que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do cluster.

• Execuções de trabalho paralelizadas para substituições seletivas

  Substituições seletivas usando replaceWhere trabalhos agora executados que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do cluster.

• Desempenho aprimorado para o feed de dados de alteração com substituições seletivas

  Substituições seletivas usando replaceWhere em tabelas com feed de dados de alteração já não gravam mais arquivos de dados de alteração separados para dados inseridos. Essas operações usam uma coluna oculta _change_type presente nos arquivos de dados Parquet subjacentes para registrar alterações sem amplificação de gravação.

• Aprimoramento na latência de consulta para o comando COPY INTO

  Esta versão inclui uma alteração que melhora a latência de consulta para o comando COPY INTO. Essa melhoria é implementada ao tornarmos o carregamento de estado pelo repositório de estado do RocksDB assíncrono. Com essa alteração, você deverá visualizar uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

Visualizações

• Os totais de dica de ferramenta são exibidos somente para gráficos empilhados.

22 de agosto de 2024

Visualizações

Para configurações agrupadas e de vários campos, as dicas de ferramentas agora mostram os totais quando você passa o mouse sobre os elementos do gráfico.

15 de agosto de 2024

Visualizações

Foi corrigido um problema no qual os números de linha nas visualizações da tabela não eram atualizados após a alteração do tamanho da página.

Descoberta de dados

Agora há suporte à capacidade de expandir e recolher tipos de colunas complexas aninhadas em tabelas do Catálogo do Unity.

1 de agosto de 2024

Visualizações:

• A classificação de tabela agora é preservada quando os dados são alterados devido à filtragem.

Editor de SQL:

• Aumento da legibilidade adicionando preenchimento adicional entre a última linha de uma consulta e a saída do resultado.

25 de julho de 2024

API REST do Databricks:

• As APIs para gerenciar consultas, alertas, fontes de dados e permissões foram alteradas. A versão herdada continuará com suporte por seis meses. Esse período de transição destina-se a dar-lhe tempo suficiente para migrar as suas aplicações e integrações para a nova versão antes que a versão mais antiga seja descontinuada. Consulte Atualizar para a versão mais recente da API SQL do Databricks

18 de julho de 2024

Atualizações da interface do usuário

Explorador do Catálogo:

• Um novo assistente de configuração de catálogo já está disponível para configurar associações de workspace, privilégios de catálogo e metadados ao criar um catálogo.

Monitoramento do SQL Warehouse:

• A permissão CAN MONITOR já está em disponibilidade geral. Ela permite que os usuários privilegiados monitorem SQL warehouses, incluindo o histórico de consultas e os perfis de consulta associados. Consulte ACLs de endpoint de pesquisa vetorial.

11 de julho de 2024

Databricks SQL versão 2024.35 disponível

Cronograma de distribuição: distribuição da versão prévia para a 2024.35: entre 9 de julho e 15 de julho

Alterações na versão 2024.35

Desabilitar o mapeamento de colunas com o recurso soltar

Agora você pode usar DROP FEATURE para desabilitar o mapeamento de colunas em tabelas Delta e fazer downgrade do protocolo da tabela. Confira Desabilitar o mapeamento de colunas.

Sintaxe e funções do tipo variante em Visualização Pública

O suporte integrado do Apache Spark para trabalhar com os dados semiestruturados como o tipo VARIANT já está disponível no DataFrames e no SQL do Spark. Confira Consultar os dados de variantes.

O suporte ao tipo variante para Delta Lake está em Visualização Pública

Agora você pode usar VARIANT para armazenar dados semiestruturados em tabelas respaldadas pelo Delta Lake. Confira Suporte a variantes no Delta Lake.

Suporte a diferentes modos de evolução de esquemas em exibições

CREATE VIEW e ALTER VIEW agora permitem que você defina um modo de vinculação de esquemas, aprimorando a forma como as exibições lidam com alterações de esquemas em objetos subjacentes. Esse recurso permite que as exibições tolerem ou se adaptem às alterações de esquema nos objetos subjacentes. Aborda as alterações no esquema de consulta que resultam de modificações em definições de objeto.

Melhoria de desempenho para algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções de janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função de agregação. Essa alteração permite que a consulta seja executada mais rapidamente usando a agregação parcial e evitando a sobrecarga de funções de janela em execução. O parâmetro de configuração spark.databricks.optimizer.replaceWindowsWithAggregates.enabled do Spark controla essa otimização e é definido como true por padrão. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Suporte para a função try_mod adicionado

Esta versão adiciona suporte para a função try_mod() do PySpark. Essa função dá suporte ao cálculo compatível com SQL ANSI do resto inteiro pela divisão de dois valores numéricos. Se o argumento divisor for 0, a função try_mod() retornará nulo em vez de gerar uma exceção. Você pode usar a função try_mod() em vez de mod ou %, que gera uma exceção se o argumento divisor for 0 e o SQL ANSI estiver habilitado.

Atualizações da interface do usuário

Editor de SQL:

O assistente embutido já está disponível no editor do SQL. Clique no ícone do assistente na caixa do editor para alternar a entrada. Digite uma pergunta ou um comentário em inglês e pressione ENTER (não Shift+ENTER, que executa uma consulta) para gerar uma resposta com uma exibição diferente diretamente no editor.

Plataforma:

Uma API para destinos de notificação já está disponível. Agora você pode gerenciar de maneira programática destinos de webhook e email para seus alertas e notificações de execução de trabalho. Confira Destinos de notificação.

4 de julho de 2024

A versão 2024.30 do Databricks SQL está disponível

Cronograma de distribuição: distribuição da versão prévia para a 2024.30: entre 9 de julho e 15 de julho

Alterações na versão 2024.30

A Federação lakehouse está em GA (disponibilidade geral)

Conectores da Federação de Lakehouse nos seguintes tipos de banco de dados agora estão em disponibilidade geral (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL do Data Warehouse)
• Databricks

Esta versão também apresenta as seguintes melhorias:

• Suporte para autenticação de SSO (logon único) nos conectores Snowflake e Microsoft SQL Server.

• Suporte ao Link Privado do Azure no conector do SQL Server de ambientes de computação sem servidor. Consulte Etapa 3: criar pontos de extremidade privados.

• Suporte para pushdowns adicionais (cadeia de caracteres, matemática, funções diversas).

• Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.

• Recursos adicionais de depuração de pushdown:

  • A saída EXPLAIN FORMATTED exibe o texto da consulta enviada por push.
  • A interface do usuário do perfil de consulta exibe o texto da consulta pushed-down, os identificadores de nó federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

DESCRIBE HISTORY agora mostra as colunas de clustering para as tabelas que usam clustering líquido

Quando você executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por padrão para as operações CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que usa clustering líquido, o campo clusterBy é preenchido com as colunas de clustering da tabela. Se a tabela não usar clustering líquido, o campo ficará vazio.

O suporte para chaves primárias e estrangeiras está disponível em geral

O suporte para as chaves primárias e estrangeiras no Databricks Runtime está em disponibilidade geral. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

• Para definir uma chave estrangeira, você deve ter o privilégio SELECT na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa ter a tabela com a chave primária, que era necessária anteriormente.
• A remoção de uma chave primária usando a cláusula CASCADE não exige privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava ter as tabelas de referência.
• A remoção de uma tabela que inclui restrições agora requer os mesmos privilégios que a remoção de tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte cláusula CONSTRAINT, cláusula ADD CONSTRAINT e cláusula DROP CONSTRAINT.

O clustering líquido está em disponibilidade geral

O suporte para clustering líquido agora está em disponibilidade geral usando o Databricks Runtime 15.2 e versões superiores. Confira Usar clustering líquido para tabelas Delta.

A ampliação de tipo está em Visualização Pública

Agora você pode habilitar a ampliação de tipo em tabelas apoiadas pelo Delta Lake. Tabelas com a ampliação de tipo habilitada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Consulte Ampliação de tipo.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem SQL

Você pode agora adicionar a cláusula WITH SCHEMA EVOLUTION a uma instrução de mesclagem SQL para possibilitar a evolução de esquema para a operação. Confira Sintaxe de evolução de esquema para mesclagem.

Suporte a inventário de vácuo

Agora você poderá especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM em uma tabela de Delta. Consulte os documentos do Delta OSS.

Suporte para funções de compactação Zstandard

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar dados BINARY.

Os planos de consulta na interface do usuário do SQL agora são exibidos corretamente PhotonWriteStage

Quando exibidos na interface do usuário do SQL, comandos write em planos de consulta mostraram PhotonWriteStage incorretamente como um operador. Com essa versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como uma fase. Essa é apenas uma alteração de interface do usuário e não afeta a forma como as consultas são executadas.

Atualizações da interface do usuário

Suporte a API:

• Agora você pode gerenciar destinos de notificação usando a API REST. Consulte Destinos de notificação.

27 de junho de 2024

Filtros de linha e máscaras de coluna no Databricks SQL, exibições materializadas e tabelas de streaming são Visualização Pública

Filtros de linha e máscaras de coluna em exibições materializadas do Databricks SQL e tabelas de streaming são Visualização Pública. A versão de Visualização Pública inclui as seguintes alterações:

• Você pode adicionar filtros de linha e máscaras de coluna a uma exibição materializada ou tabela de fluxo do Databricks SQL.

  • Você pode definir exibições materializadas do SQL do Databricks ou tabelas de streaming em tabelas que incluem filtros de linha e máscaras de coluna.

  Consulte CRIAR EXIBIÇÃO MATERIALIZADA e CRIAR TABELA DE STREAMING.

Atualizações da interface do usuário

Visualizações:

• Melhoria da interatividade na exibição de dicas de ferramentas ao passar o mouse sobre gráficos de pizza, de dispersão e de mapa de calor com muitos pontos de dados.

Explorador de Catálogos:

• Uma interface do usuário renovada do Explorador de Catálogos facilita a descoberta e a inclusão de ativos recentes do Catálogo do Unity na exibição de Acesso Rápido. A experiência de navegação também foi simplificada, permitindo que você explore computação, armazenamento, credenciais, conexões, DBFS e detalhes de gerenciamento usando as Configurações no canto superior esquerdo da tela. Compartilhamento Delta, Salas Limpas e Dados Externos agora têm páginas dedicadas.

6 de junho de 2024

Correção para exibições materializadas e tabelas de streaming do Databricks SQL

Esse problema faz com que as consultas ALTER SCHEDULE na exibições materializadas do Databricks SQL e nas tabelas de streaming entrem em vigor somente após a próxima operação ATUALIZAR ser corrigida. Agora, as consultas ALTER SCHEDULE são aplicadas imediatamente. Consulte Programar atualizações de exibição materializada.

As exibições materializadas e as tabelas de streaming no Databricks SQL são de visualização pública.

As exibições materializadas e as tabelas de streaming no Databricks SQL são de visualização pública e estão disponíveis a todos os clientes. A visualização pública inclui as seguintes alterações:

• REFRESH de exibições materializadas e tabelas de streaming no Databricks SQL agora é síncrono por padrão. Consulte REFRESH (MATERIALIZED VIEW ou STREAMING TABLE).

  • Os erros que ocorrerem durante uma operação de atualização de uma exibição materializada do Databricks SQL ou de uma tabela de streaming retornarão no Editor do SQL.

  Para saber como usar as exibições materializadas e as tabelas de streaming no Databricks SQL, consulte Usar exibições materializadas no Databricks SQL e Carregar dados usando tabelas de streaming no Databricks SQL.

Atualizações da interface do usuário

Painéis:

• Usuários da conta agora podem baixar os dados de exibição de dashboards publicados
• Dashboards não publicados agora podem ser publicados usando o menu suspenso Rascunho/Publicação próximo à parte superior de um painel.
• Corrigido um problema em que os parâmetros nomeados limite não eram detectados.

Visualizações:

• Renderização de caixa aprimorada em modo escuro.

Informações de consulta:

• Para todos os notebooks anexados ao SQL Warehouse você poderá acessar o perfil de consulta clicando em Ver desempenho na célula contendo a consulta. Se a célula incluir múltiplas consultas, um link para o perfil de consulta de cada uma delas será fornecido para cada instrução.

30 de maio de 2024

Novo nível de permissão para armazéns SQL

A permissão Pode monitorar permite que os usuários monitorem armazéns SQL, incluindo o histórico de consulta associado e os perfis de consulta. A permissão Pode monitorar agora está em Visualização Pública. Consulte ACLs de endpoint de pesquisa vetorial.

Atualizações da interface do usuário

Melhorias no painel:

• Adicionado um menu kebab aos widgets do painel para download de imagens e dados.
• Os usuários podem migrar parâmetros baseados em consulta de painel legado e parâmetros de lista suspensa para painéis.

23 de maio de 2024

Atualizações da interface do usuário

• Agora você pode selecionar vários itens no workspace para movimentar ou excluir. Quando vários objetos são selecionados, uma barra de ações aparece e fornece opções para movimentar ou excluir itens. Além disso, você pode selecionar vários itens usando o mouse e arrastando-os para um novo local. As permissões existentes nos objetos continuam se aplicando durante as operações de movimentação e exclusão em massa.
• Agora você pode marcar os ativos do Catálogo do Unity como favoritos no Gerenciador de Catálogos e no Navegador de Esquemas. Isso inclui catálogos, esquemas, tabelas, modelos, volumes e funções. Os ativos do Catálogo do Unity que você marca como favoritos ficam facilmente acessíveis na página inicial do Azure Databricks.

Atualizações do painel de controle:

• Os gráficos combinados de eixo duplo agora mostram corretamente as legendas de barra no eixo direito e as legendas de linhas de acordo.
• Os gráficos de eixo duplo agora mostram os rótulos nas barras corretamente.

Atualizações de visualizações:

• Os rótulos de formato condicional do editor de tabela para if e then agora são compatíveis com o modo escuro.
• O ícone de link aberto redundante foi removido das dicas de ferramenta de formato do editor de tabela.
• O rótulo de cor da fonte padrão no editor de tabela agora se alinha automaticamente.

16 de maio de 2024

Cronograma de distribuição

• Distribuição de visualização para 2024.25: Concluído em 1º de maio
• Distribuição atual para 2024.25: entre 14 de maio e 21 de maio

Observação

Uma atualização para a biblioteca do Python panda (versão 2.0.3) causou uma alteração significativa no Databricks SQL versão 2024.20. O Azure Databricks não distribuiu a versão 2024.20 para o canal atual. Em vez disso, o canal de visualização foi atualizado para 2024.25 em 1º de maio de 2025. A distribuição do canal atual vai diretamente de 2024.15 a 2024.25.

Alterações em 2024.25

Governança de dados

A passagem de credencial e os controles de acesso à tabela do metastore do Hive foram preteridos.

A passagem de credenciais e os Controles de acesso à tabela do metastore do Hive são modelos de governança de dados herdados. Atualize para o Catálogo do Unity para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso a dados em vários workspaces em sua conta. Veja O que é o Catálogo do Unity?.

O suporte para controles de acesso à tabela do metastore e passagem de credenciais será removido em uma versão futura do DBR.

Recursos de Linguagem SQL

A cláusula * (asterisco) agora tem suporte na cláusula WHERE.

Agora você pode usar a cláusula de asterisco (*) na cláusula WHERE para fazer referência a todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Suporte para armazenamento Cloudflare R2 para evitar valor de saída entre regiões desde a versão 2024.15

Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Catálogo do Unity. O Cloudflare R2 destina-se principalmente a casos de uso de compartilhamento Delta em que você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões.

O armazenamento Cloudflare R2 dá suporte a todos os dados do Databricks e ativos de IA com suporte no Azure Data Lake Storage Gen2.

Confira Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

Atualizações de descoberta de dados: o assistente de atualização do metastore do Hive para o Catálogo do Unity dá suporte à atualização de tabelas gerenciadas de metastore do Hive usando computação para todos os fins ou SQL warehouses. Atualizar mais de 20 tabelas cria um novo notebook que contém os comandos SYNC e ALTER TABLE que executam a conversão.

Atualizações do painel de controle:

• A funcionalidade de eixo duplo agora está disponível para tipos de gráfico de Área, Barra, Linha e Dispersão.
  • Quando você habilita um gráfico de eixo duplo, o título e o intervalo do eixo não são mais copiados para o eixo secundário.
  • O último campo identificado na configuração de visualização é automaticamente realocado para o eixo y do lado direito.

09 de maio de 2024

Correções do Editor do SQL:

• A configuração do administrador dos Recursos da área de transferência da tabela Resultados agora se aplica à Nova tabela de resultados do editor SQL.

Melhorias no painel:

• Os parâmetros baseados em consulta permitem que os autores definam uma lista de valores selecionáveis que os visualizadores podem usar como parâmetros para outras visualizações em uma tela de painel. Veja Usar parâmetros baseados em consulta.
• A ordem da coluna em arquivos baixados de um widget de tabela agora é preservada.
• O editor de tabela agora inclui dicas de ferramentas de focalização que exibem os nomes das colunas.
• Ao alternar de outros tipos de visualização para um histograma, a codificação de informações agora é melhor preservada.

Correções do painel:

• Correção de um problema em que um único filtro de altura de grade exibia uma barra de rolagem de estouro desnecessária.
• Corrigido um problema que causava visualizações renderizadas incorretamente em painéis publicados em que uma coluna de conjunto de dados referenciada era excluída.

2 de maio de 2024

Atualizações do painel de controle:

• Agora, as consultas e visualizações podem ser copiadas do editor de SQL para um novo painel de controle. Você continua podendo adicionar visualizações do editor de SQL aos painéis de controle herdados. Confira Editar, baixar ou adicionar a um painel de controle.
• Agora, os painéis de controle manterão um cache de resultados de 24 horas para otimizar os tempos iniciais de carregamento. Confira Otimização e armazenamento em cache do conjunto de dados.
• Os gráficos de barras com X categórico e Y quantitativo agora são ordenados nas respostas do Assistente do Databricks.
• Corrigido o problema de migração com o histograma COUNT (*) herdado para garantir uma migração precisa.
• Implementada a capacidade de misturar tipos numéricos e tipos de data em um widget de filtro.
• Ao criar gráficos, o Assistente do Databricks agora sugere automaticamente colunas relevantes à medida que você digita.

Atualizações de visualização:

• A cor selecionada pelo usuário para as tabelas agora persiste nos modos claro e escuro nos gráficos herdados.
• A lógica de truncamento de dados foi aprimorada para aprimorar o desempenho em gráficos de combinação, pizza, mapa de calor e histograma.
• Uma marca de seleção agora é sempre exibida na parte superior de um eixo quantitativo nos gráficos básicos.

23 de abril de 2024

Atualizações da interface do usuário:

• Para todas as caixas de diálogo Compartilhar na UI, o grupo All Users foi renomeado para All Workspace Users. O novo nome reflete com mais precisão o escopo do grupo, que sempre incluiu usuários atribuídos ao espaço de trabalho. Nenhuma alteração é feita na associação de grupo como parte dessa renomeação.

Melhorias no painel:

• Quando o armazém SQL de um painel é iniciado, uma caixa de diálogo aparece explicando o tempo de espera.
• A posição de rolagem é preservada ao alternar entre as guias Tela e Dados.
• A clonagem de um painel legado para criar um painel Lakeview agora oferece suporte a algumas conversões de parâmetros. Veja Ajustar parâmetros legados.
• Datas relativas, como Hoje, Amanhã e 7 dias atrás, agora são suportadas para parâmetros de data e hora.
• Os controles deslizantes de intervalo numérico podem ser adicionados como filtros em um painel.
• Os histogramas agora podem exibir dados desagregados.
• Os gráficos de dispersão agora suportam codificação de tamanho.

Correções do painel:

• A codificação temporal de cores agora pode alterar as atribuições de cores corretamente.

Atualizações de visualização:

• Formatos de ferramentas personalizados agora funcionam corretamente para gráficos de vários eixos.
• A tag de visualização Novos gráficos é removida quando os usuários não alteram a alternância nos últimos 14 dias.

18 de abril de 2024

Os painéis do Lakeview estão em disponibilidade geral

Os painéis do Lakeview agora são a ferramenta de painel padrão. Eles foram renomeados como Painéis na interface do usuário. Os painéis do SQL Databricks agora são chamados de painéis herdados. Os nomes das ferramentas de API relacionadas não foram alterados.

• Melhorias no painel:
  • Os logs de auditoria estão disponíveis para painéis do Lakeview. Confira os Eventos de painéis.
  • Os dados baixados dos painéis respeitam os parâmetros aplicados.
  • O Assistente do Databricks está habilitado na guia Dados sem adicionar conjuntos de dados primeiro.
  • Gráficos de barras empilhadas com vários campos Y podem dar suporte à classificação do eixo X com base na soma dos valores do eixo Y.
  • Alterne entre as funções de escala Linear e Log (simétrica) nos menus do eixo de visualização.
  • O tamanho padrão do widget de filtro agora é mais compacto.
  • O tempo de carregamento inicial do widget de filtro de entrada de texto foi reduzido.
  • Conversões de gráfico automático aprimoradas ao migrar de painéis herdados.
• Correções do painel:
  • O aviso de configurações de exibição restrita não será exibido se o painel tiver sido compartilhado com outras pessoas.
  • As mensagens de erro no editor de SQL da guia Dados agora estão habilitadas para o modo escuro.

Atualizações da interface do usuário

Os recursos listados nesta seção independem das versões de computação do SQL warehouse descritas acima.

Aprimoramentos:

• As dicas de ferramenta em gráficos empilhados agora exibem o valor da pilha e a porcentagem por padrão.
• As dicas de ferramenta para gráficos de vários eixos agora realçam o item focalizado.
• As visualizações de tabela do Databricks SQL agora adaptam o tipo de dados de um novo resultado de consulta quando editadas no editor do SQL.
• A tabela Histórico de Consultas do Gerenciador de Catálogos mostra uma exibição semelhante a uma árvore para a atribuição da Origem da consulta. Você pode usá-la para ver quais entidades dispararam a instrução de consulta a ser executada.

11 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção independem das versões de computação do SQL warehouse descritas acima.

Aprimoramentos:

• Agora você pode agrupar por porcentagem ao criar visualizações no SQL e notebooks do Databricks.
• Para novos gráficos (em Visualização Pública), você pode ampliar ao longo de um único eixo clicando e arrastando em uma linha reta paralela ao eixo.
• A interface do usuário da Lista de permitidos do cluster compartilhado do Catálogo do Unity agora está em disponibilidade geral. Você pode acessá-la na página de detalhes do Metastore no Gerenciador de Catálogos. Confira Como adicionar itens à lista de permitidos.
• Os formulários para criar e editar locais externos agora são abertos como uma página inteira. Eles incluem a opção de incluir uma credencial de armazenamento.

Correções:

• Corrigimos um problema nos gráficos de Histograma em que valores negativos eram marcados erroneamente como positivos.

4 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção independem das versões de computação do SQL warehouse descritas acima.

Aprimoramentos:

• Melhorias nos gráficos de histograma nos painéis do Lakeview.

  • Foi adicionado suporte para rótulos.
  • As configurações de compartimento agora são mantidas ao alternar entre campos diferentes.

• A galeria de exemplos na página de listagem do painel agora cria painéis do Lakeview. Confira Tutorial: usar painéis de exemplo.

• Clicar com o botão direito do mouse na borda de um widget em um painel do Lakeview abre um menu de contexto.

• A barra de navegação do lado esquerdo é mantida para usuários do workspace exibindo painéis publicados do Lakeview.

• As seleções de filtro são mantidas ao navegar entre painéis publicados e de rascunho do Lakeview.

• Os nomes de coluna agora podem ser inseridos no editor do SQL ao editar uma consulta da guia Dados em um painel do Lakeview de rascunho.

• Substituir um painel do Lakeview mantém o nome do painel existente e substitui o conteúdo.

• Alternar visualizações entre mapas de calor e outros tipos de gráfico agora preserva melhor os campos relevantes.

Correções:

• Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.
• Resolvemos um problema em que o botão Baixar como PNG estava ausente de algumas visualizações.
• Formatação corrigida para inteiros grandes negativos anteriormente ausentes milhares de separadores.
• Corrigido o posicionamento incorreto da linha de foco ao passar o mouse sobre rótulos em gráficos de linhas.

28 de março de 2024

Databricks SQL versão 2024.15 disponível

Cronograma de Distribuição

• Versão prévia para 2024.15: entre 14 de fevereiro e 4 de março
• Distribuição atual para 2024.15: entre 25 de março e 8 de abril

Alterações na versão 2024.15

Atualizações Delta

• Delta UniForm agora em disponibilidade geral: o UniForm agora está em disponibilidade geral e usa o recurso de tabela IcebergCompatV2. Agora você pode habilitar ou atualizar o UniForm em tabelas existentes. Confira Usar o UniForm para fazer a leitura das Tabelas do Delta com clientes do Iceberg.
• Recompute dados ignorando estatísticas para tabelas Delta: agora você pode recomputar estatísticas armazenadas no log Delta depois de alterar colunas usadas para ignorar dados. Consulte Especificar as colunas de estatísticas Delta.

Atualizações de linguagem SQL

• Declarar variáveis temporárias em uma sessão SQL: esta versão apresenta a capacidade de declarar variáveis temporárias em uma sessão, que podem ser definidas e, em seguida, referenciadas em consultas. Confira Variáveis.
• Suporte ao formato de arquivo XML nativo (Visualização Pública): o suporte ao formato de arquivo XML nativo agora está em Visualização Pública. O suporte ao formato de arquivo XML permite ingestão, consulta e análise de dados XML para processamento em lotes ou streaming. Ele pode inferir e evoluir automaticamente tipos de esquema e dados, dá suporte a expressões SQL como from_xml e pode gerar documentos XML. Não requer jars externos e funciona perfeitamente com Carregador Automático, read_files, COPY INTO e o Delta Live Tables. Consulte Leitura e gravação de arquivos XML.

Atualizações do SQL do Apache Spark

O Databricks SQL 2024.15 inclui o Apache Spark 3.5.0. Correções de bug e melhorias adicionais para SQL estão listados na nota de versão do Databricks Runtime 14.3. Confira Apache Spark e procure a marca [SQL] para obter uma lista completa.

Atualizações da interface do usuário

Os recursos listados nesta seção independem das versões de computação do SQL warehouse descritas acima.

• Uma nova guia de visão geral na página de entidade do Gerenciador de Catálogos mostra metadados importantes, como arquivos, fonte de dados, proprietário, esquema de tabela e comentários.

• Atualizações do painel do Lakeview:

  • Os painéis do Lakeview agora dão suporte a parâmetros. Os autores podem adicionar parâmetros a consultas de conjunto de dados da guia Dados e, em seguida, definir parâmetros na tela usando seletores de valor único e seletores de data. Confira Trabalhar com parâmetros de painel.
  • Agora há suporte para painéis do Lakeview na API de permissões do workspace. Confira PATCH /api/workspace/workspace/updatepermissions na referência da API REST.
  • Os widgets de controle na tela foram renomeados como widgets de filtro.
  • Os gráficos de combinação não permitem mais campos desagregados no eixo x.
  • O botão Copiar link na caixa de diálogo Compartilhar agora inclui parâmetros armazenados na URL.
  • Widgets em painéis publicados não mostram mais bordas ao passar o mouse.
  • Resolvemos um problema em que os botões do Assistente do Databricks e Baixar PNG se ficavam sobrepostos aos visuais do gráfico.

• Alternar visualizações entre mapas de calor e outros tipos de gráfico agora preserva melhor os campos relevantes.

• Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.

21 de março de 2024

• A linhagem de modelo do Catálogo do Unity agora está em Visualização Pública.

A exibição de tabela no Gerenciador de Catálogos agora tem uma guia de visão geral para descrever os metadados primários.

• Os SQL warehouses para notebooks, agora em disponibilidade geral, permitem que você aproveite a computação totalmente gerenciada, instantânea e escalonável para suas cargas de trabalho SQL no ambiente de criação avançado e colaborativo de um notebook. Confira Usar um notebook com um SQL warehouse.

As seguintes correções e melhorias se aplicam aos painéis do Lakeview:

• O suporte expandido à API para Lakeview adiciona a capacidade de criar, obter e atualizar painéis, além de jogá-los no lixo. Confira Lakeview na referência da API REST.
• Foi adicionado um botão de atualização para o navegador de Catálogos na guia Dados.
• Agora, os painéis do Lakeview são exibidos antes de Painéis no menu Novo na barra lateral do workspace. Na página de listagem do painel, a guia Painéis do Lakeview é exibida à esquerda da guia Painéis.
• A experiência do Assistente do Databricks para Lakeview foi atualizada com uma caixa de entrada e sugestões para melhorar a capacidade de descoberta e ajudar os usuários a entender as solicitações que eles podem criar.
• As visualizações do Lakeview agora dão suporte a agregações medianas.
• Foi atualizado o seletor de cores no editor de visualização do painel do Lakeview para uma experiência de usuário mais simplificada ao criar tabelas.
• Migração de gráfico de pizza aprimorada para dar suporte exclusivamente a cenários com definições de ângulo ou cor.
• Correção de um bug impedindo o agrupamento por gráficos nomeados contagem. Os gráficos agora podem ser agrupados por campos nomeados contagem.
• Para gráficos de barras, os controles de layout de grupo e de pilha agora permanecem ocultos quando não se aplicam à configuração selecionada pelo usuário.

14 de março de 2024

Para painéis do Lakeview:

• Os histogramas agora dão suporte para cores categóricas personalizadas.

  • Os mapas de calor agora dão suporte para escalas quantitativas.
  • Os títulos e as descrições são mantidos ao alternar entre os tipos de visualização, incluindo gráficos Combinados.
  • Agora é possível abrir o conjunto de dados subjacente associado a um widget de rascunho de painel clicando com o botão direito do mouse sobre ele. O conjunto de dados está aberto na guia Dados.

• Os novos gráficos agora aplicam aliases e cores personalizadas para valores nulos em colunas numéricas.

• Os novos gráficos agora renderizam marcas de escala para mostrar a parte superior do eixo y.

7 de março de 2024

• Ao exibir uma tabela no Gerenciador de Catálogos, o botão Criar inclui uma opção para criar um painel do Lakeview em vez de um painel do Databricks SQL.

• Os histogramas agora estão disponíveis para painéis do Lakeview. Os histogramas são comumente usados para visualizar a distribuição de um campo numérico.

• Ao clonar um painel do Databricks SQL para criar um painel do Lakeview, os problemas de conversão do conjunto de dados agora são mostrados como erros no novo widget no painel do Lakeview.

• Os gradientes de cor estão disponíveis quando um campo numérico é usado para visualização no painel do Lakeview.

• Os gradientes de cor agora são expostos no editor de visualização do painel do Lakeview quando uma opção Colorir por campo é especificada.

• O título e a descrição associados a uma visualização não serão mais editáveis se o visualizador não tiver privilégios de edição em um painel de rascunho do Lakeview.

• Correção de um problema em que dicas de ferramentas em gráficos com mais de 100 séries mostravam incorretamente todas as séries. Agora, apenas a série focada é mostrada.

• Redução da latência de digitação no editor do SQL em 30% por meio de otimizações de desempenho.

• Ao gerenciar consultas no editor do SQL, mover uma consulta para lixeira fecha automaticamente a guia.

• Correção de um problema no editor do SQL no qual o texto era selecionado acidentalmente ao ajustar a largura do painel lateral.

quinta-feira, 29 de fevereiro de 2024

• O navegador de esquema no Catalog Explorer agora exibe restrições de chave primária e estrangeira de coluna.

• O tempo de retenção mostrado na guia Linhagem no Catalog Explorer foi aumentado para um ano.

• As dicas de ferramentas em novos gráficos em notebooks agora são sempre renderizadas dentro do limite de visualização.

• Aprenda como gerenciar programaticamente os painéis do Lakeview usando a API REST. Consulte Gerenciar dashboards com APIs do Workspace.

• Os painéis do Lakeview agora oferecem suporte a histogramas.

• Compartilhamento e publicação aprimorados nos painéis do Lakeview:

  • Diálogos de compartilhamento e publicação aprimorados, permitindo compartilhamento fácil e seguro com qualquer usuário da conta.
  • Os painéis abertos no navegador do espaço de trabalho mostram o painel publicado, se existir. Os espectadores agora também podem ver detalhes da última versão publicada, incluindo editor, horário e credenciais.
  • Para editores, um novo seletor suspenso na IU do Lakeview Dashboard permite que você alterne rapidamente entre versões de rascunho e publicadas.

22 de fevereiro de 2024

• Os aprimoramentos na guia Dados de Amostra no modo de exibição de tabela do Gerenciador de Catálogos permitem classificar colunas, Copiar dados selecionados para a área de transferência e exibir números de linha. Agora ele pode exibir melhor os valores especiais, como objetos JSON, datas, valores numéricos e nulos.

• Os painéis do Lakeview agora dão suporte ao envio periódico de instantâneos em PDF do painel para usuários do espaço de trabalho e destinos de notificação. Consulte Agendamentos e assinaturas.

• A lista de opções de visualização no seletor suspenso do Lakeview agora está classificada em ordem alfabética.

• Ao copiar painéis SQL do Databricks para painéis do Lakeview, os widgets que não podem ser convertidos agora mostram o seletor de configuração de visualização em vez de uma mensagem de erro.

15 de fevereiro de 2024

• A documentação para filtros de consulta baseados em código, como SELECT action AS 'action::filter', foi removida. Databricks recomenda atualizar consultas para remover esse padrão.

• Para painéis do Lakeview, os gráficos de pizza agora exibem fatias de tamanhos iguais quando nenhum campo de ângulo é especificado.

• Lakeview agora oferece suporte a gráficos combinados, que combinam gráficos de barras e linhas para mostrar dois valores diferentes no mesmo gráfico.

• Os gráficos de mapa de calor, que usam a intensidade da cor para mostrar a magnitude da correlação entre duas variáveis discretas, agora estão disponíveis no Lakeview.

08 de fevereiro de 2024

• Agora você pode solicitar acesso ao abrir um link para um painel do Lakeview para o qual você não tem permissão.
• Os filtros do painel Lakeview agora têm opções explícitas Todos e Nenhum. Os autores podem optar por ocultar a opção Todos em filtros de seleção única.
• Agora você pode definir valores mínimos e máximos para eixos nos gráficos do painel Lakeview.

1º de fevereiro de 2024

Databricks SQL versão 2024.10 disponível

Cronograma de Distribuição

• Lançamento de visualização para 2024.10: entre 30 de janeiro de 2024 e 5 de fevereiro de 2024
• Implementação atual para 2024.10: entre 13 de fevereiro de 2023 e 20 de fevereiro de 2024

Alterações em 2024.10

• Corrigida manipulação de arquivos corrompidos em comandos DML: Os comandos DML DELETE, UPDATE, e MERGE INTO não respeitam mais as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falharão mesmo se essas opções forem especificadas.
• A simultaneidade em nível de linha está geralmente disponível e ativada por padrão: A simultaneidade em nível de linha reduz conflitos entre operações de gravação simultâneas, detectando alterações em nível de linha. A simultaneidade em nível de linha só tem suporte para tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha está habilitada por padrão nas tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com simultaneidade em nível de linha.
• Clone superficial para tabelas externas do Catálogo Unity (Visualização pública): Agora você pode usar clone superficial com tabelas externas do Catálogo Unity. Confira Clone superficial para tabelas do Catálogo do Unity.
• Coleta de estatísticas multithread mais rápida: A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters durante a execução CONVERT TO DELTA ou clonagem de tabelas Iceberg e Parquet. Veja Converter para Delta Lake e Clone incrementalmente tabelas Parquet e Iceberg para Delta Lake.
• Filtros de pushdown no DeltaSource em arquivos Delta: Para melhor utilização, os filtros de partição nas consultas de streaming de tabelas Delta agora são enviados para Delta antes da limitação de taxa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

• A guia Visualização Admin nas páginas de listagem de objetos SQL do Databricks (consultas, painéis e alertas) foi removida. Os usuários administradores do Workspace podem visualizar todos os objetos em suas respectivas páginas de listagem. Confira Acessar e gerenciar consultas salvas, painéis herdados e O que são alertas do Databricks SQL?.

• A página do histórico de consultas exibe consultas das últimas 24 horas por padrão. Consulte Histórico de consultas.

• Uma opção de menu, Clone to Lakeview dashboard, foi adicionada à UI do painel SQL do Databricks. Você pode usar essa ferramenta para criar um novo painel Lakeview que inclua as mesmas consultas e visualizações em seus painéis SQL do Databricks existentes. Consulte Clonar um painel herdado para um painel de IA/BI.

• Os gráficos de barras nos painéis do Lakeview suportam o empilhamento de barras para normalizar para 100%.

• Corrigido um problema em que aumentar o zoom em um painel publicado do Lakeview resultava no foco em intervalos de zoom incorretos.

24 de janeiro de 2024

• A tela do painel do Lakeview ajusta automaticamente o posicionamento do widget para remover o espaço em branco vertical vazio entre as linhas quando possível.
• Espaço em branco reduzido entre o título e o texto de descrição nas visualizações do painel do Lakeview.

18 de janeiro de 2024

• Corrigido um problema de renderização para visualizações em que gráficos de barras mostrando uma única data no eixo x resultaram em uma barra muito fina. Novas visualizações de gráfico são renderizadas conforme o esperado.

• A página de listagem do painel do Lakeview mostra seus painéis por padrão. Você pode usar filtros nessa página para acessar painéis do Lakeview de propriedade de outros usuários do workspace.

11 de janeiro de 2024

• As APIs de Painel e Consultas SQL do Databricks dão suporte à alteração da configuração de função Run as programaticamente.

• O Lakeview dá suporte à exportação e importação de painéis como arquivos para facilitar a reprodução de painéis de rascunho entre workspaces. Confira Exportar, importar ou substituir um painel

4 de janeiro de 2024

• Introduziu diagramas de relação de entidade de chave primária e chave estrangeira no Gerenciador de Catálogos. Confira Exibir o diagrama de relacionamento de entidades.

21 de dezembro de 2023

• O tipo de visualização do Contador do Lakeview mostra cores ao comparar os valores BigInt nos campos Valor e Destino principais.

• As dicas de ferramenta que aparecem ao alternar a visibilidade da coluna em tabelas do Lakeview foram aprimoradas. Elas se comportam conforme o esperado e não persistem.

• Agora, os usuários podem usar o Assistente do Databricks para criar visualizações no Lakeview. Confira Criar visualizações com o Assistente do Databricks.

• Para novos gráficos, os gráficos do tipo mapa de calor respeitam a configuração reverseY.

• Corrigido um problema de desempenho de renderização para notebooks com um grande número de visualizações.

14 de dezembro de 2023

• Correção de um bug em que os painéis do Lakeview não apareciam na página de listagem do Lakeview sem uma atualização manual da página.
• Use a tecla Escape para cancelar a criação de um widget do Lakeview ao colocá-la na tela.
• O Gerenciador de Catálogos agora exibe índices de Busca em Vetores na interface do usuário como parte da visualização pública da Busca em Vetores do Mosaic AI.

7 de dezembro de 2023

Atualizações da interface do usuário

• Os painéis do Lakeview podem ser adicionados aos favoritos para acesso rápido.

• Há suporte para copiar e colar atalhos de teclado durante a elaboração de um painel do Lakeview. Além disso, a chave de exclusão remove widgets selecionados.

• Títulos e descrições avançados do widget lakeview para impedir o recorte de texto durante a carga.

• Problema de formatação de visualização corrigido em que valores inteiros grandes foram exibidos erroneamente como floats.

• Correção de um problema com painéis SQL do Databricks em que exibições expandidas do gráfico às vezes mostravam gráficos em branco.

• Gráficos de barras com campos quantitativos em eixos X e Y renderizam rótulos de dados mais legíveis.

• Correção de um problema no Editor de SQL para que as tabelas com a palavra stream no título não entrem mais em conflito com a palavra-chave reservada. Essas tabelas agora aparecem conforme o esperado no navegador esquema e não são realçadas por erro.

• A página de histórico de consultas agora dá suporte a redimensionamento de coluna e seleções de coluna.

• A página de histórico de consultas dá suporte a duas novas colunas: origem da consulta e o tipo de origem de consulta.

• As opções de BI, como o Tableau e o Power BI, são mais fáceis de encontrar no Gerenciador de Catálogos em páginas qualificadas.

30 de novembro de 2023

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

• Os gráficos de pizza no Lakeview agora podem ter atribuições de cores personalizadas.

• As transformações de visualização no Lakeview agora são mantidas ao se alternar entre tipos de campo compatíveis.

• Adicionadas configurações de título para canais de ângulo do gráfico de pizza no Lakeview.

• A lista suspensa do conjunto de dados do Lakeview agora é pesquisável para facilitar a navegação.

• O Lakeview dá suporte à exibição numérica completa para valores inferiores a 10.000, eliminando abreviações.

• Adicionada a capacidade de codificar por cores os campos de data categóricos no Lakeview.

• Agora, os usuários do Lakeview podem realçar as legendas dos gráficos com o cursor para copiar e colar os valores.

• Os gráficos de pizza no Lakeview agora apresentam uma opção de alternância de rótulo.

• Padronizada uma cor azul em todas as visualizações do Lakeview.

• Os ícones de coluna do Lakeview nas transformações agora correspondem consistentemente ao método de transformação usado.

• Os controles no painel de edição do Lakeview agora se ajustam automaticamente para melhorar a legibilidade.

• Lançado um editor de cores aprimorado para as visualizações do Lakeview.

• O controle das condições de fonte da tabela no Lakeview agora se ajustam para melhorar a legibilidade.

• Compatibilidade aprimorada do modo escuro para rótulos nos novos gráficos.

• Os novos gráficos agora priorizam consistentemente a exibição de rótulo dentro das barras.

• Correção de um bug em que algumas ações do menu com o botão direito do mouse não estavam funcionando no Editor de SQL.

16 de novembro de 2023

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões de computação do SQL Warehouse descritas acima.

• As consultas, os alertas e os painéis do Databricks SQL têm um novo agendador e uma interface de agendamento.

• Agora ficou mais fácil redimensionar widgets do Lakeview devido a uma zona de gatilho de redimensionamento maior.

• Os administradores do workspace agora podem alterar o proprietário de um painel do Lakeview. No modo de edição em um painel do Lakeview:

  • Clique em Compartilhar
  • Clique em
  • Clique em Atribuir novo proprietário

• Os usuários podem ativar ou desativar rótulos no Lakeview.

Visualizações:

• Os novos rótulos de gráfico agora preferem estar dentro de uma barra sempre que possível.
• Os novos rótulos de gráfico agora aparecem corretamente em barras empilhadas que são largas o suficiente para mostrar todo o rótulo.
• As cores do rótulo dentro dos gráficos de barras agora são mais consistentes.

9 de novembro de 2023

Alterações na versão 2023.50:

Destaques:

• Agora você pode usar a Invocação de parâmetro nomeado em UDFs SQL e Python.

Atualizações de linguagem SQL: as seguintes funções internas foram adicionadas:

• from_xml: analisa uma STRING XML em um STRUCT.
• schema_of_xml: deriva um esquema de uma STRING XML.
• session_user: retorna o usuário conectado.
• try_reflect: retorna NULL em vez da exceção se um método Java falhar.

As seguintes funções internas foram aprimoradas:

• Invocação de função. Os argumentos de tabela para funções dão suporte a particionamento e ordenação: agora você pode usar cláusulas PARTITION BY e ORDER BY para controlar como os argumentos de tabela são transmitidos a uma função.
• mode: suporte a um parâmetro opcional que força um resultado determinístico.
• to_char: novo suporte a DATE, TIMESTAMP e BINARY.
• to_varchar: novo suporte a DATE, TIMESTAMP e BINARY.
• array_insert() é baseada em 1 para índices negativos: a função array_insert é baseada em 1 tanto para índices positivos quanto negativos. Agora ela insere um novo elemento no final das matrizes de entrada para o índice -1.

Atualizações da interface do usuário

Os recursos listados nesta seção independem das versões de computação do SQL warehouse descritas acima.

Visualizações:

• As dicas de ferramentas de novos gráficos mostram apenas itens focalizados para viabilizar gráficos de alta cardinalidade.
• Novos gráficos alinham automaticamente gráficos de eixo duplo em zero.
• Os gráficos alteraram o rótulo girado e a direção do ângulo do texto do eixo de -90 para 90 graus.
• Os gráficos agora usam a largura do rótulo para decidir a rotação.

Painéis do Lakeview:

• Correção: as linhas de tabela nos painéis do Lakeview não adicionam mais preenchimento vertical quando apenas um pequeno número de linhas é retornado.
• A clonagem de um novo widget de painel do Lakeview primeiro tenta colocar o clone à direita do original, desde que haja espaço suficiente na tela. Se não houver espaço suficiente, o clone será colocado abaixo do original.
• Agora você pode reatribuir o proprietário de um painel do Lakeview por meio do diálogo Compartilhar.

Editor do SQL: o Preenchimento automático agora é menos agressivo e é ignorado automaticamente no final das instruções

2 de novembro de 2023

Aprimoramentos:

Veja a seguir as melhorias na linhagem do painel do Lakeview:

• Foram adicionados ícones distintos para tabelas, exibições e exibições materializadas.
• Adicionado suporte para rolagem vertical no caso de muitas fontes de dados upstream.
• Mensagem de erro aprimorada quando o visualizador não tem permissões no objeto upstream.
• Mensagens esclarecidas em torno de tabelas de dados de exemplo e dados HMS.
• Marcas de valor de chave adicionadas a fontes de dados upstream.

Correção:

• Correção de um problema em novos gráficos que impedia a renderização após renomear uma série com valores boolianos.

26 de outubro de 2023

Alterações no Databricks SQL versão 2023.45

Destaques:

• A E/S preditiva para atualizações agora está em disponibilidade geral. Consulte O que é E/S preditiva?
• Os vetores de exclusão agora estão em disponibilidade geral. Consulte O que são vetores de exclusão?

Otimizações de consultas:

• Removida a junção externa se todas forem funções de agregação distintas. SPARK-42583
• Otimizada a ordem dos predicados de filtragem. SPARK-40045

Atualizações de funções SQL:

• Adicionado suporte para resolução implícita do alias da coluna lateral em Aggregate. SPARK-41631
• Suporte para alias de coluna lateral implícito em consultas com Windows. SPARK-42217
• Suporte para Datasketches HLLSketch. Consulte a função de agregação hll_sketch_agg.
• Adicionada a função try_aes_decrypt(). Consulte a função try_aes_decrypt.
• Suporte para o modo CBC para aes_encrypt() e aes_decrypt(). Consulte função aes_decrypt.
• Adicionar atribuições de aliases de funções 3-args DATE_ADD e DATE_DIFF.
• Adicionado suporte para IVs aes_encrypt e AAD. SPARK-43290
• Implementação de funções de bitmap. SPARK-44154
• Adicionado o alias to_varchar para to_char. Consulte a funçãoto_varchar.
• Adicionado o suporte a array_compact. Consulte a função array_compact.
• Suporte para UDF luhn_check. Consulte a função luhn_check.
• Adicionado suporte ao analisador de argumentos nomeados para funções internas. SPARK-44059
• Suporte para a regra do analisador de argumentos TABLE para TableValuedFunction. SPARK-44200
• array_insert agora falhou com índice 0. SPARK-43011
• Adicionados os valores NULL para INSERT com listas especificadas pelo usuário com menos colunas ao invés da tabela de destino. SPARK-42521
• A função DECODE retorna resultados incorretos quando recebe NULO. SPARK-41668

Atualizações da interface do usuário

Aprimoramentos:

• O editor de SQL do Lakeview agora dá suporte a atalhos de teclado para executar consultas.

• Os filtros em Lakeview agora listam seleções de intervalo de datas relativas rápidas para os últimos 7, 14, 28, 30, 60 e 90 dias.

• Pontos em nomes de campo de dados não resultam mais em gráficos em branco.

• O navegador de esquema herdado agora funciona com o Catálogo do Unity.

• Melhorias de desempenho implementadas para carregar apenas a guia ativa no Editor de SQL, diminuindo o tempo de carga inicial em até 20%.

• Os comentários de tabela gerados por IA no Gerenciador de Catálogos agora estão em disponibilidade geral.

Correções:

• Barras em gráficos de barras temporais agora estão centralizadas sobre a marca de escala de data.
• Os modelos de rótulo de dados com expressões de agregação agora usam os formatadores numéricos adequados.
• A ampliação em novos gráficos agora funciona com um conjunto de dimensionamento categórico usando dados temporais.

Novo artigo:

• Lançado um novo artigo mostrando todas as visualizações do Lakeview, incluindo capturas de tela e anotações mostrando como recriar cada uma das visualizações em cada captura de tela. Confira Tipos de visualização do painel.

19 de outubro de 2023

Aprimoramentos:

• O recurso arrastar e soltar no navegador do esquema agora está disponível.

• O modal Selecionar Tabela nos painéis do Lakeview facilita a seleção de todas as tabelas em um catálogo ou esquema e agora usa previsões de pesquisa de preenchimento automático conforme você digita.

Correções:

• As instruções de dica de ferramenta de seleção de legenda especificam que os usuários de Mac usem cmd e os usuários do Windows usem ctrl.

• Visibilidade aprimorada de mensagens truncadas nos painéis do Lakeview quando os dados renderizados excedem os limites.

• Gráficos com dados truncados exibem cores consistentes, como visto no editor.

12 de outubro de 2023

Aprimoramentos:

• Os valores de filtro de texto que contêm caracteres especiais agora são filtrados corretamente nos painéis do Lakeview.

• Novos gráficos dão suporte a rótulos de dados @@name em gráficos de dispersão.

• Formatos de porcentagem personalizados se aplicam a dicas de ferramentas de gráfico agrupados em novos gráficos.

• A interface do usuário da extensão de associação do workspace está em disponibilidade geral.

Correções:

• Renderização de rótulo aprimorada em novos gráficos para impedir que os rótulos sejam despejados fora dos limites do gráfico.
• Foi aumentado o contraste das linhas de escala e linhas de grade em novos gráficos para melhorar a visibilidade.
• Foi aumentado o espaçamento do rótulo do eixo para melhorar a legibilidade em novos gráficos.

5 de outubro de 2023

Aprimoramentos:

• Dicas de ferramentas precisas foram adicionadas para ações de modo de publicação e linhagem de data nos painéis do Lakeview.

• A formatação condicional e os modelos de link nas visualizações de tabela do Lakeview agora oferecem suporte a colunas ocultas.

• Posicionamento otimizado de rótulos para gráficos temporais de barras largas para melhorar a clareza em novos gráficos.

• A visualização do contador no Lakeview mantém suas transformações mesmo depois que outros campos são removidos, garantindo consistência.

• Passar o mouse sobre uma série em um gráfico agora escurece a série circundante na dica de ferramenta para melhorar a legibilidade em novos gráficos.

• Novos gráficos usando valores percentuais agora exibem dicas de ferramentas com valores absolutos.

• Adicionado suporte de preenchimento automático para a criação de volumes.

• Fechar uma guia não ativa não alterna mais as guias.

• A execução selecionada indica claramente ao realçar o texto.

Correções:

• Texto de mensagem de erro aprimorado em Tabelas Dinâmicas quando os dados são truncados.

• Corrigido um erro de renderização em Tabelas Dinâmicas em que as cores não eram exibidas ao usar tipos de dados do BigInt.

• Ao baixar PNGs em novos gráficos com vários itens de legenda, removido o símbolo de cor para entradas de legenda de estouro.

• As linhas em novos gráficos manterão uma espessura consistente mesmo no limite de visualização mais alto.

• No Lakeview, se nenhum conjunto de dados existir, o seletor de conjunto de dados no Canvas estará vazio.

• As Tabelas Dinâmicas Delta são detectadas corretamente pelo SQL Parser e não aparecerão como tabelas inválidas no Navegador de Esquema.

• Dicas de ferramentas foram adicionadas à barra lateral.

28 de setembro de 2023

Aprimoramentos:

• Os painéis publicados do Lakeview agora têm um botão para atualizar.

• Mensagens de erro aprimoradas para usuários que não têm acesso a um painel do Lakeview.

• A configuração de filtro nos painéis do Lakeview agora lista campos válidos na parte superior da lista de seleção.

• Baixar um gráfico como um PNG de um painel do Lakeview agora mantém o título e a descrição.

• O aprimoramento do histórico de tabelas delta no Gerenciador de Catálogos inclui a adição de filtros para o intervalo de datas, o usuário e o tipo de operação, bem como colunas classificáveis e links embutidos para Trabalhos e Notebooks associados.

• Suporte ao modo escuro adicionado em legendas, dicas de ferramentas e visualização de tabelas.

Correção:

• As seleções de filtro não são mais desmarcadas ao atualizar um painel do Lakeview.

21 de setembro de 2023

Aprimoramentos:

• O desempenho de renderização da Tabela Dinâmica foi aprimorado.
• Novo padrão DuBois para exibições tabulares de linhagem na interface do usuário.

14 de setembro de 2023

Aperfeiçoamento:

• Os nomes de arquivo agora são preservados ao baixar PNGs em novas visualizações de gráfico. Consulte Novas visualizações de gráfico no Databricks.

07 de setembro de 2023

A versão 2023.40 do Databricks SQL está disponível

Cronograma de distribuição

• Prévia da distribuição para 2023.40: entre 5 e 11 de setembro de 2023
• Distribuição atual para 2023.40: Entre 18 e 25 de setembro de 2023

Alterações em 2023.40:

• As marcas agora estão disponíveis com o Catálogo do Unity.
• O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento e a invocação da consulta.
• Suporte ao driver ODBC/JDBC do Azure Databricks.
• Habilitar rotulagem de coluna de série temporal.
• Novas funções SQL de bitmap.
• Funções de criptografia aprimoradas.
• Suporte ao Catálogo do Unity para REFRESH FOREIGN.
• INSERT BY NAME agora é compatível.
• Compartilhar exibições materializadas com o Compartilhamento Delta.

Atualizações da interface do usuário

Aprimoramentos:

• Novos gráficos agora estão disponíveis, apresentando desempenho de renderização mais rápido, cores bonitas e interatividade aprimorada. Consulte Novas visualizações de gráfico no Databricks.

• Na exibição de grafo do Perfil de Consulta, agora você pode exibir o tipo de junção em qualquer nó que contenha uma junção no plano de consulta.

• O Data Explorer foi renomeado para Catalog Explorer para reconhecer o fato de que você pode usá-lo para trabalhar com todos os objetos seguros no Catálogo do Unity, não apenas com objetos de dados. Confira O que é o Gerenciador de Catálogos?.

• A API de Execução da instrução SQL do Databricks agora é disponibilidade geral com o Databricks SQL versão 2023.35 e superiores. A API permite enviar instruções SQL para execução em um warehouse do Databricks SQL, verificar o status e buscar resultados ou cancelar uma execução de instrução SQL em execução. Consulte API de execução da instrução.

31 de agosto de 2023

Novo recurso:

• O Catálogo do Unity está em Versão Prévia Pública. Você pode usar marcas para simplificar a pesquisa e a descoberta dos seus ativos de dados. Consulte Aplicar marcas a objetos protegíveis do Catálogo do Unity.

24 de agosto de 2023

Aperfeiçoamento:

• O preenchimento automático para de sugerir recomendações depois de pressionar a barra de espaços.
• O Navegador de Esquema não vê mais live do Delta Live Tables como tabelas quebradas.

16 de agosto de 2023

Aperfeiçoamento:

• A lista suspensa Catálogo no editor SQL agora é fechada quando você alterna as guias. Anteriormente, quando você alternava as guias, a lista suspensa permanecia aberta.

10 de agosto de 2023

Aperfeiçoamento:

• O preenchimento automático já oferece suporte à nova sintaxe para definir as marcas do Catálogo Unity. Para obter mais informações sobre os comandos, consulte Referência da linguagem SQL.

3 de agosto de 2023

Aprimoramentos:

• O Editor de Mônaco subjacente agora usa a versão 37.1.
• Suporte de Preenchimento automático para comandos Delta SHOW ARCHIVED FILES FOR.

27 de julho de 2023

Aprimoramentos:

• O editor do SQL agora é compatível com caracteres de quebra de linha do Windows, garantindo que a formatação da consulta funcione conforme o esperado em todos os casos.
• Você pode abrir a navegação do perfil de consulta nos resultados do notebook. Para consultas, execute sua consulta com o SQL Warehouse.

20 de julho de 2023

A versão 2023.35 do Databricks SQL está disponível

Cronograma de distribuição

• Prévia da distribuição para 2023.35: entre 18 de julho de 2023 e 24 de julho de 2023
• Distribuição atual para 2023.35: entre 31 de julho de 2023 e 8 de agosto de 2023

Alterações em 2023.35:

• Confiabilidade aprimorada para VACUUM com clone superficial no Catálogo do Unity.
• Suporte para UDFs do Python no SQL.
• O Delta Lake UniForm para Iceberg está em Visualização Pública.
• O clustering líquido do Delta Lake está em Visualização Pública.
• Suporte para o arquivamento do Delta Lake.
• Suporte para a cláusula IDENTIFIER.
• Suporte ao Catálogo do Unity para Funções Definidas pelo Usuário (UDFs) Python e Pandas.

Aperfeiçoamento:

• A popularidade da tabela no Explorador do Catálogo está disponível para todos os usuários do Catálogo do Unity.

13 de julho de 2023

Aperfeiçoamento:

• Os usuários do Catálogo do Unity já podem visualizar insights adicionais sobre tabelas no Explorador do Catálogo, como tabelas frequentemente unidas, usuários frequentes de determinada tabela e notebooks e painéis usados com frequência.

22 de junho de 2023

Visualização pública:

• O Databricks SQL agora dá suporte a modelos de linguagem grandes (LLMs) hospedados em pontos de extremidade de serviço de modelo. Chame ai_query() para acessar seu LLM. Essa função só está disponível na visualização pública do Databricks SQL Pro e Sem servidor. Para participar da visualização pública, preencha e envie o formulário de inscrição na Visualização pública do AI Functions.

15 de junho de 2023

Novo recurso:

• Tarefas SQL em Trabalhos estão agora em disponibilidade geral. Você pode orquestrar consultas, painéis e alertas na página Trabalhos. Consulte Tarefa SQL para trabalhos.
• Um novo navegador de esquema agora está em Visualização Pública, apresentando uma experiência de usuário atualizada, uma guia Para Você e filtros aprimorados. O navegador de esquema está disponível no Databricks SQL, no Explorador do Catálogo e nos notebooks. Consulte Procurar dados.

8 de junho de 2023

DBSQL versão 2023.30 disponível

Alterações na versão 2023.30

• Novas funções internas do SQL, como array_prepend(array, elem), try_aes_decrypt(expr, key [, mode [, padding]]) e sql_keywords() .
• Agora você pode usar o clone superficial para criar novas tabelas gerenciadas do Catálogo do Unity a partir de tabelas gerenciadas existentes do Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.
• Agora você pode usar CLONE e CONVERT TO DELTA com tabelas Iceberg que têm partições definidas em colunas truncadas dos tipos int, long e string. Não há suporte para as colunas truncadas do tipo decimal.
• START VERSION está preterido para ALTER SHARE.

Atualizações da interface do usuário

Correção:

• A visualização do contador agora dá suporte à formatação ao usar Inteiros Grandes.

1º de junho de 2023

Aprimoramentos:

• Os dados binários agora serão renderizados como uma cadeia de caracteres hexadecimal ao usar o formato de Seta.

• Na API de Instrução SQL, o formato CSV agora tem suporte para a disposição EXTERNAL_LINKS. Isso permite que os clientes extraiam até 100 GiB de dados no formato CSV com URLs pré-assinadas, enquanto o limite INLINE para JSON é de 16 MiB.

• O Azure Databricks SQL Pro está disponível em todas as regiões da China. O SQL Pro agora é o warehouse padrão na interface do usuário. O padrão da API ainda é Clássico.

29 de maio de 2023

Novo recurso:

• Agora você pode usar a interface do usuário de adição de dados para carregar dados de um caminho de armazenamento de objetos de nuvem definido como um local externo do Catálogo do Unity. Para obter mais informações, confira Carregar dados usando um local externo do Catálogo do Unity.

25 de maio de 2023

Aprimoramentos:

• Você pode alternar o painel de resultados de preenchimento automático.
• Desabilite a tecla enter para que ela não aceite mais sugestões de preenchimento automático. Em Configurações do Usuário do DBSQL, clique em Configurações do Editor e em Configurações do Novo Editor. Desabilitar a tecla Enter aceita sugestões de preenchimento automático.

Correções:

• Os cabeçalhos das tabela classificadas têm cores.
• As linhas de gráfico são renderizadas corretamente.

18 de maio de 2023

Aperfeiçoamento:

• Na API de Instrução SQL, a disposição EXTERNAL_LINKS dá suporte ao formato JSON_ARRAY. Você pode extrair até 100 GiB de dados no formato JSON com URLs pré-assinadas. O limite INLINE para JSON é de 16 MiB.

11 de maio de 2023

Novo recurso:

• O navegador de esquema já está em disponibilidade geral no Explorador do Catálogo.

Aprimoramentos:

• A exibição do painel de detalhes da tabela em foco é menos sensível.
• A tecla Esc fecha o painel de preenchimento automático.
• As definições de exibição passaram a ter realce de sintaxe na guia de detalhes do Explorador do Catálogo.

Correções:

• As tabelas dinâmicas são renderizadas corretamente nos dispositivos Windows.
• As sugestões de preenchimento seguem corretamente a letra maiúscula ou minúscula da primeira palavra-chave.

4 de maio de 2023

Databricks SQL Versão 2023.26 Disponível

Cronograma de Distribuição

• Versão prévia da distribuição do 2023.26: entre 19 de abril de 2023 e 25 de abril de 2023
• Distribuição atual do 2023.26: entre 3 de maio de 2023 e 10 de maio de 2023

Alterações na versão 2023.26

• O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução.
• Novos recursos e suporte estendido para recursos de E/S Preditiva. Consulte Databricks Runtime 13.0 (EoS).
• Use o conector do Azure Databricks para se conectar a outro workspace do Azure Databricks.
• Recurso CREATE TABLE LIKE para tabelas Delta.
• Novos campos de coluna de metadados indicando o início e comprimento do bloco de arquivos.
• Novas funções geoespaciais H3. Confira Funções geoespaciais H3
• Novas funções internas do SQL. Consulte Databricks Runtime 13.0 (EoS).

Atualizações da interface do usuário

Aprimoramentos:

• Os administradores podem alterar os proprietários do warehouse usando a interface do usuário ou a API. Confira Gerenciar um SQL warehouse.
• O Explorador do Catálogo agora exibe as entidades de serviço de conta em listas de usuários para os ativos no Catálogo do Unity. Por exemplo, as entidades de serviço de conta ficam visíveis ao editar privilégios ou alterar proprietários no Explorador do Catálogo.
• Os rótulos de gráfico personalizados dão suporte à capacidade de referenciar qualquer coluna dentro do conjunto de dados.
• Os filtros de painel carregam os nomes das coluna, mesmo ao usar consultas que não têm informações de catálogo ou esquema.

27 de abril de 2023

Aprimoramentos:

• O editor SQL conta com o editor de Mônaco para uma experiência de edição mais confiável.
• A página de lista do Histórico SQL (Consultas) inclui o Dubois Design System.

20 de abril de 2023

Aprimoramentos:

• Apresenta novas tabelas dinâmicas que permitem agregar mais de 64 mil resultados.
• As tabelas e visualizações do Databricks SQL dão suporte a BigInt, Decimais de 38 bits e Caracteres não UTF-8. Para números, a configuração padrão é precisão de dígito definida pelo usuário.
• O Preenchimento automático sugere junções anteriores frequentes para tabelas do Unity Catalog, alimentadas por dados de linhagem do Unity Catalog no Databricks Runtime 12.0 e superior.

Novo recurso:

• Retorna o texto gerado por um LLM (modelo de linguagem grande) selecionado, considerando o prompt com ai_generate_text. Essa função só está disponível na versão prévia pública do Databricks SQL Pro e Sem servidor. Para participar da visualização pública, preencha e envie o formulário de inscrição na Visualização Pública do AI Functions.

13 de abril de 2023

Novo recurso:

• O tipo TIMESTAMP_NTZ representa valores que compõem os campos ano, mês, dia, hora, minuto e segundo. Todas as operações são executadas independentemente do fuso horário. Confira o tipo TIMESTAMP_NTZ.

Aprimoramentos:

• Os usuários podem enviar resultados formatados em alertas usando a tag QUERY_RESULT_TABLE em uma mensagem de alertas personalizada.
• Os usuários já podem visualizar o tamanho dos dados do arquivo para as tabelas do Catálogo do Unity no Explorador do Catálogo.

6 de abril de 2023

Databricks SQL Versão 2023.20 Disponível

Cronograma de Distribuição

• Lançamento da versão prévia do 2023.20: entre 15 de março de 2023 e 23 de março de 2023
• Distribuição atual do 2023.20: entre 27 de março de 2023 e 3 de abril de 2023

Alterações na versão 2023.20

• A evolução do esquema do Delta Lake dá suporte à especificação de colunas de origem em instruções de mesclagem.
• Remova todos os elementos NULL de uma matriz usando array_compact.
• Para acrescentar elementos a uma matriz, use array_append.
• Para anonimizar valores de cadeia de caracteres confidenciais, use a função mask.
• As condições de erro comuns retornam SQLSTATE.
• Invoque funções geradoras com valor de tabela na cláusula regular FROM de uma consulta.
• Use as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e struct. Confira Ler e gravar buffers de protocolo.
• Consistência aprimorada para o comportamento de confirmação Delta para transações vazias relacionadas a comandos update, delete e merge.
• Alteração de comportamento
  • O recurso de alias da coluna lateral apresenta alterações de comportamento durante a resolução de nomes. Confira Alterações de comportamento.

Atualizações da interface do usuário

Aprimoramentos:

• O Explorador do Catálogo já dá suporte à exclusão do metastore do Hive.
• A mensagem para o estado inicial do editor de visualização foi alterada de Colunas necessárias ausentes para Sem dados.

3 de abril de 2023

Novo recurso:

• A página Criar ou modificar uma tabela a partir do upload de um arquivo agora tem suporte para uploads de arquivos JSON. Para obter mais informações, confira Criar ou modificar uma tabela usando o upload de arquivos .

30 de março de 2023

Aprimoramentos:

• Na página de monitoramento do warehouse, você pode exibir o histórico de consultas para o intervalo de tempo selecionado junto com seus gráficos de dimensionamento. Você também pode visualizar as consultas que estão em execução e enfileiradas no momento, sessões SQL ativas, o status do warehouse e a contagem de clusters atual. Confira Monitorar um SQL warehouse.
• A clustering do mapa está desativada por padrão em Mapas de marcadores.
• Dicas de ferramenta para truncamento de visualização e limites de renderização foram adicionadas.

Correções:

• Os gráficos respeitam a ordem original quando a classificação está desabilitada para os valores dos eixos e o gráfico possui o agrupamento por coluna.

23 de março de 2023

Aprimoramentos:

• As visualizações dão suporte à compartimentalização de tempo por semana.
• Agora, Total calcula todos os dados além das células 100 X 100 até 64 mil resultados em tabelas dinâmicas de notebooks.
• Os usuários também podem formatar valores de célula na nova tabela dinâmica de notebooks.
• A linhagem de arquivo, consulta e armazenamento de recursos está disponível.

16 de março de 2023

Aperfeiçoamento:

• Adiciona suporte para a sintaxe GROUP BY ALL.

9 de março de 2023

Novo recurso:

• A API de Execução de Instrução do Databricks SQL está disponível na Versão Prévia Pública. A Execução de Instrução fornece pontos de extremidade que estão executando instruções SQL em um warehouse do Databricks SQL. O recurso também pode verificar o status, buscar resultados e cancelar uma instrução SQL em execução.

Aperfeiçoamento:

• O console de administração do SQL foi combinado com as configurações gerais de administrador para criar uma experiência unificada para os usuários administradores. Todas as configurações de administrador do SQL serão acessadas no console de administração.
• Os destinos de alerta agora são chamados de destinos de notificação.

Correções:

• As tabelas não exibem mais duas barras de rolagem.
• Os títulos de widgets em branco não são mais substituídos nos painéis.

02 de março de 2023

Correção:

• Agora é possível usar URLs relativas nas tabelas para que possa acessar painéis.

23 de fevereiro de 2023

Aperfeiçoamento:

• Há suporte para TINYINT nas tabelas de resultados em notebooks.

Correção:

• Correção de um bug em que a rolagem no modal de filtro do painel de criação resultava em um erro.

16 de fevereiro de 2023

Aprimoramentos:

• Os rótulos de dados em gráficos mostram mais caracteres para evitar descrições truncadas.
• O Preenchimento automático reconhece range() e as funções create do Python UDF.
• O Preenchimento automático evita iniciar snippets em decimais e nos comentários do código.

Correções:

• Os usuários podem ampliar os mapas.
• Em notebooks, as cores são atribuídas corretamente aos gráficos.

2 de fevereiro de 2023

Aprimoramentos:

• Suporte para DESCRIBE DETAILS no editor.
• Velocidade de carregamento aprimorada do navegador de esquema.
• Agora você pode exibir uma lista de colunas possíveis no painel lateral de um SELECT *.

26 de janeiro de 2023

Aperfeiçoamento:

• Suas mensagens de erro da consulta agora incluem links para o tópico de documentação relacionado que descreve o erro.

19 de janeiro de 2023

Aprimoramentos:

• Agora você pode encontrar um painel Novidades que realça os principais aprimoramentos. Você pode abrir e fechar esse painel clicando no ícone de presente.
• Agora os administradores podem alterar a propriedade dos SQL warehouses.
• Agora você pode filtrar várias visualizações em um painel clicando em Adicionar>Filtro e selecionando a consulta e as colunas para filtragem.

12 de janeiro de 2023

Aprimoramentos:

• Os títulos do widget de visualização nos painéis agora são formatados como Nome da visualização – Nome da consulta por padrão.
• Adicionadas funções geoespaciais H3 à referência do painel embutido.
• Adicionadas referências embutidas para a sintaxe SQL, como CREATE TABLE e OVER.

Correções:

• A classificação e as alternâncias inversas agora estão disponíveis quando a escala do eixo X é definida como automática.
• Mapas de calor e tabelas dinâmicas agora são responsivos para determinados casos de borda.
• As marcas de escala categóricas do eixo Y agora são classificadas por padrão.
• Os rascunhos de consulta não são mais perdidos após uma atualização do navegador ser feita.

8 de dezembro de 2022

• Os alertas do Azure Databricks SQL agora dão suporte a alertas para agregações de colunas de resultados de consulta, como SUM, COUNT e AVG.
• O título de visualização padrão agora é 'VisualizationName - QueryName' ao criar novos widgets em painéis.

17 de novembro de 2022

Alertas:

• Chatworks, Mattermost e Google Hangouts Chat não são mais notificações de alerta.

Aperfeiçoamento:

• O eixo y agora exibe números como porcentagens ao verificar valores percentuais.
• A configuração do administrador de workspace para desabilitar a IU de dados de upload agora se aplica à nova IU de dados de upload. Essa configuração se aplica às personas Ciência de Dados e Engenharia, Databricks Mosaic AI e Databricks SQL.

Correções:

• Correção de um problema nos alertas do Databricks SQL em que a comparação com valores nulos era avaliada incorretamente.
• Correção de um problema em que as barras de rolagem nas tabelas dinâmicas desapareciam.
• Correção de um problema em que o navegador de esquema não podia ser redimensionado com guias estouradas.

10 de novembro de 2022

Aperfeiçoamento:

• Agora é possível criar um filtro de painel que funcione em diversas consultas ao mesmo tempo. No Modo de edição do painel, escolha Adicionar, Filtrar e Novo filtro de painel.
• O preenchimento automático agora dá suporte a CREATE MATERIALIZED VIEW.

Correção:

• Correção de um problema em que a rolagem até o final de um conjunto de resultados paginados do painel enviava um erro.
• Correção de um problema em que alternar de um gráfico de barras empilhadas para um gráfico de linhas mantinha a propriedade de empilhamento.
• Correção de chamadas de busca duplicadas.

3 de novembro de 2022

Aperfeiçoamento:

• Ao solicitar acesso no Databricks SQL, a permissão padrão agora é "pode ser executado".

Correções:

• Correção de um problema em que a classificação por created_at usando a API de Consultas e painéis não retornava a ordem de classificação correta.
• Correção de um problema em que as colunas contendo URLs com formatação HTML tinham larguras excessivas.
• Correção de um problema em que a palavra-chave WHERE não era realçada.

27 de outubro de 2022

Aprimoramentos:

• O limite de linhas para baixar os resultados da consulta no Excel foi aumentado de 64 mil linhas para 100 mil linhas. Os limites de download de CSV e TSV permanecem inalterados (cerca de 1 GB de dados).

• O preenchimento automático agora dá suporte à sintaxe LIST, a URLs e a credenciais.

• Painéis de sugestões "Corrija-me" consolidados e modernizados.

• Um novo tipo de warehouse, o Databricks SQL Pro, foi introduzido para o Databricks SQL. Esse tipo de warehouse permite que um Databricks SQL Warehouse use a integração do Trabalhos, a federação de consultas, os recursos geoespaciais e a E/S preditiva.

Correções:

• Correção de um problema em que o banner de aviso no editor se sobrepunha às visualizações de altura total.
• Correção de um problema em que a largura da coluna da tabela não era preservada quando as colunas da tabela eram movidas.
• Correção de um problema em que o link para o painel em notificações pop-up era invalidado se uma visualização fosse adicionada do editor SQL.

20 de outubro de 2022

Aprimoramentos:

• Agora é possível encontrar a barra de progresso da consulta no rodapé e editar uma ação de visualização no menu kebab.
• O preenchimento automático agora dá suporte à viagem no tempo do Delta e fornece preenchimento automático de coluna ao definir uma chave estrangeira.

Correção:

• Correção de um problema em que adicionar diversas visualizações a um painel em sucessão rápida resultaria em visualizações que não apareceriam no painel.

13 de outubro de 2022

Aprimoramentos:

• Agora você pode remover as mensagens de erro relatadas.
• Agora há suporte para a instrução COMMENT ON no editor.
• Agora você pode usar Cmd+P ou Ctr+P (para PC) como um atalho para a Pesquisa superior. Use Cmd+I ou Ctr+I (para PC) para Adicionar parâmetros.

11 de outubro de 2022

Aprimoramentos:

• A IU de adição de dados fornece acesso a configurações de fontes de dados comuns e IUs de upload de arquivo. Consulte Carregar arquivos no Azure Databricks.
• Você pode carregar arquivos pequenos no Delta Lake usando uma interface do usuário. Confira Criar ou modificar uma tabela usando o upload de arquivo.

06 de outubro de 2022

Aprimoramentos:

• EXTERNAL é agora uma propriedade de tabela reservada. Os comandos CREATE TABLE ... TBLPROPERTIES e ALTER TABLE ... SET TBLPROPERTIES falham se EXTERNAL for especificado nas propriedades.
• O strfmt em format_string(strfmt, obj, ...) e printf(strfmt, obj, ...) não dá mais suporte ao uso de 0$ como o primeiro argumento. O primeiro argumento deve ser referenciado por 1$ ao usar um índice de argumento para indicar a posição do argumento na lista de argumentos.
• Os segmentos de gráfico de pizza agora têm uma borda fina para delinear segmentos diferentes.
• Agora você pode usar Cmd+I (para Mac) ou Ctr+I (para PC) como um atalho para Adicionar parâmetro. Use Cmd+P ou Ctr+P (para PC) como um atalho para Pesquisa global.
• Um botão de comentários está disponível para mensagens de erro de consulta corretas ou incorretas.
• As sugestões de Corrigir-me agora estão disponíveis como Correção rápida.

Correções:

• As funções lpad e rpad agora funcionam corretamente com as entradas de cadeia de caracteres BINARY. A saída de lpad e rpad para as entradas de cadeia de caracteres BINARY agora é uma cadeia de caracteres BINARY.
• Correção de um problema em que as atualizações de alerta manuais não estavam funcionando.
• Alterações revertidas no dimensionamento automático do contador para corrigir problemas de formatação.

29 de setembro de 2022

Aprimoramentos:

• Agora você pode solicitar acesso a consultas, alertas e dashboards do Databricks SQL dos proprietários desses ativos.
• Agora você pode filtrar pela duração da consulta e pelo tipo de instrução na página Histórico de consultas.
  • Para usar o filtro de duração da consulta, insira uma quantidade de tempo e escolha uma unidade de tempo. O resultado do histórico retorna as consultas executadas por mais tempo do que o tempo especificado.
  • Para usar o filtro de tipo de instrução, escolha um tipo de instrução na lista suspensa. O resultado do histórico retorna as consultas que contêm essa instrução.

Correção:

• Correção de um problema em que nem todas as marcas HTML com suporte estavam funcionando em modelos de alerta personalizados. Todas as marcas estão disponíveis, conforme documentado.
• Correção de um problema na Visualização das notificações do sistema. Por exemplo, clicar duas vezes para ampliar uma visualização não estava sendo exibido anteriormente.
• Correção de um problema em que a troca dos eixos em um gráfico não era refletida no nome do gráfico.

22 de setembro de 2022

Aprimoramentos:

• Os widgets de contador do mesmo tamanho terão o mesmo dimensionamento da fonte quando vários widgets de contador forem exibidos em um painel.
• Gráficos de combinação atualizados para que, ao usar o eixo duplo, apenas o mesmo tipo de gráfico (por exemplo, linha, barra) possa ser usado no mesmo eixo. Os aliases de série também são aplicados ao eixo.
• Adicionado suporte de preenchimento automático para chaves alternativas e operações LIST.

Correção:

• Corrigido o problema em que os parâmetros de texto não aceitavam Null como um valor válido.

15 de setembro de 2022

Correção:

• Corrigindo um problema em que a exibição do histórico de consultas da página de listagem de SQL warehouses não funcionava.

8 de setembro de 2022

Aperfeiçoamento:

• Apresentando o novo cartão 'Integrações de Software Livre' nas páginas iniciais do DSE/SQL que exibe opções de integração de código aberto, como Delta Live Tables e dbt core.

Correção:

• Corrigido um problema em que os menus suspensos de parâmetros eram bloqueados pela guia de visualização.

1º de setembro de 2022

Aprimoramentos:

• Apresentação a uma nova interface do usuário simplificada para adicionar parâmetros e filtros. Escolha e opte por adicionar um filtro ou um parâmetro.
• Os parênteses de tokens SQL, como ‘OVER()’ agora são compilados automaticamente.

Correções:

• Correção de um problema em que a exibição do dashboard em tela inteira ignorava a paleta de cores.
• Correção de um problema em que digitar rapidamente e usar o atalho Executar executava o texto da consulta anterior, em vez do texto da consulta recém-digitado.
• Correção do problema em que o uso do comando do teclado CTRL+ENTER para executar consultas enviava consultas duplicadas.

25 de agosto de 2022

Correção:

• Corrigido um problema onde os filtros de painel não eram atualizados quando os parâmetros de consulta eram alterados.

18 de agosto de 2022

• Para o Databricks SQL, o Catálogo do Unity (Visualização pública) está disponível no canal de versão prévia. Para obter mais informações, consulte O que é um Catálogo do Unity?.

• Documentação: a documentação da API de alertas foi liberada.

• Visualizações: agora os usuários podem definir valores padrão para filtros de data. Sempre que o filtro é atualizado em uma consulta ou painel, o valor padrão é aplicado.

• Correções:

  • Corrigido um problema em que a aplicação de alterações não funcionava se um painel ainda estivesse recarregando.
  • Corrigido um problema em que as colunas eram muito estreitas quando uma consulta não retornava resultados.

11 de agosto de 2022

Aprimoramentos:

• Os usuários podem receber emails quando suas atualizações falham. Para habilitar essas notificações, navegue até a guia Configurações SQL do console de administração. Em Emails de Falha, escolha o tipo de objeto (Consulta, Painel ou Alerta) para o qual deseja receber notificações de falha. Os relatórios de falha são enviados por hora.
• Visualizações
  • Apresentando uma nova paleta de cores moderna para visualizações e painéis. Para alterar um painel para a nova paleta de cores, vá para o painel, clique em -> -> e selecione a Paleta de Cores do Databricks. Os Administradores de SQL também podem definir a nova paleta de cores como a opção padrão para um workspace acessando -> -> -> e selecionando a nova paleta.

Correções:

• Correção de um problema em que a seleção prévia de para aplicar um filtro não funcionava se uma consulta já estivesse sendo executada.

4 de agosto de 2022

Aprimoramentos:

• Ao clonar um painel, agora há uma opção para saber se as consultas também devem ser clonadas.
• O conteúdo da guia é sincronizado entre as guias do navegador. O estado da consulta agora estará em sincronia em todas as guias do navegador. Isso significa que, se você estiver trabalhando na consulta1 na guia 1 do navegador e alternar para a guia 2 do navegador, verá a consulta1 no estado em que a deixou na guia original do navegador.

Correção:

• Rótulos para cadeias de caracteres vazias no gráfico de pizza agora refletem que a cadeia de caracteres está vazia em vez do índice do valor.

28 de julho de 2022

• Alertas
  • Modelos de email de alerta personalizado foram atualizados para não permitir determinadas marcas HTML que podem representar um risco à segurança. Marcas e atributos HTML não permitidos são automaticamente limpos. Por exemplo,
  • Os usuários podem inscrever outros usuários em alertas sem precisar criar um destino de notificação, o que requer permissões de administrador.
• Downloads: os usuários agora podem baixar até aproximadamente 1 GB de dados de resultados do SQL do Databricks no formato CSV e TSV, acima de 64.000 linhas anteriormente.
• Visualizações
  • Agora você pode editar visualizações diretamente no painel. No modo de edição, clique no menu de kebab e selecione Editar visualização para começar a editar a visualização.
  • Ao baixar resultados associados a uma visualização aproveitando agregações, os resultados baixados também são agregados. A opção para baixar é mover do kebab inferior para o kebab associado à guia. Os resultados baixados são da execução mais recente da consulta que criou a visualização.
• Editor SQL: as tabelas de resultados agora exibem uma mensagem quando os dados exibidos pela tabela no navegador são limitados a 64 mil linhas. O download de TSV e CSV ainda terá até aproximadamente 1 GB de dados.
• Filtros de consulta:
  • Os filtros de consulta foram atualizados para funcionar dinamicamente no lado do cliente ou do servidor para otimizar o desempenho. Filtros de consulta anteriores (agora herdados) operavam somente no lado do cliente. Os usuários ainda podem usar filtros herdados com a :: sintaxe, se desejar.
  • Os filtros atualizados são mais simples: os usuários clicam em um botão +Adicionar Filtro e selecionam uma coluna em uma lista suspensa. Anteriormente, os usuários tinham que modificar o texto da consulta diretamente.
  • Os valores relevantes são realçados para facilitar a visualização de quais seleções dentro de um filtro retornarão os resultados dadas outras seleções de filtro.
• Histórico de consultas: os detalhes da consulta no Histórico de Consultas agora mostram a Origem da Consulta, que é a origem da consulta executada.

21 de julho de 2022

• Notificações no compartilhamento: os usuários agora serão notificados por email sempre que um painel, consulta ou alerta for compartilhado com eles.
• Experiência aprimorada do editor do SQL por meio do novo kit de ferramentas do editor inserido
  • Realce de erro de sintaxe ao vivo (por exemplo, palavra-chave errada, tabela não existe e sugestões para corrigir o erro)
  • Na ajuda de contexto: ao pairar o cursor (por exemplo, nome da tabela completa, painel de funções detalhado) e mensagens de erro de execução embutidas (por exemplo, realçar linha com erro após a execução)
  • Classificação inteligente de sugestões (por exemplo, preenchimento automático do parâmetro, fórmula de classificação, correspondência menos barulhenta)

14 de julho de 2022

• Agora você pode carregar arquivos TSV usando a interface do usuário Create Table, além de arquivos CSV.
• O Databricks SQL agora fornece a opção de notificar os usuários por email sempre que um painel, uma consulta ou um alerta for compartilhado com eles.
• As tabelas de visualização agora incluem opcionalmente números de linha exibidos ao lado dos resultados.
• Quando você seleciona uma região geográfica para a visualização Coroplético, você obtém dicas embutidas para valores aceitos.

23 de junho de 2022

• Alteração do nome ponto de extremidade de SQL: o Databricks alterou o nome de ponto de extremidade de SQL para SQL warehouse porque ele é mais do que apenas um ponto de entrada de API para executar comandos SQL. Um SQL warehouse é um recurso de computação para todas as suas necessidades de armazenamento de dados, uma parte integrante da Plataforma Databricks. Recursos de computação são recursos de infraestrutura que fornecem recursos de processamento na nuvem.
• Para visualizações coropléticas, as seleções Coluna de chave e Campo de destino no editor de visualização foram renomeada para Coluna Geográfica e Tipo Geográfico. Essa renomeação permite melhor compreensão e não introduz alterações de comportamento em coropléticos novos ou existentes.
• A opção limite de 1000 consultas passou de uma caixa de seleção no editor de consultas SQL para uma caixa de seleção no botão executar.
• As consultas armazenadas em cache na tabela Histórico de Consultas agora estão marcadas com uma marca Cache.
• A atualização manual de um painel usa o warehouse do painel (se disponível) em vez do warehouse de cada consulta individual.
• A atualização de um alerta sempre usa o warehouse do alerta, independentemente da configuração Executar como Visualizador/Proprietário.

9 de junho de 2022

• Ao passar o mouse no seletor de ponto de extremidade, o nome completo do ponto de extremidade é exibido como uma dica de ferramenta.
• Ao filtrar o navegador de esquema do editor SQL, o termo de pesquisa agora é realçado nos resultados da pesquisa.
• A caixa de diálogo "Fechar tudo" no editor SQL agora exibe uma lista de consultas não salvas.
• Para reabrir a última guia fechada no editor SQL, use este novo atalho de teclado: <Cmd> + <Shift> + <Option> + T
• Agora você pode adicionar rótulos de dados a gráficos de combinação.
• A lista de operações de agregação de visualização agora inclui variação e desvio padrão.

26 de maio de 2022

Aprimoramentos de criação:

• Agora você pode ignorar as agregações ao criar visualizações. Isso é particularmente útil quando sua consulta já inclui uma agregação. Por exemplo, se a consulta for SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio, o editor de gráficos exigiu especificar explicitamente outra camada de agregação.
• Ao criar painéis, agora você tem a capacidade de:
  • Duplicar widgets de caixa de texto
  • Expandir o tamanho do painel editar caixa de texto
• A agregação padrão para a coluna de erro ao criar visualizações é o desvio padrão.

Correções:

• As ações de edição para visualizações só estão disponíveis quando o painel está no modo de edição. As ações de edição não estão mais disponíveis como uma ação de modo de exibição.
• Quando você cria uma consulta, ela é aberta em uma guia imediatamente à direita da guia em foco, não no final da lista.
• O modal de consulta aberta mostra qual consulta já está aberta e fornece a opção de alternar o foco para essa guia de consulta.
• Os gráficos Sankey e Sunburst não tratam mais 0 como nulo.

19 de maio de 2022

• Problema corrigido: quando você tem o foco do editor SQL aberto em uma aba de visualização específica e compartilha o link com outro usuário, o usuário tem o mesmo foco no editor SQL ao clicar no link compartilhado.
• Aprimoramentos:
  • Não há suporte para o Microsoft Teams como um destino de notificação.
  • Os parâmetros Intervalo de Datas, Data e Intervalo de Data e Hora (com segundos) agora dão suporte à opção de designar o dia inicial da semana, com Domingo como o padrão.

12 de maio de 2022

• As visualizações agora dão suporte à compartimentalização de tempo diretamente na interface do usuário. Agora você pode alternar facilmente entre compartimentos anuais, mensais, diários ou por hora dos dados ao alterar um valor suspenso em vez de adicionar e modificar uma função date_trunc() no próprio texto da consulta.
• Os painéis agora têm consistência de cor por padrão. Se a mesma série estiver em vários gráficos, ela sempre terá as mesmas cores em todos os gráficos, sem exigir nenhuma configuração manual.

3 de maio de 2022

• Ao compartilhar um dashboard com um usuário ou grupo, agora também fornecemos a capacidade de compartilhar todas as consultas upstream usadas por visualizações e parâmetros.
  • Quando você não tiver permissão para compartilhar uma ou mais consultas upstream, receberá uma mensagem de aviso informando que nem todas as consultas puderam ser compartilhadas.
  • As permissões concedidas ao compartilhar um dashboard não substituem, negam nem expandem as permissões existentes nas consultas upstream. Por exemplo, se um usuário ou grupo tiver permissões CAN RUN as Owner no painel compartilhado, mas tiver apenas permissões Run as Viewer em uma consulta upstream, as permissões efetivas nessa consulta upstream serão Run as Viewer.

27 de abril de 2022

• O layout do painel agora é retido ao exportar para PDF sob demanda e gerar emails de assinatura agendados.

17 de março de 2022

• Os gráficos incluem uma nova opção de visualização de combinação. Isso permite que você crie gráficos que incluem barras e linhas.

10 de março de 2022

• O Catálogo do Unity (versão prévia) permite que você gerencie a governança e o acesso aos seus dados no nível da conta. Você pode gerenciar metastores e permissões de dados centralmente e atribuir um metastore a vários workspaces em sua conta. Você pode gerenciar objetos e dados do Catálogo do Unity e interagir com eles usando o Explorador do Catálogo do Databricks SQL ou o editor de SQL e usar os dados do Catálogo do Unity em painéis e visualizações. Veja O que é o Catálogo do Unity?.

Observação

O Catálogo do Unity requer pontos de extremidade SQL para usar a versão 2022.11, que está no canal da versão prévia.

• O Compartilhamento Delta (versão prévia) permite que você compartilhe dados somente leitura com destinatários fora de sua organização. O Databricks SQL dá suporte à consulta de dados de Compartilhamento Delta e ao seu uso em visualizações e painéis.
• Sempre que um painel é atualizado manualmente ou em um agendamento, todas as consultas no painel e upstream, incluindo aquelas usadas por parâmetros, são atualizadas. Quando uma visualização individual é atualizada, todas as consultas upstream, incluindo aquelas usadas por parâmetros, são atualizadas.

3 de março de 2022

• A visualização de coorte foi atualizada para que as coortes fiquem interpoladas de valores mínimo e máximo em vez de 0 e 100. Agora é muito mais fácil distinguir coortes dentro do intervalo real de dados disponíveis. Anteriormente, se todos os números estavam próximos, usavam a mesma cor. Agora, os números que estão próximos têm maior probabilidade de usar cores diferentes porque a coorte é dividida do intervalo máximo para mínimo a fim de formar cada série.
• É mais fácil ver se um agendamento de assinatura do painel está ativo ou em pausa. Quando você clica em Assinar, se o agendamento de assinatura do painel estiver em pausa, a mensagem Essa agenda foi pausada será exibida. Quando um agendamento de assinatura do painel é pausado, você pode assinar ou cancelar a assinatura do painel, mas os instantâneos agendados não são enviados e as visualizações do painel não são atualizadas.
• Ao exibir o Histórico de Consultas, agora você pode classificar a lista por duração. Por padrão, as consultas são classificadas por hora de início.

24 de fevereiro de 2022

• No Explorador do Catálogo, você já pode visualizar as permissões que os usuários ou os grupos têm em uma tabela, uma exibição, um esquema ou um catálogo. Clique no objeto e, em seguida, clique em Permissões e use a nova caixa de filtro.

17 de fevereiro de 2022

• As visualizações se tornaram um pouco mais inteligentes! Quando uma consulta resulta em uma ou duas colunas, um tipo de visualização recomendado é selecionado automaticamente.
• Você pode criar a histogramas para visualizar a frequência com que cada valor ocorre em um conjunto de dados e entender se um conjunto de dados tem valores agrupados em torno de um pequeno número de intervalos ou estão mais distribuídos.
• No Histórico de Consultas e no Perfil de consulta, agora você pode expandir a cadeia de caracteres de consulta e a mensagem de erro de uma consulta com falha para largura inteira. Isso torna mais fácil a análise de planos de consulta e a solução de problemas de consultas com falha.
• Nas visualizações de barra, linha, área, pizza e mapa de calor, agora você pode executar a agregação diretamente na interface do usuário de configuração de visualização, sem a necessidade de modificar a consulta em si. Ao aproveitar esses novos recursos, a agregação é executada em todo o conjunto de dados, em vez de ser limitada às primeiras 64.000 linhas. Ao editar uma visualização criada antes desta versão, você verá uma mensagem que diz This visualization uses an old configuration. New visualizations support aggregating data directly within the editor. Se você deseja aproveitar os novos recursos, você deve recriar a visualização. Confira Habilitar a agregação em uma visualização.

10 de fevereiro de 2022

• Agora você pode definir uma paleta de cores personalizada para um painel. Todas as visualizações que aparecem nesse painel usarão a paleta especificada. A definição de uma paleta personalizada não afeta a maneira como uma visualização aparece em outros painéis ou no editor SQL.

  Você pode especificar valores hexadecimais para uma paleta ou importar cores de outra paleta, sejam eles fornecidos pelo Databricks ou criados por um administrador de espaço de trabalho.

  Quando uma paleta é aplicada a um painel, todas as visualizações exibidas nesse painel usarão a paleta de cores selecionada por padrão, mesmo se você configurar cores personalizadas ao criar a visualização. Para substituir esse comportamento, confira Personalizar cores para uma visualização.

• Os administradores de espaço de trabalho podem criar uma paleta de cores personalizada usando o console de administrador. Depois que a paleta de cores personalizada é criada, ela pode ser usada em painéis novos e existentes. Para usar uma paleta de cores personalizada para um painel ou personalizá-la, você pode editar as configurações do painel.

• Ao adicionar uma visualização que usa parâmetros em um painel do menu de do SQL, a visualização usará os parâmetros de nível de painel por padrão. Isso corresponde ao comportamento quando você adiciona um widget usando o botão Adicionar Visualização em um painel.

• Quando você exibe o histórico de consultas e filtra a lista por uma combinação de parâmetros, o número de consultas correspondentes agora é exibido.

• Nas visualizações, foi corrigido um problema no qual o intervalo do eixo Y não podia ser ajustado para valores específicos.

3 de fevereiro de 2022

• O editor SQL com guias agora está habilitado por padrão para todos os usuários. Para obter mais informações ou desabilitar o editor com guias, confira Editar várias consultas.

• Os assinantes de email do painel agora recebem uma imagem embutida mostrando o instantâneo do painel, em vez de um anexo. Um PDF do instantâneo é anexado ao email.

• Agora você pode balancear a confiabilidade e os custos configurando a política da instância spot para pontos de extremidade SQL. A política da instância spot determina se os trabalhadores usam apenas instâncias sob demanda ou uma combinação de instâncias sob demanda e spot. A opção Otimizado para custo (o padrão) usa mais instâncias spot e uma instância sob demanda. A Confiabilidade Otimizada usa somente instâncias sob demanda. Anteriormente, as instâncias sob demanda eram sempre usadas para pontos de extremidade SQL. Para manter esse comportamento, defina a política de instância spot como Otimizada para Confiabilidade. Confira Configurar a política de instâncias spot.

27 de janeiro de 2022

• Foram feitas melhorias em como você pode exibir, compartilhar e importar o perfil de uma consulta. Confira Perfil de consulta.

• A visualização de detalhes agora permite renomear colunas como a Visualização de tabela.

• Agora você pode fechar uma guia no editor SQL clicando com o botão médio do mouse.

• Os seguintes atalhos de teclado foram adicionados ao editor SQL com guias:

  • Feche todas as guias: Cmd + Option + Shift + A (macOS)/ Ctrl + Option + Shift + A (Windows)
  • Feche todas as guias: Cmd + Option + Shift + W (macOS)/ Ctrl + Option + Shift + W (Windows)

  Esses atalhos de teclado fornecem uma alternativa ao clique com o botão direito do mouse em uma guia para acessar as mesmas ações. Para ver todos os atalhos de teclado, clique no ícone de teclado no editor SQL com guias.

20 de janeiro de 2022

• A formatação padrão para tipos de dados inteiro e float em tabelas foi atualizada para não incluir vírgulas. Isso significa que, por padrão, os valores como 10002343 não terão mais vírgulas. Para formatar esses tipos para exibir com vírgulas, clique em Editar Visualização, expanda a área da coluna e modifique o formato para incluir uma vírgula.
• Para alinhar melhor com os limites de renderização do navegador, as visualizações agora exibem um máximo de 10.000 pontos de dados. Por exemplo, uma dispersão exibirá, no máximo, 10.000 pontos. Se o número de pontos de dados tiver sido limitado, um aviso será exibido.

13 de janeiro de 2022

• Corrigimos um problema em que o botão Salvar no editor SQL era, às vezes, desabilitado. O botão Salvar agora está sempre habilitado e inclui um asterisco (*) quando são detectadas alterações não salvas.

15 de dezembro de 2021

• O Databricks SQL está geralmente disponível. Isso marca uma grande etapa no fornecimento da primeira plataforma Lakehouse que unifica cargas de trabalho de dados, de IA e de BI em um único lugar. Com o GA, você pode esperar o nível mais alto de estabilidade, suporte e preparação para a empresa no Databricks para cargas de trabalho críticas. Leia o blog de comunicado do GA para saber mais.
• Os alertas agora são agendados independentemente das consultas. Ao criar um novo alerta e criar uma consulta, você também será solicitado a criar um agendamento para o alerta. Se você tinha um alerta existente, duplicamos o agendamento da consulta original. Essa alteração também permite que você defina alertas para as consultas Executar como Proprietário e Executar como Visualizador. As consultas Executar como Proprietário são executadas no agendamento de alerta designado com a credencial do proprietário da consulta. As consultas Executar como Visualizador são executadas no agendamento de alerta designado com a credencial do criador do alerta. Veja O que são alertas SQL do Databricks? e Agendar uma consulta.
• Agora você pode reordenar parâmetros no Editor SQL e nos painéis.
• A documentação para criar visualizações de mapa de calor foi expandida. Confira Opções de mapa de calor.

9 de dezembro de 2021

• Ao criar uma visualização de tabela, agora você pode definir a cor da fonte de uma coluna como um valor estático ou um intervalo de valores com base nos valores de campo da coluna. O valor literal é comparado ao limite. Por exemplo, para colorir resultados cujos valores excedam 500000, crie o limite > 500000, em vez de > 500,000. Confira Formatar condicionalmente cores de coluna.
• Os ícones no navegador de esquema do editor SQL com guias agora permitem que você faça a distinção entre tabelas e exibições.

1º de dezembro de 2021

• Agora você pode aplicar parâmetros de configuração SQL no nível do espaço de trabalho. Esses parâmetros se aplicam automaticamente a todos os pontos de extremidade novos e existentes do SQL no espaço de trabalho. Consulte Configurar parâmetros do SQL.

18 de novembro de 2021

• Ao exibir o histórico de uma consulta, agora você pode filtrar consultas na entidade de serviço que as executou. Confira Exibir histórico de consulta.

• Agora você pode abrir o editor SQL usando um atalho de barra lateral. Para abrir o editor SQL, clique em Editor SQL.

• Se você tiver permissão para criar clusters de Ciência de Dados e Engenharia, já será possível criar pontos de extremidade SQL clicando em Criar na barra lateral e em Ponto de extremidade SQL.

• Os administradores agora podem transferir a propriedade de uma consulta, painel ou alerta para um usuário diferente por meio da interface do usuário. Consulte:

  • Transferir a propriedade de uma tabela
  • Transferir a propriedade de um painel herdado
  • Transferir a propriedade de um alerta

4 de novembro de 2021

• Em uma Visualização de mapa (Choropleth), o número máximo de etapas de gradiente para cores na legenda foi aumentado de 11 para 20. O padrão é 5 etapas de gradiente, inclusive a Cor mínima e a Cor máxima.
• O Editor SQL com guias agora dá suporte ao gerenciamento de guias em massa. Se você clicar com o botão direito do mouse em uma guia, verá a opção para Fechar outros, Fechar à esquerda, Fechar à direitae Fechar tudo. Observe que, se você clicar com o botão direito do mouse na primeira ou na última guia, não verá as opções para Fechar à esquerda ou Fechar à direita.

28 de outubro de 2021

• Ao visualizar uma tabela no Explorador do Catálogo, você tem duas opções para simplificar a interação com a tabela:
  • Clique em Criar > Consulta para criar uma consulta que seleciona todas as colunas e retorna as primeiras 1.000 linhas.
  • Clique em Criar > Painel Rápido para abrir uma página de configuração, na qual você pode selecionar colunas de interesse e criar um painel e consultas de suporte que fornecem algumas informações básicas usando essas colunas e demonstram parâmetros no nível do painel e outros recursos.

19 de outubro de 2021

• Novos atalhos de teclado agora estão disponíveis no editor com guias:
  • Abrir nova guia:
    • Windows: Cmd+Alt+T
    • Mac: Cmd+Option+T
  • Fechar guia atual
    • Windows: Cmd+Alt+W
    • Mac: Cmd+Option+W
  • Abrir caixa de diálogo e consulta
    • Windows: Cmd+Alt+O
    • Mac: Cmd+Option+O

23 de setembro de 2021

• Agora você pode criar um novo painel clonando um painel existente, desde que tenha as permissões PODE EXECUTAR, PODE EDITAR e PODE GERENCIAR no painel e em todas as consultas upstream. Confira Clonar um painel herdado.
• Agora é possível usar a opção GROUP BY em uma visualização com várias colunas do eixo Y. Confira Gráfico de dispersão.
• Agora é possível usar a opção {{ @@yPercent}} para formatar rótulos de dados em um gráfico de barras empilhadas não normalizadas. Consulte Gráfico de barras.
• Caso use uma autenticação SAML e tenha uma credencial SAML que vai expirar em alguns minutos, você receberá uma solicitação de modo proativo para entrar novamente antes de executar uma consulta ou atualizar um painel. Isso ajuda a evitar uma interrupção devido a uma credencial que vai expirar durante a execução da consulta.

20 de setembro de 2021

• Agora você pode transferir a propriedade de painéis, consultas e alertas usando a API REST de Permissões. Confira ACLs de consulta.

16 de setembro de 2021

• Nos resultados da consulta, os resultados BIGINT agora são serializados como cadeias de caracteres quando maiores que 9007199254740991. Isso corrige um problema em que os resultados BIGINT podem ficar truncados nos resultados da consulta. Outros resultados inteiros ainda são serializados como números. A formatação de número em rótulos de eixo e dicas de ferramenta não se aplica a resultados BIGINT serializados como cadeias de caracteres. Para obter mais informações sobre tipos de dados no Databricks SQL, consulte Tipo BigINT.

7 de setembro de 2021

O Databricks estará lançando as mudanças a seguir ao longo de uma semana. Seu workspace pode não estar habilitado para essas alterações até 7 de setembro.

• O SQL do Databricks agora está em Versão Prévia Pública e habilitado para todos os usuários em novos workspaces.

  Observação

  Se o seu workspace tiver sido habilitado para o Databricks SQL durante a Visualização Pública, ou seja, antes da semana que começa em 7 de setembro de 2021, os usuários manterão o direito atribuído antes dessa data, a menos que você o altere. Em outras palavras, se um usuário não tiver acesso ao Databricks SQL durante a Visualização Pública, ele não terá agora, a menos que um administrador conceda a ele.

• Os administradores podem gerenciar quais usuários têm acesso ao SQL do Databricks atribuindo o direito de acesso ao SQL do Databricks (databricks-sql-access na API) a usuários ou grupos. Por padrão, novos usuários têm esse direito.

  Os administradores podem limitar o acesso de um usuário ou grupo somente ao SQL do Databricks e impedir que eles acessem o Data Science and Engineering ou Mosaic AI do Databricks removendo o direito de Acesso ao Workspace (workspace-access na API) do usuário ou grupo. Por padrão, novos usuários têm esse direito.

  Importante

  Para fazer logon e acessar o Azure Databricks, o usuário deve ter o direito de acesso ao SQL do Databricks ou o direito de acesso ao Workspace (ou ambos).

• Um pequeno ponto de extremidade de SQL clássico chamado Ponto de Extremidade Inicial é pré-configurado em todos os workspaces, para que você possa começar a criar dashboards, visualizações e consultas imediatamente. Para lidar com cargas de trabalho mais complexas, você pode facilmente aumentar o tamanho dele (para reduzir a latência) ou o número de clusters subjacentes (para lidar com mais usuários simultâneos). Para gerenciar os custos, o ponto de extremidade inicial está configurado para ser encerrado após 120 minutos ocioso.

• Para ajudar você a começar a trabalhar rapidamente, uma nova experiência de integração guiada está disponível para administradores e usuários. O painel de integração fica visível por padrão e você sempre pode ver quantas tarefas de integração restam na barra lateral. Selecione tarefas restantes para reabrir o painel de integração.

• Você pode começar a usar o SQL do Databricks rapidamente com dois conjuntos de dados rich em um catálogo somente leitura chamado SAMPLES, que está disponível em todos os workspaces. Quando aprender sobre o SQL do Databricks, você poderá usar esses esquemas para criar consultas, visualizações e dashboards. Nenhuma configuração é necessária e todos os usuários têm acesso a esses esquemas.

  • O esquema nyctaxi contém dados de corrida de táxi na tabela trips.
  • O esquema tpch contém dados de receita de varejo e cadeia de fornecedores nas seguintes tabelas:
    • customer
    • lineitem
    • nation
    • orders
    • part
    • partsupp
    • region
    • supplier

  Selecione Executar Sua Primeira Consulta no painel de integração para gerar uma consulta do esquema nyctaxi.

• Para saber mais sobre como visualizar dados no Databricks SQL sem necessidade de configuração, importe dashboards da Galeria de Amostras de Dashboard. Esses dashboards são alimentados pelos conjuntos de dados no catálogo SAMPLES.

  Para ver a Galeria de Amostras de Dashboard, clique em Importar dashboard de amostra no painel de integração.

• Agora você pode criar e remover funções SQL nativas usando os comandos CREATE FUNCTION e DROP FUNCTION.

2 de setembro de 2021

• Os usuários com permissão PODE EDITAR em um painel agora podem gerenciar a programação de atualização e a lista de assinaturas do painel. Anteriormente, a permissão PODE GERENCIAR era necessária. Para obter mais informações, confira Atualizar automaticamente um painel.

• Por padrão, as visualizações não são mais redimensionadas dinamicamente com base no número de resultados retornados, mas mantêm a mesma altura, independentemente do número de resultados. Para retornar ao comportamento anterior e configurar uma visualização para redimensionar dinamicamente, habilite a opção Redimensionar dinamicamente a altura do painel nas configurações da visualização no painel. Para obter mais informações, confira Opções da tabela.

• Se você tem acesso a mais de um workspace na mesma conta, você pode alternar entre workspaces dentro do SQL do Databricks. Clique no no canto inferior esquerdo do seu workspace do Azure Databricks e, em seguida, selecione um workspace para alternar para ele.

12 de agosto de 2021

• Agora, um administrador pode encerrar a consulta de outro usuário durante a execução. Para obter mais informações, consulte Encerrar uma consulta em execução.

05 de agosto de 2021

• A formatação do resultado de EXPLAIN foi aprimorada
  • A leitura dos resultados de Explain ficou mais fácil
  • Ele foi formatado com espaçamento uniforme sem quebra automática de linha

29 de julho de 2021

• A manipulação de várias consultas ficou mais fácil com o suporte para várias guias no editor de consultas. Para usar o editor com guias, confira Editar várias consultas.

8 de julho de 2021

• Os widgets de visualização em painéis agora têm títulos e descrições para que você possa personalizar o título e a descrição das visualizações usadas em vários painéis no próprio painel.
• A barra lateral foi atualizada para aprimorar a visibilidade e a navegação:
  • Os Warehouses agora são Pontos de extremidade SQL e o Histórico foi renomeado para Histórico de Consultas.
  • As configurações de conta (anteriormente denominadas Usuários) foram movidas para Conta. Ao selecionar Conta, você pode alterar o workspace do Azure Databricks e fazer logoff.
  • As configurações do usuário foram movidas para Configurações e divididas em Configurações e Console de Administração do SQL. O Console de administração SQL é visível somente para administradores.
  • O ícone de ajuda foi alterado para Ajuda.

1º de julho de 2021

• O novo Explorador do Catálogo permite que você explore e gerencie com facilidade as permissões em bancos de dados e tabelas. Os usuários podem exibir detalhes do esquema, visualizar dados de exemplo e ver detalhes e propriedades da tabela. Os administradores podem ver e alterar os proprietários dos objetos de dados, e os proprietários dos objetos de dados podem conceder e revogar permissões. Para obter detalhes, confira O que é o Gerenciador de Catálogos?.
• Os eixos Y em gráficos horizontais foram atualizados para refletir a mesma ordenação das tabelas. Se tiver selecionado a ordenação inversa anteriormente, você poderá usar a opção de Ordem Inversa na guia do eixo Y para inverter a nova ordenação.

23 de junho de 2021

• Configure facilmente os pontos de extremidade SQL com entidades de serviço. Agora há um controle que ajuda você a configurar uma entidade de serviço na configuração global de pontos de extremidade SQL. Confira Configurar uma entidade de serviço.
• Agora há suporte para exibições temporárias.

17 de junho de 2021

• O Photon, novo mecanismo de execução vetorizado do Databricks, está agora ativado por padrão para os pontos de extremidade SQL recém-criados (interface do usuário e API REST). O Photon se acelera de maneira transparente
  • Grava em tabelas do Parquet e do Delta.
  • Muitas consultas SQL. Confira Limitações.
• Gerencie com facilidade usuários e grupos por meio dos comandos CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS e SHOW USERS. Para obter detalhes, confira Instruções de Segurança e Instruções de exibição.
• O navegador de esquema do editor de consultas é mais rápido e ágil em esquemas com mais de 100 tabelas. Nesses esquemas, o navegador de esquema não carregará todas as colunas automaticamente; a lista de tabelas ainda é mostrada, como de costume, mas as colunas são carregadas somente quando você clica em uma tabela. Essa alteração afeta o preenchimento automático da consulta no editor de consultas, pois ele depende dessas informações para mostrar as sugestões. Até que você expanda uma tabela e carregue suas colunas, tais sugestões não estarão disponíveis.

3 de junho de 2021

• Os administradores de workspaces do Azure Databricks recém-habilitados recebem por padrão o direito de acesso ao Databricks SQL e não precisam mais dar a si mesmos esse direito usando o console de administração.
• O Photon já está em versão prévia pública e habilitado por padrão para novos pontos de extremidade SQL.
• O Balanceamento de carga de vários clusters já está em versão prévia pública.
• Agora você pode ativar a colaboração em painéis e consultas com outros membros da sua organização usando a permissão PODE EDITAR. Confira Listas de Controle de Acesso.

26 de maio de 2021

• A Análise de SQL foi renomeada para Databricks SQL. Essa alteração tem os seguintes impactos voltados para o cliente:

  • As referências na interface do usuário da Web foram atualizadas.

  • O direito de conceder acesso ao Databricks SQL foi renomeado:

    • Interface do usuário: acesso ao Databricks SQL (anteriormente chamado de Acesso à Análise de SQL)
    • API do SCIM: databricks-sql-access (anteriormente sql-analytics-access)

    Usuários, grupos e entidades de serviço com o direito anterior foram migrados para o novo direito.

  • As marcas para eventos de log de auditoria relacionados ao Databricks SQL foram alteradas:

    • O prefixo para eventos do Databricks SQL agora é databrickssql.
    • changeSqlAnalyticsAcl agora é changeDatabricksSqlAcl.
• Atualizações de painel
  • O nome de arquivo de exportação do painel foi atualizado como o nome do painel + carimbo de data/hora, em vez de uma UUID.
  • O limite de registros de exportação foi ampliado de 22K para 64K.

20 de maio de 2021

• Agora você pode usar sua própria chave do Azure Key Vault para criptografar as consultas do Databricks SQL e o histórico de consultas armazenadas no Azure Databricks. Se você já tiver configurado sua própria chave para um workspace a fim de criptografar dados para serviços gerenciados (notebooks e segredos), nenhuma ação adicional será necessária. A mesma chave gerenciada pelo cliente para serviços gerenciados agora também criptografa as consultas e o histórico de consultas do Databricks SQL. Confira Chaves gerenciadas pelo cliente para serviços gerenciados. Essa alteração afeta apenas os novos dados armazenados inativos. Não há garantia de que as consultas e o histórico de consultas do Databricks SQL armazenados antes do dia de hoje tenham sido criptografados com essa chave.

  Os resultados de consulta do Databricks SQL são armazenados na instância raiz de armazenamento de blobs do Azure que o Azure Databricks criou durante a configuração do workspace e não são criptografados pela chave de serviços gerenciados. No entanto, você pode usar a sua chave para criptografá-los. Consulte Chaves gerenciadas pelo cliente da raiz do DBFS.

  Esse recurso está disponível com o plano Premium.

• A guia Execuções anteriores agora mostra o tempo relativo.

13 de maio de 2021

• O Databricks SQL não tenta mais adivinhar os tipos de coluna. Anteriormente, uma coluna com o formato xxxx-yy-dd era automaticamente tratada como uma data, mesmo se fosse um código de identificação. Essa coluna não é mais tratada automaticamente como uma data. Você deverá especificar isso na consulta, se desejar. Essa alteração pode fazer com que algumas visualizações que dependem do comportamento anterior não funcionem mais. Nesta versão, você pode alterar a opção >Configurações>Compatibilidade com Versões Anteriores para retornar ao comportamento anterior. Em uma versão futura, essa capacidade vai ser removida.

• O editor de consultas agora tem um indicador de progresso de consulta. As alterações de estado agora são visíveis em uma barra de progresso atualizada continuamente.

  

6 de maio de 2021

• Agora você pode baixar o conteúdo do painel como um PDF. Confira Baixar como PDF.

• Um usuário administrador agora tem acesso de exibição a todas as consultas e painéis. Nessa exibição, um administrador pode exibir e excluir qualquer consulta ou painel. No entanto, o administrador não poderá editar a consulta ou o painel se ela não for compartilhada com o administrador. Confira Modo de exibição de administrador de consulta e Modo de exibição de administrador do painel herdado.

• A capacidade de aumentar a simultaneidade do ponto de extremidade com o balanceamento de carga de vários clusters agora está disponível para todas as contas. Você pode criar pontos de extremidade que são dimensionados automaticamente entre as contagens mínimas e máximas de cluster especificadas. Os pontos de extremidade sobrecarregados serão escalados verticalmente e os pontos de extremidade subcarregados serão reduzidos verticalmente.

29 de abril de 2021

• Agora, as opções de consulta e os detalhes são organizados em um conjunto de guias à esquerda do editor de consultas:

  • Fontes de dados: selecione-as entre as fontes de dados e o esquema disponíveis. Confira Criar uma consulta.

    

  • Execuções anteriores: veja as execuções anteriores executadas no editor SQL. Esta opção não mostra as execuções agendadas. Consulte Gravar consultas e explorar dados no Editor de SQL.

    

  • Informações da consulta: defina a descrição da consulta, veja informações sobre a consulta e defina o agendamento de atualização. Consulte Gravar consultas e explorar dados no Editor de SQL e Agendar uma consulta.

    

22 de abril de 2021

• Corrigido um problema no qual os pontos de extremidade ficavam inacessíveis e pareciam ter sido excluídos devido a um erro interno.

16 de abril de 2021

O Databricks SQL mantém a compatibilidade com a semântica de SQL do Apache Spark. Esta versão atualiza a semântica para que ela corresponda à do Apache Spark 3.1. Anteriormente, o Databricks SQL era alinhado à semântica do Apache Spark 3.0.

• As funções de agregação estatística, incluindo std, stddev, stddev_samp, variance, var_samp, skewness, kurtosis, covar_samp e corr retornam NULL em vez de Double.NaN quando DivideByZero ocorre durante a avaliação da expressão, como quando stddev_samp é aplicado a um só conjunto de elementos. Antes desta versão, elas retornavam Double.NaN.
• grouping_id() retorna valores longos. Antes desta versão, essa função retornava valores int.
• O plano de consulta que explica os resultados agora está formatado.
• from_unixtime, unix_timestamp,to_unix_timestamp, to_timestamp e to_date falham quando o padrão datetime especificado é inválido. Antes desta versão, eles retornavam NULL.
• As fontes de dados Parquet, ORC, Avro e JSON geram a exceção org.apache.spark.sql.AnalysisException: “Foram encontradas colunas duplicadas no esquema de dados na leitura” quando são detectados nomes duplicados nas colunas de nível superior e também nas estruturas aninhadas.
• As estruturas e os mapas ficam entre as chaves {} quando são convertidos em cadeias de caracteres. Por exemplo, a ação show() e a expressão CAST usam essas chaves. Antes desta versão, as chaves eram usadas com a mesma finalidade.
• Os elementos NULL de estruturas, matrizes e mapas se tornam “null” quando são convertidos em cadeias de caracteres. Antes desta versão, os elementos NULL eram convertidos em cadeias de caracteres vazias.
• A soma dos estouros de coluna de tipo decimal retorna “null”. Antes desta versão, nesse caso, a soma da coluna de tipo decimal podia retornar um resultado incorreto ou “null”, ou mesmo falhar no runtime (dependendo da execução real do plano de consulta).
• IllegalArgumentException é retornado para os literais de intervalo incompletos, por exemplo, INTERVAL '1' e INTERVAL '1 DAY 2', que são inválidos. Antes desta versão, esses literais resultavam em NULLs.
• O carregamento e o salvamento de carimbos de data/hora de/em arquivos Parquet falham quando os carimbos de data/hora são anteriores a 1900-01-01 00:00:00Z e são carregados (salvos) como o tipo INT96. Antes desta versão, as ações não falhavam, mas podiam causar uma mudança nos carimbos de data/hora de entrada devido à troca de base do calendário juliano para o gregoriano proléptico ou vice-versa.
• As funções schema_of_json e schema_of_csv retornam o esquema no formato SQL no qual os nomes de campo são colocados entre aspas. Antes desta versão, a função retornava uma cadeia de caracteres de catálogo em letras minúsculas e sem colocar os campos entre aspas.
• Há suporte para os tipos CHAR, CHARACTER e VARCHAR no esquema de tabela. A verificação de tabela e a inserção respeitam a semântica char/varchar. Quando char/varchar é usado em locais que não são o esquema de tabela, uma exceção é gerada (CAST é uma exceção que trata char/varchar simplesmente como cadeia de caracteres, do mesmo modo que antes).
• As seguintes exceções são geradas para as tabelas do catálogo externo do Hive:
  • ALTER TABLE .. ADD PARTITION gera PartitionsAlreadyExistException quando já existe uma nova partição.
  • ALTER TABLE .. DROP PARTITION gera NoSuchPartitionsException para partições não existentes.

13 de abril de 2021

• Taxa de transferência de consulta aprimorada com o enfileiramento de ponto de extremidade de SQL. Agora, as consultas enviadas a um ponto de extremidade de SQL serão enfileiradas quando o ponto de extremidade já estiver saturado com consultas em execução. Isso aprimora a taxa de transferência da consulta, não sobrecarregando o ponto de extremidade com solicitações. Você pode ver o desempenho aprimorado na tela de monitoramento do ponto de extremidade.

1º de abril de 2021

• Encontre rapidamente o tempo gasto na compilação, na execução e na busca de resultados para uma consulta no Histórico de Consultas. Confira Perfil de consulta. Antes, bastava clicar em uma consulta e abrir a guia Detalhes da Execução para ver essas informações.
• Os pontos de extremidade SQL não são mais dimensionados além do máximo especificado de clusters. Todos os clusters alocados a um ponto de extremidade SQL são reciclados após 24 horas, o que pode criar uma breve janela em que há um cluster adicional.

18 de março de 2021

• O preenchimento automático no editor de consultas agora dá suporte à sintaxe SQL do Databricks e reconhece contexto e alias. Confira Criar uma consulta.
• As solicitações JDBC e ODBC não falham mais com erros de sessão inválida depois que a sessão atinge o tempo limite no servidor. Os clientes de BI agora podem se recuperar diretamente quando ocorrerem tempos limite de sessão.

11 de março de 2021

• Os administradores e os usuários dos workspaces recém-habilitados para Databricks SQL não têm mais acesso automático ao Databricks SQL. Para habilitar o acesso ao Databricks SQL, o administrador deverá:
  1. Vá para a página de configurações de administrador.
  2. Clique na guia Usuários .
  3. Na linha da conta do usuário, clique na caixa de seleção Acesso ao Databricks SQL.
  4. Clique em Confirmar.
  5. Repita as etapas 3 e 4 para conceder aos usuários acesso ao Databricks SQL ou conceder acesso a grupos.
• Crie facilmente consultas, painéis e alertas selecionando Novo > [Consulta | Painel | Alerta] na parte superior da barra lateral.
• O Editor de Consultas agora salva os rascunhos e você pode reverter para uma consulta salva. Consulte Gravar consultas e explorar dados no Editor de SQL.
• Você não pode mais criar fontes de dados externas.
• A confiabilidade do gráfico de monitoramento do ponto de extremidade do SQL foi aprimorada. O gráfico não mostra mais mensagens de erro artificiais intermitentemente.

04 de março de 2021

• A documentação da API de Consultas, Painéis e Alertas já está disponível. Confira referência da API REST do Databricks.

• As atualizações de dashboard agendadas agora são sempre realizadas. As atualizações são executadas no aplicativo Web, portanto, você não precisa mais manter o dashboard aberto em um navegador. Confira Atualizar automaticamente um dashboard.

• Os novos pontos de extremidade SQL criados com a API do SQL Warehouse agora têm a Parada Automática habilitada com um tempo limite padrão de duas horas.

• Agora os usuários do Tableau Online podem se conectar aos pontos de extremidade SQL. Confira o novo Início Rápido do Tableau Online.

26 de fevereiro de 2021

O novo conector de Power BI para Azure Databricks, lançado em versão prévia pública em setembro de 2020, agora está em GA. Ele fornece:

• Configuração de conexão simples: o novo conector do Power BI para Azure Databricks é integrado ao Power BI e pode ser configurado com alguns cliques, usando uma caixa de diálogo simples.
• Autenticação baseada em credenciais do Microsoft Entra ID: a configuração de tokens PAT por administradores não é mais necessária.
• Importações mais rápidas e chamadas de metadados otimizadas, graças ao novo driver ODBC do Azure Databricks, que vem com melhorias significativas de desempenho.
• O acesso a dados do Azure Databricks por meio de Power BI respeita o controle de acesso à tabela do Azure Databricks e as permissões de conta de armazenamento do Azure associadas à sua identidade do Microsoft Entra ID.

Para obter mais informações, confira Conectar o Power BI ao Azure Databricks.

25 de fevereiro de 2021

• Agora a definição de permissões em um ponto de extremidade do SQL ficou mais rápida. Trata-se de uma etapa logo após a criação de um novo ponto de extremidade do SQL, facilmente acessível quando você edita um ponto de extremidade existente. Consulte Conectar a um SQL warehouse e Gerenciar um SQL warehouse.
• Para reutilizar as configurações de visualização, agora você pode duplicar uma visualização. Confira Clonar uma visualização.
• Agora os resultados de consulta são armazenados na sua conta em vez da conta do Azure Databricks.
• Para evitar o vazamento de informações listando todas as permissões definidas em um objeto, para executar SHOW GRANTS [<user>] <object> você deve ser:
  • Um administrador do Databricks SQL ou o proprietário de <object>.
  • O usuário especificado em [<user>].

07 de janeiro de 2021

• Para reduzir os gastos em pontos de extremidade ociosos, os novos pontos de extremidade de SQL agora têm a Parada Automática habilitada com um tempo limite padrão de duas horas. Depois que o tempo limite for atingido, o ponto de extremidade será interrompido. Você pode editar o período de tempo limite ou desabilitar a Parada Automática a qualquer momento.
• Com exceção dos parâmetros de consulta do tipo TEXT, as aspas não são mais adicionadas aos parâmetros de consulta. Se você tiver usado Dropdown List, Query Based Dropdown List ou qualquer parâmetro de consulta do tipo Date, deverá adicionar aspas para que a consulta funcione. Por exemplo, se a consulta for SELECT {{ d }}, agora ela deverá ser SELECT '{{ d }}'.

18 de novembro de 2020

O Databricks tem o prazer de apresentar a Versão Prévia Pública do Databricks SQL, um ambiente intuitivo para execução de consultas ad hoc e criação de painéis com base nos dados armazenados em data lakes. O Databricks SQL capacita sua organização a operar uma arquitetura lakehouse de várias nuvens que fornece o desempenho do data warehouse com a economia do data lake. Databricks SQL:

• Integra-se às ferramentas de BI que você usa hoje, como o Tableau e o Microsoft Power BI, para consultar os dados mais completos e recentes no seu data lake.
• Complementa as ferramentas de BI existentes com uma interface nativa do SQL que permite a analistas de dados e cientistas de dados consultar os dados do data lake diretamente no Azure Databricks.
• Permite compartilhar insights da consulta por meio de visualizações sofisticadas e painéis do tipo "arrastar e soltar" com alertas automáticos para alterações de dados importantes.
• Usa Conectar a um SQL warehouse para trazer confiabilidade, qualidade, escala, segurança e desempenho para o data lake, para que você possa executar cargas de trabalho de análise tradicionais usando seus dados mais recentes e completos.
• Introduz o privilégio USAGE para simplificar a administração de acesso a dados. Para usar um objeto em um esquema, você precisará receber o privilégio USAGE nesse esquema, além dos privilégios necessários para executar a ação. O privilégio USAGE pode ser concedido aos esquemas ou ao catálogo. Para os workspaces que já usam o controle de acesso de tabela, o privilégio USAGE é concedido automaticamente ao grupo de usuários no CATALOG raiz. Confira Privilégios do metastore do Hive e objetos protegidos (herdados) para mais detalhes.

Confira O que é o armazenamento de dados no Azure Databricks? para mais detalhes.

Problemas corrigidos

• Editor de SQL. O editor de SQL agora persistirá o texto selecionado e a posição de rolagem ao alternar entre as guias de consulta.
• Editor de SQL. Se você clicar em "Executar" em uma consulta no editor SQL, navegar para outra página e retornar enquanto a consulta ainda estiver em execução, o editor exibirá o estado correto da consulta. Se a consulta for concluída enquanto você estiver em outra página, os resultados dela estarão disponíveis ao retornar à página do editor SQL.
• Agora você pode usar o MySQL 8.0 como um metastore externo.
• Os comandos DESCRIBE DETAIL nas tabelas do Delta não falham mais com java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• A leitura de arquivos Parquet com carimbos de data/hora INT96 não falha mais.
• Quando um usuário tem permissão PODE EXECUTAR em uma consulta e a executa, se a consulta foi criada por outro usuário, o histórico de consultas exibe o executor da consulta como o usuário.
• Os valores nulos agora são ignorados ao renderizar um gráfico, melhorando a usabilidade dos gráficos. Por exemplo, anteriormente, as barras em um gráfico de barras ficavam muito pequenas quando valores nulos estavam presentes. Agora, os eixos são definidos com base apenas em valores não nulos.

Problemas conhecidos

• As leituras de fontes de dados que não sejam o Delta Lake em pontos de extremidade de SQL com balanceamento de carga de vários clusters podem ser inconsistentes.
• As tabelas Delta acessadas no Databricks SQL carregam os esquemas e as propriedades delas no metastore configurado. Se você estiver usando um metastore externo, poderá ver as informações do Delta Lake no metastore. O Delta Lake tenta manter essas informações tão atualizadas quanto possível com os melhores esforços. Use também o comando DESCRIBE <table> para garantir que as informações sejam atualizadas no metastore.
• O Databricks SQL não dá suporte a deslocamentos de zona como 'GMT+8' como fusos horários de sessão. A solução alternativa é usar um fuso horário baseado em região https://en.wikipedia.org/wiki/List_of_tz_database_time_zones, como "Etc/GMT+8". Consulte SET TIME ZONE para obter mais informações sobre como definir fusos horários.

Perguntas frequentes (FAQ)

• Como as cargas de trabalho do Databricks SQL são cobradas?
• Onde os pontos de extremidade de SQL são executados?
• Eu posso usar os pontos de extremidade SQL dos notebooks SQL do workspace de Ciência de Dados e Engenharia?
• Recebi o acesso aos dados usando uma credencial de provedor de nuvem. Por que eu não consigo acessar esses dados no Databricks SQL?

Como as cargas de trabalho do Databricks SQL são cobradas?

As cargas de trabalho do Databricks SQL são cobradas de acordo com o SKU de Computação de Trabalhos Standard.

Onde os pontos de extremidade de SQL são executados?

Assim como os clusters do Azure Databricks, os pontos de extremidade SQL são criados e gerenciados na sua conta do Azure. Os pontos de extremidade de SQL gerenciam clusters otimizados para SQL automaticamente em sua conta e são escalados para atender à demanda do usuário final.

Eu posso usar os pontos de extremidade SQL dos notebooks SQL do workspace de Ciência de Dados e Engenharia?

Não. Você pode usar os pontos de extremidade SQL com base nas consultas do Databricks SQL, nas ferramentas de BI e em outros clientes JDBC e ODBC.

Recebi o acesso aos dados usando uma credencial de provedor de nuvem. Por que eu não consigo acessar esses dados no Databricks SQL?

No Databricks SQL, todo acesso aos dados está sujeito ao controle de acesso a dados e um administrador ou proprietário de dados deve, primeiramente, conceder a você os privilégios apropriados.