O que se segue?
Saiba mais sobre as próximas versões do Azure Databricks.
Alteração de comportamento para trabalhar com tipo de dados variante
O Azure Databricks está bloqueando o suporte para o uso de campos com o tipo de dados variante em comparações realizadas como parte dos seguintes operadores e cláusulas:
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
O mesmo vale para essas funções DataFrame:
df.dropDuplicates()df.repartition()O Azure Databricks não dá suporte a esses operadores e funções para comparações de tipos de dados variantes porque eles produzem resultados não determinísticos.
Essas expressões serão bloqueadas ao usar variante no Databricks Runtime 16.1 e superior. As versões de manutenção bloquearão o suporte no Databricks Runtime 15.3 e superior.
Se utilizar os tipos VARIANT ou tablesnas suas cargas de trabalho do Azure Databricks, execute as seguintes ações recomendadas:
- Encontre as consultas que usam variante com qualquer um dos operadores listados.
- Update estas consultas usando padrões recomendados que explicitamente convertem values de variantes para tipos não-variantes.
O table a seguir fornece exemplos de funcionalidades não intencionais existentes e soluções recomendadas:
| Utilização não intencional | Utilização recomendada |
|---|---|
SELECT distinct(variant_expr) FROM ... |
SELECT distinct(variant_expr?::string) FROM ... |
SELECT variant_expr FROM ...EXCEPTSELECT variant_expr FROM ... |
SELECT variant_expr?::string FROM ...EXCEPTSELECT variant_expr?::string FROM ... |
Observação
Para quaisquer campos que você planeja usar para comparação ou operações distintas, o Databricks recomenda extrair esses campos da variante column e armazená-los usando tipos não variantes.
Consulte Dados da variante de consulta. Entre em contato com seu representante de conta Databricks se precisar de suporte ou aconselhamento adicional.
Update ao Databricks Marketplace e à interface do usuário do Partner Connect
Estamos a simplificar a barra lateral ao mesclar Partner Connect e Marketplace num único link Marketplace. O novo link do Marketplace estará mais acima na barra lateral.
Os blocos de anotações IPYNB se tornarão o formato de bloco de anotações padrão para o Azure Databricks em dezembro de 2024
Atualmente, o Databricks cria todos os novos blocos de anotações no "formato de origem do Databricks" por padrão. Em dezembro de 2024, o novo formato padrão de notebook será IPYNB (.ipynb). Esse novo padrão pode ser alterado pelo utilizador no painel de Configurações do utilizador do espaço de trabalho , se preferir o formato de origem do Databricks.
Os arquivos de espaço de trabalho serão habilitados para todos os espaços de trabalho do Azure Databricks em 1º de fevereiro de 2025
O Databricks habilitará arquivos de espaço de trabalho para todos os espaços de trabalho Azure Databricks em 1º de fevereiro de 2025. Essa alteração impede que os usuários do espaço de trabalho usem novos recursos de arquivo do espaço de trabalho. Após 1º de fevereiro de 2025, você não poderá desabilitar arquivos de espaço de trabalho usando a propriedade enableWorkspaceFilesystem com o Azure Databricks PATCH workspace-conf/setstatus API REST. Para obter mais detalhes sobre arquivos de espaço de trabalho, consulte O que são arquivos de espaço de trabalho?.
Tables são compartilhados com o histórico por padrão no Delta Sharing
O Databricks planeja alterar a configuração padrão para tables compartilhados usando o Compartilhamento Delta para incluir o histórico por padrão. Anteriormente, a partilha de histórico estava desativada por predefinição. A partilha da história de table melhora o desempenho de leitura e fornece suporte automático para otimizações avançadas do Delta.
Otimização preditiva habilitada por padrão em todas as novas contas do Azure Databricks
Em 11 de novembro, o Databricks habilitará a otimização preditiva como padrão para todas as novas contas do Azure Databricks. Anteriormente, ele era desativado por padrão e podia ser ativado pelo administrador da sua conta. Quando a otimização preditiva está habilitada, o Azure Databricks executa automaticamente operações de manutenção para o Unity Catalog gerenciado tables. Para obter mais informações sobre otimização preditiva, consulte Predictive optimization for Unity Catalog managed tables.
Custo reduzido e mais controle sobre o desempenho versus custo para sua computação sem servidor para cargas de trabalho de fluxos de trabalho
Além das otimizações automáticas de desempenho atualmente suportadas, os aprimoramentos nos recursos de otimização de computação sem servidor para fluxos de trabalho lhe darão mais controle sobre se as cargas de trabalho são otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos na computação sem servidor para blocos de anotações, trabalhos e pipelines.
Alterações no suporte à versão herdada do painel
A Databricks recomenda o uso de painéis de IA/BI (anteriormente Lakeview dashboards). Versões anteriores de painéis, anteriormente conhecidos como painéis SQL Databricks, agora são chamados de painéis herdados. O Databricks não recomenda a criação de novos painéis herdados. Os painéis de IA/BI oferecem recursos aprimorados em comparação com a versão legada, incluindo criação assistida por IA, modos de rascunho e publicação e filtragem cruzada.
Fim do cronograma de suporte para painéis herdados
- 7 de abril de 2025: O suporte oficial para a versão herdada dos painéis terminará. Apenas os problemas críticos de segurança e as interrupções de serviço serão resolvidos.
- 3 de novembro de 2025: O Databricks começará a arquivar painéis herdados que não foram acessados nos últimos seis meses. Os painéis arquivados não estarão mais acessíveis e o processo de arquivamento ocorrerá continuamente. O acesso aos painéis usados ativamente permanecerá inalterado.
A Databricks trabalhará com os clientes para desenvolver planos de migração para painéis legados ativos após 3 de novembro de 2025.
Para ajudar na transição para painéis de IA/BI, as ferramentas de atualização estão disponíveis na interface do usuário e na API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do utilizador, consulte Clonar um painel herdado para um painel de IA/BI. Para tutoriais sobre como criar e gerenciar painéis usando a API REST em Usar APIs do Azure Databricks para gerenciar painéis.
Alterações na atribuição de carga de trabalho de computação sem servidor
Atualmente, o seu sistema de uso faturável table pode incluir registros de faturamento de SKU sem servidor com values nulo para run_as, job_id, job_run_ide notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a qualquer carga de trabalho específica.
Para ajudar a simplificar os relatórios de custos, a Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. Você não verá mais registros de faturamento com values nulo nos campos de carga de trabalho identifier. À medida que você aumenta o uso de computação sem servidor e adiciona mais cargas de trabalho, a proporção desses custos compartilhados em sua fatura diminuirá à medida que forem compartilhados em mais cargas de trabalho.
Para obter mais informações sobre como monitorar custos de computação sem servidor, consulte Monitorar o custo de computação sem servidor.
O campo sourceIpAddress nos logs de auditoria não incluirá mais um número de porta
Devido a um bug, certos logs de auditoria de autorização e autenticação incluem um número de porta além do IP no sourceIPAddress campo (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante dos logs de auditoria do Databricks. Para melhorar a consistência dos logs de auditoria, o Databricks planeja alterar o formato do endereço IP para esses eventos de log de auditoria. Esta alteração será implementada gradualmente a partir do início de agosto de 2024.
Se o log de auditoria contiver um sourceIpAddress de , o Databricks poderá parar de 0.0.0.0registrá-lo.
A integração do Git legado é EOL em 31 de janeiro
Após 31 de janeiro de 2024, o Databricks removeintegrações legadas do notebook Git. Esse recurso está no status legado há mais de dois anos e um aviso de descontinuação foi exibido na interface do usuário do produto desde novembro de 2023.
Para obter detalhes sobre como migrar para pastas Git Databricks (anteriormente Repos) a partir da integração Git herdada, consulte Alternando para Databricks Repos a partir da integração Git herdada. Se essa remoção afetar você e você precisar de uma extensão, entre em contato com sua equipe de conta Databricks.
JDK8 e JDK11 não serão suportados
O Azure Databricks planeja remove suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. O Azure Databricks planeja remove suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.
Ativação automática do Unity Catalog para novos espaços de trabalho
O Databricks começou a habilitar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores de conta configurarem o Unity Catalog após a criação de um espaço de trabalho. A implementação está a decorrer gradualmente em todas as contas.
atualização sqlite-jdbc
O Databricks Runtime planeja atualizar a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Confirme seus métodos e tipo de retorno use a versão 3.42.0.0.
Se você estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.