Fevereiro de 2025
Esses recursos e melhorias na plataforma do Azure Databricks foram lançados em fevereiro de 2025.
Observação
As versões são disponibilizadas em fases. Sua conta do Azure Databricks pode levar uma semana ou mais para ser atualizada após a data de lançamento inicial.
Driver ODBC do Databricks 2.9.1
28 de fevereiro de 2025
O Databricks ODBC Driver versão 2.9.1 agora está disponível para download na página de download do driver ODBC .
Esta versão inclui os seguintes aprimoramentos e novos recursos:
- Adicionado suporte à renovação de token para o fluxo OAuth de passagem de token.
- Adicionada uma opção de tempo limite no lado do driver para instruções ociosas. Um timeout pode ser configurado para impedir que um aplicativo interrompa a busca de resultados e fique travado no meio de uma execução de consulta.
Esta versão resolve os seguintes problemas:
- Se o catálogo inicial não estiver definido, o driver agora usará o catálogo de
hive_metastore. - O driver atualiza o User-Agent HTTP de
thrift/0.9.0parathrift/0.17.0.
Esta versão inclui atualizações para várias bibliotecas de terceiros:
- OpenSSL 3.0.15 (anteriormente 3.0.13)
- libcURL 8.10.1 (anteriormente 8.7.1)
- UTI 74.2 (anteriormente 71.1)
- Arrow 15.0.0 (anteriormente 9.0.0) para OSX & Linux (Windows estava na versão 15.0.0)
- lz4 1.10.0 (anteriormente 1.9.4)
- Expatriado 2.6.3 (anteriormente 2.6.2)
- Kerberos 1.21.3 (anteriormente 1.21.2)
Para obter informações de configuração completas, consulte o Databricks ODBC Driver Guide instalado com o pacote de download do driver.
Publicar logs de eventos do pipeline como tabelas do Catálogo do Unity
28 de fevereiro de 2025
Agora você pode publicar logs de eventos para pipelines DLT como tabelas no Catálogo do Unity. Consulte Consultar o log de eventos.
O Mosaic AI Model Serving agora está disponível no Azure Japão Leste, Sul do Reino Unido e Centro-Sul dos EUA
28 de fevereiro de 2025
O Mosaic AI Model Serving agora tem suporte nas seguintes regiões:
japaneastuksouthsouthcentralus
Confira Recursos com disponibilidade regional limitada.
As leituras de streaming nas exibições re:[UC] estão em disponibilidade geral
O Assistente do Databricks fornece insights de tabela e linhagem
27 de fevereiro de 2025
Nos workspaces do Azure Databricks habilitados para Catálogo do Unity, o Assistente do Databricks pode fornecer linhagem de tabela e insights quando você usa prompts simples.
Consulte Obter linhagem de tabela usando o Assistente do Databricks.
Importar compartilhamentos abertos do Compartilhamento Delta diretamente para o Azure Databricks usando a caixa de diálogo Importar provedor
26 de fevereiro de 2025
Os workspaces do Azure Databricks habilitados para o Catálogo do Unity incluem uma caixa de diálogo Importar provedor para importar os compartilhamentos dos servidores do Compartilhamento Delta que não sejam do Databricks para o Catálogo do Unity usando o compartilhamento Open-to-Databricks (O2D). Esse recurso foi lançado em julho de 2024, mas não foi anunciado na época. Quando você o usa para importar um provedor, os usuários têm essencialmente a mesma experiência de destinatário que teriam com o compartilhamento Databricks-to-Databricks: clique em Criar catálogo para criar um catálogo compartilhado, use os controles de acesso do Unity Catalog para conceder acesso a tabelas compartilhadas e utilize a sintaxe padrão do Unity Catalog para consultar esses compartilhamentos, sem necessidade de armazenar um arquivo de credencial ou especificá-lo ao consultar dados compartilhados. Consulte Azure Databricks: Ler dados compartilhados usando conectores de compartilhamento aberto.
Compartilhamento Delta dos provedores de compartilhamento aberto no Azure Databricks usando o OAuth
26 de fevereiro de 2025
Agora, o Azure Databricks oferece suporte às Credenciais do Cliente OAuth para o compartilhamento Aberto do Databricks (O2D), ou seja, dos servidores do Compartilhamento Delta que não são do Databricks para os workspaces do Azure Databricks habilitados para o Catálogo do Unity. Isso facilita a importação de compartilhamentos de redes de provedor de compartilhamento Delta, como o Oracle Delta Share, que usam credenciais de cliente OAuth. Esse suporte adiciona às vantagens já consideráveis de usar o Catálogo do Unity como destinatário no modelo O2D, que incluem a interface do usuário do provedor de importação para importar compartilhamentos e a capacidade de usar a sintaxe padrão do Catálogo do Unity para consultar esses compartilhamentos, sem a necessidade de armazenar um arquivo de credencial ou especificá-lo ao consultar dados compartilhados. Consulte Azure Databricks: Ler dados compartilhados usando conectores de compartilhamento aberto.
As leituras de streaming nas exibições do Catálogo do Unity são GA
25 de fevereiro de 2025
Agora, as leituras de streaming das exibições do Catálogo do Unity registradas nas tabelas do Delta estão em disponibilidade geral. Consulte Ler uma exibição do Catálogo do Unity como um fluxo.
A ordenação do tempo do evento no processamento inicial do fluxo de instantâneos está em disponibilidade geral
25 de fevereiro de 2025
Agora, a opção withEventTimeOrder para processar as consultas do Streaming Estruturado das fontes da tabela do Delta está disponível em geral. Consulte Processar o instantâneo inicial sem que os dados sejam removidos.
O acompanhamento do progresso assíncrono está em disponibilidade geral
25 de fevereiro de 2025
O acompanhamento de progresso assíncrono para o Streaming Estruturado agora está disponível em geral. Veja O que é o acompanhamento de progresso assíncrono?.
Agora, a tabela do sistema de uso faturável atribui os custos de rede do ponto de extremidade privado
25 de fevereiro de 2025
Agora, a tabela do sistema de uso faturável inclui campos para ajudar a monitorar os custos incorridos com a conexão da computação sem servidor aos seus recursos usando pontos de extremidade privados. Veja Tabela de referência do sistema de uso faturável.
O Rastreamento do MLflow está em disponibilidade geral
25 de fevereiro de 2025
Agora, o Rastreamento do MLflow está em disponibilidade geral. Com o Rastreamento, você pode acompanhar entradas, saídas e outros metadados associados a cada etapa de uma solicitação de modelo ou agente.
O rastreamento permite identificar a origem dos bugs e o comportamento inesperado, comparar o desempenho entre modelos ou agentes e criar novos conjuntos de dados para melhorar a qualidade. Consulte Observabilidade do agente com o Rastreamento do MLflow.
Novo painel de filtros no Databricks Marketplace
25 de fevereiro de 2025
O Databricks Marketplace agora inclui um painel de filtro aprimorado projetado para simplificar a pesquisa e a navegação. Essa atualização aprimora a capacidade de descoberta, facilitando a pesquisa por produto, provedor, preço e muito mais. Consulte Procurar listagens do Databricks Marketplace.
O tempo de vida do segredo OAuth agora é configurável
24 de fevereiro de 2025
Agora, os segredos do OAuth para a entidades de serviço têm um tempo de vida configurável. Os segredos OAuth recém-criados agora possuem um período de validade máximo padrão de dois anos, enquanto anteriormente, eles não expiravam. Consulte Autorizar o acesso autônomo aos recursos do Azure Databricks com uma entidade de serviço usando o OAuth.
Visualizar arquivos em volumes
18 de fevereiro de 2025
Os volumes agora exibem visualizações para formatos de arquivo comuns no Gerenciador de Catálogos, incluindo imagens, arquivos de texto, JSON, yaml e CSV. Consulte Arquivos de visualização em volumes.
Agora, o modelo que fornece registros de cobrança é registrado nos intervalos de cinco minutos
18 de fevereiro de 2025
Agora, para melhorar a observabilidade dos custos, os registros de cobrança são anotados a cada cinco minutos de execução de modelo e uso de taxa de transferência provisionada. Anteriormente, os registros eram registrados em intervalos de uma hora. Consulte Referência da tabela do sistema de uso faturável. Observe que o uso do Pagamento por Token da API do Modelo do Foundation ainda é agregado em um intervalo de hora em hora.
Clustering líquido automático (Visualização Pública)
18 de fevereiro de 2025
Agora você pode habilitar o clustering líquido automático nas tabelas gerenciadas do Catálogo do Unity. O agrupamento automático de dados líquidos seleciona inteligentemente as chaves de agrupamento para otimizar o arranjo de dados para suas consultas. Consulte Clustering líquido automático.
Plano de controle dedicado para a região Leste do Azure Canadá
14 de fevereiro de 2025
O Databricks agora oferece um plano de controle dedicado para a região Azure Canadá Leste, anteriormente gerenciado pelo plano de controle do Canadá Central. Consulte Endereços IP e domínios para serviços e ativos do Azure Databricks.
O suporte para a série 14.1 do Databricks Runtime chegará ao fim.
12 de fevereiro de 2025
O suporte para Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning terminou em 5 de novembro. Consulte Ciclos de vida de suporte do Databricks.
Os sql warehouses sem servidor agora estão disponíveis em regiões adicionais
12 de fevereiro de 2025
armazéns SQL sem servidor agora estão disponíveis nas seguintes regiões do Azure: Leste da Ásia, Central da Coreia, Norte da Suíça, Centro-Oeste dos EUA e Oeste dos EUA 3. Confira Regiões do Azure Databricks.
O Databricks Runtime 16.2 está em Disponibilidade Geral (GA).
10 de fevereiro de 2025
O Databricks Runtime 16.2 e o Databricks Runtime 16.2 ML agora estão disponíveis em geral.
Consulte Databricks Runtime 16.2 e Databricks Runtime 16.2 para Machine Learning.
Suporte ao streaming do Scala foreach, foreachBatche flatMapGroupsWithState na computação em modo de acesso padrão (anteriormente o modo de acesso compartilhado)
7 de fevereiro de 2025
Agora, a computação do modo de acesso padrão oferece suporte à função do streaming Scala DataStreamWriter.foreach no Databricks Runtime 16.1 e superior. No Databricks Runtime 16.2 e posteriores, há suporte para as funções DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState.
Agora, o acesso controlado pelo Catálogo do Unity aos serviços de nuvem externos que usam as credenciais de serviço está em disponibilidade geral
7 de fevereiro de 2025
As credenciais de serviço permitem uma autenticação simples e segura com os serviços do locatário na nuvem usando o Azure Databricks. As credenciais de serviço estão geralmente disponíveis e agora oferecem suporte a SDKs do Scala, além do SDK do Python suportado na Visualização Pública. O recurso de GA completo requer computação no Databricks Runtime 16.2 ou superior. Consulte Gerenciar o acesso a serviços de nuvem externos usando credenciais de serviço.
A função "Baixar como Excel" agora está disponível em notebooks conectados a armazenamentos SQL
6 de fevereiro de 2025
Para notebooks conectados a SQL Warehouses, agora você pode baixar os resultados das células que contêm dados tabulares em um arquivo Excel. Consulte Baixar os resultados.
Gravar dados dos pipelines nos serviços externos com os coletores do DLT (Visualização Pública)
5 de fevereiro de 2025
A API sink do DLT está em Versão Prévia Pública. Com os do coletores DLT, você pode gravar dados transformados por seu pipeline em destinos como serviços de streaming de eventos, como Apache Kafka ou Hubs de Eventos do Azure, e tabelas externas gerenciadas pelo Catálogo do Unity ou pelo metastore do Hive. Consulte Registros do Stream para serviços externos com coletores do DLT.
Gerenciamento automático de identidade (versão prévia pública)
5 de fevereiro de 2025
Agora você pode adicionar usuários, entidades de serviço e grupos da ID do Microsoft Entra ao Azure Databricks sem configurar um aplicativo no Microsoft Entra ID usando o gerenciamento automático de identidade. Quando o gerenciamento automático de identidade estiver habilitado, você pode pesquisar diretamente nos espaços de trabalho federados de identidade por usuários, entidades de serviço e grupos do Microsoft Entra ID, e adicioná-los ao seu espaço de trabalho. O Databricks usa a ID do Microsoft Entra como fonte de registro, portanto, todas as alterações nas associações de grupo são respeitadas no Azure Databricks. O gerenciamento automático de identidade também dá suporte a grupos aninhados.
Confira o artigo Sincronizar automaticamente usuários e grupos do Microsoft Entra ID.
Nova região: México Central
4 de fevereiro de 2025
O Azure Databricks agora está disponível no México Central. Confira Regiões do Azure Databricks.