Janeiro de 2025

Esses recursos e melhorias na plataforma do Azure Databricks foram lançados em janeiro de 2025.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.

Portas adicionais para o Azure Databricks

31 de janeiro de 2025

Os grupos de segurança de rede agora exigem as portas 3306 e 8443-8451 para acesso de saída aos serviços do Azure Databricks de seus workspaces habilitados para injeção de vnet. Consulte Regras de grupo de segurança de rede para workspaces.

O leitor do repositório de estado agora é GA

31 de janeiro de 2025

O suporte para consulta de dados de estado e metadados de streaming estruturado agora está em Disponibilidade Geral (GA) no Databricks Runtime 14.3 LTS e superior. Consulte Ler informações de estado de streaming estruturado.

A otimização preditiva agora pode ser habilitada no nível de catálogo ou esquema

** 31 de janeiro de 2025**

Agora você pode habilitar a otimização preditiva no nível de catálogo ou esquema sem primeiro habilitá-la no nível da conta. Consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.

Agora há suporte para filtrar conjuntos de dados completos para tabelas grandes

30 de janeiro de 2025

Ao filtrar dados truncados em uma tabela grande (saída maior que 2 MB ou contendo mais de 10.000 linhas), agora você pode optar por aplicar o filtro a todo o conjunto de dados. Consulte os resultados do filtro .

A família de modelos Meta Llama 3.1 405B está desativada no Ajuste Fino do Modelo de Fundação

30 de janeiro de 2025

A família de modelos Meta Llama 3.1 405B foi desativada no Ajuste Fino do Modelo de Fundação. Confira Modelos desativados para modelos de substituição recomendados.

Salas Limpas estão em GA

29 de janeiro de 2025

As Salas Limpas do Azure Databricks agora estão disponíveis em geral. Confira O que é o Azure Databricks Clean Rooms?.

• APIs de gerenciamento: novas APIs foram introduzidas para automatizar a configuração, orquestração e monitoramento de salas limpas. Confira Salas Limpas.
• Autocolaboração: agora você pode criar salas limpas em um único metastore para testar sua sala limpa antes da implantação completa. Consulte Etapa 2. Crie uma sala limpa.
• Tabelas de saída: as salas limpas centrais hospedadas no Azure agora dão suporte a tabelas de saída. Anteriormente, eles só tinham suporte para salas limpas centrais hospedadas na AWS. No entanto, os colaboradores do Databricks nas três nuvens — AWS, Azure e Google Cloud — podem compartilhar notebooks que criam tabelas de saída e leem tabelas de saída geradas quando executam notebooks compartilhados. Os colaboradores do Google Cloud devem ser participantes da versão prévia privada de Salas Limpas. Confira Criar e trabalhar com tabelas de saída em Salas Limpas do Databricks.
• Conformidade com HIPAA: agora, você pode criar uma sala limpa com um perfil de segurança em conformidade com HIPAA. Veja Etapa 2. Crie uma sala limpa.
• Compartilhamento Federado (Versão Prévia): Aproveite o novo recurso de federação de consulta para colaborar perfeitamente com parceiros entre nuvens e plataformas de dados sem replicar ou migrar todos os dados. Confira O que é Federação do Lakehouse?.

Conectar ferramentas do agente de IA a serviços externos (Visualização Pública)

29 de janeiro de 2025

As ferramentas do agente de IA agora podem se conectar a aplicativos externos, como Slack, Google Calendar ou qualquer serviço com uma API usando solicitações HTTP. Os agentes podem usar ferramentas conectadas externamente para automatizar tarefas, enviar mensagens e recuperar dados de plataformas de terceiros. Confira Conectar ferramentas de agente de IA a serviços externos.

O Delta Live Tables agora dá suporte à publicação em tabelas em vários esquemas e catálogos

27 de janeiro a 5 de fevereiro de 2025

Por padrão, novos pipelines criados nas Tabelas Dinâmicas Delta agora dão suporte à criação e à atualização de visualizações materializadas e tabelas de streaming em vários catálogos e esquemas.

O novo comportamento padrão para a configuração de pipeline exige que os usuários especifiquem um esquema de destino que se torne o esquema padrão para o pipeline. O esquema virtual LIVE e a sintaxe associada não são mais necessários. Para obter mais detalhes, consulte o seguinte:

• Definir o catálogo de destino e o esquema
• Configurar um pipeline de Tabelas Dinâmicas Delta
• Esquema LIVE (herdado)

Databricks Runtime 16.2 (Beta)

27 de janeiro de 2025

O Databricks Runtime 16.2 e o Databricks Runtime 16.2 ML agora estão disponíveis como versões Beta.

Consulte Databricks Runtime 16.2 (Beta) e Databricks Runtime 16.2 for Machine Learning (Beta).

Os comentários agora suportam notificações por email e menções com @

25 de janeiro de 2025

Agora você pode mencionar usuários diretamente nos comentários digitando "@" seguido por seu nome de usuário. Os usuários serão notificados sobre a atividade de comentário relevante por email. Confira Comentários de código.

Atalho para ajustar o tamanho da fonte

25 de janeiro de 2025

Agora você pode usar um atalho para ajustar rapidamente o tamanho da fonte nos editores de bloco de anotações, arquivo e SQL. Use Alt + e Alt - para Windows/Linux ou Opt + e Opt - para macOS.

Há também uma configuração de desenvolvedor para controlar o tamanho da fonte do editor. Navegue até Configurações > Desenvolvedor > Tamanho da fonte do editor e selecione um tamanho de fonte.

Importação de arquivos da área de trabalho com arrastar e soltar

24 de janeiro de 2025

Agora você pode arrastar e soltar arquivos e pastas para importá-los para seu workspace. O arrastar e soltar funciona na página do navegador de arquivos primário e no painel lateral do navegador de arquivos do workspace, que está disponível no notebook, na consulta e nos editores de arquivos. Confira Importar um arquivo.

O Meta Llama 3.3 agora habilita as Funções de IA que usam APIs do Modelo de Fundação

24 de janeiro de 2025

Funções de IA que usam APIs do modelo fundamental agora são habilitadas pelo Meta Llama 3.3 70B Instruct para tarefas de chat.

Aprimoramentos na saída do notebook

23 de janeiro de 2025

As seguintes melhorias foram feitas na experiência de saída do notebook:

• É um dos métodos de filtragem: Na tabela de resultados, você pode filtrar uma coluna usando É um dos métodos de e escolher os valores que deseja filtrar. Para fazer isso, clique no menu ao lado de uma coluna e clique em Filtrar. Um filtro modal será aberto para você adicionar as condições nas quais você deseja filtrar. Para saber mais sobre como filtrar resultados, confira Filtrar resultados.
• Cópia da tabela de resultados como: agora você pode copiar uma tabela de resultados como CSV, TSV ou Markdown. Selecione os dados que deseja copiar e clique com o botão direito do mouse, selecione Copiar como e escolha o formato desejado. Os resultados são copiados para a área de transferência. Confira Copiar dados para a área de transferência.
• Nomenclatura de download: ao baixar os resultados de uma célula, o nome do download agora corresponde ao nome do notebook. Consulte Baixar os resultados.

Tempos de carregamento mais rápidos do notebook

23 de janeiro de 2025

Quando você abre um notebook pela primeira vez, os tempos de carregamento iniciais agora são até 26% mais rápidos para um notebook de 99 células e 6% mais rápido para um notebook de 10 células.

Agora há suporte para notebooks como arquivos de workspace

23 de janeiro de 2025

Agora há suporte para notebooks como arquivos de workspace no Databricks Runtime 16.2 e superior e no ambiente sem servidor 2 e superior. Agora você pode gravar, ler e excluir notebooks programaticamente da mesma forma que faria com qualquer outro arquivo. Isso permite a interação programática com notebooks de qualquer lugar em que o sistema de arquivos da área de trabalho esteja disponível. Para obter mais informações, confira Notebooks como arquivos de workspace.

Tarefas com falha em trabalhos contínuos agora são repetidas automaticamente

22 de janeiro de 2025

Esta versão inclui uma atualização para os Jobs do Databricks que aperfeiçoa o manejo de falhas para tarefas contínuas. Com essa alteração, a tarefa é executada em um trabalho contínuo automaticamente quando uma execução falha. As execuções da tarefa são repetidas com um atraso exponencialmente crescente até que o número máximo de tentativas permitidas seja atingido. Confira Como as falhas são tratadas em trabalhos contínuos?.

Notebooks: histórico de chat do Assistente do Databricks disponível somente para o usuário que o inicia

22 de janeiro de 2025

Em um notebook, o histórico de chat do Assistente do Databricks está disponível somente para o usuário que inicia o chat. Para obter mais informações sobre privacidade e segurança do Assistente, consulte Privacidade e segurança.

A coleta de estatísticas agora é automatizada pela otimização preditiva

22 de janeiro a 30 de abril de 2025

A otimização preditiva agora calcula automaticamente as estatísticas para tabelas gerenciadas pelo Unity Catalog durante as operações de gravação em tabelas gerenciadas e durante trabalhos automatizados de manutenção. Consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.

Atualização da interface do usuário do Databricks Marketplace e do Partner Connect

21 de janeiro de 2025

Simplificamos a barra lateral combinando Partner Connect e Marketplace em um link Marketplace. O novo link Marketplace é posicionado mais alto na barra lateral para facilitar o acesso.

Driver JDBC do Databricks 2.7.1

16 de janeiro de 2025

O Databricks JDBC Driver versão 2.7.1 agora está disponível para download na página de download do driver JDBC.

Esta versão inclui os seguintes aprimoramentos e novos recursos:

• Adicionada uma nova propriedade OAuthEnabledIPAddressRanges que permite que os clientes alterem as portas de retorno de chamada OAuth padrão, facilitando a aquisição de token OAuth em ambientes com restrições de porta de rede.
• O suporte ao token de atualização agora está disponível. Isso permite que o driver atualize automaticamente os tokens de autenticação usando a propriedade Auth_RefreshToken.
• Adicionado suporte para usar o repositório confiável do sistema com uma nova propriedade UseSystemTrustStore. Quando habilitado (UseSystemTrustStore=1), o driver verifica conexões usando certificados do repositório confiável do sistema.
• Propriedade UseServerSSLConfigsForOAuthEndPoint adicionada que, quando habilitada, permite que os clientes compartilhem a configuração de SSL do driver do endpoint OAuth.
• A autenticação BASIC agora está desabilitada por padrão. Para habilitá-la novamente, defina a propriedade allowBasicAuthentication como 1.

Essa versão resolve os seguintes problemas:

• Os caracteres Unicode, quando se usa o IBM JRE com o recurso de serialização do conjunto de resultados do Arrow, agora são tratados corretamente.
• Mensagens de erro completas e causas para o código de erro 401 agora são retornadas.
• Os manipuladores de download de busca de nuvem agora são liberados quando terminam.
• Os threads de pulsação não vazam mais quando as conexões são criadas usando a classe DataSource.
• Um possível vazamento de OAuth2Secret no log do driver foi resolvido.
• As IDs de consulta no registro do driver não estão mais ausentes.
• O uso do cache de token OAuth não atinge mais o bug de incompatibilidade de marca.

Esta versão inclui atualizações para várias bibliotecas de terceiros para resolver vulnerabilidades:

• arrow-memory-core 17.0.0 (anteriormente, 14.0.2)
• arrow-vector 17.0.0 (anteriormente, 14.0.2)
• formato de seta 17.0.0 (anteriormente, 14.0.2)
• arrow-memory-netty 17.0.0 (anteriormente, 14.0.2)
• arrow-memory-unsafe 17.0.0 (versão anterior 14.0.2)
• commons-codec 1.17.0 (anteriormente, 1.15)
• flatbuffers-java 24.3.25 (anteriormente, 23.5.26)
• jackson-annotations-2.17.1 (anteriormente, 2.16.0)
• jackson-core-2.17.1 (anteriormente, 2.16.0)
• jackson-databind-2.17.1 (anteriormente, 2.16.0)
• jackson-datatype-jsr310-2.17.1 (anteriormente, 2.16.0)
• netty-buffer 4.1.115 (anteriormente, 4.1.100)
• netty-common 4.1.115 (anteriormente, 4.1.100)

Para obter informações de configuração completas, confira o Guia do Driver JDBC do Databricks instalado com o pacote de download do driver.

A Federação Lakehouse dá suporte ao Teradata (visualização pública)

15 de janeiro de 2025

Agora você pode executar consultas federadas em dados gerenciados pelo Teradata. Confira Executar consultas federadas no Teradata.

Versão 0.14.0 do SDK do databricks-agents: métricas de avaliação personalizadas

14 de janeiro de 2025

Com databricks-agents==0.14.0, a Avaliação do Agente do Mosaic AI agora dá suporte a métricas personalizadas, permitindo que os usuários definam métricas de avaliação adaptadas ao caso de uso específico de negócios do GenAI.

Esta versão também adiciona suporte para:

• ChatAgent e ChatModel do harness mlflow.evaluate(model_type='databricks-agent').
• Usando mlflow.evaluate(model_type='databricks-agent') de fora de um notebook do Databricks quando autenticado usando a CLI do databricks.
• Suporte para intervalos RETRIEVAL aninhados em rastreamentos de agente.
• Suporte para uma matriz simples de dicionários como o argumento data para mlflow.evaluate().
• Um stdout mais simples ao executar mlflow.evaluate().

O Gateway de IA agora dá suporte à taxa de transferência provisionada (visualização pública)

10 de janeiro de 2025

Gateway do Mosaic AI agora dá suporte a cargas de trabalho de Taxa de transferência provisionada das APIs de modelos de base em pontos de extremidade de serviço de modelo.

Agora você pode habilitar os seguintes recursos de governança e monitoramento em seu modelo que atende pontos de extremidade que usam a taxa de transferência provisionada:

• Limitação de fluxo e de permissão para controlar quem tem acesso e quanto.
• Registro em log de conteúdo para monitorar e auditar dados enviados para APIs de modelo usando tabelas de inferência.
• Acompanhamento de uso para monitorar o uso operacional nos pontos de extremidade e os custos associados usando tabelas do sistema.
• Proteções de IA para prevenção contra dados indesejados e não seguros em solicitações e respostas.
• Roteamento de tráfego para minimizar interrupções de produção durante e após a implantação.

Termina o suporte à série 15.2 do Databricks Runtime

7 de janeiro de 2025

O suporte para o Databricks Runtime 15.2 e o Databricks Runtime 15.2 para Machine Learning terminou em 7 de janeiro. Confira Ciclos de vida de suporte do Databricks.

O suporte para a série 15.3 do Databricks Runtime será descontinuado.

7 de janeiro de 2025

O suporte para o Databricks Runtime 15.3 e o Databricks Runtime 15.3 para Machine Learning terminou em 7 de janeiro. Confira Ciclos de vida de suporte do Databricks.

Descontinuações da família de modelos Meta Llama 2, 3 e Code Llama no ajuste de modelos de base

7 de janeiro de 2025

As famílias de modelos a seguir foram desativadas e não têm mais suporte no Ajuste fino do modelo de base. Confira Modelos desativados para modelos de substituição recomendados.

• Meta-Llama-3
• Meta-Llama-2
• Code Llama