Outubro de 2023
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em outubro de 2023.
Nota
Os lançamentos são encenados. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
Conectividade segura sem servidor para Databricks SQL Serverless (visualização pública)
31 de outubro de 2023
As novas ferramentas de conectividade segura sem servidor ajudam-no a controlar o acesso à rede a partir de armazéns SQL sem servidor para as suas origens de dados no Armazenamento do Azure. Você pode escolher um firewall de armazenamento usando IDs de sub-rede ou habilitar a conectividade privada com o Azure Private Link. Para join a Pré-visualização Pública, entre em contato com a sua equipa de conta do Azure Databricks. Consulte Rede de plano de computação sem servidor.
Se você tiver firewalls de armazenamento que foram configurados usando IDs de sub-rede listados na documentação do Azure Databricks antes de 31 de outubro de 2023, o Databricks recomenda que você update suas configurações de firewall para cada uma das regiões do espaço de trabalho usando uma das novas ferramentas. Isso pode ajudá-lo a aplicar uma implantação consistente em todos os espaços de trabalho. Se você optar por não update as configurações existentes, os espaços de trabalho continuarão a funcionar.
Exibir a fonte YAML para um trabalho do Azure Databricks
30 de outubro de 2023
Agora você pode visualizar e copiar a fonte YAML para um trabalho clicando 
na página de detalhes do trabalho e selecionando Exibir YAML/JSON. Você pode usar a fonte YAML para criar fluxos de trabalho de CI/CD com Databricks Asset Bundles. Consulte O que são Databricks Asset Bundles?.
Adicionar lógica condicional aos seus fluxos de trabalho do Azure Databricks
30 de outubro de 2023
Agora você pode usar a If/else condition tarefa para executar condicionalmente tarefas em um trabalho do Azure Databricks com base nos resultados de uma expressão booleana. Consulte Adicionar lógica de ramificação a um trabalho com a tarefa Se/senão.
Configurar parameters em um trabalho do Azure Databricks que pode ser referenciado por todas as tarefas de trabalho
30 de outubro de 2023
Agora você pode adicionar parameters aos seus trabalhos do Azure Databricks que são passados automaticamente para todas as tarefas de trabalho que aceitam pares chave-valor. Consulte Configurar tarefa parameters. Além disso, agora você pode usar uma set expandida de referências de valor para passar contexto e estado entre tarefas de trabalho. Consulte O que é uma referência de valor dinâmico?.
Ativar automaticamente vetores de exclusão
30 de outubro de 2023
Pode agora habilitar vetores de eliminação em todos os novos Delta tables no Databricks Runtime 14.0 e superior com a configuração do administrador do espaço de trabalho Auto-Enable Deletion Vectors. Esse comportamento é atualmente opt-in, mas mudará para opt-out no futuro. O Databricks recomenda configurar manualmente uma opção para essa configuração. Consulte Ativar vetores de exclusão automáticos.
O suporte do Unity Catalog para UNDROP TABLE está em Disponibilidade Geral.
25 de outubro de 2023
Você pode restaurar um table gerenciado ou externo descartado em um schema existente dentro de sete dias após a sua remoção. Requer Databricks Runtime 12.1 e superior. Veja UNDROP TABLE e SHOW TABLES DROPPED.
O Partner Connect suporta Dataiku
25 de outubro de 2023
Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao Dataiku. Consulte Conectar-se à Dataiku.
Os blocos de anotações gerados pelo AutoML agora são salvos como artefatos MLflow
24 de outubro de 2023
Os blocos de anotações gerados pelo AutoML agora são salvos como artefatos MLflow em todas as versões do Databricks Runtime for Machine Learning.
Nova região: Qatar Central
23 de outubro de 2023
O Azure Databricks já está disponível no Qatar Central. Consulte Regiões do Azure Databricks.
Unity Catalogvolumes suportado com Azure Firewall e Private Link
23 de outubro de 2023
Agora você pode usar o Unity Catalogvolumes em conjunto com contas de armazenamento do Azure configuradas com o Firewall do Azure ou o Private Link. Isso remove uma limitação anterior.
Otimização preditiva (Visualização pública)
24 de outubro de 2023
A otimização preditiva elimina a necessidade de gerenciar manualmente as operações de manutenção do Delta tables. As operações de manutenção são executadas apenas conforme necessário, eliminando execuções desnecessárias para operações de manutenção e encargos associados ao desempenho de rastreamento e solução de problemas. Consulte Otimização preditiva para Unity Catalog gerenciado tables.
Os tables do sistema de computação já estão disponíveis (Visualização pública)
23 de outubro de 2023
O system.computeschema contém dois novos tables que você pode usar para monitorar os recursos de computação em sua conta: clusters e node_types.
Clusters table é uma dimensão table que muda lentamente e contém o histórico completo das configurações dos clusters ao longo do tempo, tanto para clusters polivalentes quanto para clusters de tarefas. Os tipos de nó table capturam os tipos de nó atualmente disponíveis com suas informações básicas de hardware. Se não tiveres acesso a estes tablesdo sistema, certifica-te de que tens o schema de processamento ativado na tua conta (consulta Ativar esquemas de table do sistema).
Para mais informações sobre o sistema de computação tables, consulte a referência do sistema de computação tables.
A computação de recursos sob demanda é GA
19 de outubro de 2023
Os recursos de aprendizado de máquina agora podem ser computados sob demanda no momento da inferência. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis no momento da inferência, como a localização atual de um usuário, ou usem recursos que são proibitivos em termos de custo para pré-calcular, armazenar e refresh. O código de treinamento do modelo pode definir um gráfico arbitrário de pesquisas de recursos e cálculos que são executados durante o treinamento e a inferência do modelo.
A lógica de cálculo de funcionalidades, os modelos e os dados são todos regidos pelo Unity Catalog. Para obter mais informações, consulte Recursos de computação sob demanda usando funções definidas pelo usuário do Python.
Engenharia de Características no Unity Catalog está em GA
19 de outubro de 2023
Com Engenharia de Funcionalidades no Unity Catalog, o Unity Catalog torna-se o seu armazém de funcionalidades. Você pode usar qualquer Delta table com uma chave primária como uma característica table para treinar ou realizar inferência em modelos. Unity Catalog fornece descoberta de funcionalidades e governança.
Comentários gerados por IA table (Pré-visualização pública)
18 de outubro de 2023
Como parte da iniciativa de usar a IA para ajudá-lo a trabalhar com o Azure Databricks, o Azure Databricks está introduzindo comentários table e column gerados por IA em Pré-visualização Pública. No Catalog Explorer, você pode visualizar, editar e adicionar um comentário gerado por IA para qualquer table ou tablecolumn gerenciado pelo Unity Catalog. Os comentários gerados por IA podem usar parceiros de modelo externos para fornecer respostas. Os dados enviados para esses serviços não são usados para treinamento de modelos.
Veja como adicionar comentários gerados por IA a objetos do Unity Catalog.
Modelos em Unity Catalog é GA
17 de outubro de 2023
Os modelos de aprendizagem automática no Unity Catalog agora estão disponíveis para o público em geral. O Unity Catalog fornece controle de acesso centralizado, auditoria, linhagem, compartilhamento de modelos entre espaços de trabalho e melhores fluxos de trabalho de implantação de MLOps. O Azure Databricks recomenda o uso de Models no Unity Catalog em vez do Registo de Modelos do Espaço de Trabalho. Consulte Gerenciar o ciclo de vida do modelo no Unity Catalog para obter detalhes.
Bibliotecas agora suportadas em políticas de computação (Visualização pública)
17 de outubro de 2023
Os administradores de espaços de trabalho agora podem adicionar bibliotecas às políticas de computação. A computação que usa a política instalará automaticamente a biblioteca. Os usuários não podem instalar ou desinstalar bibliotecas de escopo de computação em computação que usam a política. As bibliotecas instaladas anteriormente serão desinstaladas.
O Databricks recomenda migrar todas as bibliotecas instaladas com scripts init para usar políticas de computação. Consulte Adicionar bibliotecas a uma política.
O Partner Connect suporta Monte Carlo
16 de outubro de 2023
Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks a Monte Carlo. Para obter mais informações, consulte Conectar o Azure Databricks a Monte Carlo.
Pesquisa semântica (Pré-visualização pública)
16 de outubro de 2023
Agora pode usar linguagem natural para fazer uma pesquisa no Unity Catalogtables na caixa de diálogo de pesquisa avançada . Veja Pesquisa semântica.
Ativar o Assistente Databricks no nível do espaço de trabalho
11 de outubro de 2023
Um administrador de espaço de trabalho agora pode habilitar ou desabilitar o Assistente Databricks para um espaço de trabalho individual se o administrador da conta tiver permitido. Para obter detalhes, consulte Como habilitar o Databricks Assistant?.
Novos padrões do Photon
11 de outubro de 2023
Ao criar um novo cluster por meio da interface do usuário, o mecanismo de tempo de execução padrão do Databricks é habilitado para Photon. Isso se aplica a clusters polivalentes e de trabalho.
Novos clusters criados com uma política de cluster compatível com Photon têm o Photon habilitado por padrão. Uma política de cluster é compatível com Photon se o Databricks Runtime oferecer suporte a ela, se o tipo de nó for suportado e se o runtime_engine não estiver explicitamente set a STANDARD.
Databricks Runtime 14.1 é GA
11 de outubro de 2023
O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML estão agora disponíveis para o público em geral.
Consulte Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning.
As notas de versão das ferramentas de desenvolvedor foram movidas
10 de outubro de 2023
As notas de versão das ferramentas de desenvolvedor do Azure Databricks após 10 de outubro de 2023 agora são publicadas nas notas de versão das ferramentas de desenvolvedor e SDKs do Azure Databricks, em vez das notas de versão da plataforma Azure Databricks.
Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.5
9 de outubro de 2023
A extensão Databricks para Visual Studio Code versão 1.1.5 contém algumas correções menores. Para obter detalhes, consulte o changelog para a versão 1.1.5.
E/S preditiva para atualizações é GA
9 de outubro de 2023
A E/S preditiva para atualizações agora está disponível em geral no Databricks Runtime 14.0 e superior. Consulte O que é E/S preditiva?.
Os vetores de exclusão são GA
9 de outubro de 2023
Os vetores de exclusão agora estão geralmente disponíveis no Databricks Runtime 14.0 e superior. Consulte O que são vetores de exclusão?.
O Partner Connect suporta RudderStack
5 de outubro de 2023
Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao RudderStack. Para obter mais informações, consulte Conectar-se ao RudderStack.
CLI do Databricks atualizada para a versão 0.207.0 (Visualização pública)
4 de outubro de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.207.0. Esta versão contém atualizações de recursos e correções para Databricks Asset Bundles, faz adições e alterações em vários grupos de comandos e comandos e muito mais. Para obter detalhes, consulte o changelog para a versão 0.207.0.
Executar células selecionadas num bloco de notas
4 de outubro de 2023
Agora você pode executar apenas células selecionadas em um bloco de anotações. Consulte Executar células selecionadas.
Use a associação de espaço de trabalhocatalog para dar acesso de leitura apenas a um catalog
4 de outubro de 2023
Ao usar a associação de espaço de trabalho decatalog para limitcatalog no acesso a espaços de trabalho específicos na sua conta, agora pode tornar esse acesso de leitura apenas. Espaço de trabalho somente leitura - a atribuição decatalog é útil para cenários como dar aos utilizadores acesso somente leitura aos dados de produção a partir de um espaço de trabalho de desenvolvedor para permitir o desenvolvimento e testagem.
Esse update também deprecia o ponto de extremidade da API /api/2.1/unity-catalog/workspace-bindings/, substituindo-o por /api/2.1/unity-catalog/bindings/.
Confira Limitcatalog o acesso a espaços de trabalho específicos.
Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.4
2 de outubro de 2023
A extensão Databricks para Visual Studio Code versão 1.1.4 adiciona suporte para URLs de espaço de trabalho personalizadas do Azure Databricks e muito mais. Para obter detalhes, consulte o changelog para a versão 1.1.4.
Databricks SDK para Python atualizado para a versão 0.10.0 (Beta)
3 de outubro de 2023
O Databricks SDK para Python versão 0.10.0 introduz 7 alterações de quebra, adiciona 10 classes de dados, adiciona 6 campos e adiciona um serviço. Para obter detalhes, consulte o changelog para a versão 0.10.0.
Databricks SDK for Go atualizado para a versão 0.22.0 (Beta)
3 de outubro de 2023
O Databricks SDK for Go versão 0.22.0 introduz uma alteração de API de quebra e adiciona uma API. Para obter detalhes, consulte o changelog para a versão 0.22.0.
Unity Catalogvolumes agora em Visualização Pública para Azure China
2 de outubro de 2023
O Unity Catalogvolumes agora está disponível como um recurso de Visualização Pública nas regiões do Azure China. Veja O que é o Unity Catalogvolumes?.