Março de 2022
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em março de 2022.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Melhor desempenho e custo para seus pipelines do Delta Live Tables com o dimensionamento automático aprimorado do Databricks
31 de março de 2022
O dimensionamento automático aprimorado do Databricks melhora a funcionalidade de dimensionamento automático de cluster existente adicionando otimizações de carga de trabalho de streaming e suporte aprimorado para cargas de trabalho em lote. As melhorias aprimoradas de dimensionamento automático fornecem utilização de cluster mais eficiente, uso reduzido de recursos e menor custo. Consulte Otimizar a utilização do cluster de pipelines do Delta Live Tables com dimensionamento automático aprimorado.
Arquivos no Repos habilitados por padrão em novos workspaces
30 de março de 2022
O recurso Arquivos no Repos agora está habilitado por padrão em workspaces recém-criados.
O Repositório de Recursos do Databricks está em disponibilidade geral
22 de março de 2022
O Repositório de Recursos do Databricks está em disponibilidade geral. O Repositório de Recursos do Databricks permite o compartilhamento e a descoberta de recursos na organização e também garante que um código de computação de recursos consistente seja usado para treinamento e inferência de modelo.
Compartilhar um experimento da página de experimentos
21 a 28 de março de 2022: versão 3.68
O botão Permissões na página de experimento do MLflow foi renomeado como Compartilhamento. A caixa de diálogo agora inclui um link compartilhável para o experimento. Consulte Alterar permissões para o experimento.
Correção de bug do RStudio Workbench
21 a 28 de março de 2022: versão 3.68
O RStudio Workbench mais recente depende de cookies quando você usa um arquivo de licença. Esses cookies não foram incluídos na lista de permitidos para proxy. Esse problema foi corrigido.
Novas opções de idioma do espaço de trabalho
21 de março de 2022
Os espaços de trabalho agora estão disponíveis nos idiomas a seguir:
- Español
- Português (Brasil)
O Databricks Runtime 10.4 LTS e o 10.4 LTS ML estão em disponibilidade geral; o 10.4 Photon está em Visualização Pública
18 de março de 2022
O Databricks Runtime 10.4 LTS e o Databricks Runtime 10.4 LTS ML estão disponíveis ao público em geral. O Databricks Runtime 10.4 Photon está em Versão Prévia Pública.
Observação
LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.
Consulte Databricks Runtime 10.4 LTS e Databricks Runtime 10.4 LTS para Machine Learning.
O Catálogo do Unity está disponível em Visualização Pública
10 de março de 2022
O Catálogo do Unity (versão prévia) é uma solução de administração refinada para dados e IA no Databricks lakehouse.
O Catálogo do Unity ajuda a simplificar a segurança e a governança dos seus dados com os seguintes recursos principais:
- Defina uma vez, proteja em todos os lugares: o Catálogo do Unity oferece um único local para administrar políticas de acesso a dados que se aplicam a todos os workspaces e personas.
- Modelo de segurança em conformidade com padrões: o modelo de segurança do Catálogo do Unity baseia-se no padrão ANSI SQL e permite que os administradores concedam permissões em catálogos, bancos de dados (também chamados de esquemas), tabelas e exibições no data lake existente usando uma sintaxe conhecida.
- Auditoria interna: o Catálogo do Unity captura automaticamente os logs de auditoria de nível do usuário que registram o acesso aos seus dados.
É possível acessar os dados no Catálogo do Unity da mesma maneira que você acessa os dados locais de um workspace: por meio de um cluster de Engenharia e Ciência de Dados ou do Databricks Mosaic AI, de um warehouse SQL, do editor do Databricks SQL, da API REST do Catálogo do Unity ou da CLI (interface de linha de comando) do Catálogo do Unity.
Para obter mais informações, consulte O que é um Catálogo do Unity?. Para participar da visualização pública do Catálogo do Unity, contate a equipe da sua conta do Azure Databricks.
O Delta Sharing está disponível em Visualização Pública
10 de março de 2022
O Delta Sharing (versão prévia) é um protocolo aberto desenvolvido pelo Databricks para proteger o compartilhamento de dados com outras organizações, independentemente das plataformas de computação usadas. Um usuário do Databricks, chamado de “provedor de dados”, pode usar o Delta Sharing para compartilhar dados em um metastore do Catálogo do Unity com uma pessoa ou um grupo fora da organização, chamado de “destinatário de dados”. Os destinatários de dados podem começar a trabalhar imediatamente com a última versão dos dados compartilhados. Para obter uma lista completa de conectores e informações sobre como usá-los, confira a documentação do projeto Delta Sharing. Quando o Delta Sharing está habilitado em um metastore do Catálogo do Unity, o Catálogo do Unity executa um servidor do Delta Sharing.
Para obter mais informações, confira O que é o Delta Sharing?. Para participar da visualização pública do Compartilhamento Delta, contate a equipe da sua conta do Azure Databricks.
Girar a chave gerenciada pelo cliente para serviços gerenciados
10 de março de 2022
É possível adicionar uma chave gerenciada pelo cliente (CMK) para serviços gerenciados. O Azure Databricks usa sua chave para proteger e controlar o acesso à chave que criptografa dados no painel de controle para fonte do notebook, segredos e histórico de consultas do Databricks SQL. Esse recurso está em uma versão prévia.
Agora você pode girar (atualizar) a chave.
Controle de acesso aprimorado para pipelines do Delta Live Tables
9 de março de 2022
Agora é possível ter mais controle sobre o acesso a seus pipelines do Delta Live Tables, incluindo o proprietário de um pipeline, que pode exibi-lo ou gerenciá-lo, e quem pode executar o pipeline. Consulte ACLs de pipeline do Delta Live Tables.
Testar a funcionalidade da versão prévia do Delta Live Tables com a nova configuração channel (Visualização Pública)
7 a 14 de março de 2022: versão 3.67
Você pode testar os próximos recursos em seus pipelines do Delta Live Tables com a nova configuração channel. Para testar seu pipeline com recursos futuros, defina channel como preview. Para voltar para a versão atual, defina channel como current.
Aprimoramento do tratamento de erro para funções de Python do Delta Live Tables (Visualização Pública)
7 a 14 de março de 2022: versão 3.67
Esta versão adiciona verificação de tipo para validar que as funções de Python do Delta Live Tables usam o tipo de dados string ao definir nomes e valores para as propriedades de tabela. Anteriormente, definir propriedades da tabela usando valores que não são de cadeia de caracteres poderia fazer com que o pipeline falhasse sem uma mensagem de erro indicando a causa subjacente.
Aprimoramentos no Databricks Repos
De 7 a 14 de março de 2022: versão 3.67
Os seguintes aprimoramentos foram feitos no Databricks Repos.
- Pesquisa de texto e substituição em arquivos nos repositórios. O editor de arquivos agora tem os menus Arquivo e Editar que fornecem as opções pesquisar, substituir e substituir todas as funcionalidades.
- Anteriormente, o Databricks recomendava que o número total de notebooks e arquivos em um repositório não excedesse 2.000. Esse limite foi aumentado para 5.000.
Log de diagnósticos para alterações de política de cluster
De 7 a 14 de março de 2022: versão 3.67
Quando o log de auditoria estiver habilitado, agora um evento de auditoria é registrado quando você cria, atualiza ou exclui uma política de cluster, ou quando você atualiza permissões de usuário para uma política de cluster. Para obter mais informações, consulte Referência do log de diagnóstico.
Databricks Runtime 10.4 (Beta)
4 de março de 2022
O Databricks Runtime 10.4, 10.4 Photon e 10.4 ML agora estão disponíveis como versões Beta.
Confira as notas de versão completas em Databricks Runtime 10.4 LTS e em Databricks Runtime 10.4 LTS para Machine Learning.