Julho de 2023
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em julho de 2023.
Nota
Os lançamentos são encenados. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.
Os administradores de espaços de trabalho agora podem criar grupos de contas
31 de julho de 2023
Os administradores de espaços de trabalho agora podem criar grupos de contas a partir de seus espaços de trabalho federados de identidade. Anteriormente, os administradores de espaço de trabalho podiam criar apenas grupos locais de espaço de trabalho. Os grupos de contas podem receber acesso aos dados em um metastore Unity Catalog e acesso a espaços de trabalho com federação de identidade. O Databricks recomenda que você use grupos de contas em vez de grupos locais de espaço de trabalho para aproveitar o Unity Catalog e um local central para administrar a identidade.
Consulte Gerenciar grupos de contas usando a página de configurações de administração do espaço de trabalho.
A função de gestor de grupo está na Pré-visualização Pública
31 de julho de 2023
Agora você pode grant permissões de usuários, entidades de serviço e grupos do Databricks para gerenciar grupos. Os gerentes de grupo podem gerenciar a associação ao grupo. Eles também podem atribuir a outros usuários a função de gerente de grupo. Os administradores de conta têm a função de gestor de grupo em todos os grupos da conta. Os administradores de espaço de trabalho têm a função de gerente de grupo nos grupos de contas que criam.
Consulte Quem pode gerenciar grupos de contas?.
CLI do Databricks atualizada para a versão 0.202.0 (Visualização pública)
27 de julho de 2023
A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.202.0. Para obter detalhes, consulte o changelog para a versão 0.202.0.
Databricks SDK para Python atualizado para a versão 0.3.0 (Beta)
27 de julho de 2023
SDK do Databricks para Python versão 0.3.0 introduz suporte para o serviço Account Network Policy; lida com consultas aninhadas parameters; adiciona, remove e cria métodos, campos, classes de dados e serviços diversos; e muito mais. Para obter detalhes, consulte o changelog para a versão 0.3.0.
Databricks SDK for Go atualizado para a versão 0.14.1 (Beta)
27 de julho de 2023
Databricks SDK for Go versão 0.14.1 lida com consultas aninhadas parameters adequadamente, corrigindo a filtragem nas listagens do QueryHistory. Para obter detalhes, consulte o changelog para a versão 0.14.1.
Databricks SDK for Go atualizado para a versão 0.14.0 (Beta)
26 de julho de 2023
O Databricks SDK for Go versão 0.14.0 adiciona suporte para o serviço de Diretiva de Rede de Conta e adiciona, remove e altera vários métodos, campos e tipos. Para obter detalhes, consulte o changelog para a versão 0.14.0.
Executar outro trabalho como uma tarefa em um trabalho do Azure Databricks
25 de julho de 2023
Você pode usar a nova Run Job tarefa para adicionar outro trabalho como uma tarefa em seu trabalho do Azure Databricks, permitindo que você decomponha um grande fluxo de trabalho de processamento em vários trabalhos de componentes ou crie componentes reutilizáveis para usar em vários trabalhos. Para obter informações sobre como usar a tarefa na interface do usuário de trabalhos, consulte Agendar e orquestrar fluxos de trabalho. Para obter informações sobre como usar a tarefa com a API REST de Trabalhos, consulte Trabalhos na referência da API REST 2.1 ou a referência da API de Trabalhos 2.0.
Rede de espaço de trabalho update recebe suporte à interface do usuário (GA)
24 de julho de 2023
Anteriormente, você podia usar um modelo ARM com linha de comando ou o portal do Azure para habilitar a conectividade segura de cluster ou habilitar o Azure Private Link.
Agora você também pode usar a interface do usuário do portal do Azure (sem modelo) para atualizações de rede diretamente em sua instância de espaço de trabalho do Azure Databricks. Ambos os tipos de atualizações de rede estão agora geralmente disponíveis.
Todos os usuários podem acessar produtos de dados no Databricks Marketplace por padrão
24 de julho de 2023
A partir de 24 de julho e implementando gradualmente em todos os espaços de trabalho elegíveis, todos os usuários poderão instalar conjuntos de dados gratuitos ou comprados anteriormente usando o Databricks Marketplace. Isso é possível concedendo o privilégio de USE MARKETPLACE ASSETS a todos os usuários em todos os Unity Catalogmetastores. Este novo privilégio não tem impacto nos custos, uma vez que todas as transações do Marketplace ocorrem fora do Databricks. Se quiser desativar o acesso, consulte Desativar o acesso ao Marketplace.
Modo de atalhos de teclado clássico
21 de julho de 2023
Uma nova configuração permite que você use recursos do novo editor (como preenchimento automático enquanto digita, realce de sintaxe, formatação de código e muito mais), mantendo os mesmos atalhos de teclado familiares do editor anterior. Para acessar essa configuração, abra a configuração do editor e alterne o modo de atalhos do editor do Bloco de Anotações para Clássico (Espelho de Código).
Lakehouse Federation permite executar consultas contra o banco de dados externo providers (Pré-visualização pública)
21 de julho de 2023
A Lakehouse Federation é a plataforma de federação de consultas para o Azure Databricks, aproveitando o Unity Catalog para permitir que usuários e sistemas executem consultas em várias fontes de dados externas sem a necessidade de migrar todos os dados para um sistema unificado.
Lakehouse Federation destina-se a casos de uso como:
- Relatórios ad hoc.
- Trabalho de prova de conceito.
- A fase exploratória de novos pipelines ou relatórios de ETL.
- Suporte a cargas de trabalho durante a migração incremental.
Em cada um desses cenários, a federação de consultas leva você a insights mais rapidamente, porque você pode consultar os dados no local e evitar o processamento de ETL complexo e demorado. Além disso, você get as vantagens das interfaces de Catalog Unity e da governança de dados, incluindo controle de acesso refinado, linhagem de dados e pesquisa.
Veja O que é Lakehouse Federation?.
Mover para a lixeira habilitado para Repos
19 de julho de 2023
A exclusão de repositórios agora funciona da mesma forma que excluir outros ativos do espaço de trabalho. No listRepositório, clique com o botão direito do rato no nome do repositório e selectMover para o Lixo. Após 30 dias, a pasta Lixo é automaticamente excluída permanentemente.
Consulte Excluir um objeto.
Crie alertas para trabalhos lentos ou bloqueados
18 de julho de 2023
Agora você pode configurar uma duração esperada para um trabalho ou tarefa do Azure Databricks e adicionar notificações se um trabalho ou tarefa exceder a duração esperada. Esse recurso permite que você get alertas para trabalhos de execução lenta sem que a execução seja cancelada. Para configurar uma duração esperada na interface do usuário de Trabalhos do Azure Databricks, consulte Configurar limites para a duração da execução do trabalho ou transmitir métricas de lista de pendências. Para configurar a duração esperada com a API Jobs 2.1, consulte Jobs na referência da API REST.
Databricks SDK for Go atualizado para a versão 0.13.0 (Beta)
18 de julho de 2023
O SDK do Databricks para Go versão 0.13.0 adiciona suporte à autenticação de identidades gerenciadas do Azure para operações no nível da conta, adiciona, altera e remove vários métodos e campos e muito mais. Para obter detalhes, consulte o changelog para a versão 0.13.0.
Databricks SDK para Python atualizado para a versão 0.2.0 (Beta)
18 de julho de 2023
O Databricks SDK para Python versão 0.2.0 adiciona uma implementação local de , adiciona, altera e remove vários métodos, campos e classes de dbutils.widgetsdados e muito mais. Para obter detalhes, consulte o changelog para a versão 0.2.0.
CLI do Databricks atualizada para a versão 0.201.0 (Visualização pública)
18 de julho de 2023
A interface de linha de comando Databricks (Databricks CLI) versão 0.201.0 melhora a auth login experiência, dá suporte ao preenchimento de guias para fazer referência a perfis de configuração de autenticação do Azure Databricks, faz adições, alterações e remoções de vários grupos de comandos e comandos e muito mais. Para obter detalhes, consulte o changelog para a versão 0.201.0.
Databricks SDK para Python atualizado para a versão 0.2.1 (Beta)
18 de julho de 2023
O Databricks SDK para Python versão 0.2.1 suporta versões mais antigas do urllib. Para obter detalhes, consulte o changelog para a versão 0.2.1.
O Assistente Databricks está em Pré-visualização Pública
18 de julho de 2023
O Databricks Assistant funciona como um programador de pares complementar baseado em IA para torná-lo mais eficiente ao criar blocos de anotações, consultas e arquivos. Pode ajudar a responder rapidamente a perguntas gerando, otimizando, concluindo, explicando e corrigindo código e consultas. Consulte as Perguntas frequentes do Databricks Assistant para obter mais informações e instruções sobre como ativar o Assistente.
Desativar utilizadores e entidades de serviço da sua conta
13 de julho de 2023
Agora você pode desativar usuários e entidades de serviço da sua conta do Azure Databricks. Um usuário desativado não pode fazer logon na conta do Azure Databricks ou nos espaços de trabalho federados de identidade. No entanto, todas as permissões e objetos de espaço de trabalho do usuário permanecem inalterados. Para obter mais informações, consulte Desativar um usuário em sua conta do Azure Databricks e Desativar uma entidade de serviço em sua conta do Azure Databricks.
O provisionamento SCIM no nível da conta agora desativa os usuários quando eles são desativados no provedor de identidade
13 de julho de 2023
O provisionamento SCIM no nível da conta agora desativa os usuários quando eles são desativados em seu provedor de identidade. Anteriormente, quando um usuário era desativado em um provedor de identidade, o provisionamento SCIM no nível da conta os excluía da conta do Azure Databricks. Para obter mais informações, consulte Sync utilizadores e grupos do Microsoft Entra ID e Desativar um utilizador na sua conta do Azure Databricks.
Acesso de administrador do diretório da lixeira
13 de julho de 2023
Os administradores do espaço de trabalho agora podem acessar os diretórios da Lixeira de outros usuários.
A prevenção de deteção de tipo MIME e renderização de página de ataque XSS agora está sempre ativada
12 de julho de 2023
O Azure Databricks reduz o risco de deteção de tipo MIME e renderização de página de ataque XSS adicionando cabeçalhos HTTP apropriados. Esses recursos foram habilitados por padrão e anteriormente podiam ser desativados. Para maior segurança, o Azure Databricks agora sempre habilita ambos os recursos e não há mais configurações de administrador do espaço de trabalho para desabilitá-los. Para espaços de trabalho que anteriormente desabilitavam um ou ambos os recursos, ambos os recursos agora estão habilitados.
Unity Catalogvolumes estão em pré-visualização pública
12 de julho de 2023
Agora você pode usar volumes no Unity Catalog para gerenciar o acesso a locais de armazenamento de objetos na nuvem no Databricks Runtime 13.2 e superior. Volumes fornecem recursos para acessar, armazenar, governar e organizar arquivos. Veja O que são Unity Catalogvolumes?.
Experiência simplificada para enviar comentários sobre produtos a partir do espaço de trabalho
11 de julho de 2023
Agora é mais fácil enviar comentários sobre produtos a partir do seu espaço de trabalho. Você pode enviar comentários e anexar capturas de tela com menos etapas e sem sair da interface do usuário do espaço de trabalho. Para obter mais informações, consulte Enviar comentários sobre produtos.
Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.0
10 de julho de 2023
A extensão Databricks para Visual Studio Code versão 1.1.0 permite a integração do Databricks Connect por padrão, adiciona recursos experimentais para notebooks Jupyter e muito mais. Para obter detalhes, consulte o changelog para a versão 1.1.0.
Funções agora exibidas no Catalog Explorer (Visualização pública)
10 de julho de 2023
As funções definidas pelo usuário SQL e Python agora estão visíveis no Catalog Explorer. Você pode exibir detalhes da função e gerenciar permissões usando essa nova interface do usuário.
Databricks Terraform provedor atualizado para a versão 1.21.0
7 de julho de 2023
O provedor Databricks Terraform versão 1.21.0 adiciona suporte para assinaturas em painéis e tarefas SQL de alerta no databricks_job, define utilitários de dados genéricos do Azure Databricks para definir fontes de dados no nível do espaço de trabalho e da conta e muito mais. Para obter detalhes, consulte o changelog para a versão 1.21.0.
O offset máximo para as solicitações de API de List all jobs e List job runs agora é limitado
6 de julho de 2023
O offset máximo que se pode especificar nos pedidos de List all jobs e List job runs na API de Jobs agora é limitado. Para evitares este limit quando utilizas essas solicitações, utiliza a paginação baseada em token que não apresenta este limit. Consulte GET /api/2.1/jobs/list e GET /api/2.1/jobs/runs/list na referência da API REST.
Databricks Runtime 13.2 é GA
6 de julho de 2023
O Databricks Runtime 13.2 e o Databricks Runtime 13.2 ML estão agora disponíveis para o público em geral.
Consulte Databricks Runtime 13.2 (EoS) e Databricks Runtime 13.2 para Machine Learning (EoS).
Delta Sharing e Databricks Marketplace suportam compartilhamento de exibição (Visualização pública)
6 de julho de 2023
Agora você pode compartilhar views no Delta Sharing e no Databricks Marketplace. Consulte Adicionar views a um compartilhamento.
Os scripts Init no DBFS chegam ao fim da vida útil em 1º de setembro de 2023
5 de julho de 2023
Em 1º de setembro de 2023, o suporte para scripts init no DBFS chegará ao fim da vida útil e o recurso não funcionará mais. Armazene scripts de inicialização em arquivos de espaço de trabalho para garantir que eles continuem a funcionar após 1º de setembro de 2023.