Agosto de 2022
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2022.
Nota
Os lançamentos são feitos em fases. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.
Os usuários da conta podem acessar o console da conta
1 a 31 de agosto de 2022
Os usuários da conta podem acessar o console de conta do Azure Databricks para exibir uma lista de seus espaços de trabalho. Os usuários da conta só podem exibir espaços de trabalho aos quais lhes foi concedido acesso. Consulte Gerenciar sua conta do Azure Databricks.
Os utilizadores de espaços de trabalho são sincronizados automaticamente com a sua conta como utilizadores da conta. Todos os usuários do espaço de trabalho e entidades de serviço existentes são sincronizados automaticamente com sua conta como usuários no nível da conta e entidades de serviço. Consulte Atribuir utilizadores ao Azure Databricks.
Databricks driver ODBC 2.6.26
29 de agosto de 2022
Lançamos a versão 2.6.26 do driver ODBC Databricks (download). Esta versão atualiza o suporte a consultas. Agora você pode cancelar consultas de forma assíncrona em conexões HTTP mediante solicitação de API.
Esta versão também resolve o seguinte problema:
- Ao usar consultas personalizadas no Spotfire, o conector deixa de responder.
Driver JDBC Databricks 2.6.29
29 de agosto de 2022
Lançamos a versão 2.6.29 do driver JDBC Databricks (download). Esta versão resolve os seguintes problemas:
- Ao usar um proxy HTTP com o Cloud Fetch habilitado, o conector não retorna resultados de conjuntos de dados grandes.
- Problemas menores de texto no Texto da Licença do Databricks. Faltavam links de documentação.
- Os nomes dos arquivos JAR estavam incorretos. Em vez de SparkJDBC41.jar deveria ter sido DatabricksJDBC41.jar. Em vez de SparkJDBC42.jar, deveria ter sido DatabricksJDBC42.jar.
Cliente Databricks Feature Store agora disponível no PyPI
26 de agosto de 2022
O cliente Feature Store agora está disponível no PyPI. O cliente requer Databricks Runtime 9.1 LTS ou superior, e pode ser instalado usando:
%pip install databricks-feature-store
O cliente já está empacotado com o Databricks Runtime para Machine Learning, versão 9.1 LTS e posteriores.
O cliente não pode ser executado fora do Databricks; no entanto, você pode instalá-lo localmente para ajudar no teste de unidade e para suporte IDE adicional (por exemplo, preenchimento automático). Para obter mais informações, consulte Cliente Python do Databricks Feature Store
O Unity Catalog está em Disponibilidade Geral
25 de agosto de 2022
O Catálogo Unity está disponível em geral. Para obter informações detalhadas sobre recursos e limitações, consulte a nota de lançamento do Unity Catalog GA
Delta Sharing é GA
25 de agosto de 2022
O Delta Sharing agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. Para obter detalhes, consulte O que é o Delta Sharing?.
- O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de troca de tokens.
- Crie e gerencie provedores, destinatários e compartilhamentos com uma interface do usuário simples de usar.
- Crie e gerencie provedores, destinatários e compartilhamentos com APIs SQL e REST com suporte total a CLI e Terraform.
- Consulte alterações em dados ou partilhe versões incrementais com Feeds de Dados de Alteração.
- Restrinja o acesso do destinatário ao download de arquivos de credenciais ou à consulta de dados usando listas de acesso IP e restrições de região.
- Usar o Compartilhamento Delta para compartilhar dados na mesma conta do Azure Databricks é habilitado por padrão.
- Impor a separação de funções delegando o gerenciamento do Delta Sharing a não-administradores.
Databricks Runtime 11.2 (Beta)
23 de agosto de 2022
Databricks Runtime 11.2, 11.2 Photon e 11.2 ML estão agora disponíveis como versões Beta.
Consulte as notas de versão completas em Databricks Runtime 11.2 (EoS) e Databricks Runtime 11.2 for Machine Learning (EoS).
Volume de mensagens reduzido na interface do usuário DLT para pipelines contínuos
22 a 29 de agosto de 2022: Versão 3.79
Com esta versão, as transições de estado para tabelas dinâmicas em um pipeline contínuo de DLT são exibidas na interface do usuário somente até que as tabelas entrem no estado de execução. Quaisquer transições relacionadas ao recálculo bem-sucedido das tabelas não são exibidas na interface do usuário, mas estão disponíveis no log de eventos DLT no nível METRICS. Todas as transições para estados de falha ainda são exibidas na interface do usuário. Anteriormente, todas as transições de estado eram exibidas na interface do usuário para tabelas dinâmicas. Essa alteração reduz o volume de eventos de pipeline exibidos na interface do usuário e facilita a localização de mensagens importantes para seus pipelines. Para saber mais sobre como consultar o log de eventos, consulte O que é o log de eventos DLT?.
Configuração mais fácil de cluster para os seus pipelines DLT
22 a 29 de agosto de 2022: Versão 3.79
Agora você pode selecionar um modo de cluster, dimensionamento automático ou tamanho fixo, diretamente na interface do usuário DLT ao criar um pipeline. Anteriormente, a configuração de um cluster de dimensionamento automático exigia alterações nas configurações JSON do pipeline. Para obter mais informações sobre como criar um fluxo de trabalho e a nova configuração do modo Cluster, consulte Executar uma atualização num pipeline DLT.
Orquestre tarefas dbt em seus fluxos de trabalho do Databricks (Visualização pública)
22 a 29 de agosto de 2022: Versão 3.79
Você pode executar seu projeto dbt core como uma tarefa em um trabalho do Azure Databricks com a nova tarefa dbt, permitindo que você inclua suas transformações dbt em um fluxo de trabalho de processamento de dados. Por exemplo, seu fluxo de trabalho pode ingerir dados com o Auto Loader, transformar os dados com dbt e analisar os dados com uma tarefa de notebook. Para obter mais informações sobre a tarefa dbt, incluindo um exemplo, consulte Usar transformações dbt em um trabalho do Azure Databricks. Para obter mais informações sobre como criar, executar e agendar um fluxo de trabalho que inclui uma tarefa dbt, consulte Visão geral da orquestração no Databricks.
A federação de identidades é GA
25 de agosto de 2022
A federação de identidades simplifica a administração do Azure Databricks, permitindo que você atribua usuários, entidades de serviço e grupos no nível da conta a espaços de trabalho federados por identidade. Agora você pode configurar e gerenciar todos os seus usuários, entidades de serviço e grupos uma vez no console da conta, em vez de repetir a configuração separadamente em cada espaço de trabalho. Para saber mais sobre a federação de identidades, consulte Atribuir usuários a espaços de trabalho. Para começar, veja Habilitar a federação de identidades.
O Partner Connect suporta a ligação ao Stardog
24 de agosto de 2022
Agora você pode criar facilmente uma conexão entre o Stardog e seu espaço de trabalho do Azure Databricks usando o Partner Connect. A Stardog fornece uma plataforma de gráfico de conhecimento para responder a consultas complexas em silos de dados.
Integração do Databricks Feature Store com o Serverless Real-Time Inference
22 a 29 de agosto de 2022: Versão 3.79
O Databricks Feature Store agora suporta a pesquisa automática de características para Inferência em Tempo Real Sem Servidor. Para obter detalhes, consulte Pesquisa automática de recursos com o Databricks Model Serving.
Suporte de tipo de dados adicional para pesquisa automática de recursos do Databricks Feature Store
22 a 29 de agosto de 2022: Versão 3.79
Databricks Feature Store agora suporta BooleanType para pesquisa automática de recursos. Consulte Pesquisa automática de características com o Databricks Model Serving.
Traga sua própria chave: criptografe as credenciais do Git
23 a 29 de agosto de 2022
Você pode usar uma chave de criptografia para credenciais Git para Databricks Repos.
Consulte Traga a sua própria chave: Criptografar credenciais do Git.
O modo de visualização e acesso da interface do usuário do cluster substitui o modo de segurança
19 de agosto de 2022
A nova interface do utilizador Criar Cluster está em pré-visualização. Consulte a Referência de Configuração de Computação.
Limitações do Catálogo Unity (Visualização pública)
16 de agosto de 2022
- Scala, R e cargas de trabalho usando o Machine Learning Runtime são suportadas apenas em clusters que usam o modo de acesso de usuário único. As cargas de trabalho nesses idiomas não oferecem suporte ao uso de modos de exibição dinâmicos para segurança em nível de linha ou coluna.
- Clones superficiais não são suportados quando o Unity Catalog é utilizado como a origem ou o destino do clone.
- Não há suporte para segmentação em tabelas do Unity Catalog. Os comandos que tentam criar uma tabela com buckets no Unity Catalog lançarão uma exceção.
- O modo de substituição para operações de gravação de DataFrame no Unity Catalog é suportado apenas para tabelas Delta, não para outros formatos de ficheiro. O usuário deve ter o privilégio
CREATEno esquema pai e deve ser o proprietário do objeto existente. - Atualmente, o streaming tem as seguintes limitações:
- Não há suporte para clusters que usam o modo de acesso compartilhado. Para cargas de trabalho de streaming, você deve usar o modo de acesso de usuário único.
- O ponto de verificação assíncrono ainda não é suportado.
- Consultas de streaming com duração superior a 30 dias em clusters de propósito geral ou de trabalho lançarão uma exceção. Para consultas de streaming de longa duração, configure as tentativas automáticas de tarefas.
- Atualmente, não há suporte para a referência a tabelas do Unity Catalog a partir de pipelines DLT.
- Os grupos criados anteriormente em um espaço de trabalho não podem ser usados em instruções GRANT do Catálogo Unity. Isso é para garantir uma visão consistente de grupos que podem abranger vários espaços de trabalho. Para usar grupos em instruções GRANT, crie os seus grupos no console da conta e atualize qualquer automação de gestão de principais ou grupos (como conectores SCIM, Okta, Microsoft Entra ID e Terraform) para fazer referência a endereços de conta em vez de endereços de espaço de trabalho.
O Catálogo Unity está disponível nas seguintes regiões:
canadacentralcentralusfrancecentralgermanywestcentraljapaneastnorwayeastsouthafricanorthswedencentralswitzerlandnorthswitzerlandwestuaenorthwestcentraluswestus3australiaeastbrazilsouthcentralindiaeastuseastus2koreacentralnorthcentralusnortheuropesoutheastasiaukwestwesteuropewestus
Para usar o Catálogo Unity em outra região, entre em contato com a equipe da sua conta.
Inferência em tempo real sem servidor em pré-visualização pública
16 de agosto de 2022
A Inferência em Tempo Real sem Servidor processa seus modelos de aprendizado de máquina usando MLflow e os expõe como pontos de extremidade da API REST. Essa funcionalidade usa computação sem servidor, o que significa que os pontos de extremidade e os recursos de computação associados são gerenciados e executados na conta de nuvem do Azure Databricks. Os custos de utilização e armazenamento incorridos são atualmente gratuitos, mas o Azure Databricks fornecerá um aviso quando a cobrança começar.
Os administradores de espaço de trabalho devem habilitar a Inferência em Tempo Real sem Servidor em seu espaço de trabalho para que você use esse recurso.
Para participar da visualização pública do Serverless Real-Time Inference, entre em contato com sua equipe de conta do Azure Databricks.
A pesquisa melhorada no espaço de trabalho é agora GA
9 de agosto de 2022
Agora você pode pesquisar blocos de anotações, bibliotecas, pastas, arquivos e repositórios pelo nome. Também pode procurar conteúdo num bloco de notas e ver uma pré-visualização do conteúdo correspondente. Os resultados da pesquisa podem ser filtrados por tipo. Consulte Pesquisar objetos de espaço de trabalho.
Usar colunas geradas ao criar conjuntos de dados DLT
8 a 15 de agosto de 2022: Versão 3.78
Agora é possível usar as colunas geradas ao definir tabelas nos pipelines DLT. As colunas geradas são suportadas pelas interfaces DLT Python e SQL.
Edição melhorada para cadernos com editor baseado no Mónaco (Experimental)
8 a 15 de agosto de 2022
Um novo editor de código baseado em Mônaco está disponível para notebooks Python. Para ativá-lo, marque a opção Ativar o novo editor de bloco de anotações na guia Configurações do Editor na página Configurações do usuário.
O novo editor inclui dicas de tipo de parâmetro, inspeção de objetos ao passar o ponteiro do rato, dobragem de código, suporte a vários cursores, seleção de coluna (caixa) e comparações lado a lado no histórico de versões do notebook.
Termina o suporte da série Databricks Runtime 10.3
2 de agosto de 2022
O suporte para Databricks Runtime 10.3 e Databricks Runtime 10.3 para Machine Learning terminou em 2 de agosto. Consulte Ciclos de vida de suporte do Databricks.
Habilitar a conectividade privada com o Azure Private Link (Visualização Pública)
2 de agosto de 2022
O Azure Databricks agora oferece suporte à habilitação de conexões do Azure Private Link para conectividade privada entre usuários e seus espaços de trabalho do Azure Databricks, e também entre clusters no plano de computação e os serviços principais no plano de controle dentro da infraestrutura do espaço de trabalho do Azure Databricks. O Azure Private Link liga-se aos serviços diretamente sem expor o tráfego à rede pública. Esta funcionalidade está disponível como Pré-visualização Pública. Consulte Habilitar conexões back-end e front-end do Azure Private Link.
Habilitar armazéns SQL sem servidor para seu espaço de trabalho (Visualização pública)
2 de agosto de 2022
Os armazéns SQL sem servidor agora estão disponíveis para contas e espaços de trabalho no Azure Databricks como uma Pré-visualização Pública. Este recurso requer o nível de preço Premium. Antes de criar armazéns SQL sem servidor, um administrador deve habilitá-lo para o espaço de trabalho.
A DLT agora suporta a atualização apenas de tabelas selecionadas em atualizações de pipeline
2 a 24 de agosto de 2022
Agora você pode iniciar uma atualização apenas para tabelas selecionadas em um pipeline de DLT. Esse recurso acelera o teste de pipelines e a resolução de erros, permitindo que você inicie uma atualização de pipeline que atualiza apenas tabelas selecionadas. Para saber como começar uma atualização apenas de tabelas selecionadas, veja Executar uma atualização em um pipeline de DLT.
A execução do trabalho agora aguarda a conclusão da instalação das bibliotecas de cluster
1 de agosto de 2022
Quando um cluster está sendo iniciado, seus trabalhos do Databricks agora aguardam que as bibliotecas de cluster concluam a instalação antes de serem executados. Anteriormente, as execuções de tarefas aguardavam a instalação de bibliotecas em clusters de uso geral somente se estivessem especificadas como bibliotecas dependentes para a tarefa. Para obter mais informações sobre como configurar bibliotecas dependentes para tarefas, consulte Configurar e editar tarefas do Databricks.