Agosto de 2022
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2022.
Nota
Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.
Os usuários da conta podem acessar o console da conta
1 a 31 de agosto de 2022
Os usuários da conta podem acessar o console de conta do Azure Databricks para exibir uma list de seus espaços de trabalho. Os usuários da conta só podem exibir espaços de trabalho aos quais lhes foi concedido acesso. Consulte Gerenciar sua conta do Azure Databricks.
Os usuários de espaços de trabalho são sincronizados automaticamente com sua conta como usuários da conta. Todos os usuários do espaço de trabalho e entidades de serviço existentes são sincronizados automaticamente com sua conta como usuários no nível da conta e entidades de serviço. Consulte Como os administradores atribuem usuários à conta?.
Databricks driver ODBC 2.6.26
29 de agosto de 2022
Lançamos a versão 2.6.26 do driver ODBC Databricks (download). Esta versão atualiza o suporte a consultas. Agora você pode cancelar consultas de forma assíncrona em connections HTTP mediante solicitação de API.
Esta versão também resolve o seguinte problema:
- Ao usar consultas personalizadas no Spotfire, o conector deixa de responder.
Driver JDBC Databricks 2.6.29
29 de agosto de 2022
Lançamos a versão 2.6.29 do driver JDBC Databricks (download). Esta versão resolve os seguintes problemas:
- Ao usar um proxy HTTP com Cloud Fetch ativado, o conector não retorna resultados de dados grandes set.
- Problemas menores de texto no Texto da Licença do Databricks. Faltavam links de documentação.
- Os nomes dos arquivos JAR estavam incorretos. Em vez de SparkJDBC41.jar deveria ter sido DatabricksJDBC41.jar. Em vez de SparkJDBC42.jar, deveria ter sido DatabricksJDBC42.jar.
Cliente Databricks Feature Store agora disponível no PyPI
26 de agosto de 2022
O cliente Feature Store agora está disponível no PyPI. O cliente requer Databricks Runtime 9.1 LTS ou superior, e pode ser instalado usando:
%pip install databricks-feature-store
O cliente já está empacotado com o Databricks Runtime for Machine Learning 9.1 LTS e superior.
O cliente não pode ser executado fora do Databricks; no entanto, você pode instalá-lo localmente para ajudar no teste de unidade e para suporte IDE adicional (por exemplo, preenchimento automático). Para obter mais informações, consulte Cliente Python do Databricks Feature Store
Unity Catalog está em Disponibilidade Geral
25 de agosto de 2022
Unity Catalog está disponível para o público em geral. Para obter anúncios detalhados de recursos e limitações, consulte nota de versão do Unity Catalog GA.
Delta Sharing é GA
25 de agosto de 2022
O Delta Sharing agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. Para obter detalhes, consulte O que é o Delta Sharing?.
- O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de troca de tokens.
- Crie e gerencie providers, recipientse shares com uma interface do usuário simples de usar.
- Crie e gerencie providers, recipientse shares com APIs SQL e REST com suporte total a CLI e Terraform.
- Consulte alterações em dados ou partilhe versões incrementais com Feeds de Dados de Alteração.
- Restrinja o acesso do destinatário ao download de arquivos de credenciais ou à consulta de dados usando listas de acesso IP e restrições de região.
- Usar o Compartilhamento Delta para compartilhar dados na mesma conta do Azure Databricks é habilitado por padrão.
- Impor a separação de funções delegando o gerenciamento do Delta Sharing a não-administradores.
Databricks Runtime 11.2 (Beta)
23 de agosto de 2022
Databricks Runtime 11.2, 11.2 Photon e 11.2 ML estão agora disponíveis como versões Beta.
Consulte as notas de versão completas em Databricks Runtime 11.2 (EoS) e Databricks Runtime 11.2 for Machine Learning (EoS).
Volume de mensagens reduzido na interface do usuário do Delta Live Tables para pipelines contínuos
22 a 29 de agosto de 2022: Versão 3.79
Com esta versão, as transições de estado para tables ao vivo em um pipeline contínuo do Delta Live Tables são exibidas na interface do usuário somente até que o tables entre no estado de execução. Quaisquer transições relacionadas ao recálculo bem-sucedido do tables não são exibidas na interface do usuário, mas estão disponíveis no log de eventos do Delta Live Tables no nível METRICS. Todas as transições para estados de falha ainda são exibidas na interface do usuário. Anteriormente, todas as transições de estado eram exibidas na interface do usuário para tablesao vivo. Essa alteração reduz o volume de eventos de pipeline exibidos na interface do usuário e facilita a localização de mensagens importantes para seus pipelines. Para saber mais sobre como consultar o log de eventos, consulte O que é o log de eventos do Delta Live Tables?.
Configuração de cluster simplificada para os seus pipelines Delta Live Tables
22 a 29 de agosto de 2022: Versão 3.79
Agora você pode select um modo de cluster, de dimensionamento automático ou de tamanho fixo, diretamente na interface do usuário do Delta Live Tables ao criar um pipeline. Anteriormente, a configuração de um cluster de dimensionamento automático exigia alterações nas configurações JSON do pipeline. Para obter mais informações sobre como criar um pipeline e a configuração no modo Cluster , consulte Executar um update num pipeline Delta Live Tables.
Orquestre tarefas dbt em seus fluxos de trabalho do Databricks (Visualização pública)
22 a 29 de agosto de 2022: Versão 3.79
Você pode executar seu projeto dbt core como uma tarefa em um trabalho do Azure Databricks com a nova tarefa dbt, permitindo que você inclua suas transformações dbt em um fluxo de trabalho de processamento de dados. Por exemplo, seu fluxo de trabalho pode ingerir dados com o Auto Loader, transformar os dados com dbt e analisar os dados com uma tarefa de notebook. Para obter mais informações sobre a tarefa dbt, incluindo um exemplo, consulte Usar transformações dbt em um trabalho do Azure Databricks. Para obter mais informações sobre como criar, executar e agendar um fluxo de trabalho que inclui uma tarefa dbt, consulte Agendar e orquestrar fluxos de trabalho.
A federação de identidades é GA
25 de agosto de 2022
A federação de identidades simplifica a administração do Azure Databricks, permitindo que você atribua usuários, entidades de serviço e grupos no nível da conta a espaços de trabalho federados por identidade. Agora você pode configurar e gerenciar todos os seus usuários, entidades de serviço e grupos uma vez no console da conta, em vez de repetir a configuração separadamente em cada espaço de trabalho. Para saber mais sobre a federação de identidades, consulte Como os administradores atribuem usuários a espaços de trabalho?. Para iniciar get, consulte Como os administradores habilitam a federação de identidades em um espaço de trabalho?.
O Partner Connect suporta a ligação ao Stardog
24 de agosto de 2022
Agora você pode criar facilmente uma conexão entre o Stardog e seu espaço de trabalho do Azure Databricks usando o Partner Connect. A Stardog fornece uma plataforma de gráfico de conhecimento para responder a consultas complexas em silos de dados.
Integração do Databricks Feature Store com o Serverless Real-Time Inference
22 a 29 de agosto de 2022: Versão 3.79
O Databricks Feature Store agora suporta pesquisa automática de recursos para inferência em tempo real sem servidor. Para obter detalhes, consulte Pesquisa automática de recursos com o Databricks Model Serving.
Suporte de tipo de dados adicional para pesquisa automática de recursos do Databricks Feature Store
22 a 29 de agosto de 2022: Versão 3.79
O Databricks Feature Store agora suporta BooleanType pesquisa automática de recursos. Consulte Pesquisa automática de recursos com o Databricks Model Serving.
Traga sua própria chave: criptografe o Git credentials
23 a 29 de agosto de 2022
Pode usar uma chave de encriptação para o Git credentials nos repositórios do Databricks.
Consulte Traga a sua própria chave: Criptografar Git credentials.
O modo de visualização e acesso da interface do usuário do cluster substitui o modo de segurança
19 de agosto de 2022
A nova interface do usuário Criar Cluster está em Visualização. Consulte Referência de configuração de computação.
Limitações do Unity Catalog (Visualização pública)
16 de agosto de 2022
- Scala, R e cargas de trabalho usando o Machine Learning Runtime são suportadas apenas em clusters que usam o modo de acesso de usuário único. As cargas de trabalho nestes idiomas não oferecem suporte ao uso de views dinâmico para segurança ao nível de linha ou ao nível de column.
- Clones superficiais não são suportados quando se usa o Unity Catalog como origem ou destino do clone.
- Não há suporte para bucketing no Unity Catalogtables. Os comandos que tentam criar um table em buckets no Unity Catalog gerarão uma exceção.
- O modo de substituição para operações de gravação DataFrame no Unity Catalog é suportado apenas para Delta tables, não para outros formatos de arquivo. O utilizador deve ter o privilégio
CREATEno schema pai e deve ser o proprietário do objeto existente. - Atualmente, o streaming tem as seguintes limitações:
- Não há suporte para clusters que usam o modo de acesso compartilhado. Para cargas de trabalho de streaming, você deve usar o modo de acesso de usuário único.
- O ponto de verificação assíncrono ainda não é suportado.
- Consultas de streaming com duração superior a 30 dias em todos os clusters de trabalho ou puporse lançarão uma exceção. Para consultas de streaming de longa duração, configure as tentativas automáticas de trabalho.
- Atualmente, não há suporte para a referência ao Unity Catalogtables a partir de pipelines Delta Live Tables.
- Os grupos criados anteriormente num espaço de trabalho não podem ser usados em instruções Unity CatalogGRANT. Isso é para garantir uma exibição consistente de grupos que podem se estender por espaços de trabalho. Para usar grupos em instruções GRANT, crie seus grupos no console de conta e update qualquer automação para gerenciamento de entidade ou grupo (como conectores SCIM, Okta e Microsoft Entra ID e Terraform) para fazer referência a pontos de extremidade de conta em vez de pontos de extremidade de espaço de trabalho.
O Unity Catalog está disponível nas seguintes regiões:
canadacentralcentralusfrancecentralgermanywestcentraljapaneastnorwayeastsouthafricanorthswedencentralswitzerlandnorthswitzerlandwestuaenorthwestcentraluswestus3australiaeastbrazilsouthcentralindiaeastuseastus2koreacentralnorthcentralusnortheuropesoutheastasiaukwestwesteuropewestus
Para usar o Unity Catalog em outra região, entre em contato com a equipe da sua conta.
Inferência em tempo real sem servidor na visualização pública
16 de agosto de 2022
A Inferência em Tempo Real sem Servidor processa seus modelos de aprendizado de máquina usando MLflow e os expõe como pontos de extremidade da API REST. Essa funcionalidade usa computação sem servidor, o que significa que os pontos de extremidade e os recursos de computação associados são gerenciados e executados na conta de nuvem do Azure Databricks. Os custos de utilização e armazenamento incorridos são atualmente gratuitos, mas o Azure Databricks fornecerá um aviso quando a cobrança começar.
Os administradores de espaço de trabalho devem habilitar a Inferência em Tempo Real sem Servidor em seu espaço de trabalho para que você use esse recurso.
Para participar da visualização pública do Serverless Real-Time Inference, entre em contato com sua equipe de conta do Azure Databricks.
A pesquisa melhorada no espaço de trabalho é agora GA
9 de agosto de 2022
Agora você pode pesquisar blocos de anotações, bibliotecas, pastas, arquivos e repositórios pelo nome. Também pode procurar conteúdo num bloco de notas e ver uma pré-visualização do conteúdo correspondente. Os resultados da pesquisa podem ser filtrados por tipo. Consulte Pesquisar objetos de espaço de trabalho.
Usar columns gerados ao criar conjuntos de dados Delta Live Tables
8 a 15 de agosto de 2022: Versão 3.78
Agora você pode usar gerado columns ao definir tables em seus pipelines Delta Live Tables. Os columns gerados são suportados pelas interfaces Delta Live TablesPython e SQL.
Edição melhorada para cadernos com editor baseado no Mónaco (Experimental)
8 a 15 de agosto de 2022
Um novo editor de código baseado em Mônaco está disponível para notebooks Python. Para ativá-lo, marque a opção Ativar o novo editor de bloco de anotações na guia Configurações do Editor na página Configurações do usuário.
O novo editor inclui dicas de tipo de parâmetro, inspeção de objetos ao passar o cursor, dobragem de código, suporte a vários cursores, seleção de column (caixa) e comparações lado a lado no histórico de versões do notebook.
Termina o suporte da série Databricks Runtime 10.3
2 de agosto de 2022
O suporte para Databricks Runtime 10.3 e Databricks Runtime 10.3 para Machine Learning terminou em 2 de agosto. Consulte Ciclos de vida de suporte do Databricks.
Habilitar a conectividade privada com o Azure Private Link (Visualização Pública)
2 de agosto de 2022
O Azure Databricks agora suporta a ativação de Azure Private Linkconnections para conectividade privada entre utilizadores e os seus workspaces Azure Databricks, e também entre clusters no plano de cálculo e os serviços principais no plano de gestão dentro da infraestrutura do workspace Databricks. O Azure Private Link liga-se aos serviços diretamente sem expor o tráfego à rede pública. Esta funcionalidade está disponível como Pré-visualização Pública. Consulte Habilitar connectionsde back-end e front-end do Azure Private Link .
Habilitar armazéns SQL sem servidor para seu espaço de trabalho (Visualização pública)
2 de agosto de 2022
Os armazéns SQL sem servidor agora estão disponíveis para contas e espaços de trabalho no Azure Databricks como uma Visualização Pública. Este recurso requer o nível de preço Premium. Antes de criar armazéns SQL sem servidor, um administrador deve habilitá-lo para o espaço de trabalho.
O Delta Live Tables agora suporta a atualização apenas dos tables selecionados nas atualizações de pipeline
2 a 24 de agosto de 2022
Agora podes começar um update apenas para tables selecionados num pipeline Delta Live Tables. Esse recurso acelera o teste de pipelines e a resolução de erros, permitindo ao utilizador iniciar um pipeline update que actualiza apenas os tablesselecionados. Para saber como iniciar um update apenas com tablesselecionados, consulte para executar um update num pipeline Tables do Delta Live.
A execução do trabalho agora aguarda a conclusão da instalação das bibliotecas de cluster
1 de agosto de 2022
Quando um cluster está sendo iniciado, seus trabalhos do Databricks agora aguardam que as bibliotecas de cluster concluam a instalação antes de serem executados. Anteriormente, as execuções de trabalho aguardavam a instalação de bibliotecas em clusters multiuso somente se fossem especificadas como uma biblioteca dependente para o trabalho. Para obter mais informações sobre como configurar bibliotecas dependentes para tarefas, consulte Configurar e editar tarefas do Databricks.