Partilhar via

Fevereiro de 2024

  • Artigo

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em fevereiro de 2024.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.

Usar tabelas delta ao vivo na engenharia de recursos (visualização pública)

29 de fevereiro de 2024

As tabelas publicadas no Unity Catalog a partir de pipelines Delta Live Tables e que incluem uma chave primária agora podem ser usadas como tabelas de recursos para treinamento ou inferência de modelos. O Unity Catalog fornece descoberta de recursos, governança, linhagem e acesso entre espaços de trabalho. Para obter mais informações, consulte Criar uma tabela de recursos no Catálogo Unity.

29 de fevereiro de 2024

O endereço IPv4 de origem para conexões PrivateLink front-end agora é capturado em source_ip_address logs de auditoria. Consulte Referência de log de diagnóstico e Configurar conectividade privada para o Azure Databricks.

Restringir a alteração de um proprietário de trabalho e a configuração Executar como

29 de fevereiro de 2024

Os administradores de espaço de trabalho podem alterar um proprietário de trabalho para qualquer usuário ou entidade de serviço em seu espaço de trabalho por padrão e o trabalho é executado como configuração para qualquer usuário em seu espaço de trabalho ou entidades de serviço nas quais eles tenham a função Usuário Principal de Serviço.

Os administradores de conta agora podem restringir os administradores de espaço de trabalho a alterar apenas um proprietário de trabalho para si mesmos e a execução do trabalho como configuração para entidades de serviço nas quais eles têm a função de Usuário Principal de Serviço ou para si mesmos. Você pode automatizar a ativação dessa configuração após a criação do espaço de trabalho. Consulte Restringir administradores de espaço de trabalho.

Suporte para entidades de serviço gerenciado Databricks

28 de fevereiro de 2024

Agora você pode criar e gerenciar entidades de serviço diretamente no Azure Databricks. Anteriormente, todas as entidades de serviço tinham que ser vinculadas a uma entidade de serviço existente do Microsoft Entra ID. Consulte Databricks e entidades de serviço do Microsoft Entra ID.

Habilitar a atualização automática do cluster (Visualização Pública)

27 de fevereiro de 2024

A atualização automática de cluster garante que todos os clusters em um espaço de trabalho sejam atualizados periodicamente para a imagem mais recente do sistema operacional host e as atualizações de segurança. A janela de manutenção é configurável. Consulte Atualização automática de cluster. Habilitar esse recurso em um espaço de trabalho adiciona automaticamente o complemento Segurança Reforçada e Conformidade. Veja a página de preços.

Os administradores podem habilitar recursos aprimorados de segurança e conformidade (Visualização pública)

27 de fevereiro de 2024

Os administradores agora podem habilitar os recursos de Configurar configurações de segurança e conformidade aprimoradas: o perfil de segurança de conformidade, o monitoramento de segurança aprimorado e a atualização automática de cluster. Use o portal do Azure ou um modelo ARM. O uso desses recursos adiciona automaticamente o complemento Segurança e Conformidade Aprimoradas. Veja a página de preços.

O recurso de atualização automática de cluster e a capacidade de habilitar recursos de Segurança Reforçada e Conformidade por conta própria estão em Visualização Pública. No entanto, o próprio perfil de segurança de conformidade e o monitoramento de segurança aprimorado estão geralmente disponíveis (GA).

Suporte para armazenamento Cloudflare R2 para evitar taxas de saída entre regiões (Visualização pública)

26 de fevereiro de 2024

Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Unity Catalog. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 suporta todos os dados Databricks e ativos de IA compatíveis com AWS S3, Azure Data Lake Storage Gen2 e Google Cloud Storage. O suporte para R2 requer o Databricks Runtime 14.3 ou o SQL Warehouse 2024.15. Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Adicionar dados UI suporta formato de arquivo XML

23 de fevereiro de 2024

A interface do usuário add data agora oferece suporte ao upload e ingestão de arquivos XML do armazenamento de objetos na nuvem. Consulte Carregar ficheiros para o Azure Databricks.

Use funções de IA para invocar um modelo de IA generativo a partir de APIs de modelo de base

22 de fevereiro de 2024

Agora você pode usar as funções de IA para invocar um modelo de IA generativa de última geração das APIs do Databricks Foundation Model para executar tarefas de IA, como análise e classificação de sentimento.

Consulte Funções de IA usando APIs do Databricks Foundation Model para obter as funções disponíveis.

Os volumes do Catálogo Unity são GA

22 de fevereiro de 2024

Os volumes do Catálogo Unity agora estão geralmente disponíveis no Databricks Runtime 14.3 LTS e superior. O Databricks recomenda o uso de volumes para gerenciar o acesso de leitura e gravação a dados não tabulares no armazenamento de objetos em nuvem. Consulte O que são volumes do Catálogo Unity?.

Pesquisa de página inteira alimentada por IA

16 a 22 de fevereiro de 2024

A pesquisa do Azure Databricks agora aproveita o DatabricksIQ para fornecer uma experiência de pesquisa mais inteligente baseada em IA. A nova experiência de pesquisa de página inteira dá-lhe mais espaço para ver resultados, mais metadados para os seus objetos e mais filtros para restringir os seus resultados.

Consulte Pesquisar objetos de espaço de trabalho.

Executar trabalhos do bloco de anotações SQL em um SQL warehouse

8 de fevereiro de 2024

Agora você pode agendar e executar trabalhos de bloco de anotações usando um SQL warehouse como recurso de computação. Para obter detalhes, consulte Usar um bloco de anotações com um SQL warehouse.

Gatilhos de chegada de arquivo no Azure Databricks Jobs é GA

7 de fevereiro de 2024

Os gatilhos de chegada de arquivos agora estão geralmente disponíveis em todos os provedores de nuvem. Com esta versão, você pode usar gatilhos de chegada de arquivos para executar um trabalho do Azure Databricks quando novos arquivos chegam em um volume do Catálogo Unity, além do suporte existente para locais externos do Catálogo Unity. Consulte Acionar trabalhos quando novos arquivos chegam.

Esta versão também remove uma limitação com o uso de gatilhos de chegada de arquivo com um firewall do Azure.

7 de fevereiro de 2024

Agora você pode pesquisar modelos de aprendizado de máquina no Unity Catalog usando a barra de pesquisa global na interface do usuário do espaço de trabalho Databricks. Consulte Gerenciar o ciclo de vida do modelo no Unity Catalog e Pesquisar objetos de espaço de trabalho.

Databricks Git server proxy é GA

6 de fevereiro de 2024

Você pode usar o proxy do servidor Git Databricks para configurar o acesso seguro do Databricks Repos ao seu servidor Git local. Consulte Configurar a conectividade Git privada para pastas Git (Repos) do Azure Databricks.

O proxy do servidor Git Databricks não requer mais permissões de CAN_ATTACH_TO

6 de fevereiro de 2024

A versão GA do proxy do servidor Databricks Git removeu a necessidade de fornecer permissões a todos os usuários CAN_ATTACH_TO .

Se você configurou anteriormente o proxy do servidor Git Databricks com CAN_ATTACH_TO privilégios, consulte Configurar a conectividade Git privada para pastas Git (Repos) do Azure Databricks.

O suporte ao arquivo de espaço de trabalho para as tarefas de arquivo dbt e SQL é GA

1 de fevereiro de 2024

O suporte para usar projetos dbt e arquivos SQL armazenados em pastas de espaço de trabalho do Azure Databricks agora está disponível em geral, adicionando ao suporte existente para usar arquivos armazenados em um repositório Git remoto. Consulte Tarefa dbt para trabalhos e Tarefa SQL para trabalhos.

Databricks Connect é GA para Scala

1 de fevereiro de 2024

Começando com o Databricks Runtime 14.3 LTS, o Databricks Connect agora está disponível para o Scala.

Criar tabelas a partir de arquivos em volumes

1 de fevereiro de 2024

Agora você pode usar a interface do usuário para criar tabelas gerenciadas pelo Unity Catalog a partir de arquivos de dados armazenados nos volumes do Unity Catalog. Consulte Criar uma tabela a partir de dados em um volume.

Databricks Runtime 14.3 LTS é GA

1 de fevereiro de 2024

Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS para Machine Learning.

O Compartilhamento Delta suporta tabelas que usam vetores de exclusão (Visualização Pública)

1 de fevereiro de 2024

O Compartilhamento Delta agora oferece suporte ao compartilhamento de tabelas que usam vetores de exclusão, que são um recurso de otimização de armazenamento que você pode habilitar em tabelas Delta. Os destinatários podem ler tabelas que usam vetores de exclusão usando um SQL warehouse, um cluster executando o Databricks Runtime 14.1 ou superior ou computação que esteja executando o código aberto delta-sharing-spark 3.1 ou superior. O apoio está a ser implementado gradualmente ao longo do próximo mês.

Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de coluna a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado e Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado.