Partilhar via

Janeiro de 2024

  • Artigo

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em janeiro de 2024.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.

Suporte ao formato de arquivo XML nativo (Visualização pública)

31 de janeiro de 2024

O suporte ao formato de arquivo XML nativo agora está em Visualização Pública. O suporte ao formato de arquivo XML permite a ingestão, consulta e análise de dados XML para processamento em lote ou streaming. Ele pode inferir e evoluir automaticamente esquemas e tipos de dados, suporta expressões SQL como from_xml, e pode gerar documentos XML. Ele não requer frascos externos e funciona perfeitamente com Auto Loader, read_files, COPY INTOe Delta Live Tables. Para obter mais informações, consulte Ler e gravar arquivos XML.

Compartilhar modelos de IA usando o Databricks Marketplace (Visualização pública)

31 de janeiro de 2024

Agora você pode usar o Marketplace para compartilhar modelos registrados no Unity Catalog. Os espaços de trabalho do provedor e do consumidor devem estar habilitados para que o Unity Catalog participe do compartilhamento de modelos.

Consulte O que é o Databricks Marketplace? e Adicionar modelos a um compartilhamento.

Atualizações das regras do grupo de segurança de rede

31 de janeiro de 2023

Para melhorar a escalabilidade da plataforma, o plano de controle do Azure Databricks agora requer novos pontos de extremidade para o plano de dados clássico se conectar. Para espaços de trabalho implantados em sua própria rede virtual do Azure, as portas de rede 3306 e 8443-8451 agora são adicionadas à regra de segurança existente para o AzureDatabricks destino, impondo o tráfego de saída na porta 443.

Para obter mais informações, consulte Regras de grupo de segurança de rede.

Atualização do caminho do espaço de trabalho

Historicamente, os usuários eram obrigados a incluir o prefixo de /Workspace caminho para algumas APIs do Databricks (%sh), mas não para outras (%run, entradas da API REST). Agora, os usuários podem fornecer caminhos de espaço de trabalho com o prefixo /Workspace em todos os lugares no Databricks. Referências antigas a caminhos sem o prefixo /Workspace são redirecionadas e continuarão a funcionar. O Databricks recomenda que todos os caminhos do espaço de trabalho usem o prefixo /Workspace para diferenciá-los dos caminhos Volume e DBFS.

O suporte para o firewall do Armazenamento do Azure da computação sem servidor é GA

30 de janeiro de 2024

O suporte para o firewall do Armazenamento do Azure da computação sem servidor do Azure Databricks é GA. Você pode impor que os armazéns SQL sem servidor usem IDs de sub-rede estáveis para se conectar ao Armazenamento do Azure e permitir a lista desses identificadores em seu firewall de recursos do Azure. Consulte Configurar um firewall para acesso à computação sem servidor.

Criação simplificada de trabalhos do Azure Databricks

Janeiro 29, 2024

Um trabalho vazio agora é criado imediatamente após você clicar no botão para criar um trabalho, permitindo que você edite configurações de nível de trabalho, como tags, agendamento ou configurações de notificação antes de adicionar a primeira tarefa. Anteriormente, você tinha que criar a primeira tarefa antes de obter acesso às configurações de nível de trabalho. Consulte Configurar e editar trabalhos do Databricks.

Monitore o modelo de GPU servindo cargas de trabalho usando tabelas de inferência

Janeiro 29, 2024

Agora você pode monitorar seu modelo de GPU servindo cargas de trabalho usando tabelas de inferência. Consulte Tabelas de inferência para monitorar e depurar modelos.

Acesso baseado em caminho de URI a volumes externos do Unity Catalog

25 de janeiro de 2024

Agora você pode usar URIs de armazenamento em nuvem para acesso baseado em caminho a dados regidos pelo Unity Catalog armazenados em volumes externos. Consulte Qual caminho é usado para acessar arquivos em um volume?.

As listas de controles de acesso podem ser habilitadas em espaços de trabalho atualizados

24 de janeiro de 2024

As configurações de controle de acesso foram habilitadas em todos os espaços de trabalho do plano Premium em novembro de 2023.

Para espaços de trabalho que atualizam do plano Standard para o plano Premium, as configurações de controle de acesso são desabilitadas por padrão. Os administradores de espaços de trabalho agora podem habilitar as seguintes configurações de controle de acesso em espaços de trabalho atualizados:

  • Controle de acesso ao espaço de trabalho: permite que os usuários configurem permissões para objetos do espaço de trabalho.
  • Controle de acesso de cluster, pool, trabalhos: permite que os usuários configurem permissões para clusters, pools e trabalhos.
  • Controle de visibilidade do cluster: impede que os clusters fiquem visíveis para usuários que não têm permissões neles.
  • Controle de visibilidade de trabalhos: impede que os trabalhos fiquem visíveis para usuários que não têm permissões sobre eles.
  • Configuração de controle de visibilidade do espaço de trabalho: impede que blocos de anotações e pastas fiquem visíveis para usuários que não têm permissões sobre eles.

Depois que uma configuração de controle de acesso estiver habilitada, ela não poderá ser desabilitada. Para obter mais informações, consulte Listas de controle de acesso.

Tabela do sistema de eventos de listagem do Marketplace agora disponível (Visualização pública)

24 de janeiro de 2024>

O esquema do sistema do Marketplace agora inclui uma tabela de eventos do funil de listagem (system.marketplace.listing_funnel_events) onde você pode monitorar as ações do consumidor em suas listagens. Consulte Tabela de eventos do funil de listagem.

Interface do usuário atualizada para células de bloco de anotações (Visualização pública)

24 de janeiro de 2024

Está disponível um design atualizado da célula do bloco de notas. Para habilitar o novo design de célula, abra a página de configurações do editor no espaço de trabalho. Na barra lateral, clique em Desenvolvedor. Em Recursos experimentais, alterne Nova interface do usuário da célula. Para obter detalhes sobre como trabalhar com células de bloco de anotações, consulte Interface e controles de notebook Databricks.

Ajuda do Quick Fix com erros de sintaxe no bloco de notas

24 de janeiro de 2024

Você pode obter ajuda do Assistente Databricks para erros de sintaxe usando a Correção Rápida. Para obter detalhes, consulte Destaque de erro do Python.

Databricks Runtime 14.3 LTS (Beta)

Janeiro 22, 2024

Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS ML estão agora disponíveis como versões Beta.

Consulte Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS para Machine Learning.

Compartilhar modelos de IA usando o Delta Sharing (Visualização pública)

19 de janeiro de 2024

Agora você pode usar o Delta Sharing para compartilhar modelos registrados no Unity Catalog. Os espaços de trabalho do provedor e do destinatário devem estar habilitados para que o Unity Catalog compartilhe modelos.

Consulte Adicionar modelos a uma partilha.

O Databricks Marketplace suporta compartilhamento de volume

18 de janeiro de 2023

O Databricks Marketplace agora oferece acesso a volumes (dados não tabulares), desde que você tenha um espaço de trabalho Databricks habilitado para Unity Catalog. Os volumes são objetos do Unity Catalog que representam um volume lógico de armazenamento em um local de armazenamento de objetos em nuvem e fornecem uma maneira de gerenciar a governança e o compartilhamento de ativos de dados não tabulares.

Consulte Acessar produtos de dados no Databricks Marketplace (espaços de trabalho habilitados para Unity Catalog).

Criar widgets a partir da interface do usuário do Databricks

18 de janeiro de 2024

Agora você pode criar widgets Databricks usando a interface do usuário do Databricks. Para obter detalhes, consulte Criar widgets usando a interface do usuário.

A tabela do sistema de eventos do armazém já está disponível (Visualização pública)

18 de janeiro de 2024

A system.compute.warehouse_events tabela registra quando os armazéns SQL são iniciados, interrompidos, dimensionados para cima e para baixo. Você pode usar a tabela para monitorar e gerenciar os armazéns SQL em seus espaços de trabalho. Consulte Referência da tabela do sistema de eventos de depósito.

O limite de tamanho do arquivo do espaço de trabalho agora é de 500 MB

15 de janeiro de 2023

Os arquivos individuais do espaço de trabalho agora estão limitados a 500 MB. Anteriormente, o limite era de 200 MB. Para obter mais detalhes, leia Limitações.

Aviso de remoção de recursos para integração Git herdada no Databricks

Janeiro 12, 2024

Após 31 de janeiro de 2024, o Databricks removerá as integrações legadas do Git do notebook. Esse recurso está no status legado há mais de dois anos e um aviso de descontinuação foi exibido na interface do usuário do produto desde novembro de 2023.

Para obter detalhes sobre como migrar para pastas Git Databricks (Repos), leia Alternando para repositórios Databricks a partir da integração Git herdada. Se essa remoção afetar você e você precisar de uma extensão, entre em contato com seu Executivo de Conta Databricks.

Databricks driver ODBC 2.7.7

9 de janeiro de 2024

Lançamos a versão 2.7.7 do driver ODBC Databricks (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:

  • Autenticação do Azure Managed Identity.
  • Suporte para operações de metadados assíncronas. O servidor precisa de suporte SPARK_CLI_SERVICE_PROTOCOL_V9 e acima.
  • Suporte para consulta parametrizada no modo de consulta nativa. O servidor precisa de suporte SPARK_CLI_SERVICE_PROTOCOL_V8 e acima.
  • Aprimoramento do OAuth: o conector agora pode desabilitar o cache de token para o fluxo de autenticação baseado em navegador.

Esta versão também resolve os seguintes problemas na versão 2.7.7:

  • O conector ignora a autoridade de certificação raiz privada ao usar o Windows Trust Store.
  • Quando uma operação falha, o conector não fecha os threads de pulsação.
  • O conector não suporta o token de atualização opcional.
  • Ao consultar tabelas com nomes estrangeiros, o conector não consegue lê-las.
  • Ao usar a autenticação OAuth, se o comprimento da cadeia de caracteres do HOST for menor que 20, o conector será encerrado inesperadamente.

Termina o suporte da série Databricks Runtime 13.2

6 de janeiro de 2024

O suporte para Databricks Runtime 13.2 e Databricks Runtime 13.2 para Machine Learning terminou em 6 de janeiro. Consulte Ciclos de vida de suporte do Databricks.

Os recursos de assistência à IA são ativados por padrão

2 a 8 de janeiro de 2024

Os recursos de assistência de IA agora estão habilitados por padrão para espaços de trabalho sem o perfil de segurança de conformidade habilitado. Estes são, entre outros:

Os administradores podem desativar os recursos de assistência de IA para todos os espaços de trabalho em suas contas ou um subconjunto de espaços de trabalho. Consulte Para uma conta: desativar ou ativar os recursos do Assistente do Databricks.