Compartilhar via

Janeiro de 2024

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em janeiro de 2024.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.

Suporte ao formato de arquivo XML nativo (Visualização Pública)

31 de janeiro de 2024

O suporte ao formato de arquivo XML nativo está agora em Visualização Pública. O suporte ao formato de arquivo XML permite ingestão, consulta e análise de dados XML para processamento em lotes ou streaming. Ele pode inferir e evoluir automaticamente tipos de esquema e dados, dá suporte a expressões SQL como from_xml e pode gerar documentos XML. Ele não requer jars externos e funciona perfeitamente com o Carregador Automático, read_files, COPY INTO e Delta Live Tables. Para obter mais informações, confira Ler e gravar arquivos XML.

Compartilhar modelos de IA usando o Databricks Marketplace (Visualização Pública)

31 de janeiro de 2024

Agora você pode usar o Marketplace para compartilhar modelos registrados no Catálogo do Unity. Os workspaces do provedor e do consumidor devem ser habilitados para o Catálogo do Unity para participar do compartilhamento de modelos.

Confira O que é o Databricks Marketplace? e Adicionar modelos a um compartilhamento.

Atualizações das regras do grupo de segurança de rede

31 de janeiro de 2023

Para melhorar a escalabilidade da plataforma, o painel de controle do Azure Databricks agora requer novos pontos de extremidade para que o plano de dados clássico se conecte. Para workspaces implantados em sua própria rede virtual do Azure, as portas de rede 3306 e 8443-8451 agora são adicionadas à regra de segurança existente ao destino AzureDatabricks impondo o tráfego de saída na porta 443.

Para obter mais informações, confira Regras do grupo de segurança de rede.

Atualização do caminho do workspace

Historicamente, os usuários eram obrigados a incluir o prefixo de caminho /Workspace para algumas APIs do Databricks (%sh), mas não para outras (%run, entradas da API REST). Agora, os usuários podem fornecer caminhos de workspace com o prefixo /Workspace em todos os lugares no Databricks. Referências antigas a caminhos sem o prefixo /Workspace são redirecionadas e continuarão funcionando. O Databricks recomenda que todos os caminhos de workspace usem o prefixo /Workspace para diferenciá-los dos caminhos Volume e DBFS.

O suporte para o firewall de Armazenamento do Azure a partir da computação sem servidor está em disponibilidade geral

30 de janeiro de 2024

O suporte para o firewall do Armazenamento do Microsoft Azure da computação sem servidor do Azure Databricks está em disponibilidade geral. Você pode impor que os SQL warehouses sem servidor usem IDs de sub-rede estáveis para se conectar ao Armazenamento do Microsoft Azure e permitir a lista desses identificadores no firewall de recursos do Azure. Veja Configurar um firewall para acesso computacional sem servidor.

Criação simplificada de trabalhos do Azure Databricks

29 de janeiro de 2024

Um trabalho vazio agora é criado imediatamente depois que você clica no botão para criar um trabalho, permitindo que você edite configurações no nível do trabalho, como marcas, agendamento ou configurações de notificação antes de adicionar a primeira tarefa. Anteriormente, você precisava criar a primeira tarefa antes de obter acesso às configurações de nível de trabalho. Consulte Configurar e editar trabalhos do Databricks.

Monitorar um modelo de GPU que atenda às cargas de trabalho usando tabelas de inferência

29 de janeiro de 2024

Agora você pode monitorar o modelo de GPU que atende cargas de trabalho usando tabelas de inferência. Consulte Tabelas de inferência para modelos de monitoramento e depuração.

Acesso baseado em caminho de URI aos volumes externos do Catálogo do Unity

25 de janeiro de 2024

Agora você pode usar URIs de armazenamento em nuvem para acesso baseado em caminho aos dados regidos pelo Catálogo do Unity armazenados em volumes externos. Confira Qual caminho é usado para acessar arquivos em um volume?.

As listas de controles de acesso podem ser habilitadas em workspaces atualizados

24 de janeiro de 2024

As configurações de controle de acesso foram habilitadas em todos os workspaces de plano Premium em novembro de 2023.

Para workspaces que atualizam do plano Standard para o plano Premium, as configurações de controle de acesso são desabilitadas por padrão. Os administradores do workspace agora podem habilitar as seguintes configurações de controle de acesso em workspaces atualizados:

  • Controle de acesso do workspace: permite que os usuários configurem permissões para objetos de workspace.
  • Controle de acesso de cluster, pool e trabalhos: permite que os usuários configurem permissões para clusters, pools e trabalhos.
  • Controle de visibilidade do cluster: impede que os clusters fiquem visíveis para usuários que não têm permissões neles.
  • Controle de visibilidade de trabalhos: impede que os trabalhos fiquem visíveis para usuários que não têm permissões neles.
  • Configuração de controle de visibilidade do workspace: impede que notebooks e pastas fiquem visíveis para usuários que não têm permissões neles.

Depois que uma configuração de controle de acesso estiver habilitada, ela não poderá ser desabilitada. Para obter mais informações, consulte Listas de controle de acesso.

A tabela do sistema de eventos de listagem do Marketplace agora está disponível (Visualização Pública)

24 de janeiro de 2024>

O esquema do sistema do Marketplace agora inclui uma tabela de eventos de funil de listagem (system.marketplace.listing_funnel_events) em que você pode monitorar as ações do consumidor em suas listagens. Confira Listagem da tabela de eventos de funil.

Interface do usuário atualizada para células de notebook (versão prévia pública)

24 de janeiro de 2024

Um design de célula do notebook atualizado está disponível. Para habilitar o novo design de célula, abra a página configurações do editor no espaço de trabalho. Na barra lateral, clique em Desenvolvedor. Em Recursos experimentais, alterne a Nova interface do usuário de célula. Para obter detalhes sobre como trabalhar com células de notebook, consulte Interface e Controles do Notebook do Databricks.

Ajuda da Correção Rápida com erros de sintaxe no notebook

24 de janeiro de 2024

Você pode obter ajuda do Assistente do Databricks para erros de sintaxe usando Correção Rápida. Para obter detalhes, consulte Destaque de erro do Python.

Databricks Runtime 14.3 LTS (Beta)

22 de janeiro de 2024

O Databricks Runtime 14.3 LTS e o Databricks Runtime 14.3 LTS ML agora estão disponíveis como versões Beta.

Consulte Databricks Runtime 14.3 LTS e Databricks Runtime 14.3 LTS para Machine Learning.

Compartilhar modelos de IA usando o Compartilhamento Delta (Visualização Pública)

19 de janeiro de 2024

Agora você pode usar o Compartilhamento Delta para compartilhar os modelos registrados no Catálogo do Unity. Os workspaces do provedor e do destinatário precisam estar habilitados para o Catálogo do Unity para que seja possível compartilhar modelos.

Consulte Adicionar modelos a um compartilhamento.

O Databricks Marketplace dá suporte para o compartilhamento de volumes

18 de janeiro de 2023

Agora, o Databricks Marketplace fornece acesso a volumes (dados não tabulares), desde que você tenha um workspace do Databricks habilitado para o Catálogo do Unity. Os volumes são objetos do Unity Catalog que representam um volume lógico de armazenamento em um local de armazenamento de objetos na nuvem e fornecem uma maneira de gerenciar a governança e compartilhamento de ativos de dados não-tabulares.

Confira Acessar produtos de dados no Databricks Marketplace (workspaces habilitados para Catálogo do Unity).

Crie widgets a partir da interface do usuário do Databricks

18 de janeiro de 2024

Agora você pode criar Widgets do Databricks usando a interface do usuário do Databricks. Para mais detalhes, confira como Criar widgets usando a interface do usuário.

A tabela do sistema de eventos do warehouse agora está disponível (Visualização Pública)

18 de janeiro de 2024

A tabela system.compute.warehouse_events registra quando os warehouses SQL são iniciados, interrompidos, escalam e reduzem verticalmente. Você pode usar a tabela para monitorar e gerenciar os warehouses SQL em seus workspaces. Consulte a Referência de tabela do sistema de eventos do warehouse.

O limite de tamanho do arquivo do workspace agora é de 500 MB

15 de janeiro de 2023

Os arquivos individuais do espaço de trabalho agora são limitados a 500 MB. Anteriormente, o limite era de 200 MB. Para obter mais detalhes, leia Limitações.

Aviso de remoção de recurso para integração herdada do Git no Databricks

12 de janeiro de 2024

Após 31 de janeiro de 2024, o Databricks removerá as integrações herdadas do Git do notebook. Esse recurso está em status herdado há mais de dois anos, e um aviso de depreciação foi exibido na interface do usuário do produto desde novembro de 2023.

Para obter detalhes sobre a migração para as pastas do Databricks Git (Repos), leia Mudança para o Databricks Repos a partir da integração do Git Herdado. Se essa remoção afetar você e precisar de uma extensão, entre em contato com seu Executivo de Contas do Databricks.

Driver ODBC do Databricks 2.7.7

9 de janeiro de 2024

Lançamos a versão 2.7.7 do driver ODBC do Databricks (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:

  • Autenticação de Identidade Gerenciada do Azure.
  • Suporte para operações de metadados assíncronas. O servidor precisa dar suporte a SPARK_CLI_SERVICE_PROTOCOL_V9 e superior.
  • Suporte para consulta parametrizada no modo de consulta nativa. O servidor precisa dar suporte a SPARK_CLI_SERVICE_PROTOCOL_V8 e superior.
  • Aprimoramento do OAuth: o conector agora pode desabilitar o cache de token para o fluxo de autenticação baseado em navegador.

Essa versão também resolve os seguintes problemas na versão 2.7.7:

  • O conector ignora a AC raiz privada ao usar o Repositório confiável do Windows.
  • Quando uma operação falha, o conector não fecha os threads de pulsação.
  • O conector não dá suporte ao token de atualização opcional.
  • Ao consultar tabelas com nomes estrangeiros, o conector não consegue lê-las.
  • Ao usar a autenticação OAuth, se o comprimento da cadeia de caracteres do HOST for menor que 20, o conector terminará inesperadamente.

Término do suporte do Databricks Runtime série 13.2

6, 2024 de janeiro

O suporte ao Databricks Runtime 13.2 e ao Databricks Runtime 13.2 para Machine Learning foi encerrado em 6 de junho. Consulte ciclos de vida de suporte do Databricks.

Os recursos de assistência de IA estão habilitados por padrão

2 a 8 de janeiro de 2024

Os recursos assistenciais de IA agora estão habilitados por padrão para workspaces sem o perfil de segurança de conformidade habilitado. Estão incluídos:

Os administradores podem recusar recursos assistenciais de IA para todos os workspaces na conta deles ou um subconjunto de workspaces. Confira Para uma conta: Desabilitar ou habilitar recursos do Assistente do Databricks.