Compartilhar via

Agosto de 2024

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em agosto de 2024.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.

Monitore o uso de objetos do Catálogo do Unity em relação às cotas usando as novas APIs de Cotas de Recursos

30 de agosto de 2024

As novas APIs de Cotas de Recursos permitem que você monitore o uso de objetos protegíveis do Catálogo do Unity em relação às cotas de recursos. Em breve, você também poderá receber notificações por email quando se aproximar dos limites de cota. Consulte Monitorar o uso de cotas de recursos do Catálogo do Unity e a Referência da API de Cotas de Recursos.

Desativação dos modelos MPT 7B Instruct e MPT 30B Instruct

30 de agosto de 2024

Os modelos MPT 7B Instruct e MPT 30B Instruct foram desativados. Consulte Modelos desativados para obter os modelos de substituição recomendados.

AskSupport substituído pelo assistente do Azure Databricks

29 de agosto de 2024

O AskSupport, o canal de suporte baseado no Slack do Databricks, foi substituído pelo Assistente do Databricks, que está disponível no workspace do Databricks. Use o Assistente do Databricks para pesquisar documentação técnica, criar tíquetes e obter suporte com reconhecimento de contexto.

Para usar o AI Assistant, ele deve estar ativado no console da sua conta.

Painel de gerenciamento de custos importável adicionado ao console da conta (Visualização Pública)

28 de agosto de 2024

Os administradores de conta agora podem importar um painel de gerenciamento de custos personalizável do console da conta para qualquer espaço de trabalho do Catálogo do Unity em sua conta. Existem duas versões do painel: uma que monitora o uso em toda a conta e outra para uso em um único espaço de trabalho.

As tabelas do sistema Lakeflow são estendidas com colunas adicionais

23 de agosto de 2024

As tabelas no esquema system.lakeflow estão sendo estendidas com colunas adicionais. Foram feitas as seguintes alterações

  • jobs é estendido com a coluna description.
  • job_run_timeline é estendido com as colunas run_type, run_name, compute_ids, termination_code e job_parameters.
  • job_task_run_timeline é estendido com as colunas job_run_id, parent_run_id e termination_code.

A alteração do esquema não causa falhas e não interromperá seus fluxos de trabalho existentes. As novas colunas não serão preenchidas novamente para linhas já emitidas. Para obter mais informações, consulte Referência da tabela do sistema de trabalhos.

Destaques de erros de formatação de código Python

23 de agosto de 2024

O código Python em notebooks e editores de arquivos pode destacar erros de formatação e avisos, como recuo inesperado, comprimento de linha longa e muito mais. Consulte Destaque de formatação do Python.

Compartilhamento Delta: mais recursos do Delta Lake agora compatíveis com os conectores Python e Power BI

21 de agosto de 2024

O conector Python de compartilhamento Delta 1.1.0+ e o Power BI v2.132.908.0+ agora são compatíveis com:

  • Modo de nome de mapeamento de colunas
  • Vetores de exclusão
  • Formato uniforme

Esses recursos do Delta Lake já eram compatíveis no Databricks Runtime 14.1+ e no conector do Apache Spark 3.1+ de compartilhamento Delta de código aberto.

Consulte Matriz de suporte de recursos do Delta Lake.

O compartilhamento Delta adiciona suporte para TimestampNTZ

21 de agosto de 2024

O compartilhamento Delta adiciona suporte ao TimestampNTZ no Databricks Runtime 14.1 e superior e no conector do Apache Spark do compartilhamento Delta 3.3 e superior de código aberto.

Consulte Matriz de suporte de recursos do Delta Lake.

A tarefa For each Trabalhos do Azure Databricks está em GA

21 de agosto de 2024

A tarefa For each já está em disponibilidade geral. Use a tarefa For each para executar outra tarefa em um loop, passando um conjunto diferente de parâmetros para cada iteração da tarefa. A tarefa For each pode iterar em qualquer uma das tarefas de trabalho padrão, como um notebook, JAR, script Python ou tarefa SQL. Confira Executar uma tarefa de trabalho do Azure Databricks parametrizada em um loop.

Permissão do RBAC do Azure para administradores de workspace

20 de agosto de 2024

Anteriormente, a função interna de Contribuidor ou Proprietário do RBAC do Azure (controle de acesso baseado em função) era necessária para conceder a um usuário a função de administrador de workspace do Azure Databricks do Azure. Agora você pode criar uma função RBAC personalizada do Azure que tenha a permissão Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action para conceder a um usuário a função de administrador de espaço de trabalho do Azure Databricks. Esses usuários podem gerenciar o serviço do Azure Databricks e configurar o log de diagnóstico. Para obter mais informações, consulte Permissões necessárias para administradores do Azure.

Databricks Runtime 15.4 LTS está em GA

19 de agosto de 2024

O Databricks Runtime 15.4 LTS e o Databricks Runtime 15.4 LTS ML estão disponíveis ao público em geral.

Consulte Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS para Machine Learning.

Preenchimento automático de notebook personalizado

19 de agosto de 2024

O preenchimento automático de notebook agora prioriza sugestões com base no uso e nos metadados individuais do Catálogo do Unity, fornecendo classificações de sugestões personalizadas para cada usuário. Consulte Preenchimento automático personalizado

Configurar o modo de acesso padrão do espaço de trabalho para computação de trabalhos

16 de agosto de 2024

Os administradores do espaço de trabalho agora podem configurar o modo de acesso padrão para a computação de trabalhos em seu espaço. Esse modo de acesso padrão é aplicado a recursos de computação sem um modo de acesso definido. Para obter mais informações, consulte Modo de acesso padrão para computação de trabalhos.

Novos comandos de barra para o Assistente do Databricks

14 de agosto de 2024

O Assistente do Databricks adicionou os seguintes comandos de barra como atalhos para tarefas comuns:

  • /findTables: Pesquisa tabelas relevantes com base em metadados do Catálogo do Unity.
  • /findQueries: Pesquisa consultas relevantes com base em metadados do Catálogo do Unity.
  • /prettify: Formate seu código para facilitar a leitura.
  • /rename: Sugere nomes atualizados para células de notebook e outros elementos, dependendo do contexto.
  • /settings: Ajusta as configurações do seu notebook diretamente do Assistente.

Para obter mais informações, consulte Usar comandos de barra para prompts.

A pesquisa do espaço de trabalho agora oferece suporte a volumes

14 de agosto de 2024

Os volumes agora são incluídos nos resultados da pesquisa. Consulte Pesquisar objetos do espaço de trabalho.

Modelos Meta Llama 3.1 405B suportados no Ajuste fino do modelo de fundação

14 de agosto de 2024

Os modelos Meta Llama 3.1 405B agora são compatíveis com o ajuste fino do modelo de fundação. Confira Modelos com suporte.

Driver JDBC do Databricks 2.6.40

13 de agosto de 2024

A versão 2.6.40 do driver JDBC do Databricks já está disponível para download do driver JDBC. Esta versão remove mensagens de log de WARNING redundantes para aumentar a usabilidade e a segurança do log.

Esta versão inclui os seguintes aprimoramentos e novos recursos:

  • Suporte ao ponto de extremidade de descoberta OIDC. O driver agora pode definir um ponto de extremidade de descoberta OIDC para buscar um token e recuperar um ponto de extremidade de autorização.
  • Suporte a Arrow atualizado. O driver agora usa o Apache Arrow versão 14.0.2. As versões anteriores do driver usavam o Apache Arrow versão 9.0.0.
  • Suporte a ProxyIgnoreList. O driver agora oferece suporte à propriedade ProxyIgnoreList quando UseProxy é definido como 1.
  • Suporte a token de atualização. O driver agora oferece suporte a um token de atualização opcional. Ele salva o token de acesso e o reutiliza para novas conexões, desde que seja válido. Se o driver não puder renovar o token de acesso usando o token de atualização, ele entrará novamente.
  • Suporte a autenticação atualizado. O driver agora oferece suporte à autenticação baseada em navegador (U2M) e credenciais de cliente (M2M) no Google Cloud.
  • Adicionadas opções OAuth padrão unificadas.
  • Agora você pode configurar a porta de redirecionamento OAuth. Para fazer isso, defina a propriedade OAuth2RedirectUrlPort para a sua porta.

Para obter informações completas sobre a configuração, consulte o Guia do Driver JDBC do Databricks instalado com o pacote de download do driver.

Tokens de acesso pessoal do Databricks revogados se não forem usados após 90 dias

13 de agosto de 2024

A Databricks agora revoga automaticamente todos os PATs (tokens de acesso pessoal) que não foram usados em 90 dias ou mais. Para obter mais detalhes, consulte Monitorar e revogar tokens de acesso pessoal.

A API de clusters agora oferece suporte a atualizações parciais de configuração

13 de agosto de 2024

Uma nova chamada de API permite que você atualize parcialmente uma configuração de cluster, exigindo que você especifique apenas os atributos que deseja atualizar. Consulte Atualizar a configuração do cluster (parcial) na referência da API REST.

Quebrar linhas em células do bloco de anotações

12 de agosto de 2024

Agora é possível habilitar ou desabilitar a quebra automática de linha em células do bloco de anotações, permitindo que o texto seja quebrado em várias linhas ou permaneça em uma única linha com rolagem horizontal. Confira Quebra automática de linha.

12 de agosto de 2024

Agora você pode especificar um subconjunto de colunas em uma tabela para usar em um índice de pesquisa vetorial. A coluna de chave primária e a coluna de incorporação são sempre sincronizadas. Consulte Como criar e consultar um índice de busca em vetores.

Os arquivos não podem mais ter nomes idênticos nas pastas do workspace

9 de agosto de 2024

O Databricks agora impede que você crie ou renomeie ativos em pastas de workspace quando o nome de um ativo corresponde exatamente ao nome de outro arquivo, levando em conta a extensão de arquivo do ativo. Por exemplo, você não pode mais criar um arquivo chamado test.py se já houver um notebook com um nome base test com uma extensão .py na mesma pasta do workspace.

Para obter mais detalhes, consulte Nomear ativos em pastas de workspace.

A imposição de políticas de computação agora está disponível

8 de agosto de 2024

A imposição de conformidade de política permite que os administradores do workspace atualizem os recursos de computação do workspace para que estejam em conformidade com a versão mais recente de uma política. Esse recurso pode ser usado na interface do usuário ou por meio da API de Políticas de Cluster.

Confira Impor conformidade com a política ou API de Políticas de Cluster.

O pagamento por token das APIs do modelo de base agora é GA

7 de agosto de 2024

O pagamento por token das APIs do Foundation Model agora está disponível para o público em geral. Consulte APIs de Modelos de Base de Pagamento por Token.

Colabore em projetos de dados com segurança e privacidade usando o Databricks Clean Rooms (versão preliminar pública)

6 de agosto de 2024

O Databricks Clean Rooms usam o Delta Sharing e a computação sem servidor para fornecer um ambiente seguro e de proteção de privacidade, em que várias partes podem compartilhar dados corporativos confidenciais e colaborar sem acesso direto aos dados uns dos outros.

Com o Clean Rooms, usuários de outras contas do Databricks podem colaborar para gerar insights exclusivos sobre projetos compartilhados, como campanhas publicitárias, decisões de investimento ou pesquisa e desenvolvimento, sem mover nem expor dados confidenciais. Execute cargas de trabalho complexas em um ambiente efêmero usando qualquer linguagem de programação compatível com notebooks do Databricks, incluindo o Python, que fornece suporte nativo para cargas de trabalho de machine learning.

Para experimentar, entre em contato com seu representante do Azure Databricks.

Confira O que é o Azure Databricks Clean Rooms?.

A busca em vetores do Mosaic AI agora é compatível com HIPAA

6 de agosto de 2024

A busca em vetores do Mosaic AI agora é compatível com HIPAA em todas as regiões.

Formatar colunas em tabelas de resultados de notebook e consulta

6 de agosto de 2024

Personalize suas tabelas de resultados para serem mais legíveis com opções de formatação de coluna, como Moeda, Porcentagem, URL, controle sobre casas decimais e muito mais. Consulte Formatar colunas.

Os filtros de linha e máscaras de coluna agora estão em GA, com aprimoramentos

6 de agosto de 2024

A capacidade de aplicar filtros de linha e máscaras de coluna a tabelas agora está em disponibilidade geral no Databricks Runtime 12.2 e posterior. Filtros de linha e máscaras de coluna impedem o acesso a dados confidenciais por usuários especificados. Esses filtros e máscaras são implementados como funções definidas pelo usuário (UDFs) do SQL. A GA oferece suporte para a seguinte funcionalidade, que não estava disponível na versão preliminar pública:

  • Expressões constantes em parâmetros de política (cadeias de caracteres, numéricas, intervalos, boolianos, nulos).

  • Exibições materializadas e tabelas de streaming (versão preliminar pública).

  • Instruções MERGE.

  • Amostragem de tabela.

A versão separada do suporte para controle de acesso refinado na computação de usuário único também expande as opções de computação para trabalhar em tabelas com filtros de linha e máscaras de coluna aplicados.

Consulte Filtrar dados confidenciais da tabela usando filtros de linha e máscaras de coluna.

A Federação lakehouse está em GA (disponibilidade geral)

1º de agosto de 2024

No Databricks Runtime 15.2 e posterior e SQL do Databricks versão 2024.30 e posterior, os conectores de Federação do Lakehouse nos seguintes tipos de banco de dados estão em GA (disponibilidade geral):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL do Data Warehouse)
  • Databricks

Esta versão também apresenta as seguintes melhorias:

  • Suporte para autenticação de SSO (logon único) nos conectores Snowflake e Microsoft SQL Server.

  • Suporte ao Link Privado do Azure para o conector do SQL Server de ambientes de computação sem servidor. Consulte Etapa 3: criar pontos de extremidade privados.

  • Suporte para pushdowns adicionais (cadeia de caracteres, matemática e funções diversas).

  • Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.

  • Recursos adicionais de depuração de pushdown:

    • A saída EXPLAIN FORMATTED exibe o texto da consulta enviada por push.
    • A interface do usuário do perfil de consulta exibe o texto da consulta pushed-down, os identificadores de nó federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.