Maio de 2024

Essas funcionalidades e melhorias na plataforma Azure Databricks foram lançadas em maio de 2024.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.

A configuração de firewall sem servidor agora dá suporte a mais tipos de computação

31 de maio de 2024

Agora, o Azure Databricks dá suporte à configuração de firewalls para trabalhos sem servidor, notebooks, pipelines do Delta Live Tables e modelo que atende aos pontos de extremidade de acesso da CPU usando as NCCs (Configurações de Conectividade de Rede). Os administradores de conta podem criar NCCs e anexá-las a workspaces para garantir o acesso seguro e controlado por meio de sub-redes estáveis.

Consulte Configurar um firewall para acesso à computação sem servidor.

Término do suporte do Databricks Runtime série 15.0

31 de maio de 2024

O suporte para o Databricks Runtime 15.0 e o Databricks Runtime 15.0 para o Machine Learning terminou em 31 de maio. Consulte ciclos de vida de suporte do Databricks.

Databricks Runtime 15.3 (Beta)

30 de maio de 2024

O Databricks Runtime 15.3 e o Databricks Runtime 15.3 ML agora estão disponíveis como versões Beta.

Consulte Databricks Runtime 15.3 e Databricks Runtime 15.2 para Machine Learning.

A interface do usuário das métricas de computação agora está disponível em todas as versões do Databricks Runtime

30 de maio de 2024

A interface do usuário das métricas de computação foi distribuída para todas as versões do Databricks Runtime. Anteriormente, essas métricas estavam disponíveis apenas em recursos de computação em execução no Databricks Runtime 13.3 e superior. Confira Exibir métricas de computação.

Aprimoramento na pesquisa e filtragem nas tabelas de resultados do notebook e dos editores de SQL

28 de maio de 2024

Agora você pode pesquisar colunas facilmente e selecionar valores de filtro em uma lista suspensa de valores existentes nas tabelas de resultados nos notebooks e editores de SQL.

O novo painel ajuda os provedores do Databricks Marketplace a monitorar o uso de listagem

28 de maio de 2024

O novo Painel de Análise de Provedores permite que os provedores do Databricks Marketplace monitorem exibições de listagem, solicitações e instalações. O painel extrai dados das tabelas do sistema do Marketplace. Consulte Monitorar listagem de métricas de uso usando painéis.

Exibir consultas federadas geradas pelo sistema no Query Profile

24 de maio de 2024

A Federação do Lakehouse agora dá suporte à exibição de consultas federadas geradas pelo sistema e suas métricas no Perfil de consulta. Clique no nó de verificação de federação no modo de exibição de grafo para revelar a consulta enviada por push para a fonte de dados. Consulte Exibir consultas federadas geradas pelo sistema.

Os endereços IP de saída do plano de computação devem ser adicionados a uma lista de permissões de IP do espaço de trabalho

24 de maio de 2024

Se você usar conectividade segura de cluster e listas de acesso IP em seu espaço de trabalho, deverá adicionar todos os IPs públicos que o plano de computação usa para acessar o plano de controle a uma lista de permissões ou configurar o Link Privado de back-end.. Esta alteração afetará todos os novos espaços de trabalho em 29 de julho de 2024 e os espaços de trabalho existentes em 26 de agosto de 2024. Para obter mais informações, consulte a postagem da Comunidade do Databricks.

Por exemplo, se você habilitar a conectividade segura de cluster em um workspace que usa injeção de VNet, o Databricks recomenda que seu workspace tenha um IP público de saída estável. Esse IP público e qualquer outro deve estar presente em uma lista de permissões. Confira Endereços IP de saída ao usar conectividade segura de cluster. Como alternativa, se você usar uma VNet gerenciada pelo Azure Databricks e configurar o gateway NAT gerenciado para acessar IPs públicos, esses IPs devem estar presentes em uma lista de permissões.

Consulte Configurar listas de acesso IP para workspaces.

O OAuth tem suporte na Federação Lakehouse para Snowflake

24 de maio de 2024

O Catálogo do Unity agora permite que você crie conexões Snowflake usando o OAuth. Confira Executar consultas federadas no Snowflake.

Movimentação em massa e exclusão de objetos do espaço de trabalho no navegador do espaço de trabalho

24 de maio de 2024

Agora você pode selecionar vários itens no espaço de trabalho para mover ou excluir. Quando vários objetos são selecionados, uma barra de ações é exibida com opções para mover ou excluir itens. Além disso, você pode selecionar vários itens usando o mouse e arrastá-los para um novo local. As permissões existentes nos objetos continuam se aplicando durante as operações de movimentação e exclusão em massa.

Os objetos do Catálogo do Unity estão disponíveis em favoritos e recentes

23 de maio de 2024

Agora você pode encontrar objetos do Catálogo do Unity, como catálogos e esquemas em sua lista de recentes. Você também pode preferir objetos do Catálogo do Unity no Gerenciador de Catálogos e no navegador de esquema e encontrar objetos favoritos na home page do workspace.

Novo conector dbt-databricks 1.8.0 adota arquitetura de dbt desacoplado

23 de maio de 2024

O conector DBT-Databricks 1.8.0 é a primeira versão a adotar a nova arquitetura de dbt desacoplado. Em vez de depender do dbt-core para liberar que os clientes precisem especificar versões para ambas as bibliotecas, o conector agora depende de uma camada de abstração compartilhada entre o adaptador e odbt-core. Como resultado, o conector não precisa mais corresponder a versão do recurso databricks à do dbt-core e é livre para adotar controle de versão semântico. Isso significa que os desenvolvedores de conectores não precisam mais liberar recursos significativos, como computação por modelo como patches.

Essa versão também traz o seguinte:

• Melhorias na declaração e operação de exibições materializadas e tabelas de streaming, incluindo a capacidade de agendar atualizações automáticas.
• Suporte para marcas de objeto protegível do Catálogo do Unity. Para distingui-los das marcas dbt, que são metadados que geralmente são usados para selecionar modelos em uma operação dbt, essas marcas são nomeadas databricks_tags na configuração do modelo.
• Várias melhorias no desempenho de processamento de metadados.

Novas APIs de configurações de conformidade e segurança (Visualização Pública)

23 de maio de 2024

O Databricks introduziu novas APIs para o perfil de segurança de conformidade, monitoramento de segurança aprimorado e configurações automáticas de atualização de cluster em espaços de trabalho. Consulte:

• API de Perfil de Segurança de Conformidade
• API de Monitoramento de Segurança Aprimorada
• API de Atualização Automática de Cluster

O Databricks Runtime 15.2 está em GA

22 de maio de 2024

O Databricks Runtime 15.2 e o Databricks Runtime 15.2 ML agora estão em disponibilidade geral.

Confira Databricks Runtime 15.2 e Databricks Runtime 15.2 para Machine Learning.

Novo conector do Tableau para Compartilhamento Delta

22 de maio de 2024

O novo Conector de Compartilhamento Delta do Tableau simplifica o acesso do Tableau Desktop aos dados compartilhados com você usando o protocolo de compartilhamento aberto Compartilhamento Delta. Confira Tableau: ler dados compartilhados.

Novos exemplos de modelo de recomendação de aprendizado profundo

22 de maio de 2024

O Databricks publicou dois novos exemplos ilustrando modelos modernos de recomendação de aprendizado profundo, incluindo o modelo de duas torres e o DLRM da Meta. Para saber mais sobre modelos de recomendação de aprendizado profundo, confira Treinar modelos de recomendação.

Associar as credenciais de armazenamento e locais externos a workspaces específicos (Visualização Pública)

22 de maio de 2024

Agora você pode associar credenciais de armazenamento e locais externos a workspaces específicos, impedindo o acesso a esses objetos de outros workspaces. Este recurso será especialmente útil se você usar espaços de trabalho para isolar o acesso a dados do usuário, por exemplo, se você tiver espaços de trabalho de produção e desenvolvimento separados ou um espaço de trabalho dedicado para lidar com dados confidenciais.

Para obter mais informações, consulte (Opcional) Atribuir um local externo a workspaces específicos e (opcional) Atribuir uma credencial de armazenamento a workspaces específicos.

As pastas do Git estão em GA

22 de maio de 2024

As pastas do Git agora estão em disponibilidade geral. Veja integração do Git para pastas Git do Databricks. Se você for um usuário do antigo recurso "Repos", confira O que aconteceu com o Databricks Repos?.

Modelos pré-treinados no Catálogo do Unity (Visualização Pública)

21 de maio de 2024

O Databricks agora inclui uma seleção de modelos GenAI pré-treinados e de alta qualidade no Catálogo do Unity. Esses modelos pré-treinados permitem que você acesse recursos de IA de última geração para seus fluxos de trabalho de inferência, economizando tempo e os custos de criação de seus próprios modelos personalizados. Consulte Modelos pré-treinados no Catálogo do Unity e no Marketplace.

O Mosaic AI Vector Search está em disponibilidade geral

21 de maio de 2024

O Mosaic AI Vector Search já está em disponibilidade geral. Consulte Mosaic AI Vector Search.

Preenchimento automático do Assistente do Databricks (Visualização Pública)

20 de maio de 2024

O preenchimento automático do Assistente do Databricks fornece sugestões de IA em tempo real à medida que você digita notebooks, consultas e arquivos. Para habilitá-lo, acesse Configurações>Desenvolvedor>Recursos Experimentais e ative Preenchimento automático do assistente do Databricks. Para obter detalhes, consulte Preenchimento automático baseado em IA.

Suporte ao Meta Llama 3 no Treinamento de Modelos Fundamentais

20 de maio de 2024

O Treinamento do Modelo de Fundação agora dá suporte ao Meta Llama 3. Consulte Ajuste fino do modelo de fundação.

Novas alterações na interface do usuário da pasta Git

17 de maio de 2024

Você pode notar algumas alterações na interface do usuário para interações de pasta do Git. Adicionamos o seguinte:

• Ao compartilhar uma pasta do Git, você verá um novo alerta em um banner que solicita que você copie o link para criar a pasta Git. Quando você clica no botão, uma URL é copiada para sua área de transferência local, que você pode enviar para outro usuário. Quando esse usuário destinatário carrega essa URL em um navegador, o usuário é levado para o workspace onde pode criar sua própria pasta Git clonada do mesmo repositório Git remoto. Quando o destinatário acessar a URL, ele verá uma caixa de diálogo Criar pasta Git na interface do usuário pré-preenchida com os valores obtidos da pasta Git.

  

• Da mesma forma, um novo botão, Criar pasta Git, aparece em uma nova faixa de alerta quando você exibe uma pasta Git criada por outro usuário. Clique neste botão para criar sua própria pasta Git para o mesmo repositório Git, com base nos valores pré-preenchidos na caixa de diálogo Criar pasta Git.

  

Treinamento do modelo básico (versão prévia pública)

13 de maio de 2024

Databricks agora oferece suporte ao treinamento do modelo básico. Com o treinamento do modelo básico, você usa seus próprios dados para personalizar um modelo básico e otimizar seu desempenho para sua aplicação específica. Ao ajustar ou continuar o treinamento de um modelo básico, você pode treinar seu próprio modelo usando significativamente menos dados, tempo e recursos de computação do que treinar um modelo do zero. Os dados de formação, os pontos de verificação e o modelo afinado residem na plataforma Databricks e estão integrados com as suas ferramentas de governação e produtividade.

Para obter detalhes, consulte Ajuste fino do modelo de fundação.

Permitir que os usuários copiem dados para a área de transferência da tabela de resultados

9 de maio de 2024

Os administradores agora podem habilitar ou desabilitar a capacidade dos usuários de copiar dados para sua área de transferência de tabelas de resultados. Anteriormente, esse recurso era limitado a notebooks. Agora, essa configuração se aplica às seguintes interfaces:

• Notebooks
• Dashboards
• Espaços Genie
• Explorador do Catálogo
• Editor de arquivos
• Editor SQL

Os valores de marca de atributo para objetos do Catálogo do Unity agora podem ter 1.000 caracteres de comprimento (Visualização Pública)

8 de maio de 2024

Os valores de marca de atributo no Catálogo do Unity agora podem ter até 1.000 caracteres. O limite de caracteres para chaves de marca permanece 255. Consulte Aplicar marcas a objetos protegíveis do Catálogo do Unity.

Página Novas Visualizações

8 de maio de 2024

Habilite e gerencie o acesso às visualizações do Databricks na nova página Visualizações. Consulte Gerenciar Versões Prévias do Azure Databricks.

Novos recursos para a o Mosaic AI Vector Search

8 de maio de 2024

Os novos recursos incluem o seguinte:

• Agora as listas de acesso IP têm suporte.
• CMK (chaves gerenciadas pelo cliente) agora são compatíveis com pontos de extremidade criados em 8 de maio de 2024 ou depois de 8 de maio de 2024. O suporte à Busca em Vetores para CMK está em Versão Prévia Pública.
• Logs de auditoria aprimorados e acompanhamento de atribuição de custos. Consulte Referência de log de diagnóstico.
• Agora você pode salvar as inserções geradas como uma tabela Delta. Confira Criar um índice de busca em vetores.

Consulte Mosaic AI Vector Search.

A passagem de credencial e os controles de acesso à tabela metastore do Hive foram preteridos

7 de maio de 2024

A Passagem de Credencial e os Controles de acesso à tabela metastore do Hive foram preteridos no Databricks Runtime 15.0 e o suporte será removido na próxima versão futura do DBR.

Atualize para o Catálogo do Unity para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso a dados em vários workspaces em sua conta. Veja O que é o Catálogo do Unity?.

Driver JDBC do Databricks 2.6.38

6 de maio de 2024

Lançamos a versão 2.6.38 do driver Databricks JDBC (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:

• Suporte a consulta parametrizada nativa se o servidor usar SPARK_CLI_SERVICE_PROTOCOL_V8. O limite do número de parâmetros em uma consulta é 256 no modo de consulta nativo.
• Ingestão de dados usando suporte de volume Unity Catalog. Veja mais sobre Unity Catalogvolumes em Conecte-se ao armazenamento de objetos em nuvem usando o Unity Catalog. Para usar isso, defina UseNativeQuery para 1.
• QueryProfile interface adicionada a IHadoopStatement permite que os aplicativos recuperem uma consulta query id. O query id pode ser usado para buscar os metadados da consulta usando APIs REST do Databricks.
• Operações assíncronas para chamadas Thrift de metadados se o servidor usar SPARK_CLI_SERVICE_PROTOCOL_V9. Para usar esse recurso, defina a propriedade EnableAsyncModeForMetadataOperation como 1.
• Suporte a asserção JWT. O conector agora oferece suporte ao OAuth de asserção JWT usando credenciais do cliente. Para fazer isso, defina a propriedade UseJWTAssertion como1.

Essa versão também corrige os seguintes problemas:

• Atualizações das bibliotecas Jackson. O conector agora usa as seguintes bibliotecas para o analisador Jackson JSON: jackson-annotations 2.16.0 (anteriormente 2.15.2), jackson-core 2.16.0 (anteriormente 2.15.2), jackson-databind-2.16.0 (anteriormente 2.15.2)
• O conector contém arquivos de classe não sombreados no diretório META-INF.

Suporte de firewall para a conta de armazenamento do workspace GA

6 de maio de 2024

Quando você cria um novo espaço de trabalho do Azure Databricks, uma conta de armazenamento do Azure é criada em um grupo de recursos gerenciados, conhecido como conta de armazenamento do espaço de trabalho. Agora você pode habilitar um firewall para limitar o acesso à sua conta de armazenamento do espaço de trabalho apenas de recursos e redes autorizadas. Veja Habilitar suporte de firewall para sua conta de armazenamento de espaço de trabalho.

Databricks Runtime 15.2 (Beta)

2 de maio de 2024

O Databricks Runtime 15.2 e o Databricks Runtime 15.2 ML agora estão disponíveis em versões Beta.

Confira Databricks Runtime 15.2 e Databricks Runtime 15.2 para Machine Learning.

Os notebooks agora detectam e preenchem automaticamente os nomes de coluna para DataFrames do Spark Connect

1º de maio de 2024

Os notebooks do Databricks agora detectam e exibem automaticamente os nomes de coluna no DataFrames do Spark Connect e permitem que você use o preenchimento automático para selecionar colunas.