Julho de 2024
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em julho de 2024.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
Aumento do limite para tarefas simultâneas
31 de julho de 2024
O limite de espaço de trabalho para tarefas executadas simultaneamente foi aumentado para 2000. Confira Limites de recursos.
Incorporar e arrastar e soltar imagens em notebooks
31 de julho de 2024
Agora você pode exibir imagens em notebooks incorporando-as diretamente em células markdown. Arraste e solte imagens da sua área de trabalho diretamente nas células markdown para carregá-las e exibi-las automaticamente. Consulte Exibir imagens e Arrastar e soltar imagens.
Paleta de comandos disponível em notebooks
31 de julho de 2024
Agora você pode executar ações rapidamente no notebook usando a paleta de comandos. Pressione Cmd + Shift + P no MacOS ou Ctrl + Shift + P no Windows enquanto estiver em um notebook para acessar ações usadas com frequência. Consulte a Paleta de comandos.
Esquema do sistema de fluxo de trabalho renomeado como lakeflow
31 de julho de 2024
O esquema do workflow está sendo atualizado para lakeflow. Recomendamos que você mude para lakeflow pois ele incluirá todas as tabelas atuais e as novas no futuro, como pipelines. Os clientes devem aceitar o esquema do lakeflow para torná-lo visível em seu metastore. Consulte a Referência da tabela do sistema de trabalhos.
LakeFlow Connect (Visualização Pública fechada)
31 de julho de 2024
LakeFlow Connect oferece conectores nativos que permitem ingerir dados de bancos de dados e aplicativos empresariais e carregá-los no Azure Databricks. O LakeFlow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, dimensionável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.
No momento, há suporte para o Salesforce Sales Cloud, o Banco de Dados SQL do Microsoft Azure, o Amazon RDS para SQL Server e o Workday. Consulte LakeFlow Connect.
O suporte ao armazenamento R2 da Cloudflare está em GA
30 de julho de 2024
A capacidade de usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Catálogo do Unity agora está em disponibilidade geral. O Cloudflare R2 destina-se principalmente a casos de uso de compartilhamento Delta em que você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 dá suporte a todos os dados do Databricks e ativos de IA com suporte no AWS S3, no Azure Data Lake Storage Gen2 e no Google Cloud Storage. O suporte para R2 requer um SQL Warehouse ou Databricks Runtime 14.3 ou superior. Confira Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.
Monitore as atividades do Assistente do Databricks com tabelas de sistema (Visualização Pública)
30 de julho de 2024
Agora é possível monitorar as atividades do Assistente do Databricks em um dashboard usando as tabelas do sistema. Para obter mais informações, consulte Referência e exemplo da tabela do sistema do Assistente do Databricks.
O compartilhamento de esquemas usando o Compartilhamento Delta agora está em GA
30 de julho de 2024
A capacidade de compartilhar esquemas usando o Compartilhamento Delta está em GA. O compartilhamento de esquemas inteiros dá ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você o compartilha, juntamente com quaisquer tabelas e exibições que sejam adicionadas ao esquema no futuro. Para adicionar esquemas a um compartilhamento com o uso de comandos SQL, é necessário ter um SQL warehouse ou um cluster que execute o Databricks Runtime 13.2 ou superior. Para fazer o mesmo usando o Explorador de catálogos, você não precisa de computação. Consulte Adicionar esquemas a um compartilhamento.
O Mosaic AI Agent Framework está disponível em northcentral e centralus
29 de julho de 2024
O Mosaic AI Agent Framework agora está disponível nas regiões northcentral e centralus. Consulte Recursos com disponibilidade regional limitada.
O Assistente do Databricks pode diagnosticar problemas com trabalhos (visualização pública)
29 de julho de 2024
O Assistente do Databricks agora pode diagnosticar problemas com trabalhos com falha. Consulte Diagnosticar erros em trabalhos.
Atualizações para comportamentos de autenticação e compartilhamento de pastas Git do Databricks
29 de julho de 2024
- Tratamento de autenticação baseado em caixa de diálogo de pasta Git: a experiência do usuário agora é simplificada para ajudar os usuários a se recuperarem de erros de autenticação ao abrir a caixa de diálogo da pasta Git. Na caixa de diálogo, você pode atualizar as credenciais do Git diretamente, o que dispara uma repetição automática. Você pode usar essa abordagem para ajudar a resolver erros de autenticação.
- Quando ocorre um erro de autenticação, a caixa de diálogo da pasta Git agora mostra o provedor e a URL da pasta Git no erro. Anteriormente, isso estava oculto, dificultando saber qual credencial Git deve ser usada para resolver o erro.
- Compartilhamento de pasta Git: os usuários agora podem compartilhar um link de URL para outros usuários do workspace. Quando a URL é aberta no navegador do destinatário, o Databricks abre e inicia a caixa de diálogo Adicionar pasta Git existente com valores pré-preenchidos (como o provedor Git e a URL do repositório Git). Isso simplifica a clonagem de pasta Git para repositórios Git comumente usados entre os usuários do workspace.
Confira Prática recomendada: Colaborando em pastas Git para obter mais detalhes.
- Os usuários agora são solicitados a criar suas próprias pastas Git em seu próprio workspace em vez de trabalhar de forma colaborativa na pasta Git de outro usuário.
- O estado da caixa de diálogo da pasta Git agora é mantido em sua URL. Se você copiar a URL do navegador quando a caixa de diálogo da pasta Git estiver aberta, ela poderá ser aberta posteriormente ou compartilhada com outro usuário e as mesmas informações serão exibidas.
- Exibição de diferenciação de pasta Git: no modo de exibição de diferenciação de pasta do Git, o realce vermelho e verde mais escuro foi adicionado para o texto substituído e para várias linhas de alterações, facilitando a determinação do que foi alterado em suas alterações não confirmadas.
- A abertura da caixa de diálogo da pasta Git de um notebook ou editor de arquivos seleciona esse notebook ou arquivo na caixa de diálogo da pasta Git e exibe as alterações (difusões) por padrão.
tempo limite de instalação da biblioteca de clusters
29 de julho de 2024
A instalação da biblioteca em clusters agora tem um tempo limite de 2 horas. Uma biblioteca que levou mais de 2 horas para ser instalada será marcada como “com falha”. Para obter informações sobre bibliotecas de cluster, consulte Bibliotecas de cluster.
Os endereços IP de saída do plano de computação devem ser adicionados a uma lista de permissões de IP do espaço de trabalho
29 de julho de 2024
Ao configurar listas de acesso IP e conectividade de cluster seguro em um novo espaço de trabalho, você precisa adicionar a uma lista de permissões todos os IPs públicos que o plano de computação usa para acessar o plano de controle a uma lista de permissões ou configurar um Link Privado de back-end. Esta alteração afetará todos os novos espaços de trabalho em 29 de julho de 2024 e os espaços de trabalho existentes em 26 de agosto de 2024. Para obter mais informações, consulte a postagem da Comunidade do Databricks.
Por exemplo, se você habilitar a conectividade segura de cluster em um workspace que usa injeção de VNet, o Databricks recomenda que seu workspace tenha um IP público de saída estável. Esse IP público e quaisquer outros precisam estar presentes em uma lista de permissões. Confira Endereços IP de saída ao usar conectividade segura de cluster. Como alternativa, se você usar uma VNet gerenciada pelo Azure Databricks e configurar o gateway NAT gerenciado para acessar IPs públicos, esses IPs precisam estar presentes em uma lista de permissões.
Consulte Configurar listas de acesso IP para workspaces.
Suporte estendido à série Databricks Runtime 9.1
26 de julho de 2024
O suporte para Databricks Runtime 9.1 LTS e Databricks Runtime 9.1 LTS para Machine Learning foi estendido de 23 de setembro de 2024 para 19 de dezembro de 2024.
Há suporte para logon único (SSO) na Federação de Lakehouse para SQL Server
25 de julho de 2024
O Catálogo do Unity agora permite que você crie conexões do SQL Server usando a autenticação de SSO. Confira Executar consultas federadas no Microsoft SQL Server.
O compartilhamento de modelos usando o Delta Sharing agora está em disponibilidade geral
26 de julho de 2024
O suporte ao Delta Sharing para compartilhamento de modelos de IA agora está em disponibilidade geral. Os workspaces do provedor e do destinatário devem ser habilitados para o Catálogo do Unity e os modelos devem ser registrados no Catálogo do Unity.
Consulte Adicionar modelos a um compartilhamento.
Compartilhar comentários e restrições de chave primária usando o Delta Sharing
25 de julho de 2024
O Delta Sharing agora dá suporte ao compartilhamento de metadados de objeto, incluindo comentários e restrições de chave primária:
Comentários de modelo e comentários de versão do modelo têm sido incluídos nos compartilhamentos Databricks-to-Databricks por algum tempo, mas não anunciados.
Comentários de tabela, comentários de coluna, restrições de chave primária e comentários de volume agora estão incluídos em compartilhamentos do Databricks-to-Databricks feitos com o destinatário em 25 de julho de 2024 ou após essa data.
Se você quiser incluir comentários ou restrições em um compartilhamento feito com um destinatário antes dessa data, você deverá revogar e conceder novamente acesso ao destinatário para disparar o comentário e o compartilhamento de restrições.
Confira Criar e gerenciar compartilhamentos para o Compartilhamento Delta.
Novo driver JDBC do Databricks (software de código aberto)
25 de julho de 2024
Um novo driver JDBC de código aberto para Databricks foi lançado para Visualização Pública. Este driver implementou as APIs JDBC e fornece outras funcionalidades essenciais, incluindo OAuth, Cloud Fetch e recursos como ingestão de volume do Catálogo do Unity. Para obter mais informações, confira Driver JDBC do Databricks (software de código aberto).
Databricks Runtime 15.4 LTS (Beta)
23 de julho de 2024
O Databricks Runtime 15.4 LTS e o Databricks Runtime 15.4 LTS ML agora estão disponíveis como versões Beta.
Consulte Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS para Machine Learning.
O Scala está em GA na computação compartilhada do Catálogo do Unity
23 de julho de 2024
No Databricks Runtime 15.4 LTS e posterior, o Scala geralmente está disponível na computação habilitada para o Catálogo do Unity no modo de acesso compartilhado, incluindo suporte para UDFs (funções definidas pelo usuário) escalares. Não há suporte para funções de agregação definidas pelo usuário, UDFs do Hive e Streaming Estruturado. Para ver uma lista completa das limitações, confira Limitações do modo de acesso de computação do Catálogo do Unity.
A computação de usuário único dá suporte ao controle de acesso refinado, exibições materializadas e tabelas de streaming
23 de julho de 2024
O Databricks Runtime 15.4 LTS introduz suporte para controle de acesso refinado na computação de usuário único, desde que o workspace esteja habilitado para computação sem servidor. Quando uma consulta acessa qualquer um dos itens a seguir, o recurso de computação de usuário único no Databricks Runtime 15.4 LTS passa a consulta para a computação sem servidor para executar a filtragem de dados:
- Exibições criadas em tabelas nas quais o usuário não tem o privilégio
SELECT - Exibições dinâmicas
- Tabelas com filtros de linha ou máscaras de coluna aplicadas
- Exibições materializadas e tabelas de streaming
Não há suporte para essas consultas na computação de usuário único em execução no Databricks Runtime 15.3 e inferior.
Para obter mais informações, consulte Controle de acesso refinado na computação de usuário único.
A tabela do sistema de linha do tempo do nó já está disponível (Visualização Pública)
23 de julho de 2024
O esquema system.compute agora inclui uma tabela node_timeline. Esta tabela registra, minuto a minuto, métricas de utilização para os recursos de computação geral e de trabalhos executados em sua conta. Consulte Esquema da tabela de linha do tempo do nó.
Observação
Para acessar essa tabela, um administrador deve habilitar o esquema compute, caso ainda não o tenha feito. Consulte Habilitar esquemas de tabelas do sistema.
Meta Llama 3.1 agora é compatível com Model Serving
23 de julho de 2024
O Mosaic AI Model Serving fez parceria com a Meta para dar suporte ao Meta Llama 3.1, uma arquitetura de modelo criada e treinada pela Meta, e é distribuída pelo Azure Machine Learning usando o Catálogo de Modelos do AzureML. O Llama 3.1 tem suporte como parte das APIs do Foundation Model. Confira Usar APIs de foundation model.
- Meta-Llama-3.1-405B-Instruct and Meta-Llama-3.1-70B-Instruct estão disponíveis em regiões de ponto de extremidade de serviço de pagamento por token.
- O uso do pacote completo dos modelos Llama 3.1 (8B, 70B e 405B) na produção está disponível nos EUA usando a taxa de transferência provisionada.
A partir de 23 de julho de 2024, o Meta-Llama-3.1-70B-Instruct substitui o suporte para Meta-Llama-3-70B-Instruct nos pontos de extremidade de pagamento por token do Foundation Model.
Notebooks: alternar títulos das células mais visíveis
18 de julho de 2024
Os usuários podem habilitar Mostrar títulos de células promovidas em suas configurações de desenvolvedor para tornar os títulos de célula de nnotebooks mais visíveis na interface de usuário. Consulte Títulos de células promovidos
/ em nomes de ativos do workspace foi preterido
17 de julho de 2024
Para evitar ambiguidade em cadeias de caminho, o uso de '/' nos nomes de novos ativos de espaço de trabalho (como notebooks, pastas e consultas) foi preterido. Os ativos existentes com '/' em seus nomes não serão afetados, mas a renomeação de ativos existentes segue as mesmas regras dos novos ativos.
O Delta Sharing permite compartilhar tabelas que usam clustering líquido
16 de julho de 2024
O Delta Sharing agora permite que você compartilhe as tabelas habilitadas para clustering líquido e os destinatários podem executar consultas em lote nelas. O clustering líquido simplifica as decisões de layout de dados e otimiza o desempenho da consulta. Confira Usar clustering líquido para tabelas Delta e Matriz de suporte aos recursos do Delta Lake.
Agora, a tabela do sistema do Histórico de Consultas está disponível (Visualização Pública)
16 de julho de 2024
As tabelas do sistema do Azure Databricks já incluem uma tabela de histórico de consultas. Esta tabela registra registros detalhados de cada consulta executada em um SQL Warehouse em sua conta. Para acessar a tabela, os administradores devem habilitar o novo esquema do sistema query. Consulte Referência da tabela do sistema de histórico de consultas.
Agora, os relatórios de verificação de vulnerabilidade são enviados por email para administradores
16 de julho de 2024
Os relatórios de verificação de vulnerabilidade agora são enviados por email para administradores de workspaces em workspaces que permitem o monitoramento de segurança aprimorado. Anteriormente, os administradores do workspace tinham que solicitá-los do Azure Databricks. Confira Monitoramento de segurança aprimorado.
Registro em log de metadados de partição para tabelas externas do Catálogo do Unity
15 de julho de 2024
No Databricks Runtime 13.3 LTS e posterior, você pode habilitar opcionalmente o log de metadados de partição para tabelas externas registradas no Catálogo do Unity que usam Parquet, ORC, CSV ou JSON. O log de metadados de partição é uma estratégia de descoberta de partição consistente com o metastore do Hive. Consulte Descoberta de partição para tabelas externas.
A computação sem servidor para fluxos de trabalho está em disponibilidade geral
15 de julho de 2024
A computação sem servidor para fluxos de trabalho agora está em disponibilidade geral. A computação sem servidor para fluxos de trabalho permite executar o trabalho do Azure Databricks sem configurar e implantar infraestrutura. Com a computação sem servidor para fluxos de trabalho, o Azure Databricks gerencia com eficiência os recursos de computação que executam seu trabalho, incluindo a otimização e o dimensionamento da computação para suas cargas de trabalho. Confira Executar seu trabalho do Azure Databricks com computação sem servidor para fluxos de trabalho.
A computação sem servidor para notebooks está em disponibilidade geral
15 de julho de 2024
A computação sem servidor para notebooks agora está em disponibilidade geral. A computação sem servidor oferece acesso sob demanda à computação escalonável em notebooks, permitindo que você escreva e execute imediatamente códigos Python ou SQL. Consulte Computação sem servidor para notebooks.
O Databricks Connect para Python agora dá suporte à computação sem servidor
15 de julho de 2024
O Databricks Connect para Python agora dá suporte à conexão com a computação sem servidor. Esse recurso está disponível em Visualização Pública. Consulte Configurar uma conexão com a computação sem servidor.
Filtrar saídas de dados usando prompts de linguagem natural
11 de julho de 2024
Agora você pode usar o Assistente do Databricks para filtrar saídas de dados usando prompts de linguagem natural. Por exemplo, para filtrar a tabela de dados de sobreviventes do Titanic, você poderia digitar "Mostre-me apenas homens com mais de 70 anos". Confira Filtrar dados com prompts de linguagem natural.
Suporte a segredos de texto não criptografado para modelos externos
11 de julho de 2024
Agora você pode inserir diretamente as chaves de API como cadeias de caracteres de texto não criptografado para modelar pontos de extremidade que hospedam modelos externos. Consulte Configurar o provedor para um ponto de extremidade.
Prever dados de série temporal usando ai_forecast()
11 de julho de 2024
Agora, o AI Functions dá suporte a ai_forecast(), uma nova função SQL do Databricks para analistas e cientistas de dados projetada para extrapolar dados de série temporal no futuro. Consulte função ai_forecast.
O suporte à tarefa do arquivo SQL para arquivos com consultas SQL de várias instruções é GA
10 de julho de 2024
O suporte ao uso de arquivos que contêm consultas SQL de várias instruções com a tarefa Arquivo SQL agora está em disponibilidade geral. Essa alteração permite que você execute várias instruções SQL a partir de um único arquivo. Anteriormente, você precisava adicionar um arquivo separado para cada instrução. Para saber mais sobre a tarefa Arquivo SQL, consulte Tarefa SQL para trabalhos.
A Federação Lakehouse dá suporte ao Salesforce Data Cloud (Visualização Pública)
10 de julho de 2024
Agora você pode executar consultas federadas em dados gerenciados pelo Salesforce Data Cloud. Consulte Executar consultas federadas no Salesforce Data Cloud.
Tabela do sistema do Databricks Assistant agora disponível (Visualização Pública)
10 de julho de 2024
Os eventos do Databricks Assistant agora estão registrados em uma tabela do sistema localizada em system.access.assistant_events. Consulte Referência e exemplo de tabela de sistema do Assistente do Databricks.
API SCIM de conta v2.1 (Visualização Pública)
10 de julho de 2024
As APIs SCIM de conta são atualizadas da v2.0 para a v2.1 para velocidade e confiabilidade. Você pode baixar um PDF da referência da API SCIM de conta v2.1.
Aumento da cota de recursos para tabelas por metastore do Catálogo do Unity
3 de julho de 2024
O metastore do Catálogo do Unity agora pode registrar até um milhão de tabelas. Consulte Cotas de recursos.
O Assistente do Databricks pode diagnosticar erros de notebook automaticamente
2 de julho de 2024
O Assistente do Databricks agora pode executar /fix em notebooks automaticamente quando detectar uma mensagem de erro. O Assistente usa IA generativa para analisar seu código e a mensagem de erro e sugerir uma correção diretamente no seu notebook. Para obter mais informações, consulte Código de depuração: exemplos de Python e SQL.
O suporte à sintaxe :param com a tarefa de arquivo SQL é GA
1º de julho de 2024
O suporte ao uso da sintaxe :param com consultas parametrizadas na tarefa Arquivo SQL de Trabalhos do Azure Databricks está em disponibilidade geral. Agora você pode fazer referência a parâmetros de consulta prefixando seus nomes com dois-pontos (:parameter_name). Essa sintaxe é adicional ao suporte existente para a sintaxe de chaves duplas ({{parameter_name}}). Para saber mais sobre como usar consultas parametrizadas com a tarefa Arquivo SQL, consulte Configurar parâmetros de tarefas.