Junho de 2024
Esses recursos e melhorias na plataforma do Azure Databricks foram lançados em junho de 2024.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
Notebooks – realce de sintaxe fora de ordem
16 de junho de 2024
O realce de erro de sintaxe do Python em notebooks agora avisa os usuários quando as variáveis são usadas antes de serem declaradas e sugere uma correção.
O Assistente de Notebooks diagnostica erros automaticamente
16 de junho de 2024
O Assistente do Databricks agora diagnostica automaticamente erros de código em notebooks. Usa IA generativa para analisar seu código e a mensagem de erro e sugerir uma correção diretamente no seu notebook. Para obter mais informações, consulte Usar o Assistente do Databricks
Aprimoramentos do Explorador de Catálogos
28 de junho de 2024
As seguintes melhorias foram feitas no Explorador de Catálogos:
Adicionada uma seção Acesso rápido que exibe objetos recentes do Catálogo do Unity, objetos favoritos do Catálogo do Unity e catálogos e esquemas para navegação.
Removida a barra superior e a estrutura de acordeão e movidos os pontos de entrada para o seguinte para um menu com ícone de engrenagem na barra lateral com o navegador de esquema para simplificar a navegação:
- Seleção de computação
- Compartilhamento Delta
- Credenciais de armazenamento
- Locais externos
- conexões
- Navegação do DBFS
Você também pode acessar o Compartilhamento Delta e os Dados externos na parte superior do Gerenciador de Catálogos, acima da seção Acesso rápido.
Servir vários modelos externos a partir de um único ponto de extremidade de serviço de modelo
27 de junho de 2024
O Mosaic AI Model Serving agora dá suporte ao serviço de vários modelos externos por ponto de extremidade de serviço de modelo. Consulte Servir vários modelos externos para um ponto de extremidade.
O Assistente do Databricks agora está em GA
27 de junho de 2024
O Assistente do Databricks foi lançado como GA. Os recursos do Assistente incluem:
- Gerar, depurar, otimizar e explicar o código.
- Criar visualizações de dados. Confira Criar visualizações com o Assistente do Databricks.
- Trabalhos de depuração (recurso em Visualização Pública).
- Codificar e editar consultas SQL.
- Encontrar ajuda relevante na documentação do Azure Databricks e na base de dados de conhecimento.
Para obter mais informações, consulte O que é o Assistente do Databricks?.
O Assistente do Databricks agora fornece títulos para threads
27 de junho de 2024
Para navegar mais facilmente nos threads de ajuda, o Assistente do Databricks atribui títulos aos tópicos com base no contexto de seu prompt.
Consulte Usar o Assistente do Databricks.
Gerenciador de ambiente de notebooks sem servidor
27 de junho de 2024
Agora você pode instalar dependências Python para notebooks sem servidor usando o painel lateral Ambiente, que fornece um único local para editar, exibir e exportar os requisitos de biblioteca para um notebook. Consulte Instalar dependências de notebooks.
Console de depuração de notebooks
27 de junho de 2024
Com o console de depuração do notebook, agora você pode inspecionar valores de variáveis dinâmicas e executar snippets de código durante uma sessão de depuração do notebook.
Adicionar rapidamente uma agenda periódica a um fluxo de trabalho do Azure Databricks
28 de junho de 2024
Agora você pode adicionar uma agenda simples a um fluxo de trabalho do Azure Databricks especificando apenas um intervalo e uma unidade de tempo (por exemplo, executar o fluxo de trabalho a cada quatro horas). Esse novo tipo de agenda complementa o tipo de agenda avançado existente, permitindo que você adicione uma agenda com apenas alguns cliques. Consulte Executar trabalhos em um agendamento.
O Databricks Runtime 15.3 está em GA
24 de junho de 2024
O Databricks Runtime 15.3 e o Databricks Runtime 15.3 ML já estão disponíveis para todos.
Consulte Databricks Runtime 15.3 e Databricks Runtime 15.3 for Machine Learning.
Azure Geographies está em GA
24 de junho de 2024
O Azure Geographies já está em disponibilidade geral. Geografias do Azure gerenciam a residência de dados ao processar o conteúdo dos clientes para algumas funcionalidades de IA.
Para obter mais informações, consulte Serviços Designados do Databricks.
Nova interface do usuário de criação de catálogo aprimorada
18 de junho de 2024
A nova interface do usuário de criação de catálogo usa o passo a passo durante todo o processo de criação e configuração de um catálogo, fornecendo prompts úteis e separando as configurações opcionais necessárias. Você pode usar a mesma interface do usuário para criar catálogos padrão, compartilhados e estrangeiros.
Consulte Criar catálogos.
Atualizações para sub-redes em configurações de conectividade de rede
18 de junho de 2024
O Databricks está atualizando as sub-redes em NCCs (configurações de conectividade de rede) em todas as regiões. As novas IDs de sub-rede são adicionadas automaticamente às regras de firewall do Armazenamento do Microsoft Azure existentes que permitem o acesso das IDs de sub-rede existentes para garantir o acesso ininterrupto do Azure Databricks.
Se você usar a API de Configurações de Conectividade de Rede para obter as IDs de sub-rede e adicioná-las às regras de rede de armazenamento para novas contas de Armazenamento do Microsoft Azure, você não enfrentará interrupções. No entanto, se você codificar o conjunto existente de IDs de sub-rede, poderá enfrentar interrupções. O Databricks recomenda usar a API para obter as informações mais recentes. Consulte a API de Configurações de Conectividade de Rede.
Você poderá enfrentar tempo de inatividade para a API de Configurações de Conectividade de Rede enquanto essa atualização ocorrer entre 20h e 12h PDT em 20 de junho de 2024.
As tabelas do sistema de cobrança são habilitadas por padrão
18 de junho de 2024
O esquema system.billing agora está habilitado por padrão em todos os workspaces do Catálogo do Unity. Confira Referência da tabela do sistema de uso faturável.
O Monitoramento do Lakehouse está em disponibilidade geral
13 de junho de 2024
O Monitoramento do Databricks Lakehouse agora está disponível para o público geral.
Compartilhamento de volume usando o Compartilhamento Delta agora está disponível para o público geral
13 de junho de 2024
O suporte a Compartilhamento Delta para compartilhamento de dados não tabulares como volume agora está em GA. Agora você pode compartilhar volumes entre workspaces do Databricks em diferentes metastores do Catálogo do Unity (incluindo workspaces em diferentes contas do Databricks e nuvens diferentes).
Os volumes são objetos do Catálogo do Unity que representam um volume lógico de armazenamento em um local de armazenamento de objetos de nuvem. Eles se destinam principalmente a fornecer governança sobre ativos de dados não tabulares. O Compartilhamento Delta no Databricks fornece integração nativa com o Catálogo do Unity, o que permite que você gerencie, controle, audite e acompanhe o uso dos dados de volumes compartilhados.
Confira Adicionar volumes a um compartilhamento.
As chaves gerenciadas pelo cliente (CMK) para a Busca em Vetores do Databricks agora estão em GA
12 de junho de 2024
As chaves gerenciadas pelo cliente (CMK) nos pontos de extremidade da busca em vetores agora estão em disponibilidade geral.
Mosaic AI Agent Framework (Visualização Pública)
12 de junho de 2024
O Mosaic AI Agent Framework é um conjunto de ferramentas no Databricks projetado para ajudar os desenvolvedores a criar, implantar e avaliar aplicativos de Geração Aumentada de Recuperação (RAG) de qualidade de produção. O Agent Framework permite que você crie ou otimize aplicativos LLM em uma única plataforma usando seus próprios dados.
O Agent Framework inclui os seguintes recursos:
- Criar e registrar agentes e cadeias.
- Parametrizar agentes e cadeias para fazer experimentos e iterar rapidamente.
- Métricas integradas para comparar execuções entre a recuperação de documentos relevantes, a precisão da resposta, o custo e a latência.
- Juízes LLM personalizados para precisão de recuperação e resposta.
- Implemente aplicativos de IA com registros em los automatizados de solicitações e respostas.
- Aplicativo de revisão integrado para obter comentários do usuário.
- Avaliação de agentes para avaliar a qualidade, a latência e o custo de aplicativos de IA generativa.
- Rastreamento do MLflow para analisar e comparar rastreamentos na execução do código.
Para ver detalhes, confira Recuperação de Geração Aumentada (RAG) no Azure Databricks.
A otimização preditiva agora está em GA
11 de junho de 2024
A otimização preditiva para tabelas gerenciadas do Catálogo do Unity agora está disponível de modo geral. A otimização preditiva agora é executada OPTIMIZE em tabelas com clustering líquido habilitado para aplicar o clustering. Consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.
A otimização de rota está disponível para atender pontos de extremidade
11 de junho de 2024
Agora você pode criar pontos de extremidade de serviço com otimização de rota para seu modelo de serviço ou recurso que atende fluxos de trabalho. Confira Configurar a otimização de rota em pontos de extremidade de serviço.
Suporte ao Serviço de Modelo com um firewall de conta de armazenamento de espaço de trabalho
11 de junho de 2024
O Serviço de Modelo agora é compatível com o suporte de firewall para a conta de armazenamento do espaço de trabalho. Confira Habilitar o suporte de firewall para sua conta de armazenamento do workspace.
O mapeamento de colunas agora está em GA
10 de junho de 2024
O mapeamento de colunas do Delta Lake agora está disponível para todos. Agora você pode usar DROP FEATURE para desabilitar o mapeamento de colunas e fazer downgrade do protocolo da tabela. Confira Renomear e remover colunas usando o mapeamento de colunas do Delta Lake.
As tabelas do sistema de fluxo de trabalho agora estão disponíveis (Visualização Pública)
10 de junho de 2024
O esquema system.lakeflow contém quatro novas tabelas que podem ser usadas para monitorar trabalhos em sua conta. Consulte a referência da tabela do sistema de Trabalhos.
Se você não tiver acesso a essas tabelas do sistema, certifique-se de ter ativado o esquema system.lakeflow em sua conta. Consulte Habilitar esquemas de tabelas do sistema.
A chamada de função está em Visualização Pública
10 de junho de 2024
A chamada de função agora está disponível na Visualização Pública. Essa funcionalidade está disponível usando APIs de Modelos Fundamentais no modelo de "pagamento por token": DBRX Instruct e Meta-Llama-3-70B-Instruct. Consulte Chamada de função no Azure Databricks.
Consultar um índice vetorial usando vector_search()
10 de junho de 2024
Agora, o AI Functions dá suporte à função vector_search(), o que permite consultar um índice de Busca em Vetores de IA do Mosaico usando SQL. Confira a Função vector_search.
O Busca em Vetores de IA do Mosaic agora dá suporte à pesquisa híbrida
7 de junho de 2024
O Busca em Vetores de IA do Mosaic agora dá suporte à pesquisa híbrida de similaridade de palavras-chave, que combina a pesquisa de inserção baseada em vetor com técnicas tradicionais de pesquisa baseadas em palavras-chave. Essa abordagem corresponde a palavras exatas na consulta e, ao mesmo tempo, usa uma pesquisa de similaridade baseada em vetores para capturar as relações semânticas e o contexto da consulta. Ao integrar essas duas técnicas, a pesquisa híbrida por similaridade de palavras-chave recupera documentos que contêm não apenas as palavras-chave exatas, mas também aquelas que são conceitualmente semelhantes, fornecendo resultados de pesquisa mais abrangentes e relevantes. Para obter detalhes, consulte Busca em Vetores de IA do Mosaic.
O GTE agora é compatível com o Serviço de Modelo
7 de junho de 2024
O Mosaic AI Model Serving agora dá suporte Inserção Geral de Texto (GTE), um modelo de inserção de texto que pode mapear o texto para um vetor de inserção. O GTE tem suporte como parte das APIs de Modelos Fundamentais e está disponível em regiões de ponto de extremidade de serviço no formato "pagamento por token". Confira Usar APIs de foundation model.
Assistente do Databricks: experiência em threads e consultas habilitada por padrão
6 de junho de 2024
O Assistente do Databricks (Visualização Pública) agora rastreia threads e histórico de consultas em contextos de editor em sua experiência de sessão por padrão. Você pode gerenciar a habilitação de todos os workspaces em uma conta ou workspaces individuais.
Para obter mais informações, consulte O que é o Assistente do Databricks?
Markdown editor de notebook aprimorado
5 de junho de 2024
Agora você pode ver uma visualização ao vivo de suas células Markdown em notebooks e acessar uma barra de ferramentas para elementos Markdown comuns, como cabeçalhos, listas e links. Passe mais tempo comunicando suas ideias e menos tempo lembrando a sintaxe.
Acesse rapidamente as tabelas do Gerenciador de Catálogos a partir de notebooks
5 de junho de 2024
Agora você pode acessar facilmente as tabelas do Gerenciador de Catálogos diretamente dos notebooks. Passe o mouse sobre o nome de uma tabela em uma célula do notebook para obter um link para a página do Gerenciador de Catálogos e ver detalhes como colunas, permissões e muito mais.
Driver ODBC do Databricks 2.8.2
4 de junho de 2024
O driver ODBC do Databricks (download) versão 2.8.2 já está disponível. Esta versão adiciona os seguintes novos recursos e aprimoramentos:
- Os clientes agora podem usar comandos SQL
PUT,GETeREMOVEestendidos para ingerir e gerenciar grandes conjuntos de dados em volumes do Catálogo do Unity. - Os valores da configuração padrão do OAuth agora estão atualizados e em conformidade. As opções de configuração atualizadas incluem o ponto de extremidade de autorização, a ID do cliente OAuth, o escopo OAuth de usuário para o computador e o escopo OAuth de computador para computador. Para obter mais detalhes, consulte as notas sobre a versão.
- As bibliotecas de terceiros foram atualizadas, incluindo o expat 2.6.2 (anteriormente 2.6.0) e libCURL 8.7.1 (anteriormente 8.6.0).
- O driver agora aceita uma autoridade de certificação (CA) assinada de forma privada, se ela for adicionada ao repositório de certificados de CA Raiz Confiável do Windows.
Essa versão também corrige os seguintes problemas:
- O cliente anteriormente retornava um erro se o comprimento de um comentário de tabela excedesse
MaxCommentLen. O comportamento padrão agora trunca o comentário da tabela para que fique em conformidade com o limite especificado emMaxCommentLen. - Anteriormente, o cliente retornava um erro ao emitir
SQLCancelem determinadas circunstâncias.
A nova interface de usuário do Databricks Notebook já está disponível para todos
4 de junho de 2024
A nova interface de usuário do Databricks Notebooks oferece aos desenvolvedores uma experiência de criação simplificada e focada em dados. Os principais recursos incluem:
- UX Moderna: Desfrute de uma experiência de codificação simplificada com uma interface de usuário atualizada e outros recursos para melhorar a organização dos Notebooks.
- Nova tabela de resultados: Realize a exploração de dados sem código com recursos de pesquisa e filtragem diretamente nas saídas de resultados.