Dezembro de 2024
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em dezembro de 2024.
Observação
Os lançamentos são efetuados em fases. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.
Databricks Runtime 16.1 está disponível
20 de dezembro de 2024
Databricks Runtime 16.1 e Databricks Runtime 16.1 ML agora estão disponíveis para o público em geral.
Consulte Databricks Runtime 16.1 e Databricks Runtime 16.1 para Machine Learning.
O formato padrão para novos cadernos agora é o formato IPYNB (Jupyter)
20 de dezembro de 2024
O formato padrão para novos blocos de anotações criados em seu espaço de trabalho do Azure Databricks agora é IPYNB (.ipynb). Anteriormente, o formato padrão para blocos de anotações era Source (.py, .sql, .scala, .r). Para alterar o formato padrão, use a configuração Formato de arquivo padrão para blocos de anotações no painel do desenvolvedor das configurações de usuário do espaço de trabalho. Consulte Formatos de cadernos.
Os modelos hospedados pelo Databricks para o Databricks Assistant estão em pré-visualização pública
19 de dezembro de 2024
Agora você pode usar modelos hospedados pelo Azure Databricks para alimentar o Assistente de Databricks no Azure Databricks. Este recurso está em pré-visualização pública.
Consulte a seção sobre o uso de um modelo hospedado no Databricks para o Databricks Assistant.
Executor de código Python para agentes de IA (Visualização pública)
19 de dezembro de 2024
Agora você pode dar rapidamente aos seus agentes de IA a capacidade de executar código Python. O Databricks agora oferece uma função pré-construída do Unity Catalog que pode ser usada por um agente de IA como uma ferramenta para expandir seus recursos além da geração de idiomas.
Veja Criação de ferramentas personalizadas para agentes de IA com funções do Catálogo Unity.
databricks-agents SDK 0.13.0 versão
18 de dezembro de 2024
A versão 0.13.0 do databricks-agents SDK foi lançada para o PyPI, contendo as seguintes alterações:
- Honre o perfil ativo atual da CLI do Databricks e o URI do registro do modelo MLflow ao chamar
agents.deploy()e outras APIsdatabricks.agents. Em particular, agora você pode especificar uma combinação deDATABRICKS_CONFIG_PROFILE=my-profileeMLFLOW_REGISTRY_URI=databricks-uc://my-profileantes de chamaragents.deploy()para especificar o perfil da CLI do Databricks a ser usado para implantar e acessar agentes. - No
mlflow.evaluate(), execute as métricas de recuperação e de orientação apenas se o contexto de recuperação e de orientação estiver presente, respectivamente. - Adicione autenticação baseada em segredos aos clientes para
mlflow.evaluate().
Os grupos externos agora são rotulados e imutáveis
18 de dezembro de 2024
Grupos externos são grupos criados no Azure Databricks a partir da ID do Microsoft Entra. Esses grupos são criados usando um conector de provisionamento SCIM e permanecem sincronizados com o Microsoft Entra ID. Os grupos externos agora são explicitamente rotulados como External e não podem mais ser atualizados do console da conta do Azure Databricks ou da página de configurações de administrador do espaço de trabalho por padrão. Para atualizar a associação a grupos externos a partir da interface do utilizador do Azure Databricks, um administrador de conta pode desativar grupos externos imutáveis na página de pré-visualização da consola da conta.
Consulte Tipos de grupos no Azure Databricks.
vector_search agora suporta entradas de incorporação vetorial
17 de dezembro de 2024
O AI Function vector_search agora suporta entradas de incorporação vetorial. Agora você pode usar os parâmetros query_text ou query_vector para pesquisar texto específico ou incorporações vetoriais em índices vetoriais. Consulte a função vector_search.
Especificar formatos de resposta para ai_query
17 de dezembro de 2024
ai_query agora suporta o campo responseFormat para saídas estruturadas. Use responseFormat em suas solicitações de ai_query para especificar o formato de resposta que você deseja que o modelo que você está consultando siga. Consulte a função ai_query.
Teste salas limpas com colaboradores dentro do mesmo metastore
17 de dezembro de 2024
Agora você pode testar sua sala limpa antes da implantação completa adicionando um colaborador de dentro do mesmo metastore. Consulte Criar salas limpas.
Atribuir recursos de computação a grupos (Visualização pública)
17 de dezembro de 2024
O novo modo de acesso dedicado (anteriormente de utilizador único) permite atribuir recursos de computação dedicados a um grupo ou a um único utilizador. Veja Atribuir recursos de computação a um grupo.
Esta versão prévia pública também dá ao seu espaço de trabalho acesso à nova interface de computação simplificada. Consulte o formulário simples para gerir os recursos de computação.
Um administrador de espaço de trabalho deve habilitar essa visualização. Consulte Gerir Versões Preliminares do Azure Databricks.
Delegar a capacidade de criar uma credencial de armazenamento no Unity Catalog a um principal de serviço
17 de dezembro de 2024
Agora você pode conceder permissões às entidades de serviço para criar uma credencial de armazenamento em um metastore do Unity Catalog usando o privilégio CREATE STORAGE CREDENTIAL. Consulte CREATE STORAGE CREDENTIAL.
É lançada a versão 2.2 da API de Jobs
16 de dezembro de 2024
A versão da API de trabalhos é atualizada de 2.1 para 2.2. As atualizações na versão 2.2 da API de Trabalhos incluem o enfileiramento padrão de trabalhos novos ou atualizados e melhoram a paginação das respostas de execução de trabalhos que incluem campos com um grande número de valores. Para saber mais sobre as atualizações nesta versão, consulte Atualização da Jobs API 2.1 para 2.2. Para consultar a documentação completa do Jobs API 2.2, veja Jobs (mais recente). Embora o Databricks recomende o uso da versão 2.2 da API de trabalhos, você ainda pode acessar as versões 2.1 e 2.0. Consulte Jobs (2.1) e Jobs API 2.0.
Permissão MANAGE do Catálogo Unity (Visualização Pública Prévia)
14 de dezembro de 2024
Agora você pode conceder aos usuários o privilégio de MANAGE em objetos protegíveis do Unity Catalog. O privilégio MANAGE permite que os usuários executem ações-chave em um objeto Unity Catalog, incluindo:
- Gerenciando privilégios
- Soltar o objeto
- Renomeando o objeto
- Transferência de propriedade
Consulte GERENCIAR.
Meta Llama 3.3 agora está disponível para cargas de trabalho com largura de banda provisionada
13 de dezembro de 2024
O Meta Llama 3.3, uma arquitetura de modelo construída e treinada pela Meta, agora está disponível para servir nas APIs do Foundation Model com taxa de transferência provisionada em .
Visualizar métricas de desempenho de streaming para as execuções de tarefas (Pré-visualização pública)
** 12 de dezembro de 2024**
Ao visualizar execuções de trabalhos na interface de trabalhos do Databricks, agora pode ver métricas como segundos acumulados, bytes acumulados, registos acumulados e ficheiros acumulados para fontes suportadas pelo Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte Exibir métricas para tarefas de streaming.
Exibir métricas de carga de trabalho de streaming para suas atualizações de pipeline de DLT (Visualização pública)
** 12 de dezembro de 2024**
Ao exibir atualizações de pipeline na interface do usuário DLT, agora você pode exibir métricas como segundos de lista de pendências, bytes de lista de pendências, registros de lista de pendências e arquivos de lista de pendências para cada fluxo de streaming no pipeline. As métricas de streaming são suportadas para fontes do Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte Ver métricas de streaming.
Lakehouse Federation suporta Oracle (Public Preview)
12 de dezembro de 2024
Agora você pode executar consultas federadas em dados gerenciados pela Oracle. Veja Executar consultas federadas em Oracle.
Databricks Runtime 16.1 (Beta)
11 de dezembro de 2024
O Databricks Runtime 16.1 e o Databricks Runtime 16.1 ML já estão disponíveis como versões Beta.
Consulte Databricks Runtime 16.1 e Databricks Runtime 16.1 para Aprendizagem Automática
Gerencie conexões de rede de saída sem servidor com controle de saída sem servidor
, 11 de dezembro de 2024
O controle de saída sem servidor permite restringir o acesso de saída a destinos especificados da Internet. Consulte O que é o controle de saída sem servidor?.
A tabela do sistema de eventos de acesso à rede já está disponível (Visualização Pública)
11 de dezembro de 2024
As tabelas do sistema Azure Databricks agora incluem uma tabela de acesso à rede. Esta tabela regista um evento sempre que o acesso à Internet é negado a partir da sua conta. Para acessar a tabela, os administradores devem ter o esquema do sistema access habilitado. Consulte a referência da tabela do sistema de eventos de acesso à rede .
Monitorizar e revogar tokens de acesso pessoal na sua conta (Pré-visualização Privada)
11 de dezembro de 2024
Os administradores de conta agora podem visualizar um relatório de token para monitorar e revogar tokens de acesso pessoal (PATs) no console da conta. A Databricks recomenda que você use tokens de acesso OAuth em vez de PATs para maior segurança e conveniência. Para participar dessa visualização, entre em contato com sua equipe de conta do Azure Databricks. Consulte Monitorizar e revogar tokens de acesso pessoal na conta.
O Unity Catalog pode se federar aos metastores do Hive
11 de dezembro de 2024
Agora você pode usar o Unity Catalog para acessar e controlar dados registrados em um metastore do Hive. Isso inclui tanto os metastores do Hive geridos externamente quanto os metastores internos legados do Databricks Hive.
Remova o armazenamento no nível do metastore para impor o isolamento de armazenamento no nível do catálogo
11 de dezembro de 2024
Se você tiver armazenamento no nível de metastore para tabelas e volumes gerenciados (também conhecido como raiz de armazenamento de metastore), mas quiser impor o isolamento de armazenamento de dados no nível de catálogo ou esquema, agora poderá remover esse armazenamento no nível de metastore sem interromper as cargas de trabalho existentes. Consulte Remover o armazenamento ao nível do metastore.
Meta Llama 3.3 70B Instruct já está disponível no Model Serving
11 de dezembro de 2024
O Mosaic AI Model Serving agora suporta o Meta Llama 3.3 70B Instruct, um modelo de linguagem grande de última geração construído e treinado pela Meta. O Llama 3.3 70B Instruct está disponível como parte do Foundation Model APIs pay-per-token. Esta disponibilidade também inclui suporte em Function Calling.
A partir de 11 de dezembro de 2024, Meta-Llama-3.1-70B-Instruct substitui o suporte do Meta-Llama-3-70B-Instruct nas APIs do Foundation Model nos endpoints de pagamento por token.
Bamboolib agora está descontinuado
10 de dezembro de 2024
bamboolib está obsoleto agora. Os usuários ainda podem acessar o bamboolib para executar a análise de dados low-code dentro de notebooks, mas o Databricks não está mais desenvolvendo ativamente nem suportando essa ferramenta. Para obter ajuda com a geração de código, use o Databricks Assistant.
Agilize a avaliação de agentes de IA usando conjuntos de avaliação sintéticos
9 de dezembro de 2024
Avalie seu agente de IA gerando um conjunto de avaliação representativo a partir de seus documentos. A API de geração sintética está totalmente integrada com a Avaliação de Agente, permitindo que você avalie e melhore rapidamente a qualidade das respostas do seu agente sem passar pelo dispendioso processo de rotulagem humana. Consulte Sintetizar conjuntos de avaliação.
Melhorar o desempenho de leitura da tabela de compartilhamento delta de Databricks para Databricks com compartilhamento de histórico (Visualização pública)
5 de dezembro de 2024
Melhore o desempenho do compartilhamento de tabelas de Databricks para Databricks ao ativar a partilha de histórico. Veja Melhorar o desempenho de leitura de tabelas com a partilha de histórico.
Vida útil máxima do token de acesso pessoal agora 730 dias (dois anos)
5 de dezembro de 2024
O tempo de vida máximo padrão para tokens de acesso pessoal recém-criados emitidos pelo Databricks agora está definido para 730 dias (dois anos). Anteriormente, os tokens de acesso pessoal podiam ser criados sem expiração por padrão. Com essa atualização, os usuários não podem gerar novos tokens com um tempo de vida superior a 730 dias, e os tokens criados sem um tempo de vida especificado são definidos para uma duração de 730 dias. Se você configurou o tempo de vida máximo do token para seu espaço de trabalho para menos de 730 dias, a configuração permanecerá inalterada. Veja Monitorar e revogar tokens de acesso pessoal e Autenticação com tokens de acesso pessoal do Azure Databricks.
Treinamento de modelo de IA em mosaico - previsão sem servidor (Visualização pública)
5 de dezembro de 2024
Treinamento de modelo de IA em mosaico - a previsão melhora a experiência de previsão do AutoML existente com computação gerenciada sem servidor, suporte ao Unity Catalog, acesso a algoritmos de aprendizado profundo e uma interface atualizada. Consulte Previsão (sem servidor) com AutoML.
Adicionar políticas de orçamento ao modelo de pontos de extremidade de serviço
4 de dezembro de 2024
As políticas de orçamento agora são suportadas nos pontos de extremidade de execução de modelos. Consulte Gerenciar modelo servindo pontos de extremidade.