Dezembro de 2024
Esses recursos e melhorias na plataforma do Azure Databricks foram lançados em dezembro de 2024.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada em uma semana ou mais após a data de lançamento inicial.
O Databricks Runtime 16.1 está em GA
20 de dezembro de 2024
O Databricks Runtime 16.1 e o Databricks Runtime 16.1 ML agora estão disponíveis em geral.
Confira Databricks Runtime 16.1 e Databricks Runtime 16.1 para Machine Learning.
O formato padrão para novos notebooks agora é o formato IPYNB (Jupyter)
20 de dezembro de 2024
O formato padrão para novos notebooks criados no workspace do Azure Databricks agora é IPYNB (.ipynb). Anteriormente, o formato padrão para notebooks era Source (.py, .sql, .scala, .r). Para alterar o formato padrão, use a configuração Formato de arquivo padrão para notebooks no painel Desenvolvedor das configurações de usuário do espaço de trabalho. Confira Formatos de notebook.
Os modelos hospedados pelo Databricks para o Assistente do Databricks estão em versão prévia pública
19 de dezembro de 2024
Agora você pode usar modelos hospedados no Azure Databricks para alimentar o Assistente do Databricks no Azure Databricks. Esse recurso está em prévia pública.
Confira Usar um modelo hospedado pelo Databricks para o Assistente do Databricks.
Executor de código python para agentes de IA (versão prévia pública)
19 de dezembro de 2024
Agora você pode fornecer rapidamente aos seus agentes de IA a capacidade de executar código Python. O Databricks agora oferece uma função de Catálogo do Unity pré-criada que pode ser usada por um agente de IA como uma ferramenta para expandir seus recursos além da geração de linguagem.
Confira Criar ferramentas personalizadas de agentes de IA usando funções do Catálogo do Unity.
Versão 0.13.0 do SDK Databricks-Agents
18 de dezembro de 2024
A versão 0.13.0 do SDK do databricks-agents foi lançada para o PyPI, contendo as seguintes alterações:
- Honre o perfil ativo atual da CLI do Databricks e o URI do registro de modelo do MLflow ao chamar
agents.deploy()e outras APIs dodatabricks.agents. Em particular, agora você pode especificar uma combinação deDATABRICKS_CONFIG_PROFILE=my-profileeMLFLOW_REGISTRY_URI=databricks-uc://my-profileantes de chamaragents.deploy()para especificar o perfil da CLI do Databricks a ser usado para implantar e acessar agentes. - Em
mlflow.evaluate(), execute as métricas de recuperação e diretrizes somente se o contexto de recuperação e diretrizes estiverem presentes, respectivamente. - Adicione a autenticação baseada em segredo aos clientes para
mlflow.evaluate().
Os grupos externos agora são rotulados e imutáveis
18 de dezembro de 2024
Grupos externos são grupos criados no Azure Databricks a partir da ID do Microsoft Entra. Esses grupos são criados usando um conector de provisionamento SCIM e permanecem em sincronia com a ID do Microsoft Entra. Os grupos externos agora são rotulados explicitamente como External e, por padrão, não podem mais ser atualizados a partir do console da conta do Azure Databricks ou da página de configurações do administrador do espaço de trabalho. Para atualizar a associação de grupos externos na interface do usuário do Azure Databricks, um administrador de conta pode desabilitar Grupos externos imutáveis na página de visualização do console da conta.
Veja Tipos de grupos no Azure Databricks.
vector_search agora dá suporte a entradas de incorporação de vetor
17 de dezembro de 2024
A função de IA vector_search agora dá suporte a entradas de inserção de vetor. Agora você pode usar os parâmetros query_text ou query_vector para pesquisar inserções de texto ou vetor específicas em índices de vetor. Confira a vector_search função.
Especificar formatos de resposta para ai_query
17 de dezembro de 2024
ai_query agora dá suporte ao campo responseFormat para saídas estruturadas. Use responseFormat em suas solicitações de ai_query para especificar o formato de resposta que você deseja que o modelo que você está consultando siga. Confira a ai_query função.
Testar salas limpas com os colaboradores no mesmo metastore
17 de dezembro de 2024
Agora você pode testar sua sala limpa antes da implantação completa adicionando um colaborador no mesmo metastore. Confira Criar salas limpas.
Atribuir recursos de computação a grupos (Visualização Pública)
17 de dezembro de 2024
O novo modo de acesso Dedicado (anteriormente Usuário único) permite atribuir uma computação dedicada para todas as finalidades a um grupo ou um usuário único. Veja Atribuir recursos de computação a um grupo.
Esta Visualização Pública também dá ao seu ambiente de trabalho acesso à nova interface de usuário simplificada para computação. Confira Usar o formulário simples para gerenciar a computação.
Um administrador do workspace deve habilitar essa visualização. Consulte Gerenciar Versões Prévias do Azure Databricks.
Delegar a capacidade de criar uma credencial de armazenamento no Unity Catalog a um principal de serviço
17 de dezembro de 2024
Agora você pode conceder permissões aos service principals para criar uma credencial de armazenamento em um metastore do Unity Catalog usando o privilégio CREATE STORAGE CREDENTIAL. Confira CREATE STORAGE CREDENTIAL.
A versão 2.2 da API de Trabalhos é lançada
16 de dezembro de 2024
A versão da API de Trabalhos é atualizada da 2.1 para a 2.2. As atualizações na versão 2.2 da API de Trabalhos incluem o enfileiramento padrão de trabalhos novos ou atualizados e o aprimoramento na paginação de respostas de trabalho e execução de trabalho que incluem campos com um grande número de valores. Para saber mais sobre as atualizações nesta versão, consulte Atualização de Jobs API 2.1 para 2.2. Para ver a documentação completa da Jobs API 2.2, consulte Jobs (mais recente). Embora o Databricks recomende usar a versão 2.2 da API de Trabalhos, você ainda pode acessar as versões 2.1 e 2.0. Confira Trabalhos (2.1) e API de Trabalhos 2.0.
Privilégio MANAGE do Catálogo do Unity (versão preliminar pública)
14 de dezembro de 2024
Agora você pode conceder aos usuários o privilégio MANAGE em objetos protegíveis do Catálogo do Unity. O privilégio MANAGE permite que os usuários executem ações-chave em um objeto do Catálogo do Unity, incluindo:
- Gerenciando privilégios
- Soltando o objeto
- Renomeando o objeto
- Transferindo a propriedade
Confira MANAGE.
O Meta Llama 3.3 já está disponível para cargas de trabalho com taxa de transferência provisionada
13 de dezembro de 2024
O Meta Llama 3.3, uma arquitetura de modelo criada e treinada pela Meta, já está disponível para uso na taxa de transferência provisionada das APIs do Modelo Fundamental.
Exibir métricas de carga de trabalho de streaming para as execuções de tarefas (versão preliminar pública)
** 12 de dezembro de 2024**
Ao visualizar as execuções de tarefas na interface do usuário dos Trabalhos do Databricks, agora é possível ver métricas como segundos de backlog, bytes de backlog, registros de backlog e arquivos de backlog para fontes compatíveis com o Streaming Estruturado do Spark, incluindo o Apache Kafka, o Amazon Kinesis e o Auto Loader. Veja Ver métricas para tarefas de streaming.
Exibir métricas de carga de trabalho de streaming para as atualizações do seu pipeline DLT (versão preliminar pública)
** 12 de dezembro de 2024**
Ao exibir as atualizações do pipeline na interface do usuário do DLT, agora você pode exibir as métricas como segundos da lista de pendências, bytes da lista de pendências, registros da lista de pendências e arquivos da lista de pendências em cada fluxo de streaming no pipeline. Há suporte para métricas de streaming para fontes de streaming estruturadas do Spark, incluindo Apache Kafka, Amazon Kinesis e Carregador Automático. Confira Exibir métricas de streaming.
A Federação lakehouse dá suporte à Oracle (Versão Prévia Pública)
12 de dezembro de 2024
Agora você pode executar consultas federadas em dados gerenciados pela Oracle. Confira Executar consultas federadas no Oracle.
Databricks Runtime 16.1 (Beta)
11 de dezembro de 2024
O Databricks Runtime 16.1 e o Databricks Runtime 16.1 ML agora estão disponíveis como versões Beta.
Confira Databricks Runtime 16.1 e Databricks Runtime 16.1 para Machine Learning
Gerencie conexões de rede de saída sem servidor com controle de egressão sem servidor
11 de dezembro de 2024
O controle de saída sem servidor permite restringir o acesso de saída a destinos de Internet especificados. Veja O que é o controle de saída sem servidor?.
A tabela do sistema de eventos de acesso à rede já está disponível (Visualização Pública)
11 de dezembro de 2024
As tabelas do sistema do Azure Databricks agora incluem uma tabela de acesso à rede. Essa tabela registra um evento sempre que o acesso à Internet é negado de sua conta. Para acessar a tabela, os administradores devem ter o esquema do sistema access habilitado. Confira Referência da tabela do sistema de eventos de acesso à rede.
Monitorar e revogar tokens de acesso pessoal em sua conta (Versão Prévia Privada)
11 de dezembro de 2024
Os administradores de conta agora podem exibir um relatório de token para monitorar e revogar PATs (tokens de acesso pessoal) no console da conta. O Databricks recomenda que você use tokens de acesso OAuth em vez de PATs para maior segurança e conveniência. Para ingressar nesta versão prévia, entre em contato com sua equipe de conta do Azure Databricks. Confira Monitorar e revogar tokens de acesso pessoal na conta.
O Catálogo do Unity pode federar com metastores do Hive
11 de dezembro de 2024
Agora você pode usar o Catálogo do Unity para acessar e controlar dados registrados em um metastore do Hive. Isso inclui tanto metastores do Hive gerenciados externamente quanto metastores internos herdados do Databricks Hive.
Remover o armazenamento no metastore para impor o isolamento de armazenamento no catálogo
11 de dezembro de 2024
Se você tiver armazenamento no nível do metastore para tabelas gerenciadas e volumes (também conhecido como raiz de armazenamento metastore), mas quiser impor o isolamento do armazenamento de dados no nível do catálogo ou do esquema, agora você poderá remover esse armazenamento no nível do metastore sem interromper as cargas de trabalho existentes. Confira Remover o armazenamento no metastore.
Meta Llama 3.3 70B Instruct agora está disponível no Model Serving
11 de dezembro de 2024
O Mosaic AI Model Serving agora dá suporte ao Meta Llama 3.3 70B Instruct, um modelo de linguagem grande de última geração criado e treinado pelo Meta. O Llama 3.3 70B Instruct está disponível como parte do pagamento por token das APIs do Modelo Fundamental. Essa disponibilidade também inclui o suporte no Chamada de Função.
A partir de 11 de dezembro de 2024, o Meta-Llama-3.1-70B-Instruct substitui o suporte do Meta-Llama-3-70B-Instruct nos endpoints de pagamento por token das APIs do Modelo Fundamental.
bamboolib agora está descontinuado
10 de dezembro de 2024
bamboolib está agora obsoleto. Os usuários ainda podem acessar bamboolib para executar a análise de dados de baixo código em notebooks, mas o Databricks não está mais desenvolvendo ativamente nem dando suporte a essa ferramenta. Para obter assistência com a geração de código, use o Assistente do Databricks.
Simplificar a Avaliação do Agente de IA usando conjuntos de avaliação sintética
9 de dezembro de 2024
Avalie seu agente de IA gerando um conjunto de avaliação representativa de seus documentos. A API de geração sintética é fortemente integrada à Avaliação do Agente, permitindo que você avalie e melhore rapidamente a qualidade das respostas do agente sem passar pelo processo dispendroso de rotulagem humana. Confira Sintetizar conjuntos de avaliação.
Aprimorar o desempenho de leitura de tabelas do Compartilhamento Delta do Databricks para o Databricks com o compartilhamento de histórico (Visualização Pública)
5 de dezembro de 2024
Aprimore o desempenho do compartilhamento de tabelas do Databricks para o Databricks habilitando o compartilhamento de histórico. Confira Melhore o desempenho de leitura de tabela com o compartilhamento de histórico.
Tempo máximo de vida do token de acesso pessoal agora 730 dias (dois anos)
5 de dezembro de 2024
O tempo de vida máximo padrão para tokens de acesso pessoal emitidos recentemente pelo Databricks está definido como 730 dias (dois anos). Anteriormente, os tokens de acesso pessoal podiam ser criados sem expiração por padrão. Com essa atualização, os usuários não podem gerar novos tokens com um tempo de vida superior a 730 dias e os tokens criados sem um tempo de vida especificado são definidos como uma duração de 730 dias. Se você configurou o tempo de vida máximo do token para seu workspace para menos de 730 dias, a configuração permanecerá inalterada. Confira Monitorar e revogar tokens de acesso pessoal e Autenticação de token de acesso pessoal do Azure Databricks.
Treinamento do modelo de IA do Mosaico – previsão sem servidor (versão prévia pública)
5 de dezembro de 2024
Treinamento de modelo de IA do Mosaico – a previsão melhora a experiência de previsão do AutoML existente com computação gerenciada sem servidor, suporte ao Catálogo do Unity, acesso a algoritmos de aprendizado profundo e uma interface atualizada. Confira Previsão (sem servidor) com o AutoML.
Adicionar políticas de orçamento aos pontos de extremidade do serviço de modelo
4 de dezembro de 2024
Já há suporte para políticas de orçamento em pontos de extremidade do serviço de modelo. Confira Gerenciar pontos de extremidade do serviço de modelo.