Dezembro de 2024
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em dezembro de 2024.
Observação
Os lançamentos são efetuados em fases. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.
Databricks Runtime 16.1 está disponível
20 de dezembro de 2024
Databricks Runtime 16.1 e Databricks Runtime 16.1 ML agora estão disponíveis para o público em geral.
Consulte Databricks Runtime 16.1 e Databricks Runtime 16.1 parade Machine Learning .
O formato padrão para novos cadernos agora é o formato IPYNB (Jupyter)
20 de dezembro de 2024
O formato padrão para novos blocos de anotações criados em seu espaço de trabalho do Azure Databricks agora é IPYNB (.ipynb). Anteriormente, o formato padrão para blocos de anotações era Source (.py, .sql, .scala, .r). Para alterar o formato padrão, use a configuração Formato de arquivo padrão para blocos de anotações no painel do desenvolvedor das configurações de usuário do espaço de trabalho. Consulte Formatos de cadernos.
Os modelos hospedados pelo Databricks para o Databricks Assistant estão em pré-visualização pública
19 de dezembro de 2024
Agora você pode usar modelos hospedados pelo Azure Databricks para alimentar o Assistente de Databricks no Azure Databricks. Este recurso está em pré-visualização pública.
Consulte a seção sobre o uso de um modelo hospedado no Databricks para o Databricks Assistant.
Executor de código Python para agentes de IA (Visualização pública)
19 de dezembro de 2024
Agora você pode dar rapidamente aos seus agentes de IA a capacidade de executar código Python. O Databricks agora oferece uma função Unity Catalog pré-construída que pode ser usada por um agente de IA como uma ferramenta para expandir suas capacidades além da geração de linguagem.
Consulte Ferramentas do agente de IA do interpretador de código.
databricks-agents SDK 0.13.0 versão
18 de dezembro de 2024
A versão 0.13.0 do databricks-agents SDK foi lançada para o PyPI, contendo as seguintes alterações:
- Honre o perfil ativo atual da CLI do Databricks e o URI do registro do modelo MLflow ao chamar
agents.deploy()e outras APIsdatabricks.agents. Em particular, agora você pode especificar uma combinação deDATABRICKS_CONFIG_PROFILE=my-profileeMLFLOW_REGISTRY_URI=databricks-uc://my-profileantes de chamaragents.deploy()para especificar o perfil da CLI do Databricks a ser usado para implantar e acessar agentes. - No
mlflow.evaluate(), aplicar as métricas de recuperação e de orientação somente se o contexto de recuperação e de orientação estiver presente, respectivamente. - Adicione autenticação baseada em segredo aos clientes para
mlflow.evaluate().
Os grupos externos agora são rotulados e imutáveis
18 de dezembro de 2024
Grupos externos são grupos criados no Azure Databricks a partir da ID do Microsoft Entra. Esses grupos são criados usando um conector de provisionamento SCIM e mantêm-se em sync no Microsoft Entra ID. Os grupos externos agora são explicitamente rotulados como External e não podem mais ser atualizados do console da conta do Azure Databricks ou da página de configurações de administrador do espaço de trabalho por padrão. Para update a associação a grupos externos a partir da IU do Azure Databricks, um administrador de conta pode desativar de grupos externos imutáveis na página de pré-visualização da consola da conta.
Consulte Tipos de grupos no Azure Databricks.
Teste salas limpas com colaboradores dentro do mesmo metastore
17 de dezembro de 2024
Agora você pode testar sua sala limpa antes da implantação completa adicionando um colaborador de dentro do mesmo metastore. Consulte Criar salas limpas.
Atribuir recursos de computação a grupos (Visualização pública)
17 de dezembro de 2024
O novo modo de acesso dedicado
Esta versão prévia pública também dá ao seu espaço de trabalho acesso à nova interface de computação simplificada. Consulte Utilize o formulário simples para gerirde computação.
Um administrador de espaço de trabalho deve habilitar essa visualização. Consulte Gerir Pré-visualizações do Azure Databricks.
Delegar a capacidade de criar uma credencial de armazenamento no Unity Catalog a um principal de serviço
17 de dezembro de 2024
Agora você pode grant permissões de entidades de serviço para criar uma credencial de armazenamento em um metastore Unity Catalog usando o privilégio CREATE STORAGE CREDENTIAL. Consulte CRIAR CREDENCIAIS DE ARMAZENAMENTO.
É lançada a versão 2.2 da API de Jobs
16 de dezembro de 2024
A versão da API de trabalhos é atualizada de 2.1 para 2.2. As atualizações na versão 2.2 da API de Empregos incluem o enfileiramento padrão de empregos novos ou atualizados e a melhoria da paginação de respostas de emprego e execução de emprego que incluem campos com quantidades elevadas de values. Para saber mais sobre as atualizações nesta versão, consulte Atualização da Jobs API 2.1 para 2.2. Para consultar a documentação completa do Jobs API 2.2, veja Jobs (mais recente). Embora o Databricks recomende o uso da versão 2.2 da API de trabalhos, você ainda pode acessar as versões 2.1 e 2.0. Consulte Jobs (2.1) e Jobs API 2.0.
Unity CatalogMANAGE privilégio (Visualização pública)
14 de dezembro de 2024
Agora você pode grant aos usuários o privilégio de MANAGE no Unity Catalog objetos protegíveis. O privilégio MANAGE permite que os usuários executem ações-chave em um objeto Unity Catalog, incluindo:
- Gerenciando privilégios
- Soltar o objeto
- Renomeando o objeto
- Transferência de propriedade
Consulte GERENCIAR.
Meta Llama 3.3 agora está disponível para cargas de trabalho com largura de banda provisionada
13 de dezembro de 2024
O Meta Llama 3.3, uma arquitetura de modelo construída e treinada pela Meta, agora está disponível para servir nas APIs do Foundation Model com taxa de transferência provisionada em .
Visualizar métricas de desempenho de streaming para as execuções de tarefas (Pré-visualização pública)
** 12 de dezembro de 2024**
Ao visualizar execuções de trabalhos na interface de trabalhos do Databricks, agora pode ver métricas como segundos acumulados, bytes acumulados, registos acumulados e ficheiros acumulados para fontes suportadas pelo Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte Exibir métricas para tarefas de streaming.
Exibir métricas de streaming das cargas de trabalho para as atualizações do seu pipeline Delta Live Tables (Pré-visualização pública)
** 12 de dezembro de 2024**
Ao visualizar atualizações de pipeline na interface do Delta Live Tables, agora pode ver métricas como segundos de acumulado, bytes de acumulado, registos de acumulado e ficheiros de acumulado para cada fluxo de streaming no pipeline. As métricas de streaming são suportadas para fontes do Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte Ver métricas de streaming.
Lakehouse Federation suporta Oracle (Public Preview)
12 de dezembro de 2024
Agora você pode executar consultas federadas em dados gerenciados pela Oracle. Veja Executar consultas federadas em Oracle.
Databricks Runtime 16.1 (Beta)
11 de dezembro de 2024
O Databricks Runtime 16.1 e o Databricks Runtime 16.1 ML já estão disponíveis como versões Beta.
Consulte Databricks Runtime 16.1 e Databricks Runtime 16.1 para Aprendizagem Automática
Gerencie connections de rede de saída sem servidor com controle de saída sem servidor
, 11 de dezembro de 2024
O controle de saída sem servidor permite restringir o acesso de saída a destinos especificados da Internet. Consulte O que é o controle de saída sem servidor?.
O sistema de eventos de acesso à rede table já está disponível (Visualização pública)
11 de dezembro de 2024
O sistema Azure Databricks tables agora inclui um acesso à rede table. Este table regista um evento sempre que o acesso à internet é negado na sua conta. Para aceder ao table, os administradores devem ter o sistema access e schema ativado. Consulte o sistema de eventos de acesso à rede , referência table.
Monitorizar e revoke tokens de acesso pessoais na sua conta (Pré-visualização Pública)
11 de dezembro de 2024
Os administradores de conta agora conseguem visualizar um relatório de token para monitorizar e revoke tokens de acesso pessoal (PATs) na consola da conta. A Databricks recomenda que você use tokens de acesso OAuth em vez de PATs para maior segurança e conveniência. Para join esta visualização, entre em contato com a sua equipa de conta do Azure Databricks. Veja Monitor e revoke tokens pessoais de acesso na conta.
Unity Catalog pode federar-se ao Hive metastores
11 de dezembro de 2024
Agora você pode usar o Unity Catalog para acessar e controlar dados registrados em um metastore do Hive. Isto inclui o Hive metastores gerido externamente e o Hive Interno Herdado do Databricks metastores.
Consulte a federação de metastore do Hive : habilite o Unity Catalog para governar tables registrados num metastore do Hive.
Remove armazenamento no nível de metastore para impor o isolamento de armazenamento em nível de catalog
11 de dezembro de 2024
Caso tenha armazenamento ao nível de metastore para tables e volumes geridos (também conhecido como raiz de armazenamento de metastore), mas queira garantir o isolamento do armazenamento de dados ao nível de catalog ou schema, agora poderá remove esse armazenamento ao nível de metastore sem interromper as cargas de trabalho existentes. Consulte Remove armazenamento a nível de metastore.
Especificar formatos de resposta para ai_query
17 de dezembro de 2024
ai_query agora suporta o campo responseFormat para saídas estruturadas. Use responseFormat em suas solicitações de ai_query para especificar o formato de resposta que você deseja que o modelo que você está consultando siga. Consulte a função ai_query.
Meta Llama 3.3 70B Instruct já está disponível no Model Serving
11 de dezembro de 2024
O Mosaic AI Model Serving agora suporta o Meta Llama 3.3 70B Instruct, um modelo de linguagem grande de última geração construído e treinado pela Meta. O Llama 3.3 70B Instruct está disponível como parte do Foundation Model APIs pay-per-token. Esta disponibilidade também inclui suporte em Function Calling.
A partir de 11 de dezembro de 2024, Meta-Llama-3.1-70B-Instruct substitui o suporte para Meta-Llama-3-70B-Instruct nas APIs do Foundation Model nos pontos de acesso de pagamento por token.
Bamboolib agora está descontinuado
10 de dezembro de 2024
bamboolib está obsoleto agora. Os usuários ainda podem acessar o bamboolib para executar a análise de dados low-code dentro de notebooks, mas o Databricks não está mais desenvolvendo ativamente nem suportando essa ferramenta. Para obter ajuda com a geração de código, use o Databricks Assistant.
Agilize a avaliação de agentes de IA usando conjuntos de avaliação sintéticos
9 de dezembro de 2024
Avalie seu agente de IA gerando uma avaliação representativa set de seus documentos. A API de geração sintética está totalmente integrada com a Avaliação de Agente, permitindo que você avalie e melhore rapidamente a qualidade das respostas do seu agente sem passar pelo dispendioso processo de rotulagem humana. Consulte Sintetizar conjuntos de avaliação.
Melhore o desempenho de leitura table de Databricks para Databricks com o recurso de Delta Sharing e o compartilhamento de histórico (Pré-visualização Pública)
5 de dezembro de 2024
Melhore o desempenho dos tableshares Databricks para Databricks habilitando o compartilhamento de histórico. Veja Melhorar table a performance de leitura com a partilha de histórico.
Vida útil máxima do token de acesso pessoal agora 730 dias (dois anos)
5 de dezembro de 2024
O tempo de vida máximo padrão para tokens de acesso pessoal recém-criados emitidos pelo Databricks agora é de set a 730 dias (dois anos). Anteriormente, os tokens de acesso pessoal podiam ser criados sem expiração por padrão. Com esse update, os usuários não podem generate novos tokens com uma vida útil superior a 730 dias, e os tokens criados sem um tempo de vida especificado são set a uma duração de 730 dias. Se você configurou o tempo de vida máximo do token para seu espaço de trabalho para menos de 730 dias, a configuração permanecerá inalterada. Consulte Monitor e revoke tokens de acesso pessoal e autenticação de token de acesso pessoal do Azure Databricks.
Treinamento de modelo de IA em mosaico - previsão sem servidor (Visualização pública)
5 de dezembro de 2024
Treinamento de modelo de IA em mosaico - a previsão melhora a experiência de previsão do AutoML existente com computação gerenciada sem servidor, suporte a Catalog Unity, acesso a algoritmos de aprendizado profundo e uma interface atualizada. Consulte Previsão (sem servidor) com AutoML.
Adicionar políticas de orçamento ao modelo de pontos de extremidade de serviço
4 de dezembro de 2024
As políticas de orçamento agora são suportadas no modelo de pontos de extremidade de serviço. Consulte Gerenciar modelo servindo pontos de extremidade.