Partilhar via

Novembro de 2023

  • Artigo

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em novembro de 2023.

Nota

Os lançamentos são encenados. Seu espaço de trabalho do Azure Databricks pode não ser atualizado até uma semana ou mais após a data de lançamento inicial.

Mosaic AI Vetor Search é uma pré-visualização pública

30 de novembro de 2023

Mosaic AI Vetor Search é um mecanismo de pesquisa de semelhança sem servidor que permite armazenar uma representação vetorial de seus dados, incluindo metadados, em um banco de dados vetorial. Como parte dessa funcionalidade, você pode criar índices de pesquisa vetorial de atualização automática a partir de dados no Unity Catalog e consultá-los com uma API simples para retornar os vetores mais semelhantes como parte de seus fluxos de trabalho RAG. Consulte Mosaic AI Vetor Search.

As listas de controles de acesso não podem mais ser desabilitadas

29 de novembro de 2023

As seguintes configurações estão habilitadas em todos os espaços de trabalho do plano Premium e não podem mais ser desabilitadas na página de configurações de administração do espaço de trabalho ou na API do Conf do espaço de trabalho:

  • Controle de acesso ao espaço de trabalho: permite que os usuários configurem permissões para objetos do espaço de trabalho.
  • Controle de acesso a clusters, pools, trabalhos: permite que os usuários configurem permissões para clusters, pools e trabalhos.
  • Controle de visibilidade de cluster: impede que os clusters fiquem visíveis para usuários que não têm permissões neles.
  • Controle de visibilidade de trabalhos: impede que os trabalhos fiquem visíveis para usuários que não têm permissões sobre eles.
  • Configuração de controle de visibilidade do espaço de trabalho: impede que blocos de anotações e pastas fiquem visíveis para usuários que não têm permissões neles.

As configurações de controle de acesso estão habilitadas em novos espaços de trabalho por padrão desde março de 2018 e as configurações de controle de visibilidade estão habilitadas por padrão desde dezembro de 2020.

Para obter mais informações, consulte Listas de controle de acesso.

Novos comportamentos e ações no Catalog Explorer para volumes

22 de novembro de 2023

Agora você pode criar um novo volume no esquema de destino se nenhum existir na interface do usuário Carregar para volume. Consulte Carregar arquivos para um volume do Catálogo Unity.

Ações como Excluir arquivo e Baixar arquivo foram adicionadas ao Catalog Explorer para arquivos em volumes.

Databricks Runtime 14.2 é GA

22 de novembro de 2023

O Databricks Runtime 14.2 e o Databricks Runtime 14.2 ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 14.2 (EoS) e Databricks Runtime 14.2 para Machine Learning (EoS).

Databricks SQL Connector para Python versão 3.0.0

17 de novembro de 2023

Agora você pode executar pip install databricks-sql-connector==3.0.0o .

Esta versão:

  • Remove o suporte para Python 3.7
  • Adiciona suporte para consultas SQL parametrizadas nativas. Requer DBR 14.2 e superior. Para obter mais informações, consulte Usando parâmetros nativos no repositório GitHub databricks-sql-python.
  • Inclui nosso dialeto SQLAlchemy completamente reescrito:
    • Adiciona suporte para SQLAlchemy >= 2.0 e descarta o suporte para SQLAlchemy 1.x
    • Cobertura completa de testes de ponta a ponta de todos os recursos suportados
    • Notas de utilização detalhadas disponíveis aqui
    • Adiciona suporte para:
      • Novos tipos: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric escala de tipo e precisão, como Numeric(10,2)
      • Leitura e escrita PrimaryKeyConstraint e ForeignKeyConstraint
      • Leitura e escrita de teclas compostas
      • Ler e escrever a partir de pontos de vista
      • Gravação Identity em tabelas (incremento automático de chaves primárias)
      • LIMIT e OFFSET para paginação através de resultados
      • Armazenamento em cache de chamadas de metadados
  • Habilita o Cloud Fetch por padrão. Para desativar, defina use_cloud_fetch=False ao construir databricks.sql.client.
  • Adicionar testes de integração para consultas de ingestão de volumes do Catálogo Unity do Azure Databricks
  • Tentativas:
    • Adicionar _retry_max_redirects configuração
    • Defina _enable_v3_retries=True e avise se os usuários o substituírem.
  • Segurança: Bumps versão mínima pyarrow para 14.0.1 (CVE-2023-47248)

Bibliotecas em arquivos de espaço de trabalho suportados em clusters compartilhados sem isolamento

15 de novembro de 2023

Agora você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho para calcular configuradas com o modo de acesso compartilhado sem isolamento no Databricks Runtime 14.1 e superior.

Descontinuação de bibliotecas de espaço de trabalho

15 de novembro de 2023

As bibliotecas de espaço de trabalho foram preteridas e a criação de novas bibliotecas de espaço de trabalho foi desativada. As bibliotecas de espaços de trabalho existentes continuam a funcionar. Observe que o armazenamento de bibliotecas como arquivos de espaço de trabalho é distinto das bibliotecas de espaço de trabalho e ainda é totalmente suportado. Você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho diretamente para tarefas de computação ou trabalho. Consulte Bibliotecas.

O suporte para tipos de VM de computação confidencial do Azure agora é GA

15 de novembro de 2023

O suporte do Azure Databricks para tipos de VM de computação confidencial do Azure agora está disponível ao público em geral. A computação confidencial do Azure ajuda a proteger os dados em uso, impedindo que o provedor de nuvem tenha acesso a dados confidenciais. Consulte VMs de computação confidenciais do Azure.

13 de novembro de 2023

Agora você pode encontrar conjuntos de dados, modelos de IA e Aceleradores de Solução Databricks no Databricks Marketplace usando a barra de pesquisa global na interface do usuário do espaço de trabalho do Azure Databricks. Consulte O que é o Databricks Marketplace? e Pesquisar objetos de espaço de trabalho.

Consumir produtos de dados no Databricks Marketplace usando plataformas externas

10 de novembro de 2023

Os consumidores sem um espaço de trabalho do Azure Databricks habilitado para Catálogo Unity agora podem acessar produtos de dados no Databricks Marketplace. Você pode usar conectores de compartilhamento aberto do Delta Sharing para acessar dados do Marketplace usando várias plataformas comuns, incluindo espaços de trabalho Microsoft Power BI, Microsoft Excel, pandas, Apache Spark e Databricks de catálogo não Unity. Apenas conjuntos de dados tabulares estão disponíveis em plataformas externas (não notebooks ou modelos Databricks, por exemplo). Consulte Acessar produtos de dados no Databricks Marketplace usando plataformas externas.

Suporte para armazéns SQL sem servidor adicionado para várias regiões do Azure

9 de novembro de 2023

As seguintes regiões do Azure agora oferecem suporte a armazéns SQL sem servidor:

  • Brasil Sul (brasilsul)
  • Índia Central (centralíndia)
  • Leste do Japão (japaneast)
  • Centro-Norte dos EUA (northcentralus)
  • Sul do Reino Unido (uksouth)

Consulte Regiões do Azure Databricks e Habilitar armazéns SQL sem servidor.

Ativação automática do Unity Catalog para novos espaços de trabalho

9 de novembro de 2023

O Databricks começou a habilitar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores de conta configurarem o Unity Catalog depois que um espaço de trabalho é criado. A implantação prosseguirá gradualmente em todas as contas. Veja Ativação automática do Unity Catalog.

Databricks Runtime 14.2 (beta)

8 de novembro de 2023

O Databricks Runtime 14.2 e o Databricks Runtime 14.2 ML já estão disponíveis como versões beta.

Consulte Databricks Runtime 14.2 (EoS) e Databricks Runtime 14.2 para Machine Learning (EoS).

O Databricks Marketplace inclui os Aceleradores de Solução Databricks

7 de novembro de 2023

O Databricks Marketplace agora oferece acesso aos Databricks Solution Accelerators, guias criados especificamente para fornecer blocos de anotações totalmente funcionais, orientação de práticas recomendadas e dados de exemplo para que você configure rapidamente com muitos casos de uso populares no Azure Databricks. Consulte Obter acesso aos Databricks Solution Accelerators.

Lakehouse Federation adiciona suporte para o Google BigQuery

3 de novembro de 2023

Agora você pode configurar a Lakehouse Federation para executar consultas federadas com o BigQuery tipo de conector. O novo conector BigQuery é suportado em armazéns SQL Pro e Serverless e Databricks Runtime 13.3 LTS e superior. Consulte Executar consultas federadas no Google BigQuery.