Compartilhar via

Executar consultas federadas em outro workspace do Databricks

  • Artigo

Esse artigo descreve como configurar a Federação do Lakehouse para executar consultas federadas em dados do Databricks em outro workspace do Databricks. Para saber mais sobre a Federação do Lakehouse, consulte O que é a Federação do Lakehouse?.

Importante

A Federação de Lakehouse de Databricks para Databricks é uma boa ferramenta para executar consultas em dados gerenciados pelo metastore Hive ou AWS Glue de outro workspace do Databricks. Para a maioria dos outros cenários, outros fluxos de trabalho do Azure Databricks são mais eficientes:

  • Se os workspaces do Azure Databricks compartilharem o mesmo metastore do Catálogo do Unity, você poderá gerenciar consultas entre workspaces usando consultas padrão do Catálogo do Unity e ferramentas de governança de dados.
  • Se você quiser acesso somente leitura aos dados em um workspace do Databricks anexado a um metastore diferente do Catálogo do Unity, seja em sua conta do Azure Databricks ou não, o Compartilhamento Delta é uma opção melhor.

Não é necessário configurar a Federação Lakehouse em nenhum desses cenários.

Para se conectar a um catálogo do Data em outro workspace usando a Federação do Lakehouse, você precisa criar o seguinte no metastore do Catálogo do Unity no Azure Databricks:

  • Um cluster ou SQL warehouse em um workspace do Databricks.
  • Uma conexão com o cluster ou o SQL warehouse.
  • Um catálogo estrangeiro no metastore do Catálogo do Unity que espelha o outro catálogo do Databricks acessível do cluster ou do SQL warehouse para que você possa usar a sintaxe de consulta do Catálogo do Unity e as ferramentas de governança de dados para gerenciar o acesso do usuário do Azure Databricks aos dados.

Antes de começar

Requisitos do workspace:

  • Workspace habilitado para o Catálogo do Unity.

Requisitos de computação:

  • Conectividade de rede do cluster do Databricks Runtime ou do Warehouse SQL para os sistemas de banco de dados de destino. Confira Recomendações de rede para a Federação de Lakehouse.
  • Os clusters do Azure Databricks devem usar o Databricks Runtime 13.3 LTS ou superior e o modo de acesso compartilhado ou de usuário único.
  • Os SQL warehouses precisam ser Pro ou sem servidor e precisam usar a versão 2023.40 ou superior.

Permissões necessárias:

  • Para criar uma conexão, você deve ser um administrador de metastore ou um usuário com o privilégio de CREATE CONNECTION no metastore do Catálogo do Unity anexado ao workspace.
  • Para criar um catálogo estrangeiro, você deve ter a permissão de CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio de CREATE FOREIGN CATALOG na conexão.

Requisitos de permissão adicionais são especificados em cada seção baseada em tarefa a seguir.

Você também deve ter um cluster ativo ou SQL warehouse no workspace do Azure Databricks que você está usando para configurar a conexão.

Criar uma conexão

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Explorador do Catálogo ou o comando SQL CREATE CONNECTION em um notebook do Azure Databricks, ou o editor de consulta do Databricks SQL.

Observação

Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar uma conexão. Consulte POST /api/2.1/unity-catalog/connections e Comandos do Catálogo do Unity.

Permissões necessárias: administrador ou usuário do metastore com o privilégio de CREATE CONNECTION.

Explorador do Catálogo

  1. No workspace do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique no ícone Ícone de adição ou mais Adicionar e selecione Adicionar uma conexão no menu.

    Como alternativa, na página Acesso rápido, clique no botão Dados externos >, vá até a guia Conexões e clique em Criar conexão.

  3. Insira um nome de conexão simples.

  4. Selecione um Tipo de Conexão do Databricks.

  5. Insira as propriedades de conexão a seguir para a outra instância do Databricks.

    • Host: nome da instância do workspace. Para saber como obter o nome da instância do workspace, consulte Obter identificadores para objetos do workspace.
    • Caminho HTTP: o caminho HTTP para seu SQL warehouse. Para obter o caminho, vá para SQL > SQL Warehouses na barra lateral, selecione o SQL warehouse, vá para a guia Detalhes da conexão e copie o valor do caminho HTTP.
    • Token de acesso pessoal: um token de acesso pessoal do Azure Databricks que permite o acesso ao workspace de destino. Para saber como criar um token, confira Autenticação de token de acesso pessoal do Azure Databricks. Para conexões, o Databricks recomenda usar um token de acesso pessoal para uma entidade de serviço.

  6. (Opcional) Clique em Testar conectividade para confirmar se está funcionando.

  7. (Opcional) Adicione um comentário.

  8. Clique em Criar.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas SQL do Databricks, substituindo o seguinte:

  • <connection-name>: nome amigável para a conexão que você está criando.
  • <workspace-instance>: a instância do workspace de destino. Para saber como obter o nome da instância do workspace, consulte Obter identificadores para objetos do workspace.
  • <sql-warehouse-path>: O caminho HTTP para seu SQL warehouse. Para obter o caminho, vá para SQL > SQL Warehouses na barra lateral, selecione o SQL warehouse, vá para a guia Detalhes da conexão e copie o valor do caminho HTTP.
  • <personal-access-token>: um token de acesso pessoal do Azure Databricks que permite o acesso ao workspace de destino. Para saber como criar um token, confira Autenticação de token de acesso pessoal do Azure Databricks. Para conexões, o Databricks recomenda que você use o token de acesso pessoal de uma entidade de serviço.
CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken '<personal-access-token>'
);

Recomendamos usar segredos do Azure Databricks em vez de cadeias de caracteres de texto não criptografado para valores confidenciais, como credenciais. Por exemplo:

CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken secret ('<secret-scope>','<secret-key-password>')
)

Para obter informações sobre configuração de segredos, confira Gestão de segredos.

Criar um catálogo estrangeiro

Um catálogo estrangeiro espelha um catálogo no workspace externo do Databricks para que você possa consultar e gerenciar o acesso aos dados nesse catálogo externo do Databricks como se fosse um catálogo em seu próprio workpsace. Para criar um catálogo estrangeiro, use uma conexão com o workspace do Databricks que já foi definido.

Para criar um catálogo estrangeiro, você pode usar o Explorador do Catálogo ou o comando SQL CREATE FOREIGN CATALOG em um notebook do Azure Databricks ou o editor de consulta do Databricks SQL.

Observação

Além disso, é possível usar a API REST do Databricks ou a CLI do Databricks para criar um catálogo. Confira POST /api/2.1/unity-catalog/catalogs e Comandos do Unity Catalog.

Permissões necessárias: permissão de CREATE CATALOG no metastore e a propriedade da conexão ou o privilégio de CREATE FOREIGN CATALOG na conexão.

Explorador do Catálogo

  1. Em seu workspace do Azure Databricks, clique em Ícone do catálogo Catálogo para abrir o Explorador de Catálogo.

  2. Na parte superior do painel Catálogo, clique no ícone Ícone de adição ou mais Adicionar e selecione Adicionar um catálogo no menu.

    Como alternativa, na página Acesso rápido, clique no botão Catálogos e depois no botão Criar catálogo.

  3. Siga as instruções para criar catálogos estrangeiros em Criar catálogos.

SQL

Execute o comando SQL a seguir em um notebook ou no editor de SQL do Databricks. Os itens entre colchetes são opcionais. Substitua os valores de espaço reservado:

  • <catalog-name>: nome do catálogo estrangeiro que você está criando.
  • <connection-name>: o objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso.
  • <external-catalog-name>: nome do catálogo no workspace externo do Databricks que você está espelhando.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (catalog '<external-catalog-name>');

Pushdowns com suporte

Os seguintes pushdowns são compatíveis com toda a computação:

  • Filtros
  • Projeções
  • Limite
  • Funções: somente expressões de filtro têm suporte (funções de cadeia de caracteres, funções Matemáticas, Dados, Hora e Carimbo de Data/Hora e outras funções diversas, como Alias, Conversão, SortOrder).

Os seguintes pushdowns são compatíveis com o Databricks Runtime 13.3 LTS e superior, e com computação de SQL warehouse:

  • Agregações
  • Os seguintes operadores boolianos: =, <, <=, >, >=, <=>
  • As seguintes funções matemáticas (sem suporte se o ANSI estiver desabilitado): +, -, *, %, /
  • Os seguintes operadores diversos: ^, |, ~
  • Classificação, quando usada com limite

Não há suporte para os seguintes pushdowns:

  • Junções
  • Funções do Windows