Partilhar via

Executar consultas federadas no Salesforce Data Cloud

  • Artigo

Este artigo descreve como configurar a Lakehouse Federation para executar consultas federadas em dados do Salesforce Data Cloud que não são gerenciados pelo Azure Databricks. Para saber mais sobre a Lakehouse Federation, consulte O que é Lakehouse Federation?.

Para se conectar ao banco de dados do Salesforce Data Cloud usando o Lakehouse Federation, você deve criar o seguinte no metastore do Azure Databricks Unity Catalog:

  • Uma conexão com seu banco de dados do Salesforce Data Cloud.
  • Um catálogo estrangeiro que reflete o seu banco de dados do Salesforce Data Cloud no Catálogo Unity, permitindo que utilize a sintaxe de consulta do Catálogo Unity e as ferramentas de governança de dados para gerir o acesso dos utilizadores do Azure Databricks ao banco de dados.

Antes de começar

Requisitos do espaço de trabalho:

  • Espaço de trabalho habilitado para o Catálogo Unity.

Requisitos de computação:

  • Conectividade de rede do seu recurso de computação para os sistemas de banco de dados de destino. Consulte Recomendações de rede para a Lakehouse Federation.
  • A computação do Azure Databricks deve usar o Databricks Runtime 15.2 ou superior e modo de acesso partilhado ou para utilizador único.
  • Os armazéns SQL devem ser profissionais ou sem servidor e devem usar 2024.30 ou superior.

Permissões necessárias:

  • Para criar uma conexão, você deve ser um administrador de metastore ou um usuário com o privilégio de CREATE CONNECTION no metastore do Unity Catalog anexado ao espaço de trabalho.
  • Para criar um catálogo estrangeiro, você deve ter a permissão CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio de CREATE FOREIGN CATALOG na conexão.

Os requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Criar um aplicativo conectado ao Salesforce

Os aplicativos conectados ao Salesforce permitem que um aplicativo externo se integre ao Salesforce usando APIs e protocolos padrão. Esta seção descreve como criar um aplicativo conectado usando SSO para permitir que o Databricks se autentique com o Salesforce.

Nota

Para obter instruções mais detalhadas, consulte Criar um aplicativo conectado na documentação do Salesforce Data Cloud.

Para criar um aplicativo conectado ao Salesforce, faça o seguinte:

  1. No canto superior direito do Data Cloud, clique em Configuração.
  2. Em Ferramentas de Plataforma, clique em Apps > App Manager.
  3. Clique em Novo aplicativo conectado.
  4. Introduza um Nome e um endereço de e-mail de Contacto.
  5. Habilite as configurações do OAuth:
    1. Insira o URL de retorno de chamada, no seguinte formato: https://<databricks_instance_url>/login/oauth/salesforce.html. Por exemplo: https://cust-success.cloud.databricks.com/login/oauth/salesforce.html.
    2. (Opcional) Se você planeja usar o SQL para criar a conexão do Azure Databricks e o catálogo estrangeiro na próxima etapa, seu Salesforce Connected App também precisa dar suporte ao URI de redirecionamento https://login.salesforce.com/services/oauth2/success. Isso não é necessário se você planeja usar o Gerenciador de Catálogos para criar a conexão do Azure Databricks e o catálogo estrangeiro. O Databricks recomenda o uso do Catalog Explorer porque ele requer menos etapas manuais do que outros métodos.
    3. Adicione os seguintes escopos:
      • Acesse todos os recursos da API do Data Cloud (cdp_api)
      • Gerencie dados do usuário por meio de APIs (api)
      • Executar consultas ANSI SQL em dados do Data Cloud (cdp_query_api)
      • Executar solicitações a qualquer momento (refresh_token, offline_access)
    4. Clique em Guardar.
    5. Clique em Continue (Continuar).
  6. Na página de visão geral do Aplicativo Conectado, clique em Gerenciar Detalhes do Consumidor. Você será solicitado a autenticar.
  7. Após a autenticação bem-sucedida, a chave do consumidor e o segredo do consumidor são revelados. Guarde estes valores. Você precisará deles quando criar uma conexão do Azure Databricks.

Criar uma conexão do Azure Databricks

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Gerenciador de Catálogos ou o comando CREATE CONNECTION SQL em um bloco de anotações do Azure Databricks ou no editor de consultas Databricks SQL.

Nota

Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar uma conexão. Consulte POST /api/2.1/unity-catalog/connections e os comandos do Unity Catalog .

Permissões necessárias: administrador do Metastore ou usuário com o CREATE CONNECTION privilégio.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique no ícone do Catálogo .

  2. Na parte superior do painel Catálogo , clique no ícone Adicionar ou mais ícone Adicionar e selecione Adicionar uma conexão no menu.

    Como alternativa, na página de acesso rápido, clique no botão dados externos >, vá para a guia Conexões e clique em Criar conexão.

  3. Na página Noções básicas de conexão do assistente Configurar de conexão, insira um amigável Nome da conexão.

  4. Selecione um Tipo de conexão de Salesforce Data Cloud.

  5. (Opcional) Adicione um comentário.

  6. Na página de autenticação, insira as seguintes propriedades de conexão para o Salesforce Data Cloud:

    • (Opcional) Selecione como sandbox.
    • ID do cliente: chave de consumidor do aplicativo conectado ao Salesforce.
    • Segredo do cliente: segredo do cliente da aplicação conectada ao Salesforce.
    • Escopo do cliente: cdp_api api cdp_query_api refresh_token offline_access

  7. Clique Iniciar sessão com a Salesforce.

  8. (OAuth) Você será solicitado a fazer login no Salesforce Data Cloud usando suas credenciais de SSO.

  9. Após o login bem-sucedido, será direcionado de volta para o assistente de configuração de conexão Databricks . O botão Iniciar sessão com o Salesforce foi substituído por uma mensagem Successfully authorized.

  10. Clique em Criar conexão.

  11. Na página Noções básicas do catálogo, insira um nome para o catálogo estrangeiro. Um catálogo estrangeiro espelha um banco de dados em um sistema de dados externo para que você possa consultar e gerenciar o acesso aos dados nesse banco de dados usando o Azure Databricks e o Unity Catalog.

  12. (Opcional) Clique em Testar conexão para confirmar se a conexão funciona.

  13. Clique em Criar catálogo.

  14. Na página de Acesso , selecione os espaços de trabalho nos quais os utilizadores podem aceder ao catálogo que você criou. Você pode selecionar Todos os espaços de trabalho têm acessoou clicar em Atribuir a espaços de trabalho, selecione os espaços de trabalho e clique em Atribuir.

  15. Altere o Proprietário para poder gerir o acesso a todos os objetos no catálogo. Comece a digitar um principal na caixa de texto e clique no principal nos resultados retornados.

  16. Conceder privilégios no catálogo. Clique Conceder:

    1. Especifique os Principals que terão acesso aos objetos no catálogo. Comece a digitar um principal na caixa de texto e clique no principal nos resultados retornados.
    2. Selecione as predefinições de privilégio para conceder a cada principal. Todos os usuários da conta recebem BROWSE por padrão.
      • Selecione Leitor de Dados no menu suspenso para conceder privilégios a read sobre objetos no catálogo.
      • Selecione Editor de Dados no menu suspenso para conceder privilégios read e modify sobre objetos no catálogo.
      • Selecione manualmente os privilégios a conceder.
    3. Clique Conceder.

  17. Clique Avançar.

  18. Na página Metadados, especifique os pares chave-valor das etiquetas. Para mais informações, consulte Aplicar tags a objetos securáveis do Unity Catalog.

  19. (Opcional) Adicione um comentário.

  20. Clique em Guardar.

SQL

O Databricks recomenda o uso do Catalog Explorer para criar a conexão e o catálogo estrangeiro porque ele requer menos etapas manuais do que outros métodos.

Se planeias usar o SQL para criar a conexão do Azure Databricks e o catálogo externo, a tua Salesforce Connected App precisa suportar o URI de redirecionamento https://login.salesforce.com/services/oauth2/success. Isso não é necessário se você usar o Gerenciador de Catálogos.

  1. Gere o verificador de código PKCE e códigos de desafio de código. Você pode fazer isso usando uma ferramenta on-line, como https://tonyxu-io.github.io/pkce-generator/ ou executando o seguinte script Python:

    %python

import base64
import re
import os
import hashlib

code_verifier = base64.urlsafe_b64encode(os.urandom(40)).decode('utf-8')
code_verifier = re.sub('[^a-zA-Z0-9]+', '', code_verifier)

code_challenge = hashlib.sha256(code_verifier.encode('utf-8')).digest()
code_challenge = base64.urlsafe_b64encode(code_challenge).decode('utf-8')
code_challenge = code_challenge.replace('=', '')
print(f"pkce_verifier  = \"{code_verifier}\"")
print(f"code_challenge = \"{code_challenge}\"")

  2. Visite o URL a seguir e autentique-se com suas credenciais do Salesforce para obter o authorization_code (substitua <client_id> e <code_challenge> por seus parâmetros).

    https://login.salesforce.com/services/oauth2/authorize
?client_id=<client_id>
&redirect_uri=https://login.salesforce.com/services/oauth2/success
&response_type=code
&code_challenge=<code_challenge>

    Um código de autorização codificado por URL é visível no URL redirecionado.

  3. Execute o seguinte em um bloco de anotações ou no editor de consultas Databricks SQL:

    CREATE CONNECTION '<Connection name>' TYPE salesforce_data_cloud
OPTIONS (
  client_id '<Consumer key from Salesforce Connected App>',
  client_secret '<Consumer secret from Salesforce Connected App>',
  pkce_verifier '<pkce_verifier from the last step>',
  authorization_code '<URL decoded `authorization_code`, should end with == instead of %3D%3D>',
  oauth_redirect_uri "https://login.salesforce.com/services/oauth2/success",
  oauth_scope "cdp_api api cdp_query_api refresh_token offline access",
  is_sandbox "false"
  );

    O Databricks recomenda que você use o Azure Databricks segredos em vez de cadeias de caracteres de texto sem formatação para valores confidenciais, como credenciais. Por exemplo:

    CREATE CONNECTION '<Connection name>' TYPE salesforce_data_cloud
OPTIONS (
  client_id secret ('<Secret scope>','<Secret key client id>'),
  client_secret secret ('<Secret scope>','<Secret key client secret>'),
  pkce_verifier '<pkce_verifier from the last step>',
  authorization_code '<URL decoded `authorization_code`, should end with == instead of %3D%3D>',
  oauth_redirect_uri "https://login.salesforce.com/services/oauth2/success",
  oauth_scope "cdp_api api cdp_query_api refresh_token offline access",
  is_sandbox "false"
  );

    Para obter informações sobre como configurar segredos, consulte Gerenciamento de segredos.

Criar um catálogo estrangeiro

Nota

Se você usar a interface do usuário para criar uma conexão com a fonte de dados, a criação de catálogo estrangeiro será incluída e você poderá ignorar esta etapa.

Um catálogo estrangeiro espelha um banco de dados em um sistema de dados externo para que você possa consultar e gerenciar o acesso aos dados nesse banco de dados usando o Azure Databricks e o Unity Catalog. Para criar um catálogo estrangeiro, use uma conexão com a fonte de dados que já foi definida.

Para criar um catálogo estrangeiro, você pode usar o Gerenciador de Catálogos ou o comando CREATE FOREIGN CATALOG SQL em um bloco de anotações do Azure Databricks ou no editor de consultas SQL. Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar um catálogo. Veja POST /api/2.1/unity-catalog/catalogs e comandos do Unity Catalog .

Permissões necessárias:CREATE CATALOG permissão no metastore e propriedade da conexão ou o CREATE FOREIGN CATALOG privilégio na conexão.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique ícone Catálogo Catálogo para abrir o Explorador de Catálogos.
  2. No canto superior direito, clique em Criar catálogo.
  3. Insira as seguintes propriedades para seu catálogo do Salesforce Data Cloud.
    • Nome do catálogo: Um nome amigável para o catálogo.
    • Tipo: Foreign.
    • Nome da conexão: O nome da conexão na qual o catálogo será criado.
    • Dataspace: um espaço de dados do Salesforce.
  4. Clique em Criar.

SQL

Execute o seguinte comando SQL em um bloco de anotações ou no editor de consultas SQL. Os itens entre parênteses são opcionais.

CREATE FOREIGN CATALOG [IF NOT EXISTS] '<catalog-name>' USING CONNECTION '<connection-name>'
OPTIONS (dataspace '<dataspace>');

Substitua os seguintes valores:

  • <catalog-name>:
  • <connection-name>:
  • <dataspace>: espaço de dados do Salesforce. Por exemplo, default.

Pushdowns suportados

As seguintes flexões são suportadas:

  • Filtros
  • Projeções
  • Limite
  • Agregados
  • Deslocamento
  • Cost
  • Contém, Começa, Termina com

Mapeamentos de tipo de dados

Quando você lê do Salesforce Data Cloud para o Spark, os tipos de dados são mapeados da seguinte maneira:

Tipo de Salesforce Data Cloud Tipo de faísca
Boolean BooleanType
Date Tipo de Data
Datetime Tipo de carimbo de data/hora
Email, Telefone, Texto, Url StringType
Número, Percentagem Tipo decimal(38, 18)

Limitações

  • Há suporte para apenas um espaço de dados do Salesforce por catálogo do Databricks.

Recursos adicionais

O Lakehouse Federation não oferece suporte conexões somente leitura ao Salesforce Sales Cloud, mas o LakeFlow Connect permite que você ingira dados do Salesforce Sales Cloud em um lago Databricks. Consulte Ingestão de dados do Salesforce.