Ligar e gerir o Snowflake no Microsoft Purview

Este artigo descreve como registar o Snowflake e como autenticar e interagir com o Snowflake no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Extração de Metadados	Verificação Completa	Análise Incremental	Análise de Âmbito	Classificação	Rotulamento	Política de Acesso	Linhagem	Compartilhamento de Dados	Modo de exibição ao vivo
Sim	Sim	Não	Sim	Sim	Sim	Não	Sim	Não	Não

Ao analisar a origem do Snowflake, o Microsoft Purview suporta:

• Extrair metadados técnicos, incluindo:

  • Servidor
  • Bancos de dados
  • Esquemas
  • Tabelas, incluindo colunas, chaves externas e restrições exclusivas
  • Vistas, incluindo as colunas
  • Procedimentos armazenados, incluindo o conjunto de dados de parâmetros e o conjunto de resultados
  • Funções, incluindo o conjunto de dados de parâmetros
  • Pipes
  • Fases
  • Fluxos, incluindo as colunas
  • Tarefas
  • Sequences

• Obter linhagem estática nas relações de recursos entre tabelas, vistas, fluxos e procedimentos armazenados.

Para procedimentos armazenados, pode escolher o nível de detalhes a extrair nas definições de análise. A linhagem de procedimentos armazenados é suportada para linguagens de Scripting de Snowflake (SQL) e JavaScript e gerada com base na definição do procedimento.

Ao configurar a análise, pode optar por analisar uma ou mais bases de dados do Snowflake inteiramente com base nos nomes ou padrões de nome especificados ou no âmbito adicional da análise para um subconjunto de esquemas que correspondem aos nomes ou padrões de nome especificados.

Limitações conhecidas

• Quando o objeto é eliminado da origem de dados, atualmente a análise subsequente não remove automaticamente o recurso correspondente no Microsoft Purview.
• A linhagem de procedimentos armazenados não é suportada para os seguintes padrões:
  • Procedimento armazenado definido nas linguagens Java, Python e Scala.
  • Procedimento armazenado com SQL EXECUTE IMMEDIATE com consulta SQL estática como variável.

Pré-requisitos

• Uma conta do Azure com uma subscrição ativa. Crie uma conta gratuitamente.

• Uma conta ativa do Microsoft Purview.

• Precisa de permissões de Administrador de Origem de Dados e Leitor de Dados para registar uma origem e geri-la no portal de governação do Microsoft Purview. Para obter mais informações sobre permissões, consulte Controlo de acesso no Microsoft Purview.

• Escolha a configuração do runtime de integração correta para o seu cenário.

  • Para utilizar a VNet Gerida Integration Runtime ligar ao Snowflake através de uma ligação privada, siga os passos em Ligar ao Snowflake através do Ponto Final Privado Gerido para configurar o ponto final privado.
  • Para utilizar o Integration Runtime Autoalojado para análise, configure o runtime de integração autoalojado mais recente. Para obter mais informações, veja o guia criar e configurar um runtime de integração autoalojado.
    • Certifique-se de que o JDK 11 está instalado no computador onde o runtime de integração autoalojado está instalado. Reinicie o computador depois de instalar recentemente o JDK para que este entre em vigor.
    • Certifique-se de Pacote Redistribuível do Visual C++ (versão Visual Studio 2012 Update 4 ou mais recente) está instalada no computador de runtime de integração autoalojado. Se não tiver esta atualização instalada, pode transferi-la aqui.

Permissões necessárias para análise

O Microsoft Purview suporta a autenticação básica (nome de utilizador e palavra-passe) para analisar o Snowflake. A função predefinida do utilizador especificado será utilizada para efetuar a análise. O utilizador do Snowflake tem de ter direitos de utilização num armazém e nas bases de dados a analisar e ler o acesso às tabelas do sistema para aceder a metadados avançados.

Eis um exemplo de instruções para criar um utilizador especificamente para a análise do Microsoft Purview e configurar as permissões. Se optar por utilizar um utilizador existente, certifique-se de que tem direitos adequados para os objetos do armazém e da base de dados.

1. Configurar uma purview_reader função. Precisa de direitos ACCOUNTADMIN para o fazer.

   USE ROLE ACCOUNTADMIN;
   
   --create role to allow read only access - this will later be assigned to the Microsoft Purview user
   CREATE OR REPLACE ROLE purview_reader;
   
   --make sysadmin the parent role
   GRANT ROLE purview_reader TO ROLE sysadmin;
   

2. Crie um armazém para o Microsoft Purview utilizar e conceder direitos.

   --create warehouse - account admin required
   CREATE OR REPLACE WAREHOUSE purview_wh WITH 
       WAREHOUSE_SIZE = 'XSMALL' 
       WAREHOUSE_TYPE = 'STANDARD' 
       AUTO_SUSPEND = 300 
       AUTO_RESUME = TRUE 
       MIN_CLUSTER_COUNT = 1 
       MAX_CLUSTER_COUNT = 2 
       SCALING_POLICY = 'STANDARD';
   
   --grant rights to the warehouse
   GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;
   

3. Crie um utilizador purview para a análise do Microsoft Purview.

   CREATE OR REPLACE USER purview 
       PASSWORD = '<password>'; 
   
   --note the default role will be used during scan
   ALTER USER purview SET DEFAULT_ROLE = purview_reader;
   
   --add user to purview_reader role
   GRANT ROLE purview_reader TO USER purview;
   

4. Conceda direitos de leitor aos objetos da base de dados.

   GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;
   
   --grant reader access to all the database structures that purview can currently scan
   GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
   GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
   GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
   GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
   GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
   GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;
   
   --grant reader access to any future objects that could be created
   GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
   GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
   GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
   GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
   GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
   GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;
   

Registrar

Esta secção descreve como registar o Snowflake no Microsoft Purview através do portal de governação do Microsoft Purview.

Passos para registar

Para registar uma nova origem de Snowflake no seu catálogo de dados, siga estes passos:

1. Navegue para a sua conta do Microsoft Purview no portal de governação do Microsoft Purview.
2. Selecione Mapa de Dados no painel de navegação esquerdo.
3. Selecione Registar
4. Em Registar origens, selecione Snowflake. Selecione Continuar.

No ecrã Registar origens (Snowflake), siga estes passos:

1. Introduza um Nome que a origem de dados será listada no Catálogo.

2. Introduza o URL do servidor sob a forma de <account_identifier>.snowflakecomputing.com, por exemplo, orgname-accountname.snowflakecomputing.com. Saiba mais sobre o identificador de conta do Snowflake. Tenha em atenção que este URL é utilizado como parte do nome completamente qualificado dos recursos do Snowflake e é o ponto final predefinido para o Microsoft Purview se ligar ao Snowflake durante a análise.

3. Adicione anfitriões adicionais , se aplicável. Especifique-o quando quiser que as operações de análise se liguem a um ponto final de Snowflake diferente do URL do servidor. Pode escolher o anfitrião para ligação durante a configuração da análise.

   Dica

   Se já tiver analisado o Snowflake, mas quiser mudar para utilizar outro ponto final, por exemplo, do ponto final público para o ponto final privado, pode adicionar mais anfitriões na origem de dados e escolher esse anfitrião para ligação na análise para garantir que o Microsoft Purview gera os recursos com o mesmo nome completamente qualificado que o anterior.

   Ao registar uma origem de dados, o Microsoft Purview efetua a exclusividade marcar que o URL do servidor e os anfitriões adicionais não se sobrepõem a quaisquer origens existentes.

4. Selecione uma coleção na lista.

5. Concluir para registar a origem de dados.

   

Examinar

Siga os passos abaixo para analisar o Snowflake para identificar automaticamente os recursos. Para obter mais informações sobre a análise em geral, veja a nossa introdução às análises e ingestão.

Autenticação para uma análise

O tipo de autenticação suportado para uma origem snowflake é autenticação Básica.

Criar e executar a análise

Para criar e executar uma nova análise, siga estes passos:

1. No portal de governação do Microsoft Purview, navegue para Origens.

2. Selecione a origem registada do Snowflake.

3. Selecione + Nova análise.

4. Indique os detalhes abaixo:

   1. Nome: o nome da análise

   2. Ligar através do runtime de integração: selecione o runtime de integração resolvido automaticamente do Azure, o IR da VNet Gerida ou o SHIR de acordo com o seu cenário. Saiba mais em Escolher a configuração do runtime de integração certa para o seu cenário. Para utilizar o IR da VNet Gerida para ligar ao Snowflake através de uma ligação privada, siga os passos em Ligar ao Snowflake através do Ponto Final Privado Gerido para configurar primeiro o ponto final privado.

   3. Anfitrião para ligação: escolha o ponto final utilizado para estabelecer ligação ao Snowflake durante a análise. Pode escolher entre o URL do servidor ou os anfitriões adicionais que configurou na origem de dados.

   4. Credencial: selecione a credencial para ligar à sua origem de dados. Certifique-se de que:

      • Selecione Autenticação Básica ao criar uma credencial.
      • Indique o nome de utilizador utilizado para ligar ao Snowflake no campo de entrada Nome de utilizador.
      • Armazene a palavra-passe de utilizador utilizada para ligar ao Snowflake na chave secreta.

   5. Armazém: especifique o nome da instância do armazém utilizada para capacitar a análise em maiúsculas e minúsculas. A função predefinida atribuída ao utilizador especificado na credencial tem de ter direitos de UTILIZAÇÃO neste armazém.

   6. Bases de dados: especifique um ou mais nomes de instâncias de base de dados a importar em maiúsculas e minúsculas. Separe os nomes na lista com um ponto e vírgula (;). Por exemplo, DB1;DB2. A função predefinida atribuída ao utilizador especificado na credencial tem de ter direitos adequados nos objetos da base de dados.

      Observação

      A classificação não é aplicada a tabelas quando são especificados mais do que um nome de instância de base de dados.

      Os padrões de nome de base de dados aceitáveis podem ser nomes estáticos ou conter %. Por exemplo: : A%;%B;%C%;D

      • Começar com A ou
      • Terminar com B ou
      • Contenham C ou
      • Igual a D

   7. Esquema: listar o subconjunto de esquemas a importar expressos como uma lista separada por ponto e vírgula. Por exemplo, schema1;schema2. Todos os esquemas de utilizador são importados se essa lista estiver vazia. Todos os esquemas e objetos do sistema são ignorados por predefinição.

      Os padrões de nome de esquema aceitáveis que utilizem podem ser nomes estáticos ou conter carateres universais %. Por exemplo: : A%;%B;%C%;D

      • Começar com A ou
      • Terminar com B ou
      • Contenham C ou
      • Igual a D

      A utilização de NÃO e carateres especiais não é aceitável.

   8. Detalhes do procedimento armazenado: controla o número de detalhes importados dos procedimentos armazenados:

      • Assinatura (predefinição): o nome e os parâmetros dos procedimentos armazenados.
      • Código, assinatura: o nome, os parâmetros e o código dos procedimentos armazenados.
      • Linhagem, código, assinatura: o nome, os parâmetros e o código dos procedimentos armazenados e a linhagem de dados derivada do código.
      • Nenhum: os detalhes do procedimento armazenado não estão incluídos.

      Observação

      Se utilizar Integration Runtime Autoalojado para análise, a definição personalizada que não seja a Assinatura predefinida é suportada desde a versão 5.30.8541.1. As versões anteriores extraem sempre o nome e os parâmetros dos procedimentos armazenados.

   9. Memória máxima disponível (aplicável ao utilizar o runtime de integração autoalojado): memória máxima (em GB) disponível na VM do cliente a utilizar através de processos de análise. Depende do tamanho da fonte de Snowflake a ser analisada.

      Observação

      Por regra, forneça 1 GB de memória para cada 1000 tabelas.

      

5. Selecione Testar ligação para validar as definições (disponível ao utilizar o Azure Integration Runtime).

6. Selecione Continuar.

7. Selecione um conjunto de regras de análise para classificação. Pode escolher entre a predefinição do sistema, os conjuntos de regras personalizadas existentes ou criar um novo conjunto de regras inline. Consulte o artigo Classificação para saber mais.

   Observação

   A classificação não será aplicada a tabelas ou vistas quando o nome da tabela, o nome da vista, o nome do esquema ou o nome da base de dados contiverem carateres especiais.

   Observação

   Se estiver a utilizar o Runtime autoalojado, terá de atualizar para a versão 5.26.404.1 ou superior para utilizar a classificação snowflake. Pode encontrar a versão mais recente do Microsoft Integration Runtime aqui.

8. Escolha o acionador de análise. Pode configurar uma agenda ou executar a análise uma vez.

9. Reveja a análise e selecione Guardar e Executar.

Ver as suas análises e execuções de análise

Para ver as análises existentes:

1. Aceda ao portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
2. Selecione a origem de dados. Pode ver uma lista de análises existentes nessa origem de dados em Análises recentes ou pode ver todas as análises no separador Análises .
3. Selecione a análise que tem os resultados que pretende ver. O painel mostra-lhe todas as execuções de análise anteriores, juntamente com as status e as métricas de cada execução de análise.
4. Selecione o ID de execução para marcar os detalhes da execução da análise.

Gerir as suas análises

Para editar, cancelar ou eliminar uma análise:

1. Aceda ao portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

2. Selecione a origem de dados. Pode ver uma lista de análises existentes nessa origem de dados em Análises recentes ou pode ver todas as análises no separador Análises .

3. Selecione a análise que pretende gerir. Você poderá:

   • Edite a análise ao selecionar Editar análise.
   • Cancele uma análise em curso ao selecionar Cancelar execução de análise.
   • Elimine a análise ao selecionar Eliminar análise.

Observação

• Eliminar a análise não elimina os recursos de catálogo criados a partir de análises anteriores.

Linhagem

Depois de analisar a origem do Snowflake, pode procurar no catálogo de dados ou no catálogo de dados de pesquisa para ver os detalhes do recurso.

Aceda ao separador ativo -> linhagem. Pode ver a relação de recursos quando aplicável. Veja a secção de capacidades suportadas nos cenários de linhagem do Snowflake suportados. Para obter mais informações sobre a linhagem em geral, veja Guia do utilizador da linhagem e linhagem de dados.

Observação

Se uma vista tiver sido criada por tabelas de bases de dados diferentes, analise todas as bases de dados em simultâneo com os nomes no ponto e vírgula (;) lista.

Ligar ao Snowflake através do Ponto Final Privado Gerido

Esta secção descreve os passos necessários para configurar um Ponto Final Privado Gerido (PE) do Microsoft Purview para o Snowflake no Azure. Saiba mais sobre Link Privado do Azure e Snowflake.

1. Na sua conta do Snowflake, obtenha os pontos finais de destino e o ID do recurso. Execute a função do sistema SYSTEM$GET_PRIVATELINK_CONFIG() com a função Administração conta e anote os valores das seguintes propriedades:

   • privatelink-pls-id
   • privatelink-account-url
   • regionless-privatelink-account-url
   • privatelink_ocsp url

   use role accountadmin; 
   select key, value::varchar from table(flatten(input=>parse_json(SYSTEM$GET_PRIVATELINK_CONFIG())));
   

2. No Microsoft Purview, crie um ponto final privado gerido para o Snowflake.

   1. Siga os passos para Criar um Rede Virtual Integration Runtime Gerido. Se já tiver uma, certifique-se de que está na versão 2 que suporta Snowflake PE.
   2. Crie um ponto final privado gerido para o Snowflake. Navegue para Ponto final privado gerido ->+ Novo ->Snowflake e preencha as seguintes informações.
      • ID do Recurso ou alias: preencha o valor de privatelink-pls-id que obteve.
      • Nomes de domínio completamente qualificados: adicione o privatelink_ocsp-url, regionless-privatelink-account-url e privatelink-account-url.

   

3. Depois de criar o PE, pode ver o estado de aprovisionamento como Com êxito e estado de aprovação como Pendente. Abra o PE e localize o ID de recurso do ponto final privado gerido na página de detalhes.

4. Contacte o Suporte Técnico do Snowflake e indique o ID do recurso para permitir que o Snowflake aprove este PE.

5. Assim que o Suporte do Snowflake confirmar que o PE foi aprovado, deverá ver o estado de aprovação do ponto final privado gerido como Aprovado no Microsoft Purview.

6. Registe a origem de dados e configure uma análise. Ao configurar a análise, escolha o IR da VNet Gerida associado ao Snowflake PE.

Dicas de solução de problemas

• Verifique o identificador da conta no passo de registo de origem. Não inclua https:// parte na frente.
• Certifique-se de que o nome do armazém e o nome da base de dados estão em maiúsculas na página de configuração da análise.
• Verifique o cofre de chaves. Certifique-se de que não existem erros de digitação na palavra-passe.
• Verifique a credencial que configurou no Microsoft Purview. O utilizador que especificar tem de ter uma função predefinida com os direitos de acesso necessários para o armazém e para a base de dados que está a tentar analisar. Veja Permissões necessárias para análise. UTILIZE DESCRIBE USER; para verificar a função predefinida do utilizador que especificou para o Microsoft Purview.
• Utilize o Histórico de Consultas no Snowflake para ver se existe alguma atividade.
  • Se existir um problema com o identificador da conta ou palavra-passe, não verá qualquer atividade.
  • Se existir um problema com a função predefinida, deverá ver, pelo menos, uma USE WAREHOUSE . . . instrução.
  • Pode utilizar a função QUERY_HISTORY_BY_USER tabela para identificar que função está a ser utilizada pela ligação. Configurar um utilizador dedicado do Microsoft Purview facilitará a resolução de problemas.

Próximas etapas

Agora que registou a sua origem, siga os guias abaixo para saber mais sobre o Microsoft Purview e os seus dados.

• Data Estate Insights no Microsoft Purview
• Linhagem no Microsoft Purview
• Pesquisar no Catálogo de Dados