Condividi tramite

Connettersi e gestire Snowflake in Microsoft Purview

  • Articolo

Questo articolo illustra come registrare Snowflake e come autenticare e interagire con Snowflake in Microsoft Purview. Per altre informazioni su Microsoft Purview, vedere l'articolo introduttivo.

Funzionalità supportate

Estrazione dei metadati Analisi completa Analisi incrementale Analisi con ambito Classificazione Applicazione di etichette Criteri di accesso Derivazione Condivisione dati Visualizzazione in diretta
Sì Sì No Sì Sì Sì No Sì No No

Durante l'analisi dell'origine Snowflake, Microsoft Purview supporta:

  • Estrazione di metadati tecnici, tra cui:

    • Server
    • Database
    • Schemi
    • Tabelle che includono colonne, chiavi esterne e vincoli univoci
    • Viste incluse le colonne
    • Stored procedure che includono il set di dati dei parametri e il set di risultati
    • Funzioni che includono il set di dati dei parametri
    • Cornamusa
    • Fasi
    • Flussi che includono le colonne
    • Attività
    • Sequenze

  • Recupero della derivazione statica sulle relazioni degli asset tra tabelle, viste, flussi e stored procedure.

Per le stored procedure, è possibile scegliere il livello di dettagli da estrarre nelle impostazioni di analisi. La derivazione delle stored procedure è supportata per i linguaggi Snowflake Scripting (SQL) e JavaScript e generata in base alla definizione della procedura.

Quando si configura l'analisi, è possibile scegliere di analizzare uno o più database Snowflake interamente in base ai nomi o ai criteri di nome specificati oppure definire un'ulteriore ambito dell'analisi in un subset di schemi corrispondenti ai nomi o ai criteri di nome specificati.

Limitazioni note

  • Quando l'oggetto viene eliminato dall'origine dati, attualmente l'analisi successiva non rimuove automaticamente l'asset corrispondente in Microsoft Purview.
  • La derivazione delle stored procedure non è supportata per i modelli seguenti:
    • Stored procedure definite nei linguaggi Java, Python e Scala.
    • Stored procedure che usa SQL EXECUTE IMMEDIATE con query SQL statica come variabile.

Prerequisiti

Autorizzazioni necessarie per l'analisi

Microsoft Purview supporta l'autenticazione di base (nome utente e password) per l'analisi di Snowflake. Il ruolo predefinito dell'utente specificato verrà usato per eseguire l'analisi. L'utente snowflake deve disporre dei diritti di utilizzo in un magazzino e nei database da analizzare e dell'accesso in lettura alle tabelle di sistema per accedere ai metadati avanzati.

Ecco una procedura dettagliata di esempio per creare un utente specifico per l'analisi di Microsoft Purview e configurare le autorizzazioni. Se si sceglie di usare un utente esistente, assicurarsi che disponga di diritti adeguati per gli oggetti warehouse e di database.

  1. Configurare un purview_reader ruolo. A tale scopo, sono necessari i diritti ACCOUNTADMIN .

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Creare un magazzino per Microsoft Purview per l'uso e la concessione dei diritti.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Creare un utente per l'analisi purview di Microsoft Purview.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Concedere diritti di lettura agli oggetti di database.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrazione

Questa sezione descrive come registrare Snowflake in Microsoft Purview usando il portale di governance di Microsoft Purview.

Passaggi per la registrazione

Per registrare una nuova origine Snowflake nel catalogo dati, seguire questa procedura:

  1. Passare all'account Microsoft Purview nel portale di governance di Microsoft Purview.
  2. Selezionare Mappa dati nel riquadro di spostamento a sinistra.
  3. Selezionare Registra
  4. In Registra origini selezionare Snowflake. Selezionare Continua.

Nella schermata Registra origini (Snowflake) seguire questa procedura:

  1. Immettere un nome in cui l'origine dati verrà elencata all'interno del catalogo.

  2. Immettere l'URL del server sotto forma di <account_identifier>.snowflakecomputing.com, ad esempio . orgname-accountname.snowflakecomputing.com Altre informazioni sull'identificatore dell'account Snowflake. Si noti che questo URL viene usato come parte del nome completo degli asset Snowflake ed è l'endpoint predefinito per la connessione di Microsoft Purview a Snowflake durante l'analisi.

  3. Aggiungere altri host , se applicabile. Specificarlo quando si desidera che le operazioni di analisi si connettono a un endpoint Snowflake diverso dall'URL del server. È possibile scegliere l'host per la connessione durante l'installazione dell'analisi.

    Consiglio

    Se snowflake è già stato analizzato ma si vuole passare all'uso di un altro endpoint, ad esempio dall'endpoint pubblico all'endpoint privato, è possibile aggiungere un host aggiuntivo nell'origine dati e scegliere l'host per la connessione nell'analisi per assicurarsi che Microsoft Purview generi gli asset con lo stesso nome completo del precedente.

    Quando si registra un'origine dati, Microsoft Purview esegue il controllo dell'univocità per verificare che l'URL del server e gli host aggiuntivi non si sovrappongano alle origini esistenti.

  4. Selezionare una raccolta dall'elenco.

  5. Completare la registrazione dell'origine dati.

    opzioni di registrazione delle origini

Analisi

Seguire la procedura seguente per analizzare Snowflake per identificare automaticamente gli asset. Per altre informazioni sull'analisi in generale, vedere l'introduzione alle analisi e all'inserimento.

Autenticazione per un'analisi

Il tipo di autenticazione supportato per un'origine Snowflake è l'autenticazione di base.

Creare ed eseguire l'analisi

Per creare ed eseguire una nuova analisi, seguire questa procedura:

  1. Nel portale di governance di Microsoft Purview passare a Origini.

  2. Selezionare l'origine Snowflake registrata.

  3. Selezionare + Nuova analisi.

  4. Specificare i dettagli seguenti:

    1. Nome: nome dell'analisi

    2. Connettersi tramite il runtime di integrazione: selezionare il runtime di integrazione risolto automaticamente di Azure, il runtime di integrazione della rete virtuale gestita o SHIR in base allo scenario in uso. Per altre informazioni , vedere Scegliere la configurazione di runtime di integrazione corretta per lo scenario. Per usare il runtime di integrazione della rete virtuale gestita per connettersi a Snowflake tramite collegamento privato, seguire la procedura descritta in Connettersi a Snowflake tramite l'endpoint privato gestito per configurare prima l'endpoint privato.

    3. Host per la connessione: scegliere l'endpoint usato per stabilire la connessione a Snowflake durante l'analisi. È possibile scegliere tra l'URL del server o gli host aggiuntivi configurati nell'origine dati.

    4. Credenziali: selezionare le credenziali per connettersi all'origine dati. Assicurarsi di:

      • Selezionare Autenticazione di base durante la creazione di credenziali.
      • Specificare il nome utente usato per connettersi a Snowflake nel campo di input Nome utente.
      • Archiviare la password utente usata per connettersi a Snowflake nella chiave privata.

    5. Warehouse: specificare il nome dell'istanza del magazzino usata per consentire l'analisi in maiuscolo. Il ruolo predefinito assegnato all'utente specificato nelle credenziali deve disporre dei diritti USAGE in questo warehouse.

    6. Database: specificare uno o più nomi di istanza di database da importare in maiuscolo. Separare i nomi nell'elenco con un punto e virgola (;). Ad esempio, DB1;DB2. Il ruolo predefinito assegnato all'utente specificato nelle credenziali deve disporre di diritti adeguati per gli oggetti di database.

      Nota

      La classificazione non viene applicata alle tabelle quando vengono specificati più nomi di istanza di database.

      I modelli di nomi di database accettabili possono essere nomi statici o contenere caratteri jolly . Ad esempio: : A%;%B;%C%;D

      • Iniziare con A o
      • Terminare con B o
      • Contengono C o
      • Uguale a D

    7. Schema: elenco di subset di schemi da importare espressi come elenco separato da punto e virgola. Ad esempio, schema1;schema2. Tutti gli schemi utente vengono importati se l'elenco è vuoto. Tutti gli schemi e gli oggetti di sistema vengono ignorati per impostazione predefinita.

      I modelli di nomi di schema accettabili che usano possono essere nomi statici o contenere caratteri jolly . Ad esempio: : A%;%B;%C%;D

      • Iniziare con A o
      • Terminare con B o
      • Contengono C o
      • Uguale a D

      L'utilizzo di NOT e caratteri speciali non è accettabile.

    8. Dettagli stored procedure: controlla il numero di dettagli importati dalle stored procedure:

      • Firma (impostazione predefinita): nome e parametri delle stored procedure.
      • Codice, firma: nome, parametri e codice delle stored procedure.
      • Derivazione, codice, firma: nome, parametri e codice delle stored procedure e derivazione dei dati derivata dal codice.
      • Nessuno: i dettagli della stored procedure non sono inclusi.

      Nota

      Se si usa Integration Runtime self-hosted per l'analisi, l'impostazione personalizzata diversa dalla firma predefinita è supportata dalla versione 5.30.8541.1. Le versioni precedenti estraggono sempre il nome e i parametri delle stored procedure.

    9. Memoria massima disponibile (applicabile quando si usa il runtime di integrazione self-hosted): memoria massima (in GB) disponibile nella macchina virtuale del cliente da usare per l'analisi dei processi. Dipende dalle dimensioni dell'origine Snowflake da analizzare.

      Nota

      Come regola generale, specificare 1 GB di memoria per ogni 1000 tabelle.

      scan Snowflake

  5. Selezionare Test connessione per convalidare le impostazioni (disponibili quando si usa Azure Integration Runtime).

  6. Selezionare Continua.

  7. Selezionare un set di regole di analisi per la classificazione. È possibile scegliere tra i set di regole personalizzati predefiniti del sistema o esistenti oppure creare un nuovo set di regole inline. Per altre informazioni, vedere l'articolo Classificazione .

    Nota

    La classificazione non verrà applicata a tabelle o viste quando il nome della tabella, il nome della vista, il nome dello schema o il nome del database contengono caratteri speciali.

    Nota

    Se si usa il runtime self-hosted, sarà necessario eseguire l'aggiornamento alla versione 5.26.404.1 o successiva per usare la classificazione Snowflake. La versione più recente di Microsoft Integration Runtime è disponibile qui.

  8. Scegliere il trigger di analisi. È possibile configurare una pianificazione o eseguire l'analisi una sola volta.

  9. Esaminare l'analisi e selezionare Salva ed esegui.

Visualizzare le analisi e le esecuzioni di analisi

Per visualizzare le analisi esistenti:

  1. Passare al portale di Microsoft Purview. Nel riquadro sinistro selezionare Mappa dati.
  2. Selezionare l'origine dati. È possibile visualizzare un elenco di analisi esistenti nell'origine dati in Analisi recenti oppure è possibile visualizzare tutte le analisi nella scheda Analisi .
  3. Selezionare l'analisi con i risultati che si desidera visualizzare. Il riquadro mostra tutte le esecuzioni di analisi precedenti, insieme allo stato e alle metriche per ogni esecuzione dell'analisi.
  4. Selezionare l'ID di esecuzione per controllare i dettagli dell'esecuzione dell'analisi.

Gestire le analisi

Per modificare, annullare o eliminare un'analisi:

  1. Passare al portale di Microsoft Purview. Nel riquadro sinistro selezionare Mappa dati.

  2. Selezionare l'origine dati. È possibile visualizzare un elenco di analisi esistenti nell'origine dati in Analisi recenti oppure è possibile visualizzare tutte le analisi nella scheda Analisi .

  3. Selezionare l'analisi da gestire. È quindi possibile eseguire automaticamente le seguenti azioni:

    • Modificare l'analisi selezionando Modifica analisi.
    • Annullare un'analisi in corso selezionando Annulla esecuzione analisi.
    • Eliminare l'analisi selezionando Elimina analisi.

Nota

  • L'eliminazione dell'analisi non elimina gli asset del catalogo creati dalle analisi precedenti.

Derivazione

Dopo aver eseguito l'analisi dell'origine Snowflake, è possibile esplorare il catalogo dati o cercare il catalogo dati per visualizzare i dettagli dell'asset.

Passare alla scheda asset -> derivazione. Se applicabile, è possibile visualizzare la relazione tra asset. Fare riferimento alla sezione relativa alle funzionalità supportate negli scenari di derivazione di Snowflake supportati. Per altre informazioni sulla derivazione in generale, vedere la guida dell'utente alla derivazione e alla derivazione dei dati.

Visualizzazione di derivazione snowflake

Nota

Se una vista è stata creata da tabelle di database diversi, analizzare tutti i database contemporaneamente usando i nomi nel punto e virgola (;)elenco.

Connettersi a Snowflake tramite l'endpoint privato gestito

Questa sezione descrive i passaggi necessari per configurare un endpoint privato gestito (PE) da Microsoft Purview a Snowflake in Azure. Altre informazioni su collegamento privato di Azure e Snowflake.

  1. Nell'account Snowflake recuperare gli endpoint di destinazione e l'ID risorsa. Eseguire la funzione di sistema SYSTEM$GET_PRIVATELINK_CONFIG() con il ruolo Account Amministrazione e annotare i valori delle proprietà seguenti:

    • privatelink-pls-id
    • privatelink-account-url
    • regionless-privatelink-account-url
    • url privatelink_ocsp
    use role accountadmin; 
select key, value::varchar from table(flatten(input=>parse_json(SYSTEM$GET_PRIVATELINK_CONFIG())));

  2. In Microsoft Purview creare un endpoint privato gestito in Snowflake.

    1. Seguire la procedura per creare un Rete virtuale Integration Runtime gestito. Se ne hai già uno, assicurati che sia nella versione 2 che supporta Snowflake PE.
    2. Creare un endpoint privato gestito per Snowflake. Passare a Endpoint privato gestito ->+ Nuovo ->Snowflake e immettere le informazioni seguenti.
      • ID risorsa o alias: immettere il valore di privatelink-pls-id recuperato.
      • Nomi di dominio completi: aggiungere i nomi di dominio privatelink_ocsp-url, regionless-privatelink-account-url e privatelink-account-url.

    Configurare l'endpoint privato gestito per Snowflake

  3. Dopo aver creato l'oggetto PE, è possibile visualizzarne lo stato di provisioning come Succeeded e lo stato di approvazione come In sospeso. Aprire il file PE e trovare l'ID risorsa endpoint privato gestito nella pagina dei dettagli.

  4. Contattare il supporto tecnico snowflake e fornire l'ID risorsa per consentire a Snowflake di approvare questo PE.

  5. Dopo che il supporto snowflake conferma l'approvazione del pe, lo stato di approvazione dell'endpoint privato gestito dovrebbe essere approvato in Microsoft Purview.

  6. Registrare l'origine dati e configurare un'analisi. Quando si configura l'analisi, scegliere il runtime di integrazione della rete virtuale gestita associato a Snowflake PE.

Suggerimenti per la risoluzione dei problemi

  • Controllare l'identificatore dell'account nel passaggio di registrazione dell'origine. Non includere https:// parte nella parte anteriore.
  • Verificare che il nome del magazzino e il nome del database siano maiuscoli nella pagina di configurazione dell'analisi.
  • Controllare l'insieme di credenziali delle chiavi. Assicurarsi che la password non presenti errori di digitazione.
  • Controllare le credenziali configurate in Microsoft Purview. L'utente specificato deve avere un ruolo predefinito con i diritti di accesso necessari sia per il warehouse che per il database che si sta tentando di analizzare. Vedere Autorizzazioni necessarie per l'analisi. USARE DESCRIBE USER; per verificare il ruolo predefinito dell'utente specificato per Microsoft Purview.
  • Usare Cronologia query in Snowflake per verificare se è in arrivo un'attività.
    • Se si verifica un problema con l'identifer o la password dell'account, non verrà visualizzata alcuna attività.
    • Se si verifica un problema con il ruolo predefinito, dovrebbe essere visualizzata almeno un'istruzione USE WAREHOUSE . . . .
    • È possibile usare la funzione di tabella QUERY_HISTORY_BY_USER per identificare il ruolo utilizzato dalla connessione. La configurazione di un utente dedicato di Microsoft Purview semplifica la risoluzione dei problemi.

Passaggi successivi

Dopo aver registrato l'origine, seguire le guide seguenti per altre informazioni su Microsoft Purview e i dati.