Eseguire query federate in Snowflake

Articolo
01/21/2025

Questo articolo descrive come configurare Lakehouse Federation per eseguire query federate sui dati Snowflake non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi al database Snowflake utilizzando Lakehouse Federation, è necessario creare gli elementi seguenti nel metastore del Catalogo Unity di Azure Databricks.

Connessione al database Snowflake.
Un catalogo esterno che rispecchia il database Snowflake nel Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

Area di lavoro abilitata per il catalogo Unity.

Requisiti dell’ambiente di calcolo:

Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
Il calcolo di Azure Databricks deve utilizzare Databricks Runtime 13.3 LTS o una versione successiva e la modalità di accesso condivisa o la modalità di accesso utente singolo.
I warehouse SQL devono essere pro o serverless e devono utilizzare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTION nel metastore di Unity Catalog collegato all'area di lavoro.
Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o disporre del privilegio CREATE FOREIGN CATALOG per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Se si prevede di eseguire l'autenticazione con OAuth, creare un'integrazione della sicurezza nella console snowflake.
Se si prevede di eseguire l'autenticazione usando un token di accesso OAuth, è necessario richiedere anche un token di accesso.

(Facoltativo) Creare un'integrazione della sicurezza nella console snowflake

Se si vuole eseguire l'autenticazione con OAuth, seguire questo passaggio prima di creare una connessione Snowflake. Per eseguire l'autenticazione usando invece un nome utente e una password, ignorare questa sezione.

Nota

È supportata solo l'integrazione OAuth predefinita di Snowflake. Le integrazioni OAuth esterne, ad esempio Okta o Microsoft Entra ID, non sono supportate.

Nella console Snowflake eseguire CREATE SECURITY INTEGRATION. Sostituire i valori seguenti:

<integration-name>: nome univoco per l'integrazione OAuth.
<workspace-url>: URL dell'area di lavoro di Azure Databricks. È necessario impostare OAUTH_REDIRECT_URI su https://<workspace-url>/login/oauth/snowflake.html, dove <workspace-url> è l'URL univoco dell'area di lavoro di Azure Databricks in cui si creerà la connessione Snowflake.
<duration-in-seconds>: intervallo di tempo per i token di aggiornamento.

Importante

OAUTH_REFRESH_TOKEN_VALIDITY è un campo personalizzato impostato su 90 giorni per impostazione predefinita. Dopo la scadenza del token di aggiornamento, è necessario autenticare nuovamente la connessione. Impostare il campo su un intervallo di tempo ragionevole.

CREATE SECURITY INTEGRATION <integration-name>
TYPE = oauth
ENABLED = true
OAUTH_CLIENT = custom
OAUTH_CLIENT_TYPE = 'CONFIDENTIAL'
OAUTH_REDIRECT_URI = 'https://<workspace-url>/login/oauth/snowflake.html'
OAUTH_ISSUE_REFRESH_TOKENS = TRUE
OAUTH_REFRESH_TOKEN_VALIDITY = <duration-in-seconds>
OAUTH_ENFORCE_PKCE = TRUE;

(Facoltativo) Richiedere un token di accesso OAuth

Seguire Procedura: Generare e usare un token OAuth usando Snowflake OAuth per i client personalizzati nella Knowledge Base Snowflake.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Vedere comando POST /api/2.1/unity-catalog/connections e i comandi del catalogo Unity.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esplora cataloghi

Nell'area di lavoro di Azure Databricks fare clic sull'icona Catalogo.
Nella parte superiore del riquadro Catalogo, fare clic sull'icona icona Aggiungi e selezionare Aggiungi una connessione dal menu.

In alternativa, nella pagina Accesso rapido fare clic sul pulsante dati esterni , passare alla scheda Connessioni e fare clic su Crea connessione.
Nella pagina Connessione di base della Configurazione guidata connessione immettere un nome di connessione descrittivo.
Selezionare un Tipo di connessione di Snowflake.
Per il tipo di autenticazione , selezionare Username and password (autenticazione di base), OAuth access token, PEM Private Keyo OAuth dal menu a discesa.
(Facoltativo) Aggiungere un commento.
Fare clic su Avanti.
Immettere i dettagli di autenticazione e connessione seguenti per il magazzino Snowflake. Le proprietà specifiche del metodo di autenticazione selezionato sono precedute dalla Auth type tra parentesi.
- Host: ad esempio, snowflake-demo.east-us-2.azure.snowflakecomputing.com
- Porta: ad esempio 443
- Utente: ad esempio snowflake-user
- (Autenticazione di base) password: ad esempio, password123
- (Token di accesso OAuth) Token di accesso: Token di accesso da (Facoltativo) Richiedere un token di accesso OAuth.
- (Token di accesso OAuth) Scade in secondi: ora di scadenza (in secondi) per il token di accesso da (facoltativo) Richiedere un token di accesso OAuth (expires_in).
- (OAuth) ID client: nella console Snowflake eseguire SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security-integration-name>') per recuperare l'ID client per l'integrazione della sicurezza.
- (OAuth) segreto del client: nella console Snowflake, eseguire SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security-integration-name>') per recuperare il segreto del client per l'integrazione della sicurezza.
- (OAuth) ambito di OAuth: refresh_token session:role:<role-name>. Specificare il ruolo Snowflake da usare in <role-name>.
- (OAuth) Accedi con Snowflake: fare clic e accedere a Snowflake usando le credenziali OAuth.
- (Chiave privata PEM) chiave privata PEM: chiave privata dalla coppia di chiavi RSA in formato HEX64.
- (PEM Private Key) Expires in secs: l'ora di scadenza (in secondi) per la connessione stabilita con una chiave privata.
  
  Al termine dell'accesso, si viene indirizzati di nuovo alla procedura guidata Configura connessione.
Fai clic su Crea connessione.
(Autenticazione di base) Nella pagina dettagli connessione specificare quanto segue:
- Magazzino Snowflake: ad esempio, my-snowflake-warehouse
- (Facoltativo) Host del proxy: Host del proxy utilizzato per connettersi a Snowflake. È anche necessario selezionare Usare proxy e specificare porta proxy.
- (Facoltativo) Usare il proxy: indica se connettersi a Snowflake usando un server proxy.
- (Facoltativo) porta proxy: porta del proxy usata per connettersi a Snowflake. È anche necessario selezionare Usare il proxy e specificare proxy host.
- (Facoltativo) ruolo Snowflake: ruolo di sicurezza predefinito da usare per la sessione dopo la connessione.
Fare clic su Avanti.
Nella pagina informazioni di base del catalogo immettere un nome per il catalogo esterno. Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.
(Facoltativo) Fare clic su Test connessione per verificare che funzioni.
Fare clic su Crea Catalogo.
Nella pagina Access, seleziona le aree di lavoro in cui gli utenti possono accedere al catalogo che hai creato. È possibile selezionare l'opzione Tutte le aree di lavoro hanno accesso, oppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.
Modifica il Proprietario che potrà gestire l'accesso a tutti gli oggetti del catalogo. Inizia a digitare un principale nella casella di testo e poi fai clic sul principale nei risultati restituiti.
Concedere privilegi nel catalogo. Fare clic su Concedi:
1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Inizia a digitare un principale nella casella di testo e poi fai clic sul principale nei risultati restituiti.
2. Selezionare le preimpostazioni Privilegi da assegnare a ogni entità. Tutti gli utenti dell'account vengono concessi BROWSE per impostazione predefinita.
  - Selezionare lettore dati dal menu a discesa per concedere read privilegi per gli oggetti nel catalogo.
  - Selezionare Editor dati dal menu a discesa per concedere a read e modify privilegi sugli oggetti nel catalogo.
  - Selezionare manualmente i privilegi da concedere.
3. Fare clic su "Concedi".
Fare clic su Avanti.
Nella pagina metadati, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag a oggetti proteggibili del catalogo Unity.
(Facoltativo) Aggiungere un commento.
Fare clic su Salva.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user '<user>',
  password '<password>'
);

È consigliabile usare Azure Databricks segreti anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo esterno

Nota

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile utilizzare il Catalog Explorer o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL.

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Consulta POST /api/2.1/unity-catalog/catalogs e comandi di Unity Catalog.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esplora cataloghi

Nell'area di lavoro di Azure Databricks, fare clic sull'icona Catalogo per aprire Catalog Explorer.
Nella parte superiore del riquadro catalogo , fare clic sull'icona piùAggiungi icona, e selezionare Aggiungi un catalogo dal menu.

In alternativa, nella pagina accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.
Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto:

<catalog-name>: Nome del catalogo in Azure Databricks.
<connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
<database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Identificatori di database con distinzione tra maiuscole e minuscole

Il campo database del catalogo esterno viene mappato su un identificatore di database Snowflake. Se l'identificatore di database Snowflake non fa distinzione tra maiuscole e minuscole, le maiuscole e minuscole usate nel catalogo esterno <database-name> vengono mantenute. Tuttavia, se l'identificatore del database Snowflake fa distinzione tra maiuscole e minuscole, è necessario racchiudere il catalogo esterno <database-name> tra virgolette doppie per mantenere il caso.

Ad esempio:

database viene convertito in DATABASE
"database" viene convertito in database
"database""" viene convertito in database"

Per eseguire l'escape di una virgoletta doppia, usare un'altra virgoletta doppia.
"database"" restituisce un errore perché la virgoletta doppia non è preceduta correttamente da escape.

Per altre informazioni, vedere Requisiti dell'identificatore nella documentazione di Snowflake.

Pushdown supportati

Sono supportati i seguenti pushdown:

Filtri
Proiezioni
Limite
Join
Aggregates (Average, Corr, CovPopulation, CovSample, Count, Max, Min, StddevPop, StddevSamp, Sum, VariancePop, VarianceSamp)
Funzioni (funzioni stringhe, funzioni matematiche, dati, tempo e timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
Funzioni di Windows (DenseRank, Rank, RowNumber)
Ordinamento

Mapping di tipi di dati

Quando si legge da Snowflake a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo snowflake	Tipo Spark
decimal, number, numeric	DecimalType
bigint, byteint, int, integer, smallint, tinyint	IntegerType
float, float4, float8	FloatType
double, precisione doppia, reale	DoubleType
char, character, string, text, time, varchar	StringType
binary	BinaryType
boolean	BooleanType
data	DateType
datetime, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz	TimestampType

Limitazioni di OAuth

Di seguito sono riportate le limitazioni del supporto di OAuth:

L'endpoint OAuth snowflake deve essere accessibile dagli indirizzi IP del piano di controllo di Databricks. Vedere In uscita dal piano di controllo di Azure Databricks. Snowflake supporta la configurazione dei criteri di rete a livello di integrazione della sicurezza, che consente criteri di rete separati che consentono la connettività diretta dal piano di controllo Databricks all'endpoint OAuth per l'autorizzazione.
Le opzioni di configurazione del ruolo Proxy, Host proxy, Porta proxy e Snowflake non sono supportate. Specificare il ruolo Snowflake come parte dell'ambito OAuth.

Limitazioni della chiave privata PEM

Di seguito sono riportate le limitazioni per il supporto delle chiavi private PEM:

Il driver JDBC Snowflake non supporta l'autenticazione con chiavi private crittografate. Per evitare errori, generare una chiave con l'opzione -nocrypt aggiunta, come indicato di seguito:
```
openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
```

Risorse aggiuntive

Vedere gli articoli seguenti nella documentazione di Snowflake:

Condividi tramite

Eseguire query federate in Snowflake

Operazioni preliminari

(Facoltativo) Creare un'integrazione della sicurezza nella console snowflake

(Facoltativo) Richiedere un token di accesso OAuth

Crea una connessione

Esplora cataloghi

SQL

Creare un catalogo esterno

Esplora cataloghi

SQL

Identificatori di database con distinzione tra maiuscole e minuscole

Pushdown supportati

Mapping di tipi di dati

Limitazioni di OAuth

Limitazioni della chiave privata PEM

Risorse aggiuntive

Commenti e suggerimenti

Risorse aggiuntive