Condividi tramite

Eseguire query federate in Google BigQuery

  • Articolo

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Questo articolo descrive come configurare Lakehouse Federation di Azure Databricks per eseguire query federate sui dati di BigQuery non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi al database BigQuery usando Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo Unity di Azure Databricks:

  • Connessione al database BigQuery.
  • Catalogo esterno che rispecchia il database di BigQuery nel catalogo Unity, in modo da poter utilizzare la sintassi delle query del catalogo Unity e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

  • Area di lavoro abilitata per il catalogo Unity

Requisiti dell’ambiente di calcolo:

  • Connettività di rete dal cluster Databricks Runtime o dal warehouse SQL ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
  • I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
  • I warehouse SQL devono essere Pro o Serverless.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTIONper il metastore del catalogo Unity collegato all'area di lavoro.
  • Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per accedere a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Vedere Comandi POST /api/2.1/unity-catalog/connections e catalogo Unity.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esplora cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic su Icona catalogo Catalogo.

  2. Nella parte superiore del riquadro Catalogo fare clic sull'icona Aggiungere o aggiungere l'icona con il segno più Aggiungi e selezionare Aggiungi una connessione dal menu.

    In alternativa, nella pagina Accesso rapido fare clic sul pulsante > Dati esterni, passare alla scheda Connessioni e fare clic su Crea connessione.

  3. Immettere un nome di connessione semplice.

  4. Selezionare un tipo di connessione di BigQuery.

  5. Immettere la proprietà di connessione seguente per l'istanza di BigQuery.

    GoogleServiceAccountKeyJson: oggetto JSON non elaborato usato per specificare il progetto BigQuery e fornire l'autenticazione. È possibile generare questo oggetto JSON e scaricarlo dalla pagina dei dettagli dell'account del servizio in Google Cloud in "KEYS". L'account del servizio deve disporre delle autorizzazioni appropriate concesse in BigQuery, inclusi l'utente BigQuery e il Visualizzatore dati BigQuery. Di seguito viene riportato un esempio.

    {
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "-----BEGIN PRIVATE KEY-----\nPRIVATE_KEY\n-----END PRIVATE KEY-----\n",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

  6. (Facoltativo) Immettere la proprietà di connessione seguente per l'istanza di BigQuery:

    ID progetto: nome del progetto BigQuery usato per la fatturazione per tutte le query eseguite in questa connessione. L'impostazione predefinita è l'ID progetto dell'account del servizio.

  7. (Facoltativo) Fare clic su Test connessione per confermare la connettività di rete. Questa azione non testa l'autenticazione.

  8. (Facoltativo) Aggiungere un commento.

  9. Cliccare su Crea.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks. Sostituire <GoogleServiceAccountKeyJson> con un oggetto JSON non elaborato che specifica il progetto BigQuery e fornisce l'autenticazione. È possibile generare questo oggetto JSON e scaricarlo dalla pagina dei dettagli dell'account del servizio in Google Cloud in "KEYS". L'account del servizio deve disporre delle autorizzazioni appropriate concesse in BigQuery, inclusi l'utente BigQuery e il Visualizzatore dati BigQuery. Per un esempio di oggetto JSON, visualizzare la scheda Esplora cataloghi in questa pagina.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

Consigliamo di usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo esterno

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e catalogo Unity. Per creare un catalogo esterno, usare una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query Databricks SQL.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Vedere Comandi POST /api/2.1/unity-catalog/catalogs o catalogo Unity.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esplora cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic su Icona catalogo Catalogo per aprire Esplora cataloghi.

  2. Nella parte superiore del riquadro Catalogo fare clic sull'icona Aggiungere o aggiungere l'icona con il segno più Aggiungi e selezionare Aggiungi un catalogo dal menu.

    In alternativa, nella pagina Accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

  3. (Facoltativo) Immettere la proprietà del catalogo seguente:

    ID progetto dati: nome del progetto BigQuery contenente dati di cui verrà eseguito il mapping a questo catalogo. Il valore predefinito è l'ID progetto di fatturazione impostato a livello di connessione.

  4. Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor Databricks SQL. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto.

  • <catalog-name>: nome del catalogo in Azure Databricks.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdown supportati

Sono supportati i seguenti pushdown:

  • Filtri
  • Proiezioni
  • Limite
  • Funzioni: parziale, solo per le espressioni di filtro. (Funzioni stringa, Funzioni matematiche, Dati, Time e Timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
  • Aggregazioni
  • Ordinamento, se usato con limite

Non sono supportati i seguenti pushdown:

  • Join
  • Funzioni finestra

Mapping di tipi di dati

La tabella seguente illustra il mapping dei tipi di dati BigQuery a Spark.

Tipo BigQuery Tipo Spark
bignumeric, numeric DecimalType
int64 LongType
float64 DoubleType
array, geography, interval, json, string, struct VarcharType
bytes BinaryType
bool BooleanType
data DateType
DATA, ORA o DATA E ORA. TimestampType/TimestampNTZType

Quando si legge da BigQuery, Timestamp BigQuery viene mappato a TimestampType Spark se preferTimestampNTZ = false (impostazione predefinita). Viene eseguito il mapping di Timestamp BigQuery a TimestampNTZType se preferTimestampNTZ = true.