Eseguire query federate in Amazon Redshift

Articolo
01/22/2025

Questo articolo descrive come configurare Lakehouse Federation per eseguire query federate su dati di Amazon Redshift non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi per eseguire query sul database Amazon Redshift tramite Lakehouse Federation, è necessario creare quanto segue nel metastore del Catalogo Unity di Azure Databricks:

Connessione alle query Di esecuzione nel database Amazon Redshift.
Un catalogo esterno che esegue il mirroring delle query eseguite sul database Amazon Redshift in Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso utente di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

Abilitazione dell'area di lavoro per il catalogo Unity.

Requisiti dell’ambiente di calcolo:

Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
Il calcolo di Azure Databricks deve usare Databricks Runtime 13.3 LTS o versione successiva e condiviso o modalità di accesso utente singolo.
I warehouse SQL devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

Per creare una connessione, è necessario essere amministratore del metastore o un utente con il privilegio CREATE CONNECTION nel metastore Unity Catalog collegato all'area di lavoro.
Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore ed essere il proprietario della connessione o disporre del privilegio CREATE FOREIGN CATALOG per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora Catalogo o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor delle query SQL di Databricks.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Vedere POST /api/2.1/unity-catalog/connections e Unity Catalog commands.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esploratore del Catalogo

Nell'area di lavoro di Azure Databricks, clicca sull'icona del Catalogo .
Nella parte superiore del riquadro catalogo fare clic sull'icona aggiungi o più icona Aggiungi e selezionare Aggiungi una connessione dal menu.

In alternativa, nella pagina Accesso rapido, fare clic sul pulsante dati esterni >, passare alla scheda Connessioni e fare clic su Crea connessione.
Nella pagina dettagli connessione pagina della procedura guidata Configura connessione configurazione guidata immettere un nome di connessione descrittivo.
Selezionare un Tipo di connessione di Redshift.
(Facoltativo) Aggiungere un commento.
Fare clic su Avanti.
Nella pagina Autenticazione immettere le seguenti proprietà di connessione per l'istanza di Redshift.
- Host: ad esempio, redshift-demo.us-west-2.redshift.amazonaws.com
- Porta: ad esempio 5439
- Utente: ad esempio redshift_user
- Password: ad esempio, password123
(Facoltativo) Disabilitare la verifica del nome dell'host SSL.
Fare clic su Crea connessione.
Nella pagina Concetti di base del catalogo, immettere un nome per il catalogo estero. Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.
(Facoltativo) Fare clic su Test connessione per verificare che funzioni.
Fare clic su Crea Catalogo.
Nella pagina Access selezionare le aree di lavoro in cui gli utenti possono accedere al catalogo che hai creato. È possibile selezionare Tutte le aree di lavoro hanno accessooppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.
Modificare il Proprietario che sarà in grado di gestire l'accesso a tutti gli oggetti nel catalogo. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.
Concedi privilegi nel catalogo. Clicca su Concedi:
1. Specifica i Principals che avranno accesso agli oggetti nel catalogo. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.
2. Selezionare i set di impostazioni Privilegi da concedere a ogni principale. Tutti gli utenti dell'account vengono concessi BROWSE per impostazione predefinita.
  - Selezionare Data Reader dal menu a discesa per concedere read privilegi sugli oggetti nel catalogo.
  - Selezionare Editor dati dal menu a discesa per concedere read e modify privilegi su oggetti nel catalogo.
  - Selezionare manualmente i privilegi da concedere.
3. Fare clic su Consenti.
Fare clic su Avanti.
Nella pagina metadati di, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag agli oggetti di protezione del catalogo Unity.
(Facoltativo) Aggiungere un commento.
Fare clic su Salva.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare Azure Databricks segreti anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo straniero

Nota

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, usi una connessione all'origine dati che è già stata definita.

Per creare un catalogo estero, è possibile utilizzare Catalog Explorer o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL.

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Consultare POST /api/2.1/unity-catalog/catalogs e comandi Unity Catalog.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esploratore di Cataloghi

Nell'area di lavoro di Azure Databricks fare clic sull'icona Catalogo per aprire Esplora cataloghi.
Nella parte superiore del riquadro catalogo fare clic sull'icona Aggiungi o più Icona Aggiungi e selezionare Aggiungi un catalogo dal menu.

In alternativa, nella pagina accesso rapido, fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.
Seguire le istruzioni per la creazione di cataloghi esteri in Creare cataloghi.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituisci i valori segnaposto:

<catalog-name>: nome del catalogo in Azure Databricks.
<connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
<database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pushdown supportati

Sono supportati i seguenti pushdown:

Filtri
Proiezioni
Limite
Join
Aggregates (Average, Count, Max, Min, StddevPop, StddevSamp, Sum, VarianceSamp)
Funzioni (funzioni stringhe e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
Ordinamento

Non sono supportati i seguenti pushdown:

Funzioni finestra

Mapping di tipi di dati

Quando si legge da Redshift a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo Redshift	Tipo Spark
numeric	DecimalType
int2, int4	IntegerType
int8, oid, xid	LongType
float4	FloatType
precisione doppia, float8, money	DoubleType
bpchar, char, character varying, name, super, text, tid, varchar	StringType
bytea, geometry, varbyte	BinaryType
bit, bool	BooleanType
data	DateType
tabstime, time, time con fuso orario, timetz, ora senza fuso orario, timestamp con fuso orario, timestamp, timestamptz, timestamp senza fuso orario*	TimestampType/TimestampNTZType

*Quando si legge da Redshift, Redshift Timestamp viene mappato a Spark TimestampType se infer_timestamp_ntz_type = false (impostazione predefinita). Redshift Timestamp viene mappato a TimestampNTZType se infer_timestamp_ntz_type = true.

Condividi tramite