Condividi tramite

Eseguire query federate su Teradata

  • Articolo

Importante

Questa funzionalità si trova in anteprima pubblica.

Questo articolo descrive come configurare Lakehouse Federation per eseguire query federate su dati Teradata non gestiti da Azure Databricks. Per altre informazioni sulla federazione di Lakehouse, vedere Che cos'è la federazione lakehouse?.

Per connettersi al database Teradata usando Lakehouse Federation, è necessario creare quanto segue nel metastore dell'Azure Databricks Unity Catalog:

  • Una connessione al database Teradata.
  • Un catalogo esterno che rispecchia il database Teradata nel Unity Catalog consentendo di utilizzare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Prima di iniziare

Prima di iniziare, assicurarsi di soddisfare i requisiti in questa sezione.

Requisiti di Databricks

Requisiti dell'area di lavoro:

  • Area di lavoro abilitata per il Catalogo Unity.

Requisiti di calcolo:

  • Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Consulta le raccomandazioni sulla rete per Lakehouse Federation .
  • Il calcolo di Azure Databricks deve usare Databricks Runtime 16.1 o versione successiva e modalità di accesso condiviso o modalità di accesso per utente singolo .
  • I warehouse SQL devono essere pro o serverless e devono usare la versione 2024.50 o successiva.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTION nel metastore del catalogo Unity collegato all'area di lavoro.
  • Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore ed essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG sulla connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Requisiti di Teradata

  • TLS abilitato nel server host. Per impostazione predefinita, SSLMODE è REQUIRE. Per altre informazioni, vedere How to Secure Connections using TLS (Come proteggere le connessioni tramite TLS) nella documentazione di Teradata.

Creare una connessione di Azure Databricks

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, puoi utilizzare Esplora Cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks oppure nell'editor di query SQL di Databricks.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Fare riferimento a POST /api/2.1/unity-catalog/connections e ai comandi del Catalogo Unity .

Autorizzazioni necessarie: Metastore amministratore o utente con il privilegio di CREATE CONNECTION.

Esploratore di catalogo

  1. All'interno della tua area di lavoro di Azure Databricks, clicca sull'icona CatalogoCatalogo.

  2. In cima al riquadro Catalogo, fai clic sull'icona aggiungi o più icona Aggiungi e seleziona Aggiungi una connessione dal menu.

    In alternativa, nella pagina Accesso rapido, fare clic sul pulsante dati esterni >, passare alla scheda Connessioni e fare clic su Crea connessione.

  3. Nella pagina Connessione di base della Configurazione guidata connessione immettere un nome di connessione descrittivo.

  4. Selezionare una connessione di tipo di Teradata.

  5. (Facoltativo) Aggiungere un commento.

  6. Fare clic su Avanti.

  7. Nella pagina Autenticazione, inserisci le seguenti proprietà di Connessione per l'istanza di Teradata:

    • host: ad esempio, teradata-demo.teradata.com
    • Porta: ad esempio 1025
    • utente: ad esempio, teradata_user
    • password: ad esempio, password123

  8. Fare clic su creare connessione.

  9. Nella pagina informazioni di base del catalogo, immettere un nome per il catalogo estero. Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.

  10. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

  11. Fai clic su Crea catalogo.

  12. Nella pagina Access selezionare le aree di lavoro in cui gli utenti possono accedere al catalogo creato. È possibile selezionare Tutte le aree di lavoro hanno accessooppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.

  13. Modificare il Proprietario che sarà in grado di gestire l'accesso a tutti gli oggetti nel catalogo. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.

  14. Concedere privilegi nel catalogo. Fare clic su Concedi:

    1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.
    2. Selezionare i set di impostazioni Privilegi da concedere a ciascun principale. Tutti gli utenti dell'account ricevono il BROWSE per impostazione predefinita.
      • Selezionare Data Reader dal menu a discesa per concedere read privilegi sugli oggetti nel catalogo.
      • Selezionare Editor dei Dati dal menu a discesa per concedere read e modify privilegi sugli oggetti nel catalogo.
      • Selezionare manualmente i privilegi da concedere.
    3. Fare clic su Concedi.

  15. Fare clic su Avanti.

  16. Nella pagina Metadata, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applica tag agli oggetti securable del Catalogo Unity.

  17. (Facoltativo) Aggiungere un commento.

  18. Fare clic su Salva.

SQL

Eseguire il comando seguente in un notebook o nell'editor di query SQL di Databricks:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Databricks consiglia di usare Azure Databricks segreti anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Per esempio:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Se è necessario usare stringhe di testo non crittografato nei comandi SQL del notebook, evitare di troncare la stringa eliminando caratteri speciali come $ con \. Ad esempio: \$.

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo straniero

Nota

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati che è già stata definita.

Per creare un catalogo straniero, puoi utilizzare Catalog Explorer o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL.

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Consultare il comando POST /api/2.1/unity-catalog/catalogs e i comandi del Unity Catalog .

Autorizzazioni richieste:permessoCREATE CATALOG sul metastore e la proprietà della connessione oppure il privilegio CREATE FOREIGN CATALOG sulla connessione.

Esploratore di catalogo

  1. Nel tuo workspace di Azure Databricks, fai clic sull'icona CatalogoCatalogo per aprire Catalog Explorer.

  2. Nella parte superiore del riquadro catalogo fare clic sull'icona Aggiungi o più Icona Aggiungi e selezionare Aggiungi un catalogo dal menu.

    In alternativa, nella pagina accesso rapido, fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

  3. Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il comando SQL seguente in un notebook o in un editor di query SQL. Gli elementi tra parentesi quadre sono facoltativi. Sostituire i valori segnaposto:

  • <catalog-name>: nome del catalogo in Azure Databricks.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
  • <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Funzionalità supportate

Sono supportati i pushdown seguenti:

  • Filtri
  • Proiezioni
  • Limite
  • Aggregati
  • Cast
  • Contiene, Inizia con, Termina con, Simile a

Mapping dei tipi di dati

Quando si legge da Teradata a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo Teradata Tipo spark
Byte, Oggetto Binario di Grandi Dimensioni (Blob) TipoBinario
Byteint, Smallint, Integer TipoInteger
BigInt LongType
Float, Double, Doppia Precisione DoubleType
Numero(n, m) DecimalType
Numero(, m), Numero(), Numero Non confermato
Varchar(N) TipoStringa
Ora, Marca temporale Tipo di Timestamp