Condividi tramite

Che cos'è Lakehouse Federation?

  • Articolo

Questo articolo presenta la federazione di Lakehouse, la piattaforma federativa di query che consente di usare Azure Databricks per eseguire query su più origini dati esterne. Descrive anche come configurare le connessioni di Lakehouse Federation e creare cataloghi esterni nel metastore di Unity Catalog.

Che cos'è Lakehouse Federation?

Lakehouse Federation è la piattaforma di federazione delle query per Azure Databricks. Il termine federazione di query descrive una raccolta di funzionalità che consentono a utenti e sistemi di eseguire query su più origini dati senza dover eseguire la migrazione di tutti i dati a un sistema unificato.

Azure Databricks usa Unity Catalog per gestire la federazione delle query. Puoi configurare connessioni di sola lettura alle soluzioni di database più popolari usando driver inclusi nei magazzini SQL Pro, nei magazzini SQL Serverless e nei cluster di Databricks Runtime. Gli strumenti di governance dei dati e derivazione dei dati di Unity Catalog assicurano che l'accesso ai dati sia gestito e controllato per tutte le query federate eseguite dagli utenti nelle aree di lavoro di Azure Databricks.

Perché usare Lakehouse Federation?

Il lakehouse sottolinea l'archiviazione centrale dei dati per ridurre la ridondanza e l'isolamento dei dati. L'organizzazione potrebbe avere numerosi sistemi dati nell'ambiente di produzione e potrebbe essere necessario eseguire query sui dati nei sistemi connessi per diversi motivi:

  • Creazione di report ad hoc.
  • Modello di verifica.
  • Fase esplorativa delle nuove pipeline o report ETL.
  • Supporto dei carichi di lavoro durante la migrazione incrementale.

In ognuno di questi scenari, la federazione delle query consente di ottenere informazioni più rapide, perché è possibile eseguire query sui dati sul posto ed evitare l'elaborazione ETL complessa e dispendiosa in termini di tempo.

Lakehouse Federation è destinato ai casi d'uso in cui:

  • Non si vogliono inserire dati in Azure Databricks.
  • Si vuole che le query sfruttano le risorse di calcolo nel sistema di database esterno.
  • Si vogliono ottenere i vantaggi delle interfacce e della governance dei dati di Unity Catalog, tra cui controllo di accesso con granularità fine, derivazione dei dati e ricerca.

Panoramica della configurazione di Lakehouse Federation

Per rendere disponibile un set di dati per l'esecuzione di query di sola lettura tramite Lakehouse Federation, creare quanto segue:

  • Una connessione , un oggetto sicurizzabile in Unity Catalog che specifica un percorso e le credenziali per accedere a un sistema di database esterno.
  • Un catalogo esterno, un oggetto sicuro in Unity Catalog che rispecchia un database in un sistema dati esterno, consentendo di eseguire query di sola lettura su tale sistema dati nell'area di lavoro di Azure Databricks e gestire l'accesso utilizzando Unity Catalog.

Origini dati supportate

Lakehouse Federation supporta le connessioni ai tipi di database seguenti:

Requisiti di connessione

Requisiti dell'area di lavoro:

  • Area di lavoro abilitata per il Catalogo Unity.

Requisiti dell’ambiente di calcolo:

  • Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
  • Il calcolo di Azure Databricks deve usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
  • I warehouse SQL devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTION sul metastore di Unity Catalog collegato all'area di lavoro.
  • Per creare un catalogo esterno, è necessario avere l'autorizzazione CREATE CATALOG sul metastore ed essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG sulla connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Catalog Explorer o il comando SQL CREATE CONNECTION all'interno di un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Consultare POST /api/2.1/unity-catalog/connections e i comandi di Unity Catalog.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esploratore di cataloghi

  1. Nell'area di lavoro di Azure Databricks, fare clic sull'icona CatalogoCatalogo.

  2. Nella parte superiore del riquadro catalogo, fare clic sull'icona Aggiungi o piùicona Aggiungi e selezionare Aggiungi una connessione dal menu.

    In alternativa, nella pagina Accesso rapido fare clic sul pulsante dati esterni , passare alla scheda Connessioni e fare clic su Crea connessione.

  3. Immettere un nome di connessione semplice.

  4. Selezionare il Tipo di connessione (provider di database, ad esempio MySQL o PostgreSQL).

  5. (Facoltativo) Aggiungere un commento.

  6. Fare clic su Avanti.

  7. Immettere le proprietà di connessione, ad esempio informazioni sull'host, percorso e credenziali di accesso.

    Ogni tipo di connessione richiede informazioni di connessione diverse. Vedere l'articolo relativo al tipo di connessione, elencato nel sommario a sinistra.

  8. Fai clic su Crea connessione.

  9. Immettere un nome per il catalogo esterno.

  10. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

  11. Fare clic su Crea Catalogo.

  12. Selezionare le aree di lavoro in cui gli utenti possono accedere al catalogo creato. È possibile selezionare Tutte le aree di lavoro hanno accessooppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.

  13. Modificare il Proprietario che sarà in grado di gestire l'accesso a tutti gli oggetti nel catalogo. Inizia a digitare un principale nella casella di testo e quindi fai clic sul principale nei risultati restituiti.

  14. Concedere privilegi nel catalogo. Fare clic su Concedi:

    1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Inizia a digitare un principale nella casella di testo e quindi fai clic sul principale nei risultati restituiti.
    2. Selezionare le impostazioni di privilegio da concedere a ogni entità. A tutti gli utenti dell'account viene concesso BROWSE per impostazione predefinita.
      • Selezionare lettore dati dal menu a discesa per concedere read privilegi sugli oggetti nel catalogo.
      • Selezionare Editor di dati dal menu a discesa per concedere read e modify privilegi su oggetti nel catalogo.
      • Selezionare manualmente i privilegi da concedere.
    3. Fare clic su Concedi.
    4. Fare clic su Avanti.
    5. Nella pagina Metadati, specificate le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag agli oggetti di sicurezza del Catalogo Unity.
    6. (Facoltativo) Aggiungere un commento.
    7. Fare clic su Salva.

SQL

Eseguire il comando seguente in un notebook o nell'editor di query SQL. Questo esempio riguarda le connessioni a un database PostgreSQL. Le opzioni variano in base al tipo di connessione. Vedere l'articolo relativo al tipo di connessione, elencato nel sommario a sinistra.

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare Azure Databricks segreti anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Per informazioni sulla gestione delle connessioni esistenti, vedere Gestione delle connessioni per Lakehouse Federation.

Creare un catalogo straniero

Nota

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL. È anche possibile usare l'API Catalogo Unity. Vedere la documentazione di riferimento di Azure Databricks.

I metadati del catalogo esterno vengono sincronizzati in Unity Catalog per ogni interazione con il catalogo. Per il mapping dei tipi di dati tra Unity Catalog e l'origine dati, consultare la sezione Mappature dei Tipi di Dati della documentazione di ogni origine dati.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esploratore di Cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic sull'icona CatalogoCatalogo per aprire Esplora cataloghi.

  2. Nella parte superiore del riquadro catalogo fare clic sull'icona Aggiungi o più Icona Aggiungi e selezionare Aggiungi un catalogo dal menu.

    In alternativa, nella pagina accesso rapido, fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

  3. Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto:

  • <catalog-name>: Nome del catalogo in Azure Databricks.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
  • <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks. Non obbligatorio per MySQL, che usa uno spazio dei nomi a due livelli.
  • <external-catalog-name>: solo Databricks-to-Databricks: Nome del catalogo nell'area di lavoro esterna di Databricks di cui si esegue il mirroring. Consulta Creare un catalogo esterno.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Per informazioni sulla gestione e l'utilizzo di cataloghi stranieri, vedere Gestire e usare cataloghi stranieri.

Lakehouse Federation e viste materializzate

Databricks consiglia di caricare dati esterni usando la Federazione Lakehouse quando si stanno creando viste materializzate. Vedere Usare viste materializzate in Databricks SQL.

Quando si usa Lakehouse Federation, gli utenti possono fare riferimento ai dati federati come indicato di seguito:

CREATE MATERIALIZED VIEW xyz AS SELECT * FROM federated_catalog.federated_schema.federated_table;

Visualizzare le query federate generate dal sistema

Lakehouse Federation converte le istruzioni SQL di Databricks in istruzioni che possono essere inserite nell'origine dati federata. Per visualizzare l'istruzione SQL generata, fare clic sul nodo di analisi dell'origine dati esterna nella visualizzazione del grafico di profilo di queryoppure eseguire l'istruzione EXPLAIN FORMATTED SQL. Per informazioni sulla copertura, vedere la sezione Pushdown supportato della documentazione di ogni origine dati.

Limiti

  • Le query sono di sola lettura.
  • La limitazione delle connessioni viene determinata usando il limite di query simultanee di Databricks SQL. Non è previsto alcun limite tra i magazzini per ogni connessione. Vedere Accodamento e scalabilità automatica per i data warehouse SQL classici e pro.
  • Le tabelle e gli schemi con nomi non validi nel catalogo unity non sono supportati e vengono ignorati dal catalogo Unity al momento della creazione di un catalogo esterno. Vedere l'elenco delle regole di denominazione e delle limitazioni in Limitazioni.
  • I nomi delle tabelle e gli schemi vengono convertiti in lettere minuscole nel catalogo unity. Le ricerche devono anche usare nomi minuscoli. Se sono presenti tabelle o schemi con nomi minuscoli duplicati, solo una delle tabelle o degli schemi viene importata nel catalogo esterno.
  • Per ogni tabella esterna a cui si fa riferimento, Azure Databricks pianifica una sottoquery nel sistema remoto per restituire un subset di dati da quella tabella e quindi restituisce il risultato a un'attività di esecuzione di Azure Databricks tramite un singolo flusso. Se il set di risultati è troppo grande, il processo di esecuzione potrebbe esaurire la memoria.
  • La modalità di accesso utente singolo è disponibile solo per gli utenti proprietari della connessione.
  • Lakehouse Federation non può eseguire la federazione di tabelle esterne con identificatori con distinzione tra maiuscole e minuscole per le connessioni di Azure Synapse o Redshift.

Quote di risorse

Azure Databricks applica limiti di risorse a tutti gli oggetti tutelabili di Unity Catalog. Queste quote sono elencate in Limiti delle risorse. I cataloghi stranieri e tutti gli oggetti che contengono sono inclusi nell'utilizzo totale delle quote.

Se si prevede di superare questi limiti di risorse, contattare il team dell'account Azure Databricks.

È possibile monitorare l'utilizzo delle quote usando le API delle quote delle risorse di Unity Catalog. Vedere Monitorare l'utilizzo delle quote di risorse del catalogo Unity.

Risorse aggiuntive