Condividi tramite

Eseguire query federate in MySQL

  • Articolo

Questo articolo descrive come configurare La federazione lakehouse per eseguire query federate sui dati MySQL non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi al database MySQL usando la federazione lakehouse, è necessario creare quanto segue nel metastore del catalogo Unity di Azure Databricks:

  • Connessione al database MySQL.
  • Un catalogo esterno che replica il tuo database MySQL nel Catalogo Unity in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

  • Area di lavoro abilitata per il catalogo Unity.

Requisiti dell’ambiente di calcolo:

  • Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
  • Il calcolo di Azure Databricks deve usare Databricks Runtime 13.3 LTS o versione successiva e accesso in modalità condivisa o modalità utente singolo .
  • I warehouse SQL devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere amministratori del metastore o utenti con il privilegio CREATE CONNECTION nel metastore di Unity Catalog collegato all'area di lavoro.
  • Per creare un catalogo straniero, è necessario avere il permesso CREATE CATALOG sul metastore ed essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG sulla connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, puoi usare Catalog Explorer o il comando SQL CREATE CONNECTION in un notebook Azure Databricks o nell'editor SQL di Databricks.

Nota

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Consultare POST /api/2.1/unity-catalog/connections e comandi del catalogo Unity.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esploratore di Cataloghi

  1. Nell'area di lavoro di Azure Databricks, fare clic sull'icona CatalogoCatalogo.

  2. Nella parte superiore del riquadro catalogo fare clic sull'icona aggiungi o più icona Aggiungi e selezionare Aggiungi una connessione dal menu.

    In alternativa, nella pagina Accesso rapido fare clic sul pulsante dati esterni , passare alla scheda Connessioni e fare clic su Crea connessione.

  3. Nella pagina Connessione di base della Configurazione guidata connessione immettere un nome di connessione descrittivo.

  4. Selezionare un tipo di connessione di MySQL.

  5. (Facoltativo) Aggiungere un commento.

  6. Fare clic su Avanti.

  7. Nella pagina autenticazione inserire le seguenti proprietà di connessione per l'istanza di MySQL:

    • Host: ad esempio, mysql-demo.lb123.us-west-2.rds.amazonaws.com
    • Porta: ad esempio 3306
    • Utente: ad esempio mysql_user
    • Password: ad esempio, password123

  8. (Facoltativo): selezionare certificato Trust del server. Questa opzione è deselezionata per impostazione predefinita. Se selezionata, il livello di trasporto usa SSL per crittografare il canale e ignora la catena di certificati per convalidare l'attendibilità. Lasciare questo valore impostato sul valore predefinito, a meno che non sia necessario ignorare la convalida dell'attendibilità.

  9. Fare clic su Crea connessione.

  10. Nella pagina informazioni di base del catalogo immettere un nome per il catalogo esterno. Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.

  11. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

  12. Fai clic su Crea catalogo.

  13. Nella pagina Access, seleziona le aree di lavoro in cui gli utenti possono accedere al catalogo che hai creato. È possibile selezionare Tutte le aree di lavoro hanno accessooppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.

  14. Modificare il Proprietario che potrà gestire l'accesso a tutti gli oggetti del catalogo. Iniziare a digitare un principale nella casella di testo e quindi fare clic sul principale nei risultati restituiti.

  15. Concedere privilegi nel catalogo. Fare clic su "Concedi" :

    1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Iniziare a digitare un principale nella casella di testo e quindi fare clic sul principale nei risultati restituiti.
    2. Selezionare i set di impostazioni Privilegi da concedere a ogni entità. Agli utenti dell'account viene concesso BROWSE per impostazione predefinita.
      • Selezionare Data Reader nel menu a discesa per concedere read privilegi sugli oggetti nel catalogo.
      • Selezionare Modifica dati dal menu a discesa per concedere read e modify privilegi sugli oggetti all'interno del catalogo.
      • Selezionare manualmente i privilegi da concedere.
    3. Fare clic su Concedi.

  16. Fare clic su Avanti.

  17. Nella pagina metadati, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag a oggetti proteggibili del catalogo Unity.

  18. (Facoltativo) Aggiungere un commento.

  19. Fare clic su Salva.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare Azure Databricks segreti anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE mysql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Se è necessario usare stringhe di testo non crittografato nei comandi SQL del notebook, evitare di troncare la stringa eliminando caratteri speciali come $ con \. Ad esempio: \$.

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo straniero

Nota

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL di Databricks. È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Consultare i comandi POST /api/2.1/unity-catalog/catalogs e Unity Catalog.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esploratore di Cataloghi

  1. Nell'area di lavoro di Azure Databricks, fare clic sull'icona CatalogoCatalogo per aprire Esplora Catalogo.

  2. Nella parte superiore del riquadro Catalogo , fare clic sull'icona Aggiungi o icona più e selezionare Aggiungi un catalogo dal menu.

    In alternativa, nella pagina accesso rapido, fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

  3. Segui le istruzioni su come creare cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il comando SQL seguente in un notebook o in un editor SQL di Databricks. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto:

  • <catalog-name>: Nome del catalogo in Azure Databricks.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdown supportati

I pushdown seguenti sono supportati in tutte le risorse di calcolo:

  • Filtri
  • Proiezioni
  • Limite
  • Funzioni: parziale, solo per le espressioni di filtro. (Funzioni stringa, Funzioni matematiche, Funzioni matematiche, Data, Ora e Timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)

I pushdown seguenti sono supportati in Databricks Runtime 13.3 LTS e versioni successive e in SQL Warehouse:

  • Aggregazioni
  • Operatori booleani
  • Le funzioni matematiche seguenti (non supportate se ANSI è disabilitato): +, -, *, %, /
  • Ordinamento, quando utilizzato con limitazione

Non sono supportati i seguenti pushdown:

  • Join
  • Funzioni finestra

Mapping di tipi di dati

Quando si legge da MySQL a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo MySQL Tipo Spark
bigint (se non firmato), decimale DecimalType
tinyint*, int, integer, mediumint, smallint IntegerType
bigint (se firmato) LongType
float FloatType
double DoubleType
char, enum, set CharType
varchar VarcharType
json, longtext, mediumtext, text, tinytext StringType
binary, blob, varbinary, varchar binary BinaryType
bit, booleano BooleanType
date, year DateType
datetime, time, timestamp** TimestampType/TimestampNTZType

* tinyint(1) signed e tinyint(1) unsigned vengono considerati booleani e convertiti in BooleanType. Vedere Le informazioni di riferimento sul connettore/J sono disponibili nella documentazione di MySQL.

** Quando si legge da MySQL, MySQL Timestamp viene mappato a Spark TimestampType se preferTimestampNTZ = false (impostazione predefinita). Viene eseguito il mapping di MySQL Timestamp a TimestampNTZType se preferTimestampNTZ = true.