Condividi tramite

Configurare il catalogo Delta Lake

  • Articolo

Importante

Azure HDInsight su AKS è stato dismesso il 31 gennaio 2025. Scopri di più su con questo annuncio.

È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.

Importante

Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su AKS. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire microsoft per altri aggiornamenti su community di Azure HDInsight.

Questo articolo offre una panoramica su come configurare il catalogo Delta Lake nel cluster Trino con HDInsight su Azure Kubernetes Service (AKS). È possibile aggiungere un nuovo catalogo aggiornando il modello di Resource Manager del cluster, ad eccezione del catalogo hive, che è possibile aggiungere durante creazione del cluster Trino nel portale di Azure.

Prerequisiti

Procedura per configurare il catalogo Delta Lake

  1. Configurare il metastore Hive per le definizioni di tabella e le posizioni se non è già configurato un metastore.

    Configurare il database metastore Hive esterno e la directory di archiviazione predefinita nel file config.properties (altre informazioni sulla configurazione Trino):

    "serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "config.properties",
                        "values": {
                            "hive.metastore.hdi.metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net;database={{DATABASE_NAME}};encrypt=true;trustServerCertificate=true;create=false;loginTimeout=30",
                            "hive.metastore.hdi.metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                            "hive.metastore.hdi.metastoreDbConnectionPasswordSecret": "{{SECRET_REFERENCE_NAME}}",
                            "hive.metastore.hdi.metastoreWarehouseDir": "abfs://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/hive/warehouse"
                        }
                    }
                ]
            }
        ]
    }
]
"secretsProfile": {
        "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
        "secrets": [
            {
                "referenceName": "{{SECRET_REFERENCE_NAME}}",
                "type": "Secret",
                "keyVaultObjectName": "myCredSecret"
            }                        ]
    },

    Nota

    referenceName deve corrispondere al valore specificato in hive.metastore.hdi.metastoreDbConnectionPasswordSecret

  2. Aggiornare il modello arm del cluster per aggiungere un nuovo file di configurazione del catalogo Delta Lake. Questa configurazione deve essere definita in serviceConfigsProfiles nella proprietà clusterProfile del modello ARM.

    Proprietà Valore Descrizione
    fileName delta.properties Nome del file di catalogo. Se il file è denominato delta.properties, delta diventa il nome del catalogo.
    nome.connettore delta_lake Tipo del catalogo. Per Delta Lake, il tipo di catalogo deve essere delta_lake
    hive.metastore Indice di Sviluppo Umano Tipo di metastore hive da usare per questo catalogo. Digita hdi, indica al cluster di usare il servizio Metastore Hive all'interno del cluster, configurato in precedenza.
    delta.registra-tabella-procedura.abilitata vero Obbligatorio per consentire la registrazione di tabelle esterne.

    Vedere documentazione di Trino per altre opzioni di configurazione delta lake.

    "serviceConfigsProfiles": [
{
    "serviceName": "trino",
    "configs": [
        {
            "component": "catalogs",
            "files": [
                        {
                            "fileName": "delta.properties",
                            "values": {
                                "connector.name": "delta_lake",
                                "hive.metastore": "hdi",
                                "delta.register-table-procedure.enabled": "true"
                            }
                        }
   ]

...

  3. Assegna il ruolo Storage Blob Data Owner all'MSI assegnata dall'utente del cluster nell'account di archiviazione contenente le tabelle Delta. Informazioni su come assegnare un ruolo.

    • Il nome dell'identità del servizio gestito (MSI) assegnato dall'utente è elencato nella proprietà msiResourceId nel codice JSON della risorsa del cluster.

Distribuire il modello ARM aggiornato per rispecchiare le modifiche nel cluster. Scopri come distribuire un template ARM.
Dopo la distribuzione, è possibile visualizzare il catalogo "delta" nel cluster Trino.

Passaggi successivi

Leggi le tabelle Delta Lakes (Synapse o Posizione esterna)