Dela via

Konfigurera Delta Lake-katalogen

  • Artikel

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Lär dig mer genom det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversioner, förhandsversioner eller på annat sätt ännu inte har blivit allmänt tillgängliga. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, skicka en begäran på AskHDInsight med detaljerna och följ oss för fler uppdateringar om Azure HDInsight Community.

Den här artikeln innehåller en översikt över hur du konfigurerar Delta Lake-katalogen i ditt Trino-kluster med HDInsight på AKS. Du kan lägga till en ny katalog genom att uppdatera klustrets ARM-mall förutom hive-katalogen, som du kan lägga till när du Skapa Trino-kluster i Azure-portalen.

Förutsättningar

Steg för att konfigurera Delta Lake-katalogen

  1. Konfigurera Hive-metaarkivet för tabelldefinitioner och platser om du inte redan har konfigurerat ett metaarkiv.

    Konfigurera extern Hive-metaarkivdatabas och standardlagringskatalog i config.properties fil (mer information om Trino-konfiguration):

    "serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "config.properties",
                        "values": {
                            "hive.metastore.hdi.metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net;database={{DATABASE_NAME}};encrypt=true;trustServerCertificate=true;create=false;loginTimeout=30",
                            "hive.metastore.hdi.metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                            "hive.metastore.hdi.metastoreDbConnectionPasswordSecret": "{{SECRET_REFERENCE_NAME}}",
                            "hive.metastore.hdi.metastoreWarehouseDir": "abfs://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/hive/warehouse"
                        }
                    }
                ]
            }
        ]
    }
]
"secretsProfile": {
        "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
        "secrets": [
            {
                "referenceName": "{{SECRET_REFERENCE_NAME}}",
                "type": "Secret",
                "keyVaultObjectName": "myCredSecret"
            }                        ]
    },

    Not

    referenceName ska matcha värdet i hive.metastore.hdi.metastoreDbConnectionPasswordSecret

  2. Uppdatera ARM-klustrets mall för att lägga till en ny konfigurationsfil för Delta Lake-katalogen. Den här konfigurationen måste definieras i serviceConfigsProfiles under clusterProfile egenskapen för ARM-mallen.

    Egenskap Värde Beskrivning
    filnamn delta.properties Namnet på katalogfilen. Om filen kallas delta.properties blir delta katalognamnet.
    connector.namn delta_lake Typ av katalog. För Delta Lake måste katalogtypen vara delta_lake
    hive.metastore HDI Typ av hive-metaarkiv som ska användas för den här katalogen. Skriv hdiför att instruera klustret att använda Hive Metastore-tjänsten intern i klustret, som har konfigurerats ovan.
    delta.register-table-procedure.enabled sann Krävs för att tillåta att externa tabeller registreras.

    Se Trino-dokumentation för andra konfigurationsalternativ för Delta Lake.

    "serviceConfigsProfiles": [
{
    "serviceName": "trino",
    "configs": [
        {
            "component": "catalogs",
            "files": [
                        {
                            "fileName": "delta.properties",
                            "values": {
                                "connector.name": "delta_lake",
                                "hive.metastore": "hdi",
                                "delta.register-table-procedure.enabled": "true"
                            }
                        }
   ]

...

  3. Tilldela rollen Storage Blob Data Owner till klustrets användartilldelade MSI i lagringskontot som innehåller deltatabellerna. Lär dig hur du tilldelar en roll.

    • Användartilldelat MSI-namn visas i egenskapen msiResourceId i klustrets resurs-JSON.

Distribuera den uppdaterade ARM-mallen för att återspegla ändringarna i klustret. Lär dig hur du distribuerar en ARM-mall.
När den har distribuerats framgångsrikt kan du se "delta"-katalogen i ditt Trino-kluster.

Nästa steg

Läs Delta Lakes-tabeller (Synapse eller extern plats)