Konfigurera kataloger

Kommentar

Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.

Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.

Viktigt!

Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.

Varje Trino-kluster levereras som standard med få kataloger – system, tpcds, tpch. Du kan lägga till egna kataloger på samma sätt som med OSS Trino. Dessutom tillåter Trino med HDInsight på AKS lagring av hemligheter i Key Vault så att du inte behöver ange dem explicit i ARM-mallen.

Du kan lägga till en ny katalog genom att uppdatera klustrets ARM-mall förutom hive-katalogen, som du kan lägga till när Trino-klustret skapas i Azure Portal.

Den här artikeln visar hur du kan lägga till en ny katalog i klustret med hjälp av ARM-mallen. I exemplet i den här artikeln beskrivs stegen för att lägga till SQL-server- och minneskataloger.

Förutsättningar

• Ett fungerande Trino-kluster med HDInsight på AKS.
• Azure SQL-databas.
• Inloggning/lösenord för Azure SQL-server lagras i Key Vault-hemligheterna och användartilldelade MSI som är kopplade till ditt Trino-kluster har behörighet att läsa dem. Läs lagra autentiseringsuppgifter i Key Vault och tilldela rollen till MSI.
• Skapa ARM-mall för klustret.
• Kunskaper om redigering och distribution av ARM-mallar.
• Granska det fullständiga arm-mallexemplet för klustret arm-trino-catalog-sample.json.

Steg för att lägga till katalog i ARM-mall

1. Bifoga Key Vault och lägg till secretsProfile hemligheter under clusterProfile egenskapen .

   I det här steget måste du se till att Key Vault och hemligheter har konfigurerats för Trino-kluster. I följande exempel lagras autentiseringsuppgifterna för SQL-servern i dessa hemligheter: trinotest-admin-user, trinotest-admin-pwd.

   "secretsProfile": {
       "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
       "secrets": [
           {
               "referenceName": "trinotest-admin-user",
               "keyVaultObjectName": "trinotest-admin-user",
               "type": "secret"
           },
           {
               "referenceName": "trinotest-admin-pwd",
               "keyVaultObjectName": "trinotest-admin-pwd",
               "type": "secret"
           }
       ]
   },
   

2. Lägg till kataloger serviceConfigsProfiles under clusterProfile egenskap.

   I det här steget måste du lägga till Trino-specifik katalogkonfiguration i klustret. I följande exempel konfigureras två kataloger med hjälp av minnes- och SQL Server-anslutningsappar. Katalogkonfiguration kan anges på två olika sätt:

   • Nyckel/värde-par i avsnittet värden.
   • Enskild sträng i innehållsegenskapen.

   Minneskatalog definieras med nyckel/värde-par och SQL Server-katalogen definieras med alternativet enkel sträng.

    "serviceConfigsProfiles": [
        {
            "serviceName": "trino",
            "configs": [
                {
                    "component": "catalogs",
                    "files": [
                            {
                            "fileName": "memory.properties",
                            "values": {
                                "connector.name": "memory",
                                "memory.max-data-per-node": "128MB"
                            }
                        },
                        {
                            "fileName": "trinotestdb1.properties",
                            "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                        },
                    ]
                }
            ]
        }
    ],
   

   Egenskaper

   Property	beskrivning
   serviceName	trino
   komponent	Identifierar att avsnittet konfigurerar kataloger, måste vara "kataloger".
   filer	Lista över Trino-katalogfiler som ska läggas till i klustret.
   filename	Lista över Trino-katalogfiler som ska läggas till i klustret.
   innehåll	json undantagen sträng som ska placeras i trino-katalogfilen. Den här strängen ska innehålla alla trinospecifika katalogegenskaper, som beror på vilken typ av anslutningsapp som används. Mer information finns i OSS trino-dokumentationen.
   ${SECRET_REF:<referenceName>}	Särskild tagg som refererar till en hemlighet från secretsProfile. Trino vid körning hämtar hemligheten från Key Vault och ersätter den i katalogkonfigurationen.
   values	Det går att ange katalogkonfiguration med hjälp av innehållsegenskapen som enskild sträng och använda separata nyckel/värde-par för varje enskild Trino-katalogegenskap som visas för minneskatalogen.

Distribuera den uppdaterade ARM-mallen för att återspegla ändringarna i klustret. Lär dig hur du distribuerar en ARM-mall.