Konfigurera kataloger

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Få mer information genom detta meddelande.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller annars ännu inte är allmänt tillgängliga. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, vänligen skicka in en begäran på AskHDInsight med informationen och följ oss för fler uppdateringar om Azure HDInsight Community.

Varje Trino-kluster levereras som standard med få kataloger – system, tpcds, tpch. Du kan lägga till egna kataloger på samma sätt som med OSS Trino. Dessutom tillåter Trino med HDInsight på AKS lagring av hemligheter i Key Vault så att du inte behöver ange dem explicit i ARM-mallen.

Du kan lägga till en ny katalog genom att uppdatera klustrets ARM-mall, med undantag för hive-katalogen, som du kan lägga till under Trino-klusterskapande i Azure-portalen.

Den här artikeln visar hur du kan lägga till en ny katalog i klustret med hjälp av ARM-mallen. I exemplet i den här artikeln beskrivs stegen för att lägga till SQL-server- och minneskataloger.

Förutsättningar

• Ett fungerande Trino-kluster med HDInsight på AKS.
• Azure SQL-databas.
• Inloggning/lösenord för Azure SQL-server lagras i Key Vault-hemligheterna och användartilldelade MSI som är kopplade till ditt Trino-kluster har behörighet att läsa dem. Referera till för att lagra autentiseringsuppgifter i Key Vault och tilldela rollen till MSI-.
• Skapa ARM-mall för klustret.
• Kunskaper om ARM-mallredigering och distribution.
• Granska det kompletta exemplet på ARM-mall för kluster arm-trino-catalog-sample.json.

Steg för att lägga till katalog i ARM-mall

1. Bifoga Key Vault och lägg till hemligheter i secretsProfile under egenskapen clusterProfile.

   I det här steget måste du se till att Key Vault och hemligheter har konfigurerats för Trino-kluster. I följande exempel lagras autentiseringsuppgifterna för SQL-servern i dessa hemligheter: trinotest-admin-user, trinotest-admin-pwd.

   "secretsProfile": {
       "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
       "secrets": [
           {
               "referenceName": "trinotest-admin-user",
               "keyVaultObjectName": "trinotest-admin-user",
               "type": "secret"
           },
           {
               "referenceName": "trinotest-admin-pwd",
               "keyVaultObjectName": "trinotest-admin-pwd",
               "type": "secret"
           }
       ]
   },
   

2. Lägg till kataloger i serviceConfigsProfiles under egenskapen clusterProfile.

   I det här steget måste du lägga till Trino-specifik katalogkonfiguration i klustret. I följande exempel konfigureras två kataloger med hjälp av Memory- och SQL Server-kontakter. Katalogkonfiguration kan anges på två olika sätt:

   • Nyckel/värde-par i avsnittet värden.
   • Enskild sträng i innehållsegenskapen.

   Minneskatalog definieras med nyckel/värde-par och SQL Server-katalogen definieras med alternativet enkel sträng.

    "serviceConfigsProfiles": [
        {
            "serviceName": "trino",
            "configs": [
                {
                    "component": "catalogs",
                    "files": [
                            {
                            "fileName": "memory.properties",
                            "values": {
                                "connector.name": "memory",
                                "memory.max-data-per-node": "128MB"
                            }
                        },
                        {
                            "fileName": "trinotestdb1.properties",
                            "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                        },
                    ]
                }
            ]
        }
    ],
   

   Egenskaper

   Egenskap	Beskrivning
   serviceName	trino
   komponent	Identifierar att avsnittet som konfigurerar katalogerna bör vara "kataloger".
   filer	Lista över Trino-katalogfiler som ska läggas till i klustret.
   filnamn	Lista över Trino-katalogfiler som ska läggas till i klustret.
   innehåll	json escape-sträng som ska placeras i Trino-katalogfilen. Den här strängen ska innehålla alla trino-specifika katalogegenskaper, som beror på vilken typ av anslutning som används. Mer information finns i OSS trino-dokumentationen.
   ${SECRET_REF:<referenceName>}	Särskild tagg som refererar till en hemlighet från secretsProfile. När Trino körs hämtas hemligheten från Key Vault och ersätts i katalogens konfiguration.
   värden	Det går att ange katalogkonfiguration med hjälp av innehållsegenskapen som enskild sträng och använda separata nyckel/värde-par för varje enskild Trino-katalogegenskap som visas för minneskatalogen.

Distribuera den uppdaterade ARM-mallen för att återspegla ändringarna i klustret. Lär dig hur du distribuera en ARM-mall.