Catalogi configureren

Artikel
10/23/2024

Notitie

Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.

Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

Elk Trino-cluster wordt standaard geleverd met enkele catalogi : systeem, tpcds, tpch. U kunt uw eigen catalogi op dezelfde manier toevoegen als met OSS Trino. Daarnaast kunt u met Trino met HDInsight in AKS geheimen opslaan in Key Vault, zodat u ze niet expliciet hoeft op te geven in een ARM-sjabloon.

U kunt een nieuwe catalogus toevoegen door uw ARM-clustersjabloon bij te werken, behalve de hive-catalogus, die u kunt toevoegen tijdens het maken van trino-clusters in Azure Portal.

In dit artikel ziet u hoe u een nieuwe catalogus aan uw cluster kunt toevoegen met behulp van een ARM-sjabloon. In het voorbeeld in dit artikel worden de stappen beschreven voor het toevoegen van SQL-server- en geheugencatalogussen.

Vereisten

Een operationeel Trino-cluster met HDInsight in AKS.
Azure SQL-database.
Azure SQL Server-aanmelding/-wachtwoord worden opgeslagen in de Key Vault-geheimen en door de gebruiker toegewezen MSI die is gekoppeld aan uw Trino-cluster, waaraan machtigingen zijn verleend om ze te lezen. Raadpleeg de archiefreferenties in Key Vault en wijs de rol toe aan MSI.
Maak een ARM-sjabloon voor uw cluster.
Bekendheid met het ontwerpen en implementeren van ARM-sjablonen.
Bekijk het volledige arm-sjabloonvoorbeeld van het cluster arm-trino-catalog-sample.json.

Stappen voor het toevoegen van catalogus in ARM-sjabloon

Voeg Key Vault toe en voeg geheimen toe aan secretsProfile onder clusterProfile de eigenschap.

In deze stap moet u ervoor zorgen dat Key Vault en geheimen zijn geconfigureerd voor Trino-cluster. In het volgende voorbeeld worden sql-serverreferenties opgeslagen in deze geheimen: trinotest-admin-user, trinotest-admin-pwd.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

Voeg catalogi toe aan serviceConfigsProfiles onder clusterProfile eigenschap.

In deze stap moet u trino-specifieke catalogusconfiguratie toevoegen aan het cluster. In het volgende voorbeeld worden twee catalogi geconfigureerd met behulp van geheugen- en SQL-serverconnectors. Catalogusconfiguratie kan op twee verschillende manieren worden opgegeven:

Sleutel-waardeparen in de sectie waarden.
Eén tekenreeks in inhoudseigenschap.

Geheugencatalogus wordt gedefinieerd met sleutel-waardepaar en SQL Server-catalogus wordt gedefinieerd met behulp van één tekenreeksoptie.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

Eigenschappen

Eigenschappen	Beschrijving
serviceName	trino
bestanddeel	Hiermee wordt aangegeven dat de sectie catalogi configureert, moet 'catalogi' zijn.
bestanden	Lijst met Trino-catalogusbestanden die aan het cluster moeten worden toegevoegd.
filename	Lijst met Trino-catalogusbestanden die aan het cluster moeten worden toegevoegd.
content	`json` escape-tekenreeks die moet worden geplaatst in trino-catalogusbestand. Deze tekenreeks moet alle trino-specifieke cataloguseigenschappen bevatten, die afhankelijk zijn van het type connector dat wordt gebruikt. Zie de oss trino-documentatie voor meer informatie.
${SECRET_REF:<referenceName>}	Speciale tag om te verwijzen naar een geheim uit secretsProfile. Trino tijdens runtime haalt het geheim op uit Key Vault en vervangt het in de catalogusconfiguratie.
waarden	Het is mogelijk om catalogusconfiguratie op te geven met behulp van inhoudseigenschap als één tekenreeks en afzonderlijke sleutel-waardeparen te gebruiken voor elke afzonderlijke Trino-cataloguseigenschap, zoals wordt weergegeven voor de geheugencatalogus.

Implementeer de bijgewerkte ARM-sjabloon om de wijzigingen in uw cluster weer te geven. Meer informatie over het implementeren van een ARM-sjabloon.

Delen via

Catalogi configureren

Vereisten

Stappen voor het toevoegen van catalogus in ARM-sjabloon

Feedback

Aanvullende resources