Konfigurieren von Katalogen

Artikel
09/20/2024

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight in den AKS-Vorschauinformationen. Für Fragen oder Funktionsvorschläge reichen Sie bitte eine Anfrage bei AskHDInsight ein, einschließlich der Details, und folgen Sie uns für weitere Updates zur Azure HDInsight Community.

Jeder Trino-Cluster wird standardmäßig mit einigen Katalogen geliefert: System, TPCDS, tpch. Sie können Ihre eigenen Kataloge auf die gleiche Weise hinzufügen, wie Sie es mit OSS Trino tun würden. Darüber hinaus ermöglicht Trino mit HDInsight auf AKS das Speichern geheimer Schlüssel im Key Vault, sodass Sie sie nicht explizit in der ARM-Vorlage angeben müssen.

Sie können einen neuen Katalog hinzufügen, indem Sie Ihre Cluster-ARM-Vorlage außer dem Strukturkatalog aktualisieren, den Sie während Trino-Clustererstellung im Azure-Portal hinzufügen können.

In diesem Artikel wird veranschaulicht, wie Sie ihrem Cluster mithilfe der ARM-Vorlage einen neuen Katalog hinzufügen können. Im Beispiel in diesem Artikel werden die Schritte zum Hinzufügen von SQL Server- und Speicherkatalogen beschrieben.

Voraussetzungen

Ein operativer Trino-Cluster mit HDInsight auf AKS.
Azure SQL-Datenbank.
Azure SQL-Server-Anmeldedaten/-Passwörter werden in den Key Vault-Geheimnissen gespeichert, und die benutzerdefinierte MSI, die Ihrem Trino-Cluster zugeordnet ist, hat die Berechtigung erhalten, diese zu lesen. Beziehen Sie sich auf , um Anmeldeinformationen im Key Vault zu speichern und eine Rolle zu MSIzuzuweisen.
Erstellen Sie ARM-Vorlage für Ihren Cluster.
Vertrautheit mit dem Erstellen und Bereitstellen von ARM-Vorlagen .
Überprüfen Sie das vollständige Cluster-ARM-Vorlagenbeispiel arm-trino-catalog-sample.json.

Schritte zum Hinzufügen eines Katalogs in der ARM-Vorlage

Fügen Sie Schlüsseltresor an, und fügen Sie geheime Schlüssel zu secretsProfile unter clusterProfile Eigenschaft hinzu.

In diesem Schritt müssen Sie sicherstellen, dass Key Vault und geheime Schlüssel für Trino-Cluster konfiguriert sind. Im folgenden Beispiel werden SQL Server-Anmeldeinformationen in diesen geheimen Schlüsseln gespeichert: trinotest-admin-user, trinotest-admin-pwd.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

Fügen Sie Kataloge zu serviceConfigsProfiles unter der clusterProfile-Eigenschaft hinzu.

In diesem Schritt müssen Sie dem Cluster die spezifische Trino-Katalogkonfiguration hinzufügen. Im folgenden Beispiel werden zwei Kataloge mit Memory- und SQL-Server-Connectorn konfiguriert. Die Katalogkonfiguration kann auf zwei verschiedene Arten angegeben werden:

Schlüsselwertpaare im Werteabschnitt.
Einzelne Zeichenfolge in der Inhaltseigenschaft.

Der Speicherkatalog wird mithilfe des Schlüsselwertpaars definiert, und der SQL Server-Katalog wird mithilfe einer einzigen Zeichenfolgenoption definiert.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

Eigenschaften

Eigentum	Beschreibung
Dienstname	trino
Bestandteil	Gibt an, dass dieser Abschnitt Kataloge konfiguriert, muss "Kataloge" sein.
Dateien	Liste der Trino-Katalogdateien, die dem Cluster hinzugefügt werden sollen.
Dateiname	Liste der Trino-Katalogdateien, die dem Cluster hinzugefügt werden sollen.
Inhalt	`json` escaper Zeichenfolge in die Trino-Katalogdatei einfügen. Diese Zeichenfolge sollte alle trinospezifischen Katalogeigenschaften enthalten, die vom verwendeten Verbindertyp abhängen. Weitere Informationen finden Sie in der OsS-Trinodokumentation.
${SECRET_REF:<referenceName>}	Ein spezielles Tag, um auf ein Geheimnis im secretsProfile zu verweisen. Trino ruft zur Laufzeit ein Geheimnis aus dem Key Vault ab und ersetzt dieses in der Katalogkonfiguration.
Werte	Es ist möglich, die Katalogkonfiguration mithilfe der Inhaltseigenschaft als einzelne Zeichenfolge anzugeben und separate Schlüssel-Wert-Paare für jede einzelne Trino-Katalogeigenschaft wie für den Speicherkatalog dargestellt zu verwenden.

Stellen Sie die aktualisierte ARM-Vorlage bereit, um die Änderungen in Ihrem Cluster widerzuspiegeln. Erfahren Sie, wie Sie eine ARM-Vorlagebereitstellen.

Freigeben über

Konfigurieren von Katalogen

Voraussetzungen

Schritte zum Hinzufügen eines Katalogs in der ARM-Vorlage

Zusätzliche Ressourcen