Konfigurieren des Delta Lake-Katalogs

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Lesen Sie mehr über in dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Featurevorschläge senden Sie bitte eine Anfrage an AskHDInsight mit den entsprechenden Details und folgen Sie uns für weitere Updates zur Azure HDInsight Community.

Dieser Artikel enthält eine Übersicht über das Konfigurieren des Delta Lake-Katalogs in Ihrem Trino-Cluster mit HDInsight auf AKS. Sie können einen neuen Katalog hinzufügen, indem Sie Ihre Cluster-ARM-Vorlage aktualisieren, mit Ausnahme des Hive-Katalogs, den Sie während der Trino-Cluster-Erstellung im Azure-Portal hinzufügen können.

Voraussetzungen

• Verständnis der Trino-Clusterkonfiguration.
• Kataloge zu vorhandenem Clusterhinzufügen.

Schritte zum Konfigurieren des Delta Lake-Katalogs

1. Konfigurieren des Hive-Metaspeichers für Tabellendefinitionen und Speicherorte, wenn Sie noch keinen Metaspeicher konfiguriert haben.

   Konfigurieren der externen Hive-Metaspeicherdatenbank und des Standardspeicherverzeichnisses in config.properties Datei (weitere Informationen zu Trino-Konfiguration):

   "serviceConfigsProfiles": [
       {
           "serviceName": "trino",
           "configs": [
               {
                   "component": "common",
                   "files": [
                       {
                           "fileName": "config.properties",
                           "values": {
                               "hive.metastore.hdi.metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net;database={{DATABASE_NAME}};encrypt=true;trustServerCertificate=true;create=false;loginTimeout=30",
                               "hive.metastore.hdi.metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                               "hive.metastore.hdi.metastoreDbConnectionPasswordSecret": "{{SECRET_REFERENCE_NAME}}",
                               "hive.metastore.hdi.metastoreWarehouseDir": "abfs://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/hive/warehouse"
                           }
                       }
                   ]
               }
           ]
       }
   ]
   "secretsProfile": {
           "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
           "secrets": [
               {
                   "referenceName": "{{SECRET_REFERENCE_NAME}}",
                   "type": "Secret",
                   "keyVaultObjectName": "myCredSecret"
               }                        ]
       },
   

   Anmerkung

   referenceName sollte mit dem Wert übereinstimmen, der in hive.metastore.hdi.metastoreDbConnectionPasswordSecret angegeben ist.

2. Aktualisieren Sie Ihre Cluster-ARM-Vorlage, um eine neue Delta Lake-Katalogkonfigurationsdatei hinzuzufügen. Diese Konfiguration muss in serviceConfigsProfiles unter der clusterProfile-Eigenschaft der ARM-Vorlagendatei definiert werden.

   Eigentum	Wert	Beschreibung
   Dateiname	delta.properties	Name der Katalogdatei. Wenn die Datei als delta.properties bezeichnet wird, wird delta zum Katalognamen.
   connector.name	delta_lake	Der Typ des Katalogs. Für Delta Lake muss der Katalogtyp delta_lake
   hive.metastore	hdi	Typ des Hive-Metastores, der für diesen Katalog verwendet werden soll. Geben Sie hdiein, weist es cluster an, den oben konfigurierten Hive-Metastore-Dienst im Cluster zu verwenden.
   delta.register-table-procedure.enabled	STIMMT	Erforderlich, damit externe Tabellen registriert werden können.

   Siehe die Trino-Dokumentation für weitere Konfigurationsoptionen von Delta Lake.

   "serviceConfigsProfiles": [
   {
       "serviceName": "trino",
       "configs": [
           {
               "component": "catalogs",
               "files": [
                           {
                               "fileName": "delta.properties",
                               "values": {
                                   "connector.name": "delta_lake",
                                   "hive.metastore": "hdi",
                                   "delta.register-table-procedure.enabled": "true"
                               }
                           }
      ]
   
   ...
   

3. Weisen Sie die Storage Blob Data Owner-Rolle dem Cluster zugeordneten Benutzer-MSI im Speicherkonto zu, das die Delta-Tabellen enthält. Erfahren Sie, wie Sie eine Rolle zuweisen.

   • Der vom Benutzer zugewiesene MSI-Name wird in der eigenschaft msiResourceId im Ressourcen-JSON des Clusters aufgeführt.

Stellen Sie die aktualisierte ARM-Vorlage bereit, um die Änderungen in Ihrem Cluster widerzuspiegeln. Erfahren Sie, wie Sie eine ARM-Vorlage bereitstellen.
Nach der erfolgreichen Bereitstellung können Sie den "Delta"-Katalog in Ihrem Trino-Cluster sehen.

Nächste Schritte

Delta Lakes-Tabellen lesen (Synapse oder externer Standort)