Поделиться через

Настройка каталогов

  • Статья

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Каждый кластер Trino поставляется по умолчанию с несколькими каталогами — системными, tpcds, tpch. Вы можете добавить собственные каталоги так же, как и в OSS Trino. Кроме того, Trino с HDInsight в AKS позволяет хранить секреты в Key Vault, поэтому их явно не нужно указывать в шаблоне ARM.

Вы можете добавить новый каталог, обновив шаблон ARM кластера, кроме каталога hive, который можно добавить во время создания кластера Trino в портал Azure.

В этой статье показано, как добавить новый каталог в кластер с помощью шаблона ARM. В этом примере описаны шаги по добавлению каталогов SQL Server и памяти.

Необходимые компоненты

Шаги по добавлению каталога в шаблон ARM

  1. Подключите Key Vault и добавьте секреты в secretsProfile свойство.clusterProfile

    На этом шаге необходимо убедиться, что Key Vault и секреты настроены для кластера Trino. В следующем примере учетные данные SQL Server хранятся в этих секретах: trinotest-admin-user, trinotest-admin-pwd.

    "secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

  2. Добавьте каталоги в serviceConfigsProfiles свойство under clusterProfile .

    На этом шаге необходимо добавить в кластер конфигурацию конкретного каталога Trino. В следующем примере настраивается два каталога с помощью соединителей Памяти и SQL Server. Конфигурация каталога может быть указана двумя разными способами:

    • Пары "ключ-значение" в разделе значений.
    • Одна строка в свойстве содержимого.

    Каталог памяти определяется с помощью пары "ключ-значение", а каталог SQL Server определяется с помощью одного параметра строки.

     "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

    Свойства

    Свойство Description
    serviceName трино
    component Определяет, что раздел настраивает каталоги, должен быть "каталогами".
    files Список файлов каталога Trino, добавляемых в кластер.
    filename Список файлов каталога Trino, добавляемых в кластер.
    content json escape-строка, которая будет помещена в файл каталога trino. Эта строка должна содержать все свойства каталога, зависящие от типа используемого соединителя. Дополнительные сведения см. в документации osS trino.
    ${SECRET_REF:<referenceName>} Специальный тег для ссылки на секрет из secretProfile. Trino во время выполнения извлекает секрет из Key Vault и заменяет его в конфигурации каталога.
    Значения Можно указать конфигурацию каталога с помощью свойства содержимого в качестве одной строки и использовать отдельные пары "ключ-значение" для каждого отдельного свойства каталога Trino, как показано в каталоге памяти.

Разверните обновленный шаблон ARM, чтобы отразить изменения в кластере. Узнайте, как развернуть шаблон ARM.