Настройка каталогов

Статья
09/20/2024

Важный

Azure HDInsight на AKS прекращено 31 января 2025 г. Узнайте больше из этого объявления.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии Azure HDInsight на AKS см. в . Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с подробным описанием и подписывайтесь на нас для получения дополнительных обновлений в Azure HDInsight Community.

Каждый кластер Trino по умолчанию поставляется с несколькими каталогами: system, tpcds, tpch. Вы можете добавить собственные каталоги так же, как и в OSS Trino. Кроме того, Trino с HDInsight в AKS позволяет хранить секреты в Key Vault, так что их не нужно явно указывать в шаблоне ARM.

Вы можете добавить новый каталог, обновив шаблон ARM кластера, кроме каталога hive, который можно добавить во время создания кластера Trino на портале Azure.

В этой статье показано, как добавить новый каталог в кластер с помощью шаблона ARM. В этом примере описаны шаги по добавлению каталогов SQL Server и памяти.

Необходимые условия

Рабочий кластер Trino с HDInsight на AKS.
База данных SQL Azure.
Учетные данные сервера SQL Azure хранятся в секретах Key Vault и пользовательской MSI, присоединенной к вашему кластеру Trino с разрешениями на их чтение. Обратитесь к хранению учетных данных в Key Vault и назначьте роль для MSI.
Создайте шаблон ARM для кластера.
Знакомство с разработкой и развертыванием шаблонов ARM.
Просмотрите полный пример шаблона ARM кластера arm-trino-catalog-sample.json.

Шаги по добавлению каталога в шаблон ARM

Подключите Key Vault и добавьте секреты для secretsProfile в свойство clusterProfile.

На этом шаге необходимо убедиться, что Key Vault и секреты настроены для кластера Trino. В следующем примере учетные данные SQL Server хранятся в этих секретах: trinotest-admin-user, trinotest-admin-pwd.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

Добавьте каталоги к свойству clusterProfile под элементом serviceConfigsProfiles.

На этом шаге необходимо добавить в кластер конфигурацию конкретного каталога Trino. В следующем примере настраивается два каталога с помощью соединителей Памяти и SQL Server. Конфигурация каталога может быть указана двумя разными способами:

Пары "ключ-значение" в разделе значений.
Одна строка в свойстве содержимого.

Каталог памяти определяется с помощью пары "ключ-значение", а каталог SQL Server определяется с помощью одного параметра строки.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

Свойства

Свойство	Описание
serviceName	трино
компонент	Определяет, что раздел настраивает каталоги, и он должен называться "каталогами".
Файлы	Список файлов каталога Trino, добавляемых в кластер.
имя файла	Список файлов каталога Trino, добавляемых в кластер.
содержание	`json` экранированная строка для помещения в файл каталога Trino. Эта строка должна содержать все свойства каталога, специфические для Trino, которые зависят от типа используемого соединителя. Дополнительные сведения см. в документации osS trino.
${SECRET_REF:<referenceName>}	Специальный тег для ссылки на секрет из secretProfile. Trino во время выполнения извлекает секрет из Key Vault и заменяет его в конфигурации каталога.
Значения	Можно указать конфигурацию каталога с помощью свойства содержимого в качестве одной строки и использовать отдельные пары "ключ-значение" для каждого отдельного свойства каталога Trino, как показано в каталоге памяти.

Разверните обновленный шаблон ARM, чтобы отразить изменения в кластере. Узнайте, как развернуть шаблон ARM.

Поделиться через

Настройка каталогов

Необходимые условия

Шаги по добавлению каталога в шаблон ARM

Дополнительные ресурсы