Предварительные требования для ресурса

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

В этой статье описаны ресурсы, необходимые для начала работы с HDInsight в AKS. Он охватывает необходимые и необязательные ресурсы и способы их создания.

Необходимые ресурсы

В следующей таблице показаны необходимые ресурсы, необходимые для создания кластера на основе типов кластера.

Рабочая нагрузка	Управляемое удостоверение службы (MSI)	Хранилище	SQL Server — База данных SQL	Key Vault
Трино	✅
Flink	✅	✅
Spark	✅	✅
Trino, Flink или Spark с хранилищем метаданных Hive (HMS)	✅	✅	✅	✅

Примечание.

MSI используется в качестве стандарта безопасности для проверки подлинности и авторизации между ресурсами, за исключением База данных SQL. Назначение роли происходит до развертывания, чтобы авторизовать MSI в хранилище, и секреты хранятся в хранилище ключей для База данных SQL. Поддержка хранилища используется в ADLS 2-го поколения и используется в качестве хранилища данных для вычислительных подсистем, а База данных SQL используется для управления таблицами в хранилище метаданных Hive.

Дополнительные ресурсы

• виртуальная сеть (виртуальная сеть) и подсеть: Создание виртуальной сети
• Рабочая область Log Analytics: создание рабочей области Log Analytics

Примечание.

• Для виртуальной сети требуется подсеть без существующей таблицы маршрутов, связанной с ней.
• HDInsight в AKS позволяет использовать собственную виртуальную сеть и подсеть, позволяя настраивать требования к сети в соответствии с потребностями вашей организации.
• Рабочая область Log Analytics является необязательной и должна быть создана заранее, если вы хотите использовать возможности Azure Monitor, такие как Azure Log Analytics.

Необходимые ресурсы можно создать двумя способами:

• Готовые к использованию шаблоны ARM
• Используя портал Azure

Использование шаблонов ARM

Следующие шаблоны ARM позволяют создавать указанные необходимые ресурсы в одном щелчке с помощью префикса ресурса и дополнительных сведений по мере необходимости.

Например, если вы предоставляете префикс ресурса в качестве демонстрации, в группе ресурсов создаются следующие ресурсы в зависимости от выбранного шаблона.

• MSI создается с именем .demoMSI
• Хранилище создается с именем, как demostore и контейнером democontainer.
• Хранилище ключей создается с именем, как demoKeyVault и секрет, предоставленный в качестве параметра в шаблоне.
• База данных SQL Azure создается с именем, как demoSqlDB и sql server с именем demoSqlServer.

Рабочая нагрузка	Необходимые компоненты
Трино	Создайте ресурсы, упомянутые ниже. 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем.
Flink	Создайте ресурсы, упомянутые ниже. 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. 2. Учетная запись хранения ADLS 2-го поколения и контейнер. Назначения ролей: 1. Назначает роль "Владелец данных BLOB-объектов хранилища" назначаемой пользователем MSI в учетной записи хранения.
Spark	Создайте ресурсы, упомянутые ниже. 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. 2. Учетная запись хранения ADLS 2-го поколения и контейнер. Назначения ролей: 1. Назначает роль "Владелец данных BLOB-объектов хранилища" назначаемой пользователем MSI в учетной записи хранения.
Trino, Flink или Spark с хранилищем метаданных Hive (HMS)	Создайте ресурсы, упомянутые ниже. 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. 2. Учетная запись хранения ADLS 2-го поколения и контейнер. 3. Azure SQL Server и База данных SQL. 4. Azure Key Vault и секрет для хранения учетных данных администратора SQL Server. Назначения ролей: 1. Назначает роль "Владелец данных BLOB-объектов хранилища" назначаемой пользователем MSI в учетной записи хранения. 2. Назначает роль "Пользователь секретов Key Vault" назначаемой пользователем MSI в Key Vault.

Примечание.

Использование этих шаблонов ARM требует от пользователя разрешения на создание новых ресурсов и назначение ролей ресурсам в подписке.

Используя портал Azure

Создание управляемого удостоверения, назначаемого пользователем (MSI)

Управляемое удостоверение — это удостоверение, зарегистрированное в идентификаторе Microsoft Entra (Идентификатор Microsoft Entra), учетные данные которого управляются Azure. При использовании управляемых удостоверений необходимо не регистрировать субъекты-службы в идентификаторе Microsoft Entra для хранения учетных данных, таких как сертификаты.

HDInsight в AKS использует MSI, назначаемый пользователем, для обмена данными между различными компонентами.

Создание учетной записи хранения — ADLS 2-го поколения

Учетная запись хранения используется в качестве расположения по умолчанию для журналов кластера и других выходных данных. Включите иерархическое пространство имен во время создания учетной записи хранения для использования в качестве хранилища ADLS 2-го поколения.

1. Назначьте роль: назначьте роль "Владелец данных BLOB-объектов хранилища" назначаемой пользователем MSI, созданной для этой учетной записи хранения.

2. Создайте контейнер: после создания учетной записи хранения создайте контейнер в учетной записи хранения.

Примечание.

Также доступен параметр создания контейнера во время создания кластера.

Создание База данных SQL Azure

Создайте База данных SQL Azure для использования в качестве внешнего хранилища метаданных во время создания кластера или можно использовать существующий База данных SQL. Однако убедитесь, что заданы следующие свойства.

Необходимые свойства для SQL Server и База данных SQL-

Тип ресурса	Свойство	Description
SQL Server	Authentication method	При создании SQL Server используйте метод проверки подлинности в качестве
База данных SQL	Разрешить доступ к серверу службам и ресурсам Azure	Включите это свойство в колонке "Сеть" в базе данных SQL в портал Azure.

Примечание.

• В настоящее время мы поддерживаем только База данных SQL Azure как встроенное хранилище метаданных.
• Из-за ограничения Hive символ "-" (дефис) в имени базы данных хранилища метаданных не поддерживается.
• База данных SQL Azure должны находиться в том же регионе, что и кластер.
• Также доступен параметр для создания База данных SQL во время создания кластера. Однако необходимо обновить страницу создания кластера, чтобы получить только что созданную базу данных в раскрывающемся списке.

Создание Azure Key Vault

Key Vault позволяет хранить набор паролей администратора SQL Server во время создания База данных SQL. HDInsight на платформе AKS напрямую не имеет дело с учетными данными. Поэтому необходимо сохранить важные учетные данные в Key Vault.

1. Назначьте роль: назначьте роль "Пользователь секретов Key Vault" назначенному пользователем MSI, созданному в рамках необходимых ресурсов в этом Key Vault.

2. Создание секрета. Этот шаг позволяет сохранить пароль администратора SQL Server в качестве секрета в Azure Key Vault. Добавьте пароль в поле "Значение" при создании секрета.

Примечание.

• Обязательно запишите имя секрета, так как это необходимо во время создания кластера.
• Для добавления секрета в Key Vault в Key Vault необходимо назначить роль администратора Key Vault, чтобы добавить секрет в Key Vault с помощью портал Azure. Перейдите в Key Vault и выполните действия по назначению роли.