Предварительные требования к ресурсам
Важный
Сервис Azure HDInsight на AKS был прекращён 31 января 2025 г. Узнайте больше о из этого объявления.
Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.
Важный
Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с подробными сведениями и следите за обновлениями в Azure HDInsight Community.
В этой статье описаны ресурсы, необходимые для начала работы с HDInsight в AKS. Он охватывает необходимые и необязательные ресурсы и способы их создания.
Необходимые ресурсы
В следующей таблице показаны необходимые ресурсы, необходимые для создания кластера на основе типов кластера.
| Загруженность | Управляемое удостоверение службы (MSI) | Хранение | SQL Server — база данных SQL | Хранилище ключей |
|---|---|---|---|---|
| Трино | ✅ | |||
| Flink | ✅ | ✅ | ||
| Спарк | ✅ | ✅ | ||
| Trino, Flink или Spark с хранилищем метаданных Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Заметка
MSI используется в качестве стандарта безопасности для проверки подлинности и авторизации между ресурсами, кроме базы данных SQL. Назначение роли происходит до развертывания, чтобы авторизовать MSI для доступа к хранилищу, а секреты сохраняются в хранилище ключей для базы данных SQL. Поддержка хранилища обеспечивается с помощью ADLS Gen2 и используется в качестве хранилища данных для вычислительных систем, а база данных SQL используется для управления таблицами в Hive Metastore.
Необязательные ресурсы
- Виртуальная сеть и подсеть: Создание виртуальной сети
- Рабочая область Log Analytics: Создать рабочую область Log Analytics
Заметка
- Для виртуальной сети требуется подсеть без существующей таблицы маршрутов, связанной с ней.
- HDInsight в AKS позволяет использовать собственную виртуальную сеть и подсеть, позволяя настраивать требования к сети в соответствии с потребностями вашего предприятия.
- Рабочая область Log Analytics необязательна и должна быть создана заранее, если вы хотите использовать возможности Azure Monitor, такие как Azure Log Analytics.
Необходимые ресурсы можно создать двумя способами:
Использование шаблонов ARM
Следующие шаблоны ARM позволяют создавать указанные необходимые ресурсы в одном щелчке с помощью префикса ресурса и дополнительных сведений по мере необходимости.
Например, если вы предоставляете префикс ресурса в качестве демонстрации, в группе ресурсов создаются следующие ресурсы в зависимости от выбранного шаблона.
- MSI создается с именем
demoMSI. - Хранилище создается с именем
demostoreвместе с контейнером какdemocontainer. - Хранилище ключей создается с именем
demoKeyVaultвместе с секретом, предоставленным в качестве параметра в шаблоне. - База данных SQL Azure создается с именем
demoSqlDBвместе с SQL Server с именемdemoSqlServer.
| Загруженность | Необходимые условия |
|---|---|
| Трино |
Создайте ресурсы, упомянутые следующим образом: 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. развертывание Trino в Azure |
| Flink |
Создайте ресурсы, как указано ниже: 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. 2. Учетная запись хранения ADLS 2-го поколения и контейнер. назначения ролей: 1. Назначает роль "Владелец данных BLOB-объектов хранилища" MSI, назначенной пользователем, в учетной записи хранилища. |
| Искра |
Создайте ресурсы, упомянутые следующим образом: 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. 2. Учетная запись хранения ADLS 2-го поколения и контейнер. назначения ролей: 1. Назначает роль "Владелец данных BLOB-объектов хранилища" назначаемой пользователем MSI в учетной записи хранения. |
| Trino, Flink или Spark с хранилищем метаданных Hive (HMS) |
Создание ресурсов, упомянутых следующим образом: 1. Управляемое удостоверение службы (MSI): управляемое удостоверение, назначаемое пользователем. 2. Учетная запись хранения ADLS 2-го поколения и контейнер. 3. Azure SQL Server и База данных SQL. 4. Azure Key Vault и секрет для хранения учетных данных администратора SQL Server. назначение ролей: 1. Назначает роль "Владелец данных BLOB-объектов хранилища" назначенному пользователем MSI в учетной записи хранилища. 2. Назначает роль "Пользователь секретов Key Vault" назначенному пользователем MSI в Key Vault. |
Заметка
Использование этих шаблонов ARM требует от пользователя разрешения на создание новых ресурсов и назначение ролей ресурсам в подписке.
Использование портала Azure
создание управляемого удостоверения, назначаемого пользователем (MSI)
Управляемое удостоверение — это удостоверение, зарегистрированное в идентификаторе Microsoft Entra (Идентификатор Microsoft Entra), учетные данные которого управляются Azure. При использовании управляемых удостоверений нет необходимости регистрировать субъектов-служб в Microsoft Entra ID для работы с учетными данными, такими как сертификаты.
HDInsight в AKS использует MSI, назначаемый пользователем, для обмена данными между различными компонентами.
создание учетной записи хранения — ADLS 2-го поколения
Учетная запись хранения используется в качестве расположения по умолчанию для журналов кластера и других выходных данных. Включите иерархическое пространство имен во время создания учетной записи хранения для использования в качестве хранилища ADLS 2-го поколения.
назначьте роль: назначьте роль "Владелец данных BLOB-объектов хранилища" назначенному пользователем MSI, созданному для этой учетной записи хранения.
создание контейнера: после создания учетной записи хранения создайте контейнер в учетной записи хранения.
Заметка
Также доступен параметр создания контейнера во время создания кластера.
создание базы данных SQL Azure
Создайте базу данных SQL Azure для использования в качестве внешнего хранилища метаданных во время создания кластера или можно использовать существующую базу данных SQL. Однако убедитесь, что заданы следующие свойства.
Необходимые свойства для включения для базы данных SQL Server и базы данных SQL-
| Тип ресурса | Свойство | Описание |
|---|---|---|
| SQL Server | Метод проверки подлинности | При создании SQL Server выберите метод проверки подлинности как 
|
| База данных SQL | Разрешить службам и ресурсам Azure доступ к этому серверу | Включите это свойство в колонке "Сеть" в базе данных SQL на портале Azure. |
Заметка
- В настоящее время мы поддерживаем только базу данных SQL Azure в качестве встроенного хранилища метаданных.
- Из-за ограничения Hive символ "-" (дефис) в имени базы данных хранилища метаданных не поддерживается.
- База данных SQL Azure должна находиться в том же регионе, что и кластер.
- Также доступен параметр для создания базы данных SQL во время создания кластера. Однако необходимо обновить страницу создания кластера, чтобы получить только что созданную базу данных в раскрывающемся списке.
Создание Azure Key Vault
Key Vault позволяет хранить набор паролей администратора SQL Server во время создания базы данных SQL. HDInsight на платформе AKS напрямую не имеет дело с учетными данными. Поэтому необходимо сохранить важные учетные данные в Key Vault.
Назначьте роль. Назначьте роль "Пользователь секретов Key Vault" назначенному пользователем MSI, созданному в рамках необходимых ресурсов в этом Key Vault.
создание секрета. Этот шаг позволяет сохранить пароль администратора SQL Server в качестве секрета в Azure Key Vault. Добавьте пароль в поле "Значение" при создании секрета.
Заметка
- Обязательно запишите имя секрета, так как это необходимо во время создания кластера.
- Для добавления секрета в хранилище ключей (Key Vault) на портале Azure необходимо, чтобы роль "Администратор Key Vault" была назначена вашему идентификатору или учетной записи. Перейдите в Key Vault и выполните указания в разделе о назначении роли.