Общие сведения о хранилище кластера

Важный

Сервис Azure HDInsight на AKS был закрыт 31 января 2025 г. Узнайте больше с помощью этого объявления.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Для получения информации об этой конкретной предварительной версии см. информацию о предварительной версии Azure HDInsight на AKS. Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с указанием подробностей и следите за обновлениями в Azure HDInsight Community.

Azure HDInsight в AKS может легко интегрироваться с хранилищем Azure, которое является решением хранилища общего назначения, которое хорошо работает со многими другими службами Azure. Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) — это файловая система по умолчанию для кластеров.

Учетная запись хранения может использоваться в качестве расположения по умолчанию для данных, журналов кластера и других выходных данных, создаваемых во время операции кластера. Он также может служить хранилищем по умолчанию для каталога Hive, зависящим от типа кластера.

Дополнительные сведения см. в статье Введение в Azure Data Lake Storage Generation 2.

Управляемые идентификации для безопасного доступа к файлам

Azure HDInsight в AKS использует управляемые удостоверения (MSI) для защиты доступа к файлам в Azure Data Lake Storage 2-го поколения. Управляемое удостоверение — это функция идентификатора Microsoft Entra, который предоставляет службам Azure набор автоматически управляемых учетных данных. Эти учетные данные можно использовать для проверки подлинности в любой службе, поддерживающей проверку подлинности Active Directory. Кроме того, управляемые удостоверения не требуют хранения учетных данных в файлах кода или конфигурации.

В Azure HDInsight в AKS после выбора управляемого удостоверения и хранилища во время создания кластера управляемое удостоверение может легко работать с хранилищем для управления данными, если роль владельца данных хранилища BLOB-объектов, назначена назначаемой пользователем MSI.

В следующей таблице описаны поддерживаемые параметры хранения для Azure HDInsight в AKS (общедоступная предварительная версия):

Тип кластера	Поддерживаемое хранилище	Связь	Роль в хранилище
Trino, Apache Flink и Apache Spark	ADLS 2-го поколения	Управляемое удостоверение, назначаемое пользователем кластера (MSI)	Назначаемый пользователем MSI должен иметь роль владельца данных BLOB-объектов хранилища учетной записи хранения.

Заметка

Чтобы предоставить общий доступ к учетной записи хранения в нескольких кластерах, можно просто назначить кластеру соответствующее пользовательское MSI с ролью "Владелец данных BLOB-объектов хранилища" в общей учетной записи хранения. Узнайте, как назначить роль.

После этого можно использовать полный путь к хранилищу abfs:// для доступа к данным через приложения.

Дополнительные сведения см. в разделе Управляемые идентификаторы для ресурсов Azure.
Узнайте, как создать учетную запись ADLS 2-го поколения.

Архитектура хранилища AKS в Azure HDInsight

На следующей схеме представлено абстрактное представление архитектуры службы HDInsight на AKS в контексте Azure Storage.

Управление хранилищем

В настоящее время Azure HDInsight в AKS не поддерживает учетные записи хранения с включенным обратимым удалением, убедитесь, что вы отключите обратимое удаление для учетной записи хранения.