Общие сведения о хранилище кластера
Важный
Сервис Azure HDInsight на AKS был закрыт 31 января 2025 г. Узнайте больше с помощью этого объявления.
Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.
Важный
Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Для получения информации об этой конкретной предварительной версии см. информацию о предварительной версии Azure HDInsight на AKS. Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с указанием подробностей и следите за обновлениями в Azure HDInsight Community.
Azure HDInsight в AKS может легко интегрироваться с хранилищем Azure, которое является решением хранилища общего назначения, которое хорошо работает со многими другими службами Azure. Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) — это файловая система по умолчанию для кластеров.
Учетная запись хранения может использоваться в качестве расположения по умолчанию для данных, журналов кластера и других выходных данных, создаваемых во время операции кластера. Он также может служить хранилищем по умолчанию для каталога Hive, зависящим от типа кластера.
Дополнительные сведения см. в статье Введение в Azure Data Lake Storage Generation 2.
Управляемые идентификации для безопасного доступа к файлам
Azure HDInsight в AKS использует управляемые удостоверения (MSI) для защиты доступа к файлам в Azure Data Lake Storage 2-го поколения. Управляемое удостоверение — это функция идентификатора Microsoft Entra, который предоставляет службам Azure набор автоматически управляемых учетных данных. Эти учетные данные можно использовать для проверки подлинности в любой службе, поддерживающей проверку подлинности Active Directory. Кроме того, управляемые удостоверения не требуют хранения учетных данных в файлах кода или конфигурации.
В Azure HDInsight в AKS после выбора управляемого удостоверения и хранилища во время создания кластера управляемое удостоверение может легко работать с хранилищем для управления данными, если роль владельца данных хранилища BLOB-объектов, назначена назначаемой пользователем MSI.
В следующей таблице описаны поддерживаемые параметры хранения для Azure HDInsight в AKS (общедоступная предварительная версия):
Тип кластера | Поддерживаемое хранилище | Связь | Роль в хранилище |
---|---|---|---|
Trino, Apache Flink и Apache Spark | ADLS 2-го поколения | Управляемое удостоверение, назначаемое пользователем кластера (MSI) | Назначаемый пользователем MSI должен иметь роль владельца данных BLOB-объектов хранилища учетной записи хранения. |
Заметка
Чтобы предоставить общий доступ к учетной записи хранения в нескольких кластерах, можно просто назначить кластеру соответствующее пользовательское MSI с ролью "Владелец данных BLOB-объектов хранилища" в общей учетной записи хранения. Узнайте, как назначить роль.
После этого можно использовать полный путь к хранилищу abfs://
для доступа к данным через приложения.
Дополнительные сведения см. в разделе Управляемые идентификаторы для ресурсов Azure.
Узнайте, как создать учетную запись ADLS 2-го поколения.
Архитектура хранилища AKS в Azure HDInsight
На следующей схеме представлено абстрактное представление архитектуры службы HDInsight на AKS в контексте Azure Storage.
Управление хранилищем
В настоящее время Azure HDInsight в AKS не поддерживает учетные записи хранения с включенным обратимым удалением, убедитесь, что вы отключите обратимое удаление для учетной записи хранения.