Краткое руководство: создание HDInsight для пула кластеров AKS с помощью Azure CLI

Статья
09/20/2024

Важный

Azure HDInsight на платформе AKS снято с эксплуатации 31 января 2025 г. Узнайте больше с этим объявлением.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

HDInsight в AKS представляет концепцию пулов кластеров и кластеров, что позволяет реализовать всю ценность озера-хранилища данных.

пулы кластеров представляют собой логическую группирование кластеров и поддерживают набор кластеров в одном пуле, что помогает создавать надежную совместимость между несколькими типами кластеров. Его можно создать в существующей виртуальной сети или вне виртуальной сети.

Пул кластеров в HDInsight в AKS соответствует одному кластеру в инфраструктуре AKS.
кластеры представляют собой отдельные вычислительные задачи, такие как Apache Spark, Apache Flink или Trino, которые можно запускать в одном пуле кластеров.

Для каждого типа кластера необходимо иметь пул кластера. Его можно создать независимо или создать новый пул кластеров во время создания кластера. Из этого краткого руководства вы узнаете, как создать пул кластеров с помощью Azure CLI.

Необходимые условия

Убедитесь, что вы выполнили предварительные условия подписки перед созданием пула кластеров.

Запуск Azure Cloud Shell

Azure Cloud Shell — это интерактивная оболочка, которую можно использовать для выполнения действий, описанных в этой статье. Он содержит стандартные средства Azure, предварительно установленные и настроенные для использования с вашей учетной записью.

- Используйте среду Bash в Azure Cloud Shell. Дополнительные сведения см. в руководстве «Краткий старт для Bash в Azure Cloud Shell».
- Если вы предпочитаете локально запускать справочные команды CLI, установить Azure CLI. Если вы работаете в Windows или macOS, попробуйте запустить Azure CLI в контейнере Docker. Дополнительные сведения см. в статье Запуск Azure CLI в контейнере Docker.
  - Если вы используете локальную установку, войдите в Azure CLI с помощью команды az login. Чтобы завершить процесс проверки подлинности, выполните действия, отображаемые в терминале. Сведения о других параметрах входа см. в статье Вход с помощьюAzure CLI.
  - При появлении запроса установите расширение Azure CLI при первом использовании. Дополнительные сведения о расширениях см. в статье Использование расширений сAzure CLI.
  - Выполните команду az version, чтобы узнать установленную версию и зависимые библиотеки. Чтобы обновить до последней версии, выполните az upgrade.
Для этой статьи требуется Azure CLI версии 2.56.0 или более поздней. Если вы используете Azure Cloud Shell, последняя версия уже установлена там.
Если у вас несколько подписок Azure, выберите соответствующий идентификатор подписки, в котором должны выставляться счета за ресурсы с помощью команды az account set. Дополнительные сведения см. в статье Управление подписками Azure — Azure CLI.
Вы также можете открыть Cloud Shell на отдельной вкладке браузера, перейдя в https://shell.azure.com/bash.

Определение переменных среды

Первым шагом является определение переменных среды. Переменные среды обычно используются в Linux для централизации данных конфигурации для повышения согласованности и удобства обслуживания системы. Создайте следующие переменные среды, чтобы указать имена ресурсов, создаваемых далее в этом руководстве:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Вход в Azure с помощью интерфейса командной строки

Чтобы выполнить команды в Azure с помощью интерфейса командной строки, сначала необходимо войти в систему. Войдите с помощью команды az login.

Создание группы ресурсов

Группа ресурсов — это контейнер для связанных ресурсов. Все ресурсы должны быть помещены в группу ресурсов. Команда az group create создает группу ресурсов с ранее определенными параметрами $ResourceGroup и $Region.

az group create --name $ResourceGroup --location $Region

Выпуск:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Создание HDInsight в пуле кластеров AKS

Чтобы создать HDInsight в пуле кластеров AKS в этой группе ресурсов, используйте команду az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Ниже приведен пример:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Создание HDInsight в пуле кластеров AKS занимает несколько минут. В следующем примере выходных данных показано, что созданная операция выполнена успешно.

Выпуск:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Заметка

Для получения дополнительной информации о командах CLI пула кластеров, см. команды в .

Очистка ресурсов

При отсутствии необходимости очистите ненужные ресурсы, чтобы избежать расходов Azure. Вы можете удалить группу ресурсов, пул кластеров и все другие ресурсы в группе ресурсов с помощью команды az group delete.