Compartir a través de

Inicio rápido: creación de un grupo de clústeres de HDInsight en AKS mediante la CLI de Azure

  • Artículo

Nota:

Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.

Solo el soporte técnico básico estará disponible hasta la fecha de retirada.

Importante

Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.

HDInsight en AKS presenta el concepto de clústeres y grupos de clústeres, lo que le permitirá obtener todo el valor de los almacenes de lago de datos.

  • Losgrupos de clústeres son una agrupación lógica de clústeres y mantienen un conjunto de clústeres en el mismo grupo, lo que ayuda a crear una interoperabilidad sólida en varios tipos de clúster. Se puede crear dentro de una red virtual existente o fuera de una red virtual.

    Un grupo de clústeres de HDInsight en AKS corresponde a un clúster de la infraestructura de AKS.

  • Losclústeres son cargas de trabajo de proceso individuales, como Apache Spark, Apache Flink o Trino, que se pueden crear en el mismo grupo de clústeres.

Para cada tipo de clúster, debe tener un grupo de clústeres. Se puede crear de forma independiente o puede crear un nuevo grupo de clústeres durante la creación del clúster. En esta guía de inicio rápido aprenderá a crear un grupo de clústeres mediante la CLI de Azure.

Requisitos previos

Asegúrese de completó los requisitos previos de suscripción antes de crear un grupo de clústeres.

Inicio de Azure Cloud Shell

Azure Cloud Shell es un shell interactivo que puede usar para ejecutar los pasos de este artículo. Tiene las herramientas comunes de Azure preinstaladas y configuradas para usarlas en la cuenta.

Definición de las variables de entorno

El primer paso es definir las variables de entorno. Las variables de entorno se usan normalmente en Linux para centralizar los datos de configuración para mejorar la coherencia y el mantenimiento del sistema. Cree las siguientes variables de entorno para especificar los nombres de los recursos que creará más adelante en este tutorial:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Inicie sesión en Azure mediante la CLI

Para ejecutar comandos en Azure utilizando la CLI, primero debe iniciar sesión. Inicie sesión con el comando az login.

Crear un grupo de recursos

Un grupo de recursos es un contenedor para los recursos relacionados. Todos los recursos se deben colocar en un grupo de recursos. El comando crear grupo de az crea un grupo de recursos con los parámetros $ResourceGroup y $Region definidos anteriormente.

az group create --name $ResourceGroup --location $Region

Salida:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Creación del grupo de clústeres de HDInsight en AKS

Para crear un grupo de clústeres de HDInsight en AKS en este grupo de recursos, use el comando az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Este es un ejemplo:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

La creación de HDInsight en el grupo de clústeres de AKS tarda unos minutos. La siguiente salida de ejemplo muestra que la operación creada se ha realizado correctamente.

Salida:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Nota:

Para más información sobre los comandos de la CLI del grupo de clústeres, consulte comandos.

Limpieza de recursos

Cuando ya no sea necesario, limpie los recursos que no sean necesarios para evitar los cargos de Azure. Puede quitar el grupo de recursos, el grupo de clústeres y todos los demás recursos del grupo de recursos con el comando az group delete.

Nota:

Para eliminar un grupo de clústeres, asegúrese de que no haya clústeres activos en el grupo de clústeres.