Rychlý start: Vytvoření SLUŽBY HDInsight ve fondu clusterů AKS pomocí Azure CLI

Článek
09/20/2024

Důležitý

Azure HDInsight služba na AKS byla ukončena 31. ledna 2025. Zjistěte více prostřednictvím tohoto oznámení.

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro Microsoft Azure ve verzi Preview obsahují další právní podmínky, které se vztahují na funkce Azure, jež jsou ve verzi beta, ve verzi Preview nebo dosud nebyly vydány do obecné dostupnosti. Informace o této konkrétní verzi preview najdete v tématu Azure HDInsight v AKS preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace na komunitě Azure HDInsight.

HDInsight v AKS představuje koncept klastrových fondů a klastrů, které umožňují realizovat úplnou hodnotu datového lakehousu.

Pooly clusterů jsou logické seskupení clusterů, které udržují sadu clusterů ve stejném poolu, což pomáhá při vytváření robustní interoperability napříč různými typy clusterů. Dá se vytvořit v rámci existující virtuální sítě nebo mimo ni.

Fond klastrů ve službě HDInsight v AKS odpovídá jednomu klastru v infrastruktuře AKS.
clustery jsou jednotlivé výpočetní úlohy, jako je Apache Spark, Apache Flink nebo Trino, které je možné vytvořit ve stejném fondu clusterů.

Pro každý typ clusteru musíte mít pool clusterů. Můžete ho vytvořit nezávisle, nebo můžete během vytváření clusteru vytvořit nový pool clusteru. V tomto rychlém startu se dozvíte, jak vytvořit fond clusterů pomocí Azure CLI.

Požadavky

Před vytvořením fondu clusterů se ujistěte, že jste dokončili požadavky na předplatné .

Spuštění Azure Cloud Shellu

Azure Cloud Shell je interaktivní prostředí, které můžete použít ke spuštění kroků v tomto článku. Má předinstalované a nakonfigurované běžné nástroje Azure pro použití s vaším účtem.

- Použijte prostředí Bash v Azure Cloud Shellu. Další informace naleznete v Rychlém startu pro Bash ve službě Azure Cloud Shell.
- Pokud dáváte přednost místnímu spouštění referenčních příkazů rozhraní příkazového řádku, nainstalujte Azure CLI. Pokud používáte Windows nebo macOS, zvažte spuštění Azure CLI v kontejneru Dockeru. Další informace najdete v tématu Spuštění Azure CLI v kontejneru Dockeru.
  - Pokud používáte místní instalaci, přihlaste se k Azure CLI pomocí příkazu az login. Pokud chcete dokončit proces ověřování, postupujte podle kroků zobrazených v terminálu. Další možnosti přihlášení najdete v tématu Přihlášení pomocí azure CLI.
  - Po zobrazení výzvy nainstalujte rozšíření Azure CLI při prvním použití. Další informace o rozšířeních najdete v tématu Použití rozšíření pomocí azure CLI.
  - Spuštěním příkazu az version vyhledejte nainstalované verze a závislé knihovny. Pokud chcete upgradovat na nejnovější verzi, spusťte az upgrade.
Tento článek vyžaduje Azure CLI verze 2.56.0 nebo vyšší. Pokud používáte Azure Cloud Shell, je tam už nainstalovaná nejnovější verze.
Pokud máte více předplatných Azure, vyberte odpovídající ID předplatného, ve kterém se mají prostředky fakturovat pomocí příkazu az account set. Další informace najdete v tématu Správa předplatných Azure – Azure CLI.
Cloud Shell můžete otevřít také na samostatné kartě prohlížeče tak, že přejdete na https://shell.azure.com/bash.

Definování proměnných prostředí

Prvním krokem je definování proměnných prostředí. Proměnné prostředí se v Linuxu běžně používají k centralizaci konfiguračních dat, aby se zlepšila konzistence a udržovatelnost systému. Vytvořte následující proměnné prostředí pro zadání názvů prostředků, které vytvoříte později v tomto kurzu:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Přihlášení k Azure pomocí rozhraní příkazového řádku

Abyste mohli spouštět příkazy v Azure pomocí rozhraní příkazového řádku, musíte se nejdřív přihlásit. Přihlaste se pomocí příkazu az login.

Vytvoření skupiny prostředků

Skupina prostředků je kontejner pro související prostředky. Všechny prostředky musí být umístěné ve skupině prostředků. Příkaz az group create vytvoří skupinu prostředků s dříve definované parametry $ResourceGroup a $Region.

az group create --name $ResourceGroup --location $Region

Výstup:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Vytvoření služby HDInsight ve fondu clusterů AKS

Pokud chcete vytvořit HDInsight ve fondu clusterů AKS v této skupině prostředků, použijte příkaz az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Tady je příklad:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Vytvoření služby HDInsight ve fondu clusteru AKS trvá několik minut. Následující příklad výstupu ukazuje, že vytvořená operace byla úspěšná.

Výstup:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Poznámka

Další informace o příkazech rozhraní příkazového řádku fondu clusterů najdete v tématu příkazy.

Vyčištění prostředků

Pokud už nepotřebujete, vyčistěte nepotřebné prostředky, abyste se vyhnuli poplatkům za Azure. Pomocí příkazu az group delete můžete odebrat skupinu prostředků, fond clusterů a všechny ostatní prostředky v této skupině.