Udostępnij za pośrednictwem

Zarządzanie klastrami Apache Hadoop w usłudze Azure HDInsight przy użyciu programu PowerShell

  • Artykuł

Za pomocą programu Azure PowerShell można kontrolować i automatyzować wdrażanie obciążeń i zarządzanie nimi na platformie Azure. Z tego artykułu dowiesz się, jak zarządzać klastrami Apache Hadoop w usłudze Azure HDInsight przy użyciu modułu Az programu PowerShell. Aby uzyskać listę poleceń cmdlet programu PowerShell usługi HDInsight, zobacz dokumentację modułu Az.HDInsight.

Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Wymagania wstępne

Uwaga

Do interakcji z platformą Azure zalecamy używanie modułu Azure Az w programie PowerShell. Zobacz Instalowanie programu Azure PowerShell, aby rozpocząć. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.

Zainstalowany moduł Az programu PowerShell.

Tworzenie klastrów

Aby utworzyć klastry, zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu programu Azure PowerShell.

Wyświetlanie listy klastrów

Aby wyświetlić listę wszystkich klastrów w bieżącej subskrypcji, użyj następującego polecenia:

Get-AzHDInsightCluster

Pokaż klastry

Aby wyświetlić szczegóły określonego klastra w bieżącej subskrypcji, użyj następującego polecenia:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Usuwanie klastrów

Aby usunąć klaster, użyj następującego polecenia:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Klaster można również usunąć, usuwając grupę zasobów zawierającą klaster. Usunięcie grupy zasobów powoduje usunięcie wszystkich zasobów w grupie, w tym domyślnego konta magazynu.

Remove-AzResourceGroup -Name <Resource Group Name>

Skalowanie klastrów

Funkcja skalowania klastra umożliwia zmianę liczby węzłów roboczych używanych przez klaster działający w usłudze HDInsight bez konieczności ponownego tworzenia klastra. Aby zmienić rozmiar klastra Hadoop przy użyciu programu PowerShell, uruchom następujące polecenie z komputera klienckiego:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Aby uzyskać więcej informacji na temat skalowania klastrów, zobacz Skalowanie klastrów usługi HDInsight.

Aktualizowanie poświadczeń użytkownika HTTP

Parametr Set-AzHDInsightGatewayCredential ustawia poświadczenia HTTP bramy klastra usługi HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Znajdowanie domyślnego konta magazynu

Poniższy skrypt programu PowerShell pokazuje, jak uzyskać domyślną nazwę konta magazynu i powiązane informacje:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Znajdowanie grupy zasobów

W trybie usługi Azure Resource Manager każdy klaster usługi HDInsight należy do grupy zasobów platformy Azure. Aby znaleźć grupę zasobów, użyj następującego polecenia:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Przesyłanie zadań

Aby przesłać zadania przy użyciu następujących produktów, postępuj zgodnie z instrukcjami w dokumentacji:

Przekazywanie danych do usługi Azure Blob Storage

Aby przekazać dane do usługi Azure Blob Storage, zobacz Przekazywanie danych do usługi HDInsight.

Powiązana zawartość