Dela via

Hantera Apache Hadoop-kluster i Azure HDInsight med hjälp av PowerShell

  • Artikel

Du kan använda Azure PowerShell för att styra och automatisera distributionen och hanteringen av dina arbetsbelastningar i Azure. I den här artikeln får du lära dig hur du hanterar Apache Hadoop-kluster i Azure HDInsight med hjälp av Az PowerShell-modulen. En lista över HDInsight PowerShell-cmdletar finns i Az.HDInsight-referensen.

Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.

Förutsättningar

Kommentar

Vi rekommenderar att du använder Azure Az PowerShell-modulen för att interagera med Azure. Se Installera Azure PowerShell för att komma igång. Information om hur du migrerar till Az PowerShell-modulen finns i artikeln om att migrera Azure PowerShell från AzureRM till Az.

Az PowerShell-modulen har installerats.

Skapa kluster

Information om hur du skapar kluster finns i Skapa Linux-baserade kluster i HDInsight med hjälp av Azure PowerShell.

Lista kluster

Om du vill visa en lista över alla kluster i den aktuella prenumerationen använder du följande kommando:

Get-AzHDInsightCluster

Visa kluster

Om du vill visa information om ett specifikt kluster i den aktuella prenumerationen använder du följande kommando:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Ta bort kluster

Om du vill ta bort ett kluster använder du följande kommando:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Du kan också ta bort ett kluster genom att ta bort resursgruppen som innehåller klustret. Om du tar bort en resursgrupp tas alla resurser i gruppen bort, inklusive standardlagringskontot.

Remove-AzResourceGroup -Name <Resource Group Name>

Skala kluster

Du kan använda funktionen för klusterskalning för att ändra antalet arbetsnoder som används av ett kluster som körs i HDInsight utan att behöva återskapa klustret. Om du vill ändra Hadoop-klusterstorleken med hjälp av PowerShell kör du följande kommando från en klientdator:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Mer information om skalning av kluster finns i Skala HDInsight-kluster.

Uppdatera autentiseringsuppgifter för HTTP-användare

Parametern Set-AzHDInsightGatewayCredential anger GATEWAY HTTP-autentiseringsuppgifterna för ett HDInsight-kluster.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Hitta standardlagringskontot

Följande PowerShell-skript visar hur du hämtar standardnamnet för lagringskontot och den relaterade informationen:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Hitta resursgruppen

I Azure Resource Manager-läget tillhör varje HDInsight-kluster en Azure-resursgrupp. Använd följande kommando för att hitta resursgruppen:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Skicka jobb

Följ anvisningarna i referenserna om du vill använda följande produkter för att skicka jobb:

Ladda upp data till Azure Blob Storage

Information om hur du laddar upp data till Azure Blob Storage finns i Ladda upp data till HDInsight.

Relaterat innehåll