Partilhar via

Gerenciar clusters Apache Hadoop no Azure HDInsight usando o PowerShell

  • Artigo

Você pode usar o Azure PowerShell para controlar e automatizar a implantação e o gerenciamento de suas cargas de trabalho no Azure. Neste artigo, você aprenderá a gerenciar clusters Apache Hadoop no Azure HDInsight usando o módulo Az PowerShell. Para obter a lista dos cmdlets do PowerShell do HDInsight, consulte a referência do Az.HDInsight.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

Nota

Recomendamos que utilize o módulo Azure Az do PowerShell para interagir com o Azure. Para começar, consulte Instalar o Azure PowerShell. Para saber como migrar para o módulo do Az PowerShell, veja Migrar o Azure PowerShell do AzureRM para o Az.

O módulo Az PowerShell instalado.

Criar clusters

Para criar clusters, consulte Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell.

Listar clusters

Para listar todos os clusters na assinatura atual, use o seguinte comando:

Get-AzHDInsightCluster

Mostrar clusters

Para mostrar detalhes de um cluster específico na assinatura atual, use o seguinte comando:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Excluir clusters

Para excluir um cluster, use o seguinte comando:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Você também pode excluir um cluster removendo o grupo de recursos que contém o cluster. A exclusão de um grupo de recursos exclui todos os recursos do grupo, incluindo a conta de armazenamento padrão.

Remove-AzResourceGroup -Name <Resource Group Name>

Dimensionar clusters

Você pode usar o recurso de dimensionamento de cluster para alterar o número de nós de trabalho usados por um cluster em execução no HDInsight sem precisar recriar o cluster. Para alterar o tamanho do cluster Hadoop usando o PowerShell, execute o seguinte comando em uma máquina cliente:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Para obter mais informações sobre como dimensionar clusters, consulte Dimensionar clusters HDInsight.

Atualizar credenciais de usuário HTTP

O parâmetro Set-AzHDInsightGatewayCredential define as credenciais HTTP do gateway de um cluster HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Localizar a conta de armazenamento padrão

O seguinte script do PowerShell demonstra como obter o nome da conta de armazenamento padrão e as informações relacionadas:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Localizar o grupo de recursos

No modo Azure Resource Manager, cada cluster HDInsight pertence a um grupo de recursos do Azure. Para localizar o grupo de recursos, use o seguinte comando:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Enviar trabalhos

Para usar os seguintes produtos para enviar trabalhos, siga as instruções nas referências:

Carregar dados para o Armazenamento de Blobs do Azure

Para carregar dados no Armazenamento de Blobs do Azure, consulte Carregar dados no HDInsight.

Conteúdos relacionados