Gerenciar clusters do Apache Hadoop no HDInsight usando o Azure PowerShell

Artigo
10/17/2024

O Azure PowerShell pode ser usado para controlar e automatizar a implantação e o gerenciamento de suas cargas de trabalho no Azure. Neste artigo, você aprenderá a gerenciar clusters do Apache Hadoop no HDInsight do Azure usando o módulo Az do Azure PowerShell. Para obter a lista de cmdlets do HDInsight PowerShell, consulte as Referência ao Az.HDInsight.

Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

Observação

Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Para começar, consulte Instalar o Azure PowerShell. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.

O Módulo Az do PowerShell instalado.

Criar clusters

Confira Criar clusters baseados em Linux no HDInsight usando o Azure PowerShell

Listar clusters

Use o seguinte comando para listar todos os clusters na assinatura atual:

Get-AzHDInsightCluster

Mostrar cluster

Use o seguinte comando para mostrar os detalhes de um cluster específico na assinatura atual:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Excluir clusters

Use o seguinte comando para excluir um cluster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Você também pode excluir um cluster removendo o grupo de recursos que contém o cluster. Excluir um grupo de recursos excluirá todos os recursos no grupo, incluindo a conta de armazenamento padrão.

Remove-AzResourceGroup -Name <Resource Group Name>

Dimensionar clusters

O recurso de dimensionamento de clusters permite que você altere o número de nós de trabalhador usados por um cluster em execução no Azure HDInsight sem precisar recriar o cluster. Para alterar o tamanho do cluster Hadoop usando o PowerShell do Azure, execute este comando no computador cliente:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Para saber mais sobre dimensionamento de clusters, consulte Dimensionar os clusters do HDInsight.

Atualizar credenciais de usuário HTTP

Set-AzHDInsightGatewayCredential define as credenciais de http do gateway de um cluster do Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Encontrar a conta de armazenamento padrão

O script do PowerShell a seguir demonstra como obter o nome da conta de armazenamento padrão e as informações relacionadas:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Encontrar o grupo de recursos

No modo do Gerenciador de Recursos, cada cluster HDInsight pertence a um grupo de recursos do Azure. Encontrar o grupo de recursos:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Enviar trabalhos

Enviar trabalhos MapReduce

Veja Execute os exemplos MapReduce incluídos no HDInsight.

Para enviar trabalhos do Apache Hive

Consulte Executar consultas do Apache Hive usando o PowerShell.

Para enviar trabalhos do Apache Sqoop

Veja Use o Apache Sqoop com o HDInsight.

Para enviar trabalhos do Apache Oozie

Consulte Use o Apache Oozie com o Apache Hadoop para definir e executar um fluxo de trabalho no HDInsight.

Carregar dados no armazenamento de Blob do Azure

Veja Carregar dados no HDInsight.

Compartilhar via