Compartir vía

Administración de clústeres de Apache Hadoop en Azure HDInsight mediante PowerShell

  • Artículo

Se puede usar Azure PowerShell para controlar y automatizar la implementación y administración de las cargas de trabajo en Azure. En este artículo aprenderá a administrar clústeres de Apache Hadoop en Azure HDInsight mediante el módulo Az de Azure PowerShell. Para más información sobre los cmdlets de PowerShell de HDInsight, consulte la referencia de Az.HDInsight.

Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.

Requisitos previos

Nota:

Se recomienda usar el módulo Azure Az de PowerShell para interactuar con Azure. Para comenzar, consulte Instalación de Azure PowerShell. Para más información sobre cómo migrar al módulo Az de PowerShell, consulte Migración de Azure PowerShell de AzureRM a Az.

El módulo Az de PowerShell instalado.

Creación de clústeres

Para crear clústeres, consulte Creación de clústeres basados en Linux en HDInsight mediante Azure PowerShell.

Lista de clústeres

Use el comando siguiente para enumerar todos los clústeres de la suscripción actual:

Get-AzHDInsightCluster

Mostrar clústeres

Use el comando siguiente para mostrar los detalles de un clúster específico de la suscripción actual:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Eliminación de clústeres

Use el comando siguiente para eliminar un clúster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

También puede eliminar un clúster quitando el grupo de recursos que contiene el clúster. Al eliminar un grupo de recursos, se eliminan todos los recursos del grupo, incluida la cuenta de almacenamiento predeterminada.

Remove-AzResourceGroup -Name <Resource Group Name>

Escalado de clústeres

Use la característica de escalado de clústeres para cambiar el número de nodos de trabajo que usa un clúster que se ejecuta en HDInsight sin tener que volver a crear el clúster. Para cambiar el tamaño del clúster de Hadoop mediante PowerShell, ejecute el siguiente comando desde una máquina cliente:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Para más información sobre la escalabilidad de los clústeres, consulte Escalabilidad de clústeres de HDInsight.

Actualización de las credenciales de usuario HTTP

El parámetro Set-AzHDInsightGatewayCredential establece las credenciales HTTP de puerta de enlace de un clúster de HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Búsqueda de la cuenta de almacenamiento predeterminada

El siguiente script de PowerShell muestra cómo obtener el nombre de la cuenta de almacenamiento predeterminada y la información relacionada:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Búsqueda del grupo de recursos

En el modo de Azure Resource Manager, cada clúster de HDInsight pertenece a un grupo de recursos de Azure. Use el comando siguiente para eliminar el grupo de recursos:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Envío de trabajos

Para usar los siguientes productos con el fin de enviar trabajos, siga las instrucciones de las referencias:

Cargar en Azure Blob Storage

Para cargar datos en Azure Blob Storage, consulte Carga de datos en HDInsight.

Contenido relacionado