Gérer les clusters Apache Hadoop dans HDInsight au moyen de PowerShell
Vous pouvez utiliser Azure PowerShell pour contrôler et automatiser le déploiement et la gestion de vos charges de travail dans Azure. Dans cet article, vous allez découvrir comment gérer des clusters Apache Hadoop dans Azure HDInsight à l’aide du module Az PowerShell. Pour obtenir la liste des cmdlets PowerShell HDInsight, consultez la rubrique Référence Az.HDInsight.
Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.
Prérequis
Notes
Nous vous recommandons d’utiliser le module Azure Az PowerShell pour interagir avec Azure. Pour bien démarrer, consultez Installer Azure PowerShell. Pour savoir comment migrer vers le module Az PowerShell, consultez Migrer Azure PowerShell depuis AzureRM vers Az.
Le module Az PowerShell installé.
Créer des clusters
Pour créer des clusters, consultez Créer des clusters basés sur Linux dans HDInsight à l’aide d’Azure PowerShell.
Lister les clusters
Pour afficher la liste de tous les clusters de l’abonnement actif, utilisez la commande suivante :
Get-AzHDInsightCluster
Afficher les clusters
Pour afficher les détails d’un cluster spécifique dans l’abonnement actif, utilisez la commande suivante :
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Suppression des clusters
Pour supprimer un cluster, utilisez la commande suivante :
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
Vous pouvez également supprimer un cluster en supprimant le groupe de ressources qui le contient. Supprimer un groupe de ressources supprime toutes les ressources dans le groupe, notamment le compte de stockage par défaut.
Remove-AzResourceGroup -Name <Resource Group Name>
Mise à l’échelle des clusters
Vous pouvez utiliser la fonctionnalité de mise à l’échelle de cluster pour modifier le nombre de nœuds Worker utilisés par un cluster exécuté dans Azure HDInsight sans avoir à recréer ce cluster. Pour modifier la taille du cluster Hadoop à l’aide de PowerShell, exécutez la commande suivante à partir d’un ordinateur client :
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
Pour plus d’informations sur la mise à l’échelle des clusters, consultez Mettre à l’échelle les clusters HDInsight.
Mettre à jour les informations d’identification de l’utilisateur HTTP
Le paramètre Set-AzHDInsightGatewayCredential définit les informations d'identification HTTP de passerelle d’un cluster HDInsight.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
Trouvez le compte de stockage par défaut
Le script PowerShell suivant montre comment obtenir le nom de compte de stockage par défaut et les informations connexes :
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"
if ($defaultStorageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
Trouvez le groupe de ressources
En mode Azure Resource Manager, chaque cluster HDInsight appartient à un groupe de ressources Azure. Pour rechercher le groupe de ressources, utilisez la commande suivante :
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Soumettre les travaux
Pour utiliser les produits suivants afin d’envoyer des travaux, suivez les instructions fournies dans les informations de référence :
- MapReduce : Exécuter les exemples MapReduce inclus dans HDInsight
- Apache Hive: Exécuter des requêtes Apache Hive avec PowerShell
- Apache Sqoop : Utiliser Apache Sqoop avec HDInsight
- Apache Oozie : Utiliser Apache Oozie avec Apache Hadoop pour définir et exécuter un workflow dans HDInsight
Charger des données dans Stockage Blob Azure
Pour charger des données dans Stockage Blob Azure, consultez Charger des données dans HDInsight.