다음을 통해 공유

PowerShell을 사용하여 Azure HDInsight에서 Apache Hadoop 클러스터 관리

  • 아티클

Azure PowerShell을 사용하여 Azure에서 워크로드의 배포 및 관리를 제어하고 자동화할 수 있습니다. 이 문서에서는 Az PowerShell 모듈을 사용하여 Azure HDInsight에서 Apache Hadoop 클러스터를 관리하는 방법을 알아봅니다. HDInsight PowerShell cmdlet의 목록은 Az.HDInsight 참조를 참조하세요.

Azure 구독이 아직 없는 경우 시작하기 전에 체험 계정을 만듭니다.

사전 요구 사항

참고 항목

Azure Az PowerShell 모듈을 사용하여 Azure와 상호 작용하는 것이 좋습니다. 시작하려면 Azure PowerShell 설치를 참조하세요. Az PowerShell 모듈로 마이그레이션하는 방법에 대한 자세한 내용은 Azure PowerShell을 AzureRM에서 Azure로 마이그레이션을 참조하세요.

Az PowerShell 모듈이 설치되었습니다.

클러스터 만들기

클러스터를 만들려면 Azure PowerShell을 사용하여 HDInsight에서 Linux 기반 클러스터 만들기를 참조하세요.

클러스터 나열

현재 구독의 모든 클러스터를 나열하려면 다음 명령을 사용합니다.

Get-AzHDInsightCluster

클러스터 표시

현재 구독에서 특정 클러스터의 세부 정보를 표시하려면 다음 명령을 사용합니다.

Get-AzHDInsightCluster -ClusterName <Cluster Name>

클러스터 삭제

클러스터를 삭제하려면 다음 명령을 사용합니다.

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

또한 클러스터를 포함하는 리소스 그룹을 제거하여 클러스터를 삭제할 수도 있습니다. 리소스 그룹을 삭제하면 기본 스토리지 계정을 포함하여 그룹의 모든 리소스가 삭제됩니다.

Remove-AzResourceGroup -Name <Resource Group Name>

클러스터 크기 조정

클러스터 크기 조정 기능을 사용하여 클러스터를 다시 만들지 않고도 HDInsight에서 실행되는 클러스터에서 사용하는 작업자 노드 수를 변경할 수 있습니다. PowerShell을 사용하여 Hadoop 클러스터 크기를 변경하려면 클라이언트 컴퓨터에서 다음 명령을 실행합니다.

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

클러스터 크기 조정에 대한 자세한 내용은 HDInsight 클러스터 크기 조정을 참조하세요.

HTTP 사용자 자격 증명 업데이트

Set-AzHDInsightGatewayCredential 매개 변수는 HDInsight 클러스터의 게이트웨이 HTTP 자격 증명을 설정합니다.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

기본 스토리지 계정 찾기

다음 PowerShell 스크립트에서는 클러스터에 대한 기본 스토리지 계정 이름 및 관련 정보를 가져오는 방법을 보여 줍니다.

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

리소스 그룹 찾기

Azure Resource Manager 모드에서 각 HDInsight 클러스터는 Azure 리소스 그룹에 속합니다. 리소스 그룹을 찾으려면 다음 명령을 사용합니다.

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

작업 제출

다음 제품을 사용하여 작업을 제출하려면 참조의 지침을 따릅니다.

Azure Blob Storage에 데이터 업로드

Azure Blob Storage에 데이터를 업로드하려면 HDInsight에 데이터 업로드를 참조하세요.

관련 콘텐츠