Azure HDInsight 클러스터를 위한 AMA(Azure Monitor 에이전트) 마이그레이션 가이드

Azure HDInsight는 엔터프라이즈급 관리형 클러스터 서비스입니다. 이 서비스는 Azure에서 Apache Spark, Hadoop, HBase 및 Kafka과 같은 오픈 소스 분석 프레임 워크를 실행합니다. Azure HDInsight는 고객이 빅 데이터 분석 애플리케이션을 보다 효율적으로 관리할 수 있도록 다른 Azure 서비스와 통합되었습니다.

Log Analytics는 Azure Portal에서 로그 쿼리를 편집하고 실행하는 도구를 제공합니다. 쿼리는 Azure Monitor 로그에 의해 수집된 데이터에서 가져온 후 대화형으로 결과를 분석합니다. 고객은 Log Analytics 쿼리를 사용하여 특정 조건과 일치하는 레코드를 검색할 수 있습니다. 또한 쿼리를 사용하여 추세를 식별하고, 패턴을 분석하며, 데이터에 인사이트를 제공할 수 있습니다.

2017년에 Log Analytics와의 Azure HDInsight 통합이 이루어졌습니다. HDInsight 고객은 HDInsight 클러스터를 모니터링하고 클러스터의 로그를 쿼리하기 위해 이 기능을 신속하게 채택했습니다. 이 기능의 채택이 증가함에 따라 통합에 대한 고객의 피드백을 얻을 수 있었습니다.

• 고객이 저장할 로그를 결정할 수 없었고, 모든 로그를 저장하는 데 비용이 많이 들 수 있었습니다.

• 현재 HDInsight 스키마 로그는 일관된 명명 규칙을 따르지 않으며 일부 테이블은 반복적입니다.

• 고객은 HDInsight 클러스터의 KPI를 쉽게 모니터링할 수 있는 기본 대시보드를 원했습니다.

• 간단한 쿼리를 실행하려 해도 고객은 Log Analytics로 넘어가야만 합니다.

솔루션 개요

사용자 의견을 고려하여 Azure HDInsight 팀은 Azure Monitor와의 통합에 투자했습니다. 이 통합은 다음을 지원합니다.

• 고객의 Log Analytics 작업 영역에 있는 새 테이블 집합. 새 테이블은 새 Log Analytics 파이프라인을 통해 전달됩니다.

• 향상된 안정성.

• 향상된 로그 전달 속도.

• 리소스 기반 테이블 그룹화 및 기본 쿼리.

• Azure Monitor 에이전트 작업 영역에 대한 시스템 관리 ID로 보안이 개선되었습니다.

• 기존 테이블에 대한 자동화된 DCR 리소스 만들기.

참고 항목

AMA(Azure Monitor 에이전트) 통합(DCR 및 시스템 ID 인증 포함)은 HDInsight가 제공되는 모든 지역에서 사용할 수 있습니다.

AMA(Azure Monitor 에이전트) 통합의 이점

이 문서에서는 Azure Monitor 통합의 변경 내용에 대해 간략하게 설명하고 새 테이블 사용 관련 모범 사례를 제공합니다.

재설계된 스키마: 새 Azure Monitor 통합을 위한 스키마 형식이 더 효과적으로 구성되고 이해하기 쉬워졌습니다. 레거시 스키마에서 가능한 한 많은 모호성을 제거하기 위한 스키마가 2/3 정도 적습니다.

선택적 로깅: Log Analytics를 통해 사용할 수 있는 로그 및 메트릭이 있습니다. 모니터링 비용을 절감할 수 있도록 새로운 선택적 로깅 기능을 출시합니다. 이 기능을 사용하여 다양한 로그 및 메트릭 원본을 설정 및 해제할 수 있습니다. 이 기능을 사용하려면 사용한 만큼 비용을 지불해야 합니다. 자세한 내용은 선택적 로깅을 참조하세요.

로그 클러스터 포털 통합: 로그 창이 HDInsight 클러스터 포털에 새로 도입되었습니다. 클러스터에 액세스할 수 있는 모든 사용자는 이 창으로 이동하여 클러스터 리소스가 레코드를 전송하는 테이블을 쿼리할 수 있습니다. 사용자는 특정 클러스터 리소스에 대한 레코드를 보기 위해 더 이상 Log Analytics 작업 영역에 액세스할 필요가 없습니다.

인사이트 클러스터 포털 통합: Insights 창도 HDInsight 클러스터 포털에 새로 도입되었습니다. 새 Azure Monitor 통합을 사용하도록 설정한 후에는 인사이트 창을 선택할 수 있으며, 클러스터의 유형과 관련된 기본 로그 및 메트릭 대시보드가 자동으로 채워집니다. 이러한 대시보드는 기존 Azure 솔루션에서 개선되었습니다. 클러스터의 성능 및 상태에 대한 깊이 있는 통찰력을 제공합니다.

고객 시나리오

다음 섹션에서는 고객이 다양한 시나리오에서 새로운 Azure Monitor 에이전트 통합을 사용하는 방식을 설명합니다.

• 새 Azure Monitor 에이전트 통합 활성화 섹션에서는 새 Azure Monitor 통합을 활성화하고 사용하는 방법을 간략하게 설명합니다.

• Azure Monitor 클래식에서 새 Azure Monitor 에이전트 통합 섹션으로 마이그레이션에는 이전 Azure Monitor 통합에 의존하는 사용자를 위한 추가 정보가 포함되어 있습니다.

참고 항목

Azure Monitor Classic을 사용하는 고객은 2024년 8월 31일 이후에는 더 이상 작업할 수 없습니다.
새 Azure Monitor 환경(미리 보기)을 사용하는 고객은 2025년 1월 31일 이전에 AMA(Azure Monitor 에이전트)로 마이그레이션해야 합니다. 최신 HDInsight API 2024-08-01-preview가 포함된 이미지 2407260448이 있는 클러스터는 Azure Monitor 에이전트 통합을 사용하는 기능을 갖추고 있으며, 이는 이미지 2407260448을 사용하는 고객의 기본 설정이 됩니다.

새 Azure Monitor 에이전트 통합 활성화

참고 항목

새 Azure Monitor 에이전트 통합을 사용하도록 설정하기 전에 액세스 권한이 있는 구독에서 Log Analytics 작업 영역을 만들어야 합니다. Azure Monitor 환경에서 Azure Monitor 에이전트 설정으로 마이그레이션하는 경우 기존 클러스터에서 로그 분석 작업 영역을 다시 사용할 수 있습니다.

로그 분석 작업 영역에는 동일한 Azure 지역을 사용하고, 원활한 마이그레이션을 위해 HDInsight 클러스터를 사용해야 합니다.

Log Analytics 작업 영역을 만드는 방법에 대한 자세한 내용은 Azure Portal에서 Log Analytics 작업 영역 만들기를 참조하세요.

방법 1: 포털에서 Azure Monitor 에이전트 사용

클러스터의 포털 페이지로 이동해서 모니터링 섹션에 도달할 때까지 왼쪽의 메뉴 아래로 스크롤하여 새 통합을 활성화합니다.

1. 모니터링 섹션에서 Monitor 통합을 선택합니다.

2. 그런 다음 사용을 선택하면 로그를 보내려는 Log Analytics 작업 영역을 선택할 수 있습니다.
   

3. Log Analytics와의 Azure Monitor 에이전트 통합을 활성화하고 작업 영역을 선택합니다(이전 이미지에서 새 이미지로 마이그레이션하는 경우 기존 작업 영역).

4. 작업 영역 선택을 확인하면 사전 조건 설정 단계가 시작됩니다.

   

5. 필수 조건 단계가 완료되면 저장을 선택합니다.

방법 2: Azure PowerShell에서 Azure Monitor 에이전트 사용

1. 시스템이 할당한 MSI 사용

   1. 먼저 클러스터 정보를 가져와서 클러스터의 MSI를 확인합니다.

      Get-AzHDInsightCluster -ResourceGroupName $resourceGroup –ClusterName $cluster

   2. 이 클러스터에 MSI가 없는 경우 시스템 할당 MSI를 직접 사용하도록 설정합니다.

      Update-AzHDInsightCluster -ResourceGroupName $resourceGroup -ClusterName $cluster -IdentityType "SystemAssigned"

   3. 이 클러스터에 사용자 할당 MSI만 있는 경우 시스템 할당 MSI를 ID에 추가합니다.

      Update-AzHDInsightCluster -ResourceGroupName $resourceGroup -ClusterName $cluster -IdentityType "SystemAssigned,UserAssigned" -IdentityId "$userAssignedIdentityResourceId"

2. 이 클러스터에 이미 시스템 할당 MSI가 있는 경우 아무 것도 할 필요가 없습니다.

3. DCR 만들기

   자세한 내용은 DCR(데이터 수집 규칙) 만들기 및 편집을 참조하세요.

   # The URL of the DCR template file, change {HDIClusterType} to your cluster type. 
   
   # The valid types are: hadoop, hbase, interactivehive, kafka, llap, spark 
   
   $dcrTemplatejsonUrl = "https://hdiconfigactions.blob.core.windows.net/azuremonitoriningagent/DCR/{HDIClusterType}_dcr_template.json" 
   
   $dcrJsonContent = Invoke-RestMethod -Uri $dcrTemplatejsonUrl 
   
   
   
   # Get details of your Log Analytics workspace, if your workspace is in another subscription, you need to change context to the subscription 
   
   $workspaceResourceGroupName = "{yourWorkspaceResourceGroup}" 
   
   $workspaceName = {yourWorkspaceName} 
   
   $workspace = Get-AzOperationalInsightsWorkspace -ResourceGroupName $workspaceResourceGroupName -Name $workspaceName 
   
   
   
   # Customize the DCR content 
   
   $dcrJsonContent.properties.destinations.logAnalytics[0].workspaceResourceId = $workspace.ResourceId 
   
   $dcrJsonContent.properties.destinations.logAnalytics[0].workspaceId = $workspace.CustomerId 
   
   $dcrJsonContent.location = $workspace.Location 
   
   
   
   # Create the DCR using the customized JSON (DCR needs to be in the same location as Log Analytics workspace).  
   
   # If your HDInsight cluster is in another subscription, you need to change context to your cluster’s subscription 
   
   $dcrName = " {yourDcrName} " 
   
   $resourceGroupName = " {YourDcrResourceGroup} " 
   
   $dcrStr = $dcrJsonContent | ConvertTo-Json -Depth 10 
   
   $dcr = New-AzDataCollectionRule -Name $dcrName -ResourceGroupName $resourceGroupName -JsonString $dcrStr 
   

4. DCR의 연결입니다.

   자세한 내용은 Windows 클라이언트 장치에서 Azure Monitor 에이전트 설정을 참조하세요.

   # Associate DCR to HDInsight cluster 
   
   $hdinsightClusterResourceId = "/subscriptions/{subscription}/resourceGroups/{resourceGroup}/providers/Microsoft.HDInsight/clusters/{clusterName}" 
   
   $dcrAssociationName = "{yourDcrAssociation}" 
   
   New-AzDataCollectionRuleAssociation -AssociationName $dcrAssociationName -ResourceUri $hdinsightClusterResourceId -DataCollectionRuleId $dcr.Id 
   

5. Azure Monitor 에이전트를 사용하도록 설정합니다.

   # Enter user information 
   
   $resourceGroup = "<your-resource-group>" 
   
   $cluster = "<your-cluster>" 
   
   $LAW = "<your-Log-Analytics-workspace>" 
   
   # End of user input 
   
   
   # obtain workspace id for defined Log Analytics workspace 
   
   $WorkspaceId = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW).CustomerId 
   
   
   
   # obtain primary key for defined Log Analytics workspace 
   
   $PrimaryKey = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey 
   
   
   
   # Enables monitoring and relevant logs will be sent to the specified workspace. 
   
   Enable-AzHDInsightAzureMonitorAgent -ResourceGroupName $resourceGroup -ClusterName $cluster -WorkspaceId $WorkspaceId -PrimaryKey $PrimaryKey 
   
   
   
   # Gets the status of monitoring installation on the cluster. 
   
   Get-AzHDInsightAzureMonitorAgent -ResourceGroupName $resourceGroup -ClusterName $cluster 
   

6. (선택 사항)Azure Monitor 에이전트를 사용하지 않도록 설정합니다.

   Disable-AzHDInsightAzureMonitorAgent -ResourceGroupName $resourceGroup -ClusterName $cluster 
   

방법 3: Azure CLI에서 Azure Monitor 에이전트 사용

1. 시스템 할당 MSI를 사용하도록 설정합니다.

   1. 먼저 클러스터 정보를 가져와서 클러스터의 MSI를 확인합니다.

      az hdinsight show –-resource-group $resourceGroup –name $cluster 
      
      #get access token if needed 
      
      accessToken=$(az account get-access-token --query accessToken -o tsv) 
      
      url="https://management.azure.com/subscriptions/${subscriptionId}/resourcegroups/${resourceGroupName}/providers/Microsoft.HDInsight/clusters/${clusterName}?api-version=2024-08-01-preview" 
      

   2. 이 클러스터에 MSI가 없는 경우 REST API를 통해 시스템 할당 MSI를 직접 사용하도록 설정합니다.

       body="{\"identity\": {\"type\": \"SystemAssigned\"}}" 
      
       az rest --method patch --url "$url" --body "$body" --headers "Authorization=Bearer $accessToken"
      

   3. 이 클러스터에 사용자 할당 MSI만 있는 경우 시스템 할당 MSI를 ID에 추가합니다.

      body="{\"identity\": {\"type\": \"SystemAssigned,UserAssigned\", \"userAssignedIdentities\": {$userAssignedIdentityResourceId:{}}}}" 
      
      az rest --method patch --url "$url" --body "$body" --headers "Authorization=Bearer $accessToken" 
      

   4. 이 클러스터에 이미 시스템 할당 MSI가 있는 경우 아무 것도 할 필요가 없습니다.

2. DCR 만들기

   자세한 내용은 DCR(데이터 수집 규칙) 만들기 및 편집 참조

   # The URL of the DCR template file, change {HDIClusterType} to your cluster type. 
   
   # The valid types are: hadoop, hbase, interactivehive, kafka, llap, spark 
   
   $dcrTemplatejsonUrl = "https://hdiconfigactions.blob.core.windows.net/azuremonitoriningagent/DCR/{HDIClusterType}_dcr_template.json?api-version=2020-08-01" 
   
   
   
   # Download dcr template to local 
   
   $dcrTemplateLocalFile = "dcrTemplateFileName.json" 
   
   azcopy copy $dcrTemplatejsonUrl $dcrTemplateLocalFile 
   
   
   
   # Set subscription 
   
   az account set --subscription "{yourSubscription}" 
   
   
   
   # Get details of your Log Analytics workspace 
   
   $workspaceResourceGroupName = "{yourWorkspaceResourceGroup}" 
   
   $workspaceName = "{yourWorkspaceName}" 
   
   $workspace = az monitor log-analytics workspace show --resource-group $workspaceResourceGroupName --workspace-name $workspaceName 
   
   
   
   # Customize the DCR content. Below script depends on jq, you need to install it if it’s not available in your environment. 
   
   $workspaceResourceId = $workspace | jq -r '.id' 
   
   $workspaceId = $workspace | jq -r '.customerId' 
   
   $location = $workspace | jq -r '.location' 
   
   
   
   # Read the JSON file 
   
   $templateJsonData=cat $dcrTemplateLocalFile 
   
   
   
   # Update the JSON fields using jq 
   
   $templateJsonData=echo $templateJsonData | jq --arg workspaceResourceId $workspaceResourceId '.properties.destinations.logAnalytics[0].workspaceResourceId = $workspaceResourceId' 
   
   $templateJsonData=echo $templateJsonData | jq --arg workspaceId $workspaceId '.properties.destinations.logAnalytics[0].workspaceId = $workspaceId' 
   
   $templateJsonData=echo $templateJsonData | jq --arg location $location '.location = $location' 
   
   
   
   # Save the updated JSON back to the file 
   
   echo $templateJsonData > $dcrTemplateLocalFile 
   
   
   
   # Print the updated JSON 
   
   cat $dcrTemplateLocalFile 
   
   
   
   # Create the DCR using the customized JSON (DCR needs to be in the same location as Log Analytics workspace) 
   
   # If your HDInsight cluster is in another subscription, you need to set subscription to your cluster’s subscription 
   
   $dcrName = "{yourDcrName}" 
   
   $resourceGroupName = "{YourDcrResourceGroup}" # Suggest to put DCR in the same resource group as your HDInsight cluster 
   
   $dcr = az monitor data-collection rule create --name $dcrName --location $location --resource-group $resourceGroupName --rule-file $dcrTemplateLocalFile 
   

3. DCR 연결

   # Associate DCR to HDInsight cluster 
   
   $hdinsightClusterResourceId = "{YourHDInsightClusterResourceId}" 
   
   $dcrAssociationName = "{yourDcrAssociation}" 
   
   $dcrId = $dcr | jq -r '.id' 
   
   az monitor data-collection rule association create --association-name $dcrAssociationName --resource $hdinsightClusterResourceId --data-collection-rule-id $dcrId 
   

4. Azure Monitor 에이전트를 사용하도록 설정

   # set variables 
   
   export resourceGroup=RESOURCEGROUPNAME 
   
   export cluster=CLUSTERNAME 
   
   export LAW=LOGANALYTICSWORKSPACENAME 
   
   
   
   # Enable the Azure Monitor Agent logs integration on an HDInsight cluster. 
   
   az hdinsight azure-monitor-agent enable --name $cluster --resource-group $resourceGroup --workspace $LAW 
   
   
   
   # Get the status of Azure Monitor Agent logs integration on an HDInsight cluster. 
   
   az hdinsight azure-monitor-agent show --name $cluster --resource-group $resourceGroup 
   

5. (선택 사항)Azure Monitor 에이전트를 사용하지 않도록 설정합니다.

   az hdinsight azure-monitor-agent disable --name $cluster --resource-group $resourceGroup 
   

Spark 클러스터에 대한 Azure Monitor 에이전트 로깅 사용

Azure HDInsight Spark 클러스터는 Spark 구성 spark.hdi.ama.enabled을(를) 사용하여 AMA 통합을 제어하며, 기본적으로 값은 false로 설정됩니다. 이 구성은 Log Analytics 작업 영역에서 Spark 특정 로그 표시 여부를 제어합니다. Spark 클러스터에서 AMA를 사용하고 해당 LA 작업 영역에서 Spark 이벤트 로그를 검색하려면 Spark 특정 로그에 AMA를 활성화하는 추가 단계를 수행해야 합니다.

다음 단계에서는 고객이 Spark 워크로드에 대해 새 Azure Monitor 에이전트 로깅을 사용하는 방법을 설명합니다.

1. Ambari -> Spark 구성으로 이동합니다.

2. 사용자 지정 Spark 기본값으로 이동하여 구성 spark.hdi.ama.enabled을(를) 검색합니다. 이 구성의 기본값은 false입니다. 이 값을 true로 설정합니다.

   

3. 저장을 클릭하고 모든 노드에서 Spark 서비스를 다시 시작합니다.

4. LA 작업 영역에서 테이블에 액세스합니다.

새 테이블 액세스

새 테이블에 액세스하는 방법에는 두 가지가 있습니다.

방법 1

1. 새 테이블에 액세스하는 첫 번째 방법은 Log Analytics 작업 영역을 사용하는 것입니다.

2. 통합을 사용하도록 설정할 때 선택한 Log Analytics 작업 영역으로 이동합니다.

3. 화면의 왼쪽 메뉴에서 아래로 스크롤한 다음 로그을 선택합니다. 로그 쿼리 편집기가 작업 영역에 있는 모든 테이블 목록과 함께 나타납니다.

   1. 솔루션별로 테이블이 그룹화된 경우 새 HDInsight 테이블은 로그 관리 섹션 아래에 있습니다.

   2. 리소스 종류를 기준으로 테이블을 그룹화하면 테이블은 이미지에 표시된 것처럼 HDInsight 클러스터 섹션 아래에 있습니다.

참고 항목

이 프로세스는 이전 통합에서 로그에 액세스했던 방식을 설명합니다. 이렇게 하려면 사용자에게 작업 영역에 대한 액세스 권한이 있어야 합니다.

방법 2

새 테이블에 액세스하는 두 번째 방법은 클러스터 포털 액세스를 사용하는 것입니다.

1. 클러스터의 포털 페이지로 이동해서 모니터링 섹션이 표시될 때까지 왼쪽의 메뉴 아래로 스크롤합니다. 이 섹션에는 로그 창이 표시됩니다.

2. 로그를 선택하면 로그 쿼리 편집기가 나타납니다. 편집기에는 클러스터 리소스와 연결된 모든 로그가 포함되어 있습니다. 통합을 사용하도록 설정할 때 Log Analytics 작업 영역으로 로그를 보냈습니다. 이러한 로그는 RBAC(리소스 기반 액세스)를 제공합니다. RBAC를 사용하는 경우, 클러스터에 대한 액세스 권한은 있지만 작업 영역에 대한 액세스 권한이 없는 사용자는 클러스터와 연결된 로그를 볼 수 있습니다.

3. 비교를 위해 다음 스크린샷에서는 레거시 통합 작업 영역 보기와 새 통합 작업 영역 보기를 보여줍니다.

레거시(Azure Monitor Classic) 통합 작업 영역 보기

새로운 (Azure Monitor 환경/Azure Monitor 에이전트) 통합 작업 영역 보기

새로운 테이블 사용

새 테이블에 사용할 기본 쿼리

로그 쿼리 편집기에서 테이블 목록 위의 쿼리로 설정/해제를 설정합니다. 리소스 유형별로 쿼리를 그룹화하고 HDInsight 클러스터 이외의 리소스 유형에 대한 필터를 설정하지 않았는지 확인합니다. 다음 이미지는 리소스 종류별로 그룹화하고 HDInsight 클러스터에 대해 필터링할 경우 결과가 어떻게 표시되는지 보여줍니다. 하나를 선택하기만 하면 로그 쿼리 편집기에 표시됩니다. 쿼리를 성공적으로 실행하려면 클러스터 이름과 같은 일부 정보를 입력해야 하므로 쿼리에 포함된 설명을 꼭 확인하세요.

사용자 고유 쿼리 만들기

로그 쿼리 편집기에서 사용자 고유 쿼리를 입력할 수 있습니다. 새 테이블에는 구체화된 새로운 스키마가 있으므로 기존 테이블에 사용되는 쿼리는 새 테이블에 대해 유효하지 않습니다. 기본 쿼리는 새 테이블에 대한 쿼리 셰이핑에 유용한 참조입니다.

Insights

인사이트는 Azure 통합 문서를 사용하여 만든 클러스터 관련 시각화 대시보드입니다. 이러한 대시보드는 클러스터가 실행되는 방법에 대해 자세한 그래프와 시각화를 제공합니다. 대시보드에는 각 클러스터 유형, YARN, 시스템 메트릭 및 구성 요소 로그에 대한 섹션이 있습니다. 포털에서 클러스터의 페이지를 방문하고 모니터링 섹션으로 스크롤한 다음 인사이트 창을 선택하여 클러스터의 대시보드에 액세스할 수 있습니다. 새로운 통합이 사용하도록 설정되면 대시보드가 ​​자동으로 로드됩니다. 로그를 쿼리하면 그래프가 로드될 때까지 몇 초 정도 기다립니다.

사용자 지정 Azure Workbooks

사용자 지정 그래프 및 시각화를 사용하여 고유한 Azure Workbooks를 만들 수 있습니다. 클러스터의 포털 페이지에서 모니터링 섹션까지 아래로 스크롤하고 왼쪽의 메뉴에서 Workbooks 창을 선택합니다. 빈 템플릿을 사용하여 시작하거나 HDInsight 클러스터 섹션에서 템플릿 중 하나를 사용하여 시작할 수 있습니다. 각 클러스터 유형에 대한 템플릿이 있습니다. 기본 HDInsight Insights가 제공하지 않는 특정 사용자 지정 항목을 저장하려는 경우에 템플릿이 유용합니다. 부족하다고 생각할 경우 HDInsight 인사이트의 새로운 기능에 대한 요청을 언제든 보낼 수 있습니다.

경고

로그 쿼리 편집기에서 클러스터 및 작업 영역에 사용자 지정 경고를 추가할 수 있습니다. 클러스터 또는 작업 영역 포털에서 로그 창을 선택하여 로그 쿼리 편집기로 이동합니다. 다음 스크린샷에 표시된 것 처럼 쿼리를 실행하고 새 경고 규칙을 선택합니다. 자세한 내용은 경고 구성을 참조하세요.

새로운 Azure Monitor 에이전트 통합으로 마이그레이션

클래식 Azure Monitor 통합을 사용하는 경우 새 Azure Monitor 통합으로 전환한 후 새 테이블 형식을 몇 가지 조정해야 합니다.

새 Azure Monitor 통합을 사용하도록 설정하려면 새 Azure Monitor 에이전트 통합 활성화 섹션에 설명된 단계를 따르세요.

Log Analytics의 쿼리 실행

새 테이블 형식이 이전 테이블 형식과 다르므로, 새 테이블을 사용할 수 있도록 쿼리를 수정해야 합니다. 새 Azure Monitor 통합을 사용하도록 설정하면 테이블과 스키마를 검색하여 이전 쿼리에 사용되는 필드를 식별할 수 있습니다.

대시보드 및 쿼리를 마이그레이션하는 데 사용해야 하는 새 필드를 신속하게 찾을 수 있도록 이전 테이블 간의 매핑 테이블을 새 테이블에 제공합니다.

기본 쿼리: 일반적인 상황에서 새 테이블을 사용하는 방법을 보여주는 기본 쿼리를 만들었습니다. 기본 쿼리는 또한 각 테이블에 사용할 수 있는 정보도 표시합니다. 이 문서의 새 테이블에 사용되는 기본 쿼리 섹션의 지침에 따라 기본 쿼리에 액세스할 수 있습니다.

HDInsight 클러스터에 대한 대시보드 업데이트

여러 대시보드를 빌드하여 HDInsight 클러스터를 모니터링하는 경우, 새 Azure Monitor 통합을 사용하도록 설정하면 테이블 뒤에서 쿼리를 조정해야 합니다. 테이블 이름 또는 필드 이름은 새 통합에서 변경될 수 있지만 이전 통합에 있는 모든 정보가 포함됩니다.

대시보드 뒤의 쿼리를 업데이트하려면 이전 테이블/스키마 사이의 매핑 테이블을 새 테이블/스키마에 대해 참조하세요.

기본 대시보드

또한 클러스터 수준에서 기본 대시보드도 개선했습니다. 정보를 생성하는 기본 쿼리를 볼 수 있도록 모든 그래프의 오른쪽 위에 단추가 있습니다. 그래프는 새 테이블을 효과적으로 쿼리하는 방법을 이해하기에 좋은 방법입니다.

릴리스 및 지원 타임라인

• 2021년 10월 15일 이후에는 클래식 Azure Monitoring 통합을 사용할 수 없습니다. 이 날짜 이후에는 클래식 Azure 모니터링 통합을 사용 설정할 수 없습니다.

• 2024년 8월 31일 이후에는 클래식 Azure Monitoring 통합 수집이 작동하지 않습니다.

• Azure Monitor 통합(미리 보기)을 갖춘 HDInsight 클러스터는 2025년 2월 1일 이후 지원되지 않습니다.

• 기존 Azure Monitor 통합(미리 보기)은 2025년 1월 31일까지 계속 작동합니다. Azure Monitor 통합(미리 보기)에 대한 지원은 제한적으로 제공될 예정입니다.

  • 솔루션에서 이미지를 변경해야 하는 경우 고객은 새 통합으로 이동해야 합니다.

  • Microsoft는 심각한 보안 문제를 제외하고 Azure Monitor 통합(미리 보기) 클러스터에 패치를 적용하지 않습니다.

부록: 테이블 매핑

클래식 Azure Monitor 통합에서 새로운 통합으로의 로그 테이블 매핑은 로그 테이블 매핑을 참조하세요.

다음 단계

• Azure Monitor Logs를 쿼리하여 HDInsight 클러스터 모니터링
• Apache Ambari 및 Azure Monitor Logs를 사용하여 클러스터 가용성 모니터링