HDInsight 작업 모니터링을 사용합니다.
HDInsight 클러스터 모니터링은 데이터 엔지니어와 IT 관리자가 관심을 가지며 클러스터의 다음 영역을 모니터링할 수 있습니다.
- 클러스터 상태 및 가용성
- 리소스 사용률 및 성능
- 워크로드 정보 및 로그
IT 관리자는 모니터링을 사용하여 클러스터 상태 및 가용성을 확인하고 클러스터의 보안을 모니터링합니다. 데이터 엔지니어는 다음에 관심이 있습니다.
- 워크로드 정보 및 로그
- 작업 실패 또는 성공 여부 감시
- 클러스터 성능
- 로그를 사용하여 워크로드 보기
다음 두 가지 주요 도구를 사용하여 모니터링할 수 있습니다. Apache Ambari 및 Azure Monitor.
Apache Ambari
이 도구는 오픈 소스 클러스터 관리 및 모니터링에 사용됩니다. 클러스터 및 노드 수준의 하드웨어 관점에서 HDInsight 클러스터의 상태를 볼 수 있도록 하는 일련의 위젯을 포함하는 대시보드를 제공합니다. 대시보드는 Azure Portal에서 HDInsight 클러스터의 개요 화면을 통해 액세스할 수 있습니다.
Apache Ambari는 모니터링 도구의 대시보드를 제공하는 웹 브라우저에서 열립니다.
Apache Ambari의 많은 영역이 IT 관리자와 데이터 엔지니어 모두에게 유용합니다. 초기 대시보드는 IT 관리자가 실시간으로 클러스터 상태를 모니터링하는 데 유용합니다. 데이터 엔지니어가 큐 기능, 작업 및 관련 로그를 보고 클러스터에서 작업을 모니터링할 수 있도록 하는 YARN 화면과 같은 추가 영역이 있습니다. 또한 경고 기능을 사용하면 오작동하는 구성 요소를 식별할 수 있으므로 클러스터를 지원할 때 사전에 대처할 수 있습니다.
모니터링
Azure Monitor는 HDInsight 클러스터에서 서비스 상태를 모니터링하는 데 사용할 수 있는 Azure 전체 모니터링 도구입니다. Azure Monitor의 측면은 Azure Portal에 직접 표시됩니다.
경고
경고는 Azure에서 리소스를 사전에 모니터링하고 조건에 따라 작업을 수행하는 데 유용한 도구입니다. 지정된 리소스(예: HDInsight 클러스터)에 대한 경고를 설정하여 경고가 실행되는지 여부를 나타내는 조건의 임계값을 확인할 수 있습니다. 조건에는 자동 크기 조정 사용이 포함될 수 있습니다. 이 조건은 true 또는 false일 수 있습니다. 작업은 메일 전송부터 조건이 정의된 방법에 따른 서비스 다시 시작까지 다양합니다.
메트릭
메트릭은 모니터링할 대상과 관련된 시각적 차트를 설정하는 데 사용할 수 있는 Azure Monitor 구성 요소입니다. 시각적 차트를 사용하면 데이터 요소를 보고 측정하고 서로 연결할 수 있어 서비스가 허용 범위에서 수행되는지 확인할 수 있습니다. HDInsight 메트릭에는 클러스터에 대한 부하를 확인하는 게이트웨이 요청 및 HDInsight 클러스터의 클러스터 크기를 파악할 수 있는 활성 작업자 수가 포함됩니다.
진단 설정
이 설정을 사용하면 대상(스토리지 계정, 이벤트 허브 서비스 또는 Log Analytics 계정)을 선택하여 사용하도록 설정한 서비스에 대한 진단 데이터를 받을 수 있습니다. 로그는 선택한 대상으로 전송되며, 이를 통해 시간이 지남에 따라 서비스 활동을 기록하고 나중에 분석할 수 있습니다. 이 설정은 서비스에 대한 심층 분석을 수행하려는 경우에만 지정해야 합니다.
Azure Monitor
Azure Monitor에서 제공하는 전체 기능을 사용할 수 있도록 Azure Monitor의 직접 링크를 제공합니다.
리소스 상태
이 대시보드는 Azure의 모든 서비스에서 표준이며 이를 통해 지정된 날짜에 HDInsight 서비스의 상태를 볼 수 있습니다. 이 영역에서 생성되는 알림은 없으며 직접 조사해야 합니다. 리소스 상태는 상태 정보의 개요를 제공할 수 있습니다.