Włącz monitorowanie zadań usługi HDInsight.
Monitorowanie klastra usługi HDInsight jest interesujące zarówno dla inżynierów danych, jak i administratorów IT, dzięki czemu mogą monitorować następujące obszary klastra:
- kondycja i dostępność klastra
- Wykorzystanie zasobów i wydajność
- Informacje o obciążeniu i dzienniki
Administratorzy IT będą używać monitorowania do wyświetlania kondycji i dostępności klastra, a także monitorowania zabezpieczeń klastra. Inżynierowie danych są zainteresowani następującymi elementami:
- Informacje o obciążeniu i dzienniki
- Obserwowanie niepowodzeń lub sukcesów zadania
- Wydajność klastra
- Wyświetlanie obciążeń przy użyciu dzienników
Istnieją dwa główne narzędzia, których można użyć do monitorowania: Apache Ambari i Azure Monitor.
Apache Ambari
To narzędzie jest używane do zarządzania klastrem typu open source i monitorowania. Udostępnia pulpit nawigacyjny z serią widżetów, które umożliwiają wyświetlanie kondycji klastra usługi HDInsight z perspektywy sprzętu zarówno na poziomie klastra, jak i węzła. Pulpit nawigacyjny jest dostępny na ekranie przeglądu klastra usługi HDInsight w witrynie Azure Portal.
Narzędzie Apache Ambari otwiera się w przeglądarce internetowej, która udostępnia pulpit nawigacyjny narzędzi do monitorowania.
Wiele obszarów systemu Apache Ambari jest przydatnych zarówno dla administratorów IT, jak i inżynierowie danych. Początkowy pulpit nawigacyjny jest przydatny dla administratorów IT do monitorowania kondycji klastra w czasie rzeczywistym. Istnieją dodatkowe obszary, takie jak ekran usługi YARN, które umożliwiają inżynierowie danych wyświetlanie pojemności kolejek, zadań i skojarzonych dzienników w celu monitorowania obciążeń w klastrze. Ponadto funkcje alertów umożliwiają identyfikowanie składników, które działają nieprawidłowo, dzięki czemu można aktywnie obsługiwać klaster.
Monitorowanie
Azure Monitor to narzędzie do monitorowania na całej platformie Azure, które może być używane w klastrach usługi HDInsight do monitorowania kondycji usługi. Aspekty usługi Azure Monitor są widoczne bezpośrednio w witrynie Azure Portal:
Alerty
Alerty to przydatne narzędzie do proaktywnego monitorowania zasobu na platformie Azure i działania na podstawie warunku. Alert można ustawić dla danego zasobu — takiego jak klaster usługi HDInsight — w celu określenia progu warunku, który określa, czy alert jest wyzwalany. Warunek może być uwzględniony w przypadku włączonego automatycznego skalowania. Ten warunek może mieć wartość true lub false. Akcje mogą obejmować wysyłanie wiadomości e-mail do ponownego uruchamiania usługi w zależności od sposobu definiowania warunku.
Metryki
Metryki są składnikiem usługi Azure Monitor, który umożliwia konfigurowanie wykresów wizualnych specyficznych dla tego, co chcesz monitorować. Użycie wykresów wizualnych umożliwia wyświetlanie, mierzenie i korelowanie punktów danych w celu określenia, czy usługa działa w akceptowalnym zakresie. Metryki usługi HDInsight obejmują żądania bramy, aby zobaczyć obciążenie klastra oraz liczbę aktywnych procesów roboczych, co pozwala śledzić rozmiar klastra klastra usługi HDInsight
Ustawienia diagnostyczne
Te ustawienia umożliwiają wybranie miejsca docelowego (konta magazynu, usługi Event Hub lub konta usługi Log Analytics) w celu odbierania danych diagnostycznych dotyczących włączonej usługi. Dzienniki są wysyłane do wybranego miejsca docelowego, co umożliwia rejestrowanie aktywności usługi w czasie i analizowanie ich później. Te ustawienia powinny być ustawiane tylko wtedy, gdy chcesz przeprowadzić szczegółową analizę usługi.
Azure Monitor
Istnieje bezpośredni link do usługi Azure Monitor, dzięki czemu można korzystać z pełnych możliwości oferowanych przez usługę Azure Monitor.
Kondycja zasobów
Ten pulpit nawigacyjny jest standardowy dla wszystkich usług na platformie Azure i umożliwia wyświetlanie kondycji usługi HDInsight w danym dniu. Nie ma żadnych powiadomień z tego obszaru i musisz zbadać to samodzielnie. Usługa Resource Health może zapewnić przegląd informacji o kondycji.