Monitorowanie punktów końcowych online
Usługa Azure Machine Learning używa integracji z usługą Azure Monitor do śledzenia i monitorowania metryk i dzienników dla punktów końcowych online. Metryki można wyświetlać na wykresach, porównywać metryki między punktami końcowymi i wdrożeniami, przypinać metryki do pulpitów nawigacyjnych witryny Azure Portal, konfigurować alerty, tabele dzienników zapytań i wypychać dzienniki do obsługiwanych obiektów docelowych. Możesz również użyć usługi Application Insights do analizowania zdarzeń z kontenerów użytkowników.
Metryki: w przypadku metryk na poziomie punktu końcowego, takich jak opóźnienie żądań, żądania na minutę, nowe połączenia na sekundę i bajty sieciowe, można przejść do szczegółów, aby wyświetlić szczegółowe informacje na poziomie wdrożenia lub na poziomie stanu. Możesz również przejść do szczegółów metryk na poziomie wdrożenia, takich jak użycie procesora CPU/procesora GPU i pamięć lub użycie dysku na poziomie wystąpienia. W obszarze Monitorowanie możesz śledzić te metryki na wykresach i skonfigurować pulpity nawigacyjne i alerty w celu dalszej analizy.
Dzienniki: Metryki można wysyłać do obszaru roboczego usługi Log Analytics, w którym można użyć składni zapytań Kusto do wykonywania zapytań dotyczących dzienników. Możesz również wysyłać metryki do kont usługi Azure Storage lub usługi Azure Event Hubs w celu dalszego przetwarzania. W przypadku ruchu, dzienników konsoli (kontenera) i zdarzeń związanych z punktami końcowymi online można użyć dedykowanych tabel dzienników. Zapytania Kusto obsługują złożone możliwości analizy i łączenie wielu tabel.
Application Insights: środowiska nadzorowane obejmują integrację z usługą Application Insights. Tę integrację można włączyć lub wyłączyć podczas tworzenia wdrożenia online. Po włączeniu wbudowanych metryk i dzienników są wysyłane do usługi Application Insights. Następnie możesz użyć wbudowanych funkcji usługi Application Insights do dalszej analizy. Przykładami tych funkcji są metryki na żywo, wyszukiwanie transakcji, widok niepowodzeń i widok wydajności.
W tym artykule przedstawiono, jak wykonać następujące działania:
- Wybierz odpowiednią metodę, aby wyświetlić i śledzić metryki i dzienniki.
- Wyświetlanie metryk dla punktu końcowego online.
- Utwórz pulpit nawigacyjny dla metryk.
- Utwórz alert dotyczący metryki.
- Wyświetlanie dzienników dla punktu końcowego online.
- Użyj usługi Application Insights, aby śledzić metryki i dzienniki.
Wymagania wstępne
- Punkt końcowy online usługi Azure Machine Learning
- Co najmniej dostęp czytelnika w punkcie końcowym
Używanie metryk
W witrynie Azure Portal można wyświetlić strony metryk dla punktów końcowych i wdrożeń online.
Uzyskiwanie dostępu do metryk z usługi Azure Machine Learning Studio
Łatwym sposobem uzyskiwania dostępu do stron metryk jest linki dostępne w interfejsie użytkownika usługi Azure Machine Learning Studio. Te linki można znaleźć na karcie Szczegóły strony punktu końcowego. Te linki prowadzą do strony metryk w witrynie Azure Portal na potrzeby punktu końcowego lub wdrożenia.
Aby uzyskać dostęp do stron metryk za pośrednictwem linków dostępnych w programie Studio, wykonaj następujące kroki:
W usłudze Azure Machine Learning Studio przejdź do obszaru roboczego.
W obszarze Zasoby wybierz pozycję Punkty końcowe.
Wybierz nazwę punktu końcowego.
W obszarze Atrybuty punktu końcowego wybierz pozycję Wyświetl metryki.
Strona metryk punktu końcowego zostanie otwarta w witrynie Azure Portal.
W usłudze Azure Machine Learning Studio na stronie punktu końcowego przejdź do sekcji wdrożenia, a następnie wybierz pozycję Wyświetl metryki.
Strona metryk wdrożenia zostanie otwarta w witrynie Azure Portal.
Uzyskiwanie dostępu do metryk w witrynie Azure Portal
Innym sposobem wyświetlenia strony metryk dla punktu końcowego lub wdrożenia jest przejście bezpośrednio do witryny Azure Portal:
Przejdź do portalu Azure Portal.
Przejdź do punktu końcowego online lub zasobu wdrożenia.
Punkty końcowe i wdrożenia online to zasoby usługi Azure Resource Manager. Możesz je znaleźć, przechodząc do grupy zasobów, a następnie wyszukując typy zasobów Usługa Machine Learning online iwdrożenie online usługi Machine Learning.
Na stronie zasobu w obszarze Monitorowanie wybierz pozycję Metryki.
Dostępne metryki
Widoczne metryki zależą od wybranego zasobu. Metryki dla punktów końcowych online i wdrożeń online mają różne zakresy.
Metryki w zakresie punktu końcowego
Aby uzyskać informacje o metrykach dostępnych w zakresie punktu końcowego online, zobacz Obsługiwane metryki dla microsoft.MachineLearningServices/workspaces/onlineEndpoints.
Ograniczanie przepustowości
Przepustowość jest ograniczana w przypadku przekroczenia limitów przydziału dla zarządzanych punktów końcowych online. Aby uzyskać więcej informacji na temat limitów dla punktów końcowych online, zobacz Punkty końcowe online usługi Azure Machine Learning i punkty końcowe wsadowe w artykule dotyczącym limitów przydziałów i limitów w usłudze Azure Machine Learning. Aby określić, czy żądania są ograniczane:
- Monitoruj metryki Bajty sieciowe.
- Sprawdź następujące pola w zwiastunach odpowiedzi:
ms-azureml-bandwidth-request-delay-msims-azureml-bandwidth-response-delay-ms. Wartości pól to opóźnienia w milisekundach ograniczania przepustowości.
Aby uzyskać więcej informacji, zobacz Problemy z limitem przepustowości.
Metryki w zakresie wdrażania
Aby uzyskać informacje o metrykach dostępnych w zakresie wdrażania, zobacz Obsługiwane metryki dla microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments.
Tworzenie pulpitów nawigacyjnych i alertów
W obszarze Monitorowanie można tworzyć pulpity nawigacyjne i alerty oparte na metrykach.
Tworzenie pulpitów nawigacyjnych i wizualizowanie zapytań
Możesz tworzyć niestandardowe pulpity nawigacyjne, aby można było wizualizować metryki z wielu źródeł w witrynie Azure Portal, w tym metryki dla punktu końcowego online. Aby uzyskać więcej informacji na temat tworzenia pulpitów nawigacyjnych i wizualizacji zapytań, zobacz Tworzenie i udostępnianie pulpitów nawigacyjnych danych usługi Log Analytics oraz Tworzenie niestandardowych pulpitów nawigacyjnych wskaźników KPI przy użyciu usługi Application Insights.
Tworzenie alertów
Możesz również utworzyć alerty niestandardowe, aby otrzymywać powiadomienia o ważnych aktualizacjach stanu punktu końcowego online:
W witrynie Azure Portal przejdź do strony metryk, a następnie wybierz pozycję Nowa reguła alertu.
W oknie Wybieranie sygnału wybierz sygnał, dla którego chcesz utworzyć alert, a następnie wybierz pozycję Zastosuj.
Na stronie Tworzenie reguły alertu wprowadź próg i zmodyfikuj inne ustawienia, które chcesz dostosować. Aby uzyskać więcej informacji na temat ustawień reguły alertu, zobacz Konfigurowanie warunków reguły alertu. Następnie wybierz pozycję Dalej: Akcje.
W oknie Wybieranie grup akcji utwórz lub wybierz grupę akcji, aby określić, co się stanie po wyzwoleniu alertu. Aby uzyskać więcej informacji, zobacz Konfigurowanie szczegółów reguły alertu.
Wybierz pozycję Przejrzyj i utwórz , aby zakończyć tworzenie alertu.
Automatyczne skalowanie na podstawie metryk
Wdrożenia można skonfigurować do automatycznego skalowania na podstawie metryk. Aby włączyć funkcję autoskalowania, możesz użyć interfejsu użytkownika lub kodu.
Opcje kodu to interfejs wiersza polecenia usługi Azure Machine Learning i zestaw AZURE Machine Learning SDK dla języka Python. W przypadku używania kodu należy skonfigurować warunki wyzwalania automatycznego skalowania, podając nazwę interfejsu API REST metryk.
- Aby uzyskać nazwy metryk punktu końcowego do użycia w kodzie, zobacz wartości w kolumnie Nazwa w interfejsie API REST w tabeli w temacie Obsługiwane metryki dla microsoft.MachineLearningServices/workspaces/onlineEndpoints.
- Aby uzyskać nazwy metryk wdrażania do użycia w kodzie, zobacz wartości w kolumnie Nazwa w interfejsie API REST w tabelach w temacie Obsługiwane metryki microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments.
Aby uzyskać więcej informacji, zobacz Autoskaluj punkty końcowe online w usłudze Azure Machine Learning.
Korzystanie z dzienników
Istnieją trzy dzienniki, które można włączyć dla punktów końcowych online:
AmlOnlineEndpointTrafficLog: ten dziennik ruchu umożliwia sprawdzenie informacji o żądaniach do punktu końcowego. Ten dziennik jest przydatny w następujących przypadkach:
- Odpowiedź na żądanie nie jest 200 i chcesz uzyskać więcej informacji. Kolumna
ResponseCodeReasonw dzienniku zawiera listę przyczyn. Opisy kodów stanu i powodów można znaleźć w artykule dotyczącym rozwiązywania problemów z punktami końcowymi online. - Chcesz wyszukać kod odpowiedzi i przyczynę odpowiedzi modelu dla żądania. Kolumny
ModelStatusCodeiModelStatusReasonzawierają te informacje. - Chcesz poznać czas trwania żądania. Dzienniki zawierają podział opóźnienia. Ten podział pokazuje łączny czas trwania, czas trwania żądania, czas trwania odpowiedzi i opóźnienie spowodowane ograniczaniem przepustowości sieci.
- Chcesz sprawdzić liczbę ostatnich żądań zakończonych powodzeniem i niepowodzeniem. Dzienniki zawierają te informacje.
- Odpowiedź na żądanie nie jest 200 i chcesz uzyskać więcej informacji. Kolumna
AmlOnlineEndpointConsoleLog: ten dziennik zawiera instrukcje, które kontenery zapisują jako dane wyjściowe w konsoli. Ten dziennik jest przydatny w następujących przypadkach:
- Nie można uruchomić kontenera. Dziennik konsoli może być przydatny do debugowania.
- Chcesz monitorować zachowanie kontenera i upewnić się, że wszystkie żądania są poprawnie obsługiwane.
- Chcesz śledzić żądanie z punktu wejścia sieciowego punktu końcowego online do kontenera. Możesz użyć zapytania usługi Log Analytics, które łączy identyfikator żądania z informacjami z dzienników AmlOnlineEndpointConsoleLog i AmlOnlineEndpointTrafficLog.
- Na przykład chcesz uruchomić analizę wydajności, aby określić czas potrzebny modelowi na przetworzenie każdego żądania.
AmlOnlineEndpointEventLog: ten dziennik zawiera informacje o cyklu życia kontenera. Obecnie dziennik zawiera informacje o następujących typach zdarzeń:
Nazwisko Komunikat Wycofywanie Wycofywanie ponownego uruchamiania kontenera nie powiodło się Wyciągnął Obraz kontenera "<IMAGE_NAME>" już obecny na maszynie Zabijania Sonda liveness serwera wnioskowania kontenera nie powiodła się. Zostanie ponownie uruchomiona Utworzone Utworzono kontener image-fetcher Utworzone Utworzono kontener inference-server Utworzone Utworzono instalację modelu kontenera LivenessProbeFailed Sonda liveness nie powiodła się: <FAILURE_CONTENT> GotowośćProbeFailed Sonda gotowości nie powiodła się: <FAILURE_CONTENT> Rozpoczęto Uruchomiono moduł image-fetcher kontenera Rozpoczęto Uruchomiono wnioskowanie kontenera-server Rozpoczęto Rozpoczęto instalowanie modelu kontenera Zabijania Zatrzymywanie wnioskowania kontenera-server Zabijania Zatrzymywanie instalacji modelu kontenera
Włączanie dzienników
Ważne
Rejestrowanie korzysta z funkcji Log Analytics monitora. Jeśli obecnie nie masz obszaru roboczego usługi Log Analytics, możesz go utworzyć, wykonując kroki opisane w temacie Tworzenie obszaru roboczego.
W witrynie Azure Portal przejdź do grupy zasobów zawierającej punkt końcowy, a następnie wybierz punkt końcowy.
W obszarze Monitorowanie wybierz pozycję Ustawienia diagnostyczne, a następnie wybierz pozycję Dodaj ustawienie diagnostyczne.
W oknie Ustawienia diagnostyczne wprowadź następujące informacje:
- Obok pozycji Nazwa ustawienia diagnostycznego wprowadź nazwę ustawienia.
- W obszarze Dzienniki wybierz kategorie dzienników, które chcesz włączyć.
- W obszarze Szczegóły miejsca docelowego wybierz pozycję Wyślij do obszaru roboczego usługi Log Analytics, a następnie wybierz subskrypcję i obszar roboczy usługi Log Analytics do użycia.
Wybierz pozycję Zapisz.
Ważne
Udostępnienie połączenia z obszarem roboczym usługi Log Analytics może potrwać do godziny. Poczekaj godzinę przed kontynuowaniem kroków w następnej sekcji.
Wykonywanie zapytań dotyczących dzienników
Prześlij żądania oceniania do punktu końcowego, aby utworzyć wpisy w dziennikach.
Przejdź do portalu Azure Portal. Aby otworzyć dzienniki, użyj jednej z następujących opcji:
- Przejdź do strony właściwości punktu końcowego online. W obszarze Monitorowanie wybierz pozycję Dzienniki.
- Przejdź do obszaru roboczego Log usługi Analytics. Po lewej stronie wybierz pozycję Dzienniki.
Zamknij okno Centrum zapytań, które zostanie otwarte domyślnie.
W obszarze Inne kliknij dwukrotnie pozycję AmlOnlineEndpointConsoleLog. Jeśli nie widzisz elementu AmlOnlineEndpointConsoleLog, wprowadź wartość w polu wyszukiwania.
Wybierz Uruchom.
Przykładowe zapytania
Przykładowe zapytania są dostępne do użycia. Aby wyświetlić zapytania, wykonaj następujące czynności:
Na stronie Dzienniki wybierz pozycję Zapytania.
W polu wyszukiwania wprowadź punkt końcowy online.
Szczegóły kolumny dziennika
Poniższe tabele zawierają szczegółowe informacje o danych przechowywanych w każdym dzienniku:
AmlOnlineEndpointTrafficLog
| Właściwości | opis |
|---|---|
| Metoda | Metoda żądana przez klienta. |
| Ścieżka | Ścieżka żądana przez klienta. |
| SubscriptionId | Identyfikator subskrypcji uczenia maszynowego punktu końcowego online. |
| AzureMLWorkspaceId | Identyfikator obszaru roboczego uczenia maszynowego punktu końcowego online. |
| AzureMLWorkspaceName | Nazwa obszaru roboczego uczenia maszynowego punktu końcowego online. |
| Nazwa punktu końcowego | Nazwa punktu końcowego online. |
| Nazwa wdrożenia | Nazwa wdrożenia online. |
| Protokół | Protokół żądania. |
| Kod odpowiedzi | Końcowy kod odpowiedzi zwrócony klientowi. |
| ResponseCodeReason | Ostateczna przyczyna kodu odpowiedzi zwrócona klientowi. |
| ModelStatusCode | Kod stanu odpowiedzi z modelu. |
| ModelStatusReason | Przyczyna stanu odpowiedzi z modelu. |
| RequestPayloadSize | Łączna liczba bajtów odebranych od klienta. |
| ResponsePayloadSize | Łączna liczba bajtów wysłanych z powrotem do klienta. |
| UserAgent | Nagłówek żądania user-agent, w tym komentarze, ale obcięty do maksymalnie 70 znaków. |
| Identyfikator XRequestId | Identyfikator żądania generowany przez usługę Azure Machine Learning na potrzeby śledzenia wewnętrznego. |
| XMSClientRequestId | Identyfikator śledzenia generowany przez klienta. |
| TotalDurationMs | Czas trwania w milisekundach od godziny rozpoczęcia żądania do czasu ostatniego bajtu odpowiedzi jest wysyłany z powrotem do klienta. Jeśli klient rozłączy się, czas trwania jest pobierany od czasu rozpoczęcia do czasu rozłączenia klienta. |
| RequestDurationMs | Czas trwania w milisekundach od godziny rozpoczęcia żądania do czasu odebrania ostatniego bajtu żądania od klienta. |
| ResponseDurationMs | Czas trwania w milisekundach od godziny rozpoczęcia żądania do czasu pierwszego bajtu odpowiedzi jest odczytywany z modelu. |
| RequestThrottlingDelayMs | Opóźnienie w milisekundach transferu danych żądania z powodu ograniczania przepustowości sieci. |
| ResponseThrottlingDelayMs | Opóźnienie w milisekundach transferu danych odpowiedzi z powodu ograniczania przepustowości sieci. |
AmlOnlineEndpointConsoleLog
| Właściwości | opis |
|---|---|
| TimeGenerated | Sygnatura czasowa UTC czasu wygenerowania dziennika |
| OperationName | Operacja skojarzona z rekordem dziennika |
| InstanceId | Identyfikator wystąpienia, które generuje rekord dziennika |
| Nazwa wdrożenia | Nazwa wdrożenia skojarzonego z rekordem dziennika |
| NazwaKontenera | Nazwa kontenera, w którym jest generowany dziennik |
| Komunikat | Zawartość dziennika |
AmlOnlineEndpointEventLog
| Właściwości | opis |
|---|---|
| TimeGenerated | Sygnatura czasowa UTC czasu wygenerowania dziennika |
| OperationName | Operacja skojarzona z rekordem dziennika |
| InstanceId | Identyfikator wystąpienia, które generuje rekord dziennika |
| Nazwa wdrożenia | Nazwa wdrożenia skojarzonego z rekordem dziennika |
| Nazwisko | Nazwa zdarzenia |
| Komunikat | Zawartość zdarzenia |
Korzystanie z usługi Application Insights
Nadzorowane środowiska obejmują integrację z usługą Application Insights. Dzięki tej integracji wbudowane metryki i dzienniki są wysyłane do usługi Application Insights. W związku z tym możesz użyć wbudowanych funkcji usługi Application Insights do dalszej analizy. Przykładami tych funkcji są metryki na żywo, wyszukiwanie transakcji, widok niepowodzeń i widok wydajności.
Aby uzyskać więcej informacji, zobacz Omówienie usługi Application Insights.
Integrację z usługą Application Insights można włączyć podczas tworzenia wdrożenia online w programie Studio. Na stronie Wdrażanie w obszarze Diagnostyka usługi Application Insights wybierz pozycję Włączone.
Po włączeniu usługi Application Insights można zobaczyć wykresy monitora aktywności wysokiego poziomu dla zarządzanego punktu końcowego online. W programie Studio przejdź do strony punktu końcowego, a następnie wybierz kartę Monitorowanie .
