Dokumentacja danych monitorowania usługi Azure Stream Analytics
Ten artykuł zawiera wszystkie informacje referencyjne dotyczące monitorowania tej usługi.
Zobacz Monitorowanie usługi Azure Stream Analytics , aby uzyskać szczegółowe informacje na temat danych, które można zbierać w usłudze Azure Stream Analytics i jak z nich korzystać.
Metryki
W tej sekcji wymieniono wszystkie automatycznie zebrane metryki platformy dla tej usługi. Te metryki są również częścią globalnej listy wszystkich metryk platformy obsługiwanych w usłudze Azure Monitor.
Aby uzyskać informacje na temat przechowywania metryk, zobacz Omówienie metryk usługi Azure Monitor.
Usługa Azure Stream Analytics udostępnia mnóstwo metryk, których można użyć do monitorowania i rozwiązywania problemów z wydajnością zapytań i zadań. Dane z tych metryk można wyświetlić na stronie Przegląd witryny Azure Portal w sekcji Monitorowanie .
Jeśli chcesz sprawdzić określoną metrykę, wybierz pozycję Metryki w sekcji Monitorowanie . Na wyświetlonej stronie wybierz metryki.
Obsługiwane metryki dla obiektów Microsoft.StreamAnalytics/streamingjobs
W poniższej tabeli wymieniono metryki dostępne dla typu zasobu Microsoft.StreamAnalytics/streamingjobs.
- Wszystkie kolumny mogą nie być obecne w każdej tabeli.
- Niektóre kolumny mogą wykraczać poza obszar wyświetlania strony. Wybierz pozycję Rozwiń tabelę , aby wyświetlić wszystkie dostępne kolumny.
Nagłówki tabeli
- Kategoria — grupa metryk lub klasyfikacja.
- Metryka — nazwa wyświetlana metryki wyświetlana wyświetlana w witrynie Azure Portal.
- Nazwa w interfejsie API REST — nazwa metryki określona w interfejsie API REST.
- Jednostka — jednostka miary.
- Agregacja — domyślny typ agregacji. Prawidłowe wartości: Średnia (średnia), Minimalna (Minimalna), Maksymalna (Maksymalna), Łączna (Suma), Liczba.
- - Wymiary dostępne dla metryki.
- Interwały ziarna - czasu, w których próbkowana jest metryka. Na przykład wskazuje,
PT1Mże metryka jest próbkowana co minutę,PT30Mco 30 minut,PT1Hco godzinę itd. - Eksportowanie ds — określa, czy metryka jest eksportowana do dzienników usługi Azure Monitor za pośrednictwem ustawień diagnostycznych. Aby uzyskać informacje na temat eksportowania metryk, zobacz Tworzenie ustawień diagnostycznych w usłudze Azure Monitor.
| Metric | Nazwa w interfejsie API REST | Jednostka | Agregacja | Wymiary | Ziarna czasu | Eksportowanie ds |
|---|---|---|---|---|---|---|
| Żądania funkcji, które zakończyły się niepowodzeniem Żądania funkcji zakończone niepowodzeniem |
AMLCalloutFailedRequests |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia funkcji Zdarzenia funkcji |
AMLCalloutInputEvents |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Żądania funkcji Żądania funkcji |
AMLCalloutRequests |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Błędy konwersji danych Błędy konwersji danych |
ConversionErrors |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Błędy deserializacji danych wejściowych Błędy deserializacji danych wejściowych |
DeserializationError |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia poza kolejnością Zdarzenia poza kolejnością |
DroppedOrAdjustedEvents |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia wczesnego wprowadzania danych wejściowych Wczesne zdarzenia wejściowe |
EarlyInputEvents |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Błędy środowiska uruchomieniowego Błędy środowiska uruchomieniowego |
Errors |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Wejściowe bajty zdarzeń Zdarzenia wejściowe (bajty) |
InputEventBytes |
Bajty | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia wejściowe Zdarzenia wejściowe |
InputEvents |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia wejściowe z zaległych danych wejściowych Zaległe zdarzenia wejściowe |
InputEventsSourcesBacklogged |
Count | Średnia, Maksymalna, Minimalna | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Odebrane źródła danych wejściowych Odebrane źródła danych wejściowych |
InputEventsSourcesPerSecond |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia późnych danych wejściowych Opóźnione zdarzenia wejściowe |
LateInputEvents |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Zdarzenia wyjściowe Zdarzenia wyjściowe |
OutputEvents |
Count | Suma (suma) | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Opóźnienie znaku wodnego Opóźnienie znaku wodnego |
OutputWatermarkDelaySeconds |
Sekundy | Średnia, Maksymalna, Minimalna | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Procentowe wykorzystanie procesora CPU Procentowe wykorzystanie procesora CPU |
ProcessCPUUsagePercentage |
Procent | Średnia, Maksymalna, Minimalna | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
| Wykorzystanie jednostek SU (pamięci) % Wykorzystanie jednostek SU (pamięci) % |
ResourceUtilization |
Procent | Średnia, Maksymalna, Minimalna | LogicalName, , PartitionId, , ProcessorInstanceNodeName |
PT1M | Tak |
Opisy metryk
Usługa Azure Stream Analytics udostępnia następujące metryki umożliwiające monitorowanie kondycji zadania.
| Jednostki metryczne | Definicja |
|---|---|
| Zdarzenia wejściowe z zaległych danych wejściowych | Liczba zdarzeń wejściowych, które są zaległe. Wartość niezerowa dla tej metryki oznacza, że zadanie nie może nadążyć za liczbą zdarzeń przychodzących. Jeśli ta wartość powoli rośnie lub stale niezerowa, należy skalować zadanie w poziomie. Aby dowiedzieć się więcej, zobacz Omówienie i dostosowywanie jednostek przesyłania strumieniowego. |
| Błędy konwersji danych | Liczba zdarzeń wyjściowych, których nie można przekonwertować na oczekiwany schemat wyjściowy. Aby usunąć zdarzenia napotkane w tym scenariuszu, możesz zmienić zasady błędów na Drop. |
| Procentowe wykorzystanie procesora CPU (wersja zapoznawcza) | Procent użycia procesora CPU przez zadanie. Nawet jeśli ta wartość jest bardzo wysoka (90 procent lub więcej), nie należy zwiększać liczby jednostek jednostki SU na podstawie samej tej metryki. Jeśli liczba zdarzeń wejściowych wstecznych lub opóźnień znaku wodnego wzrasta, możesz użyć tej metryki, aby określić, czy procesor jest wąskim gardłem. Ta metryka może mieć sporadyczne skoki. Zalecamy przeprowadzenie testów skalowania w celu określenia górnej granicy zadania, po którym dane wejściowe są opóźnione lub opóźnienia znaku wodnego zwiększają się z powodu wąskiego gardła procesora CPU. |
| Zdarzenia wczesnego wprowadzania danych wejściowych | Zdarzenia, których sygnatura czasowa aplikacji jest wcześniejsza niż czas ich przybycia do ponad 5 minut. |
| Żądania funkcji, które zakończyły się niepowodzeniem | Liczba zakończonych niepowodzeniem wywołań funkcji usługi Azure Machine Learning (jeśli istnieje). |
| Zdarzenia funkcji | Liczba zdarzeń wysyłanych do funkcji Usługi Azure Machine Learning (jeśli istnieje). |
| Żądania funkcji | Liczba wywołań funkcji Azure Machine Learning (jeśli jest obecna). |
| Błędy deserializacji danych wejściowych | Liczba zdarzeń wejściowych, których nie można zdeserializować. |
| Wejściowe bajty zdarzeń | Ilość danych odbieranych przez zadanie usługi Stream Analytics w bajtach. Za pomocą tej metryki można sprawdzić, czy zdarzenia są wysyłane do źródła danych wejściowych. |
| Zdarzenia wejściowe | Liczba rekordów zdeserializowanych ze zdarzeń wejściowych. Ta liczba nie obejmuje zdarzeń przychodzących, które powodują błędy deserializacji. Usługa Stream Analytics może pozyskiwać te same zdarzenia wiele razy w scenariuszach, takich jak operacje odzyskiwania wewnętrznego i samosprzężenia. Nie oczekuj , że metryki Zdarzenia wejściowe i Zdarzenia wyjściowe będą zgodne, jeśli zadanie ma proste zapytanie przekazywane. |
| Odebrane źródła danych wejściowych | Liczba komunikatów odbieranych przez zadanie. W przypadku usługi Azure Event Hubs komunikat jest pojedynczym EventData elementem. W przypadku usługi Azure Blob Storage komunikat jest pojedynczym obiektem blob. Należy pamiętać, że źródła wejściowe są liczone przed deserializacji. Jeśli występują błędy deserializacji, źródła wejściowe mogą być większe niż zdarzenia wejściowe. W przeciwnym razie źródła wejściowe mogą być mniejsze lub równe zdarzeń wejściowych, ponieważ każdy komunikat może zawierać wiele zdarzeń. |
| Zdarzenia późnych danych wejściowych | Zdarzenia, które przybyły później niż skonfigurowane okno tolerancji dla późnych przyjazdów. Dowiedz się więcej o zagadnieniach dotyczących kolejności zdarzeń usługi Azure Stream Analytics. |
| Zdarzenia poza kolejnością | Liczba zdarzeń odebranych z zamówienia, które zostały porzucone lub podane dostosowane sygnatury czasowe, na podstawie zasad porządkowania zdarzeń. Ta metryka może mieć wpływ na konfigurację ustawienia Okna Tolerancja poza kolejnością. |
| Zdarzenia wyjściowe | Ilość danych wysyłanych przez zadanie usługi Stream Analytics do miejsca docelowego danych wyjściowych w liczbie zdarzeń. |
| Błędy środowiska uruchomieniowego | Łączna liczba błędów związanych z przetwarzaniem zapytań. Wyklucza on błędy znalezione podczas pozyskiwania zdarzeń lub generowania wyników. |
| Wykorzystanie jednostek SU (pamięci) % | Procent pamięci używanej przez zadanie. Jeśli ta metryka stale rośnie o ponad 80 procent, opóźnienie limitu rośnie, a liczba zdarzeń zaległych rośnie, rozważ zwiększenie liczby jednostek przesyłania strumieniowego (SU). Wysokie wykorzystanie wskazuje, że zadanie używa blisko maksymalnych przydzielonych zasobów. |
| Opóźnienie znaku wodnego | Maksymalne opóźnienie limitu we wszystkich partycjach wszystkich danych wyjściowych zadania. |
Wymiary metryk
Aby uzyskać informacje na temat wymiarów metryk, zobacz Metryki wielowymiarowe.
Ta usługa ma następujące wymiary skojarzone z jej metrykami.
| Wymiar | Definicja |
|---|---|
| Nazwa logiczna | Nazwa danych wejściowych lub wyjściowych zadania usługi Stream Analytics. |
| Identyfikator partycji | Identyfikator partycji danych wejściowych ze źródła wejściowego. Jeśli na przykład źródłem danych wejściowych jest centrum zdarzeń, identyfikator partycji to identyfikator partycji centrum zdarzeń. W przypadku żenujących zadań równoległych identyfikator partycji w danych wyjściowych jest taki sam, jak w danych wejściowych. |
| Nazwa węzła | Identyfikator węzła przesyłania strumieniowego, który jest aprowizowany podczas uruchamiania zadania. Węzeł przesyłania strumieniowego reprezentuje ilość zasobów obliczeniowych i pamięci przydzielonych do zadania. |
Wymiar nazwy logicznej
Nazwa logiczna to nazwa wejściowa lub wyjściowa zadania usługi Stream Analytics. Załóżmy na przykład, że zadanie usługi Stream Analytics ma cztery dane wejściowe i pięć danych wyjściowych. Zobaczysz cztery pojedyncze dane wejściowe logiczne i pięć pojedynczych danych wyjściowych logicznych podczas dzielenia metryk związanych z danymi wejściowymi i wyjściowymi według tego wymiaru.
Wymiar Nazwa logiczna jest dostępny do filtrowania i dzielenia następujących metryk:
- Zdarzenia wejściowe z zaległych danych wejściowych
- Błędy konwersji danych
- Zdarzenia wczesnego wprowadzania danych wejściowych
- Błędy deserializacji danych wejściowych
- Wejściowe bajty zdarzeń
- Zdarzenia wejściowe
- Odebrano źródło wejściowe
- Zdarzenia późnych danych wejściowych
- Zdarzenia poza kolejnością
- Zdarzenia wyjściowe
- Opóźnienie znaku wodnego
Wymiar nazwy węzła
Węzeł przesyłania strumieniowego reprezentuje zestaw zasobów obliczeniowych używanych do przetwarzania danych wejściowych. Co sześć jednostek przesyłania strumieniowego (SU) przekłada się na jeden węzeł, którym usługa automatycznie zarządza w Twoim imieniu. Aby uzyskać więcej informacji na temat relacji między jednostkami przesyłania strumieniowego i węzłami przesyłania strumieniowego, zobacz Omówienie i dostosowywanie jednostek przesyłania strumieniowego.
Nazwa węzła to wymiar na poziomie węzła przesyłania strumieniowego. Może to pomóc w przechodzeniu do szczegółów określonych metryk na określonym poziomie węzła przesyłania strumieniowego. Na przykład można podzielić metryki % wykorzystania procesora CPU przez poziom węzła przesyłania strumieniowego, aby sprawdzić wykorzystanie procesora CPU dla pojedynczego węzła przesyłania strumieniowego.
Wymiar Nazwa węzła jest dostępny do filtrowania i dzielenia następujących metryk:
- Zdarzenia wejściowe z zaległych danych wejściowych
- Procentowe wykorzystanie procesora CPU (wersja zapoznawcza)
- Zdarzenia wejściowe
- Zdarzenia wyjściowe
- Wykorzystanie jednostek SU (pamięci) %
- Opóźnienie znaku wodnego
Wymiar identyfikatora partycji
Gdy dane przesyłane strumieniowo są pozyskiwane do usługi Azure Stream Analytics do przetwarzania, dane wejściowe są dystrybuowane do węzłów przesyłania strumieniowego zgodnie z partycjami w źródle wejściowym. Wymiar Identyfikator partycji jest identyfikatorem partycji danych wejściowych ze źródła danych wejściowych.
Jeśli na przykład źródłem danych wejściowych jest centrum zdarzeń, identyfikator partycji to identyfikator partycji centrum zdarzeń. Identyfikator partycji w danych wejściowych jest taki sam, jak w danych wyjściowych.
Wymiar Identyfikator partycji jest dostępny do filtrowania i dzielenia następujących metryk:
- Zdarzenia wejściowe z zaległych danych wejściowych
- Błędy konwersji danych
- Zdarzenia wczesnego wprowadzania danych wejściowych
- Błędy deserializacji danych wejściowych
- Wejściowe bajty zdarzeń
- Zdarzenia wejściowe
- Odebrano źródło wejściowe
- Zdarzenia późnych danych wejściowych
- Zdarzenia wyjściowe
- Opóźnienie znaku wodnego
Dzienniki zasobów
W tej sekcji wymieniono typy dzienników zasobów, które można zbierać dla tej usługi. Sekcja pobiera z listy wszystkich typów kategorii dzienników zasobów obsługiwanych w usłudze Azure Monitor.
Obsługiwane dzienniki zasobów dla obiektów Microsoft.StreamAnalytics/streamingjobs
| Kategoria | Nazwa wyświetlana kategorii | Tabela dzienników | Obsługuje podstawowy plan dziennika | Obsługuje transformację czasu pozyskiwania | Przykładowe zapytania | Koszty eksportowania |
|---|---|---|---|---|---|---|
Authoring |
Tworzenie | AzureDiagnostics Dzienniki z wielu zasobów platformy Azure. |
Nie | Nie. | Zapytania | Nie. |
Execution |
Wykonanie | AzureDiagnostics Dzienniki z wielu zasobów platformy Azure. |
Nie | Nie. | Zapytania | Nie. |
Schemat dzienników zasobów
Wszystkie dzienniki są przechowywane w formacie JSON. Każdy wpis ma następujące typowe pola ciągów:
| Nazwa/nazwisko | Opis |
|---|---|
| time | Sygnatura czasowa (w formacie UTC) dziennika. |
| resourceId | Identyfikator zasobu, na który miała miejsce operacja, w wielkim przypadku. Zawiera identyfikator subskrypcji, grupę zasobów i nazwę zadania. Na przykład /SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e4e/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT. STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| category | Kategoria dziennika, Wykonywanie lub Tworzenie. |
| operationName | Nazwa zarejestrowanej operacji. Na przykład wysyłanie zdarzeń: niepowodzenie zapisu danych wyjściowych SQL w usłudze mysqloutput. |
| status | Stan operacji. Na przykład Niepowodzenie lub Powodzenie. |
| poziom | Poziom dziennika. Na przykład Błąd, Ostrzeżenie lub Informacje. |
| właściwości | Szczegóły specyficzne dla wpisu dziennika, serializowane jako ciąg JSON. Aby uzyskać więcej informacji, zobacz następujące sekcje w tym artykule. |
Schemat właściwości dziennika wykonywania
Dzienniki wykonywania zawierają informacje o zdarzeniach, które wystąpiły podczas wykonywania zadania usługi Stream Analytics. Schemat właściwości różni się w zależności od tego, czy zdarzenie jest błędem danych, czy zdarzeniem ogólnym.
Błędy danych
Każdy błąd, który występuje, gdy zadanie przetwarza dane, znajduje się w tej kategorii dzienników. Te dzienniki są najczęściej tworzone podczas operacji odczytu, serializacji i zapisu danych. Te dzienniki nie zawierają błędów łączności. Błędy łączności są traktowane jako zdarzenia ogólne. Możesz dowiedzieć się więcej o przyczynie różnych błędów danych wejściowych i wyjściowych.
| Nazwa/nazwisko | opis |
|---|---|
| Źródło | Nazwa danych wejściowych lub wyjściowych zadania, w których wystąpił błąd. |
| Komunikat | Komunikat skojarzony z błędem. |
| Typ | Typ błędu. Na przykład DataConversionError, CsvParserError lub ServiceBusPropertyColumnMissingError. |
| Data | Zawiera dane przydatne do dokładnego zlokalizowania źródła błędu. Podlega obcinaniu, w zależności od rozmiaru. |
W zależności od wartości operationName błędy danych mają następujący schemat:
Serializacja zdarzeń występuje podczas operacji odczytu zdarzeń. Występują one, gdy dane wejściowe nie spełniają schematu zapytania z jednego z następujących powodów:
Niezgodność typów podczas serializacji/deserializacji zdarzeń: identyfikuje pole, które powoduje błąd.
Nie można odczytać zdarzenia, nieprawidłowa serializacja: wyświetla informacje o lokalizacji w danych wejściowych, w których wystąpił błąd. Zawiera nazwę obiektu blob dla danych wejściowych, przesunięć i przykładowych danych.
Zdarzenia wysyłania występują podczas operacji zapisu. Identyfikują zdarzenie przesyłania strumieniowego, które spowodowało błąd.
Zdarzenia ogólne
Zdarzenia ogólne obejmują wszystkie inne elementy.
| Nazwa/nazwisko | opis |
|---|---|
| Błąd | (opcjonalnie) Informacje o błędzie. Zazwyczaj są to informacje o wyjątku, jeśli są dostępne. |
| Komunikat | Komunikat dziennika. |
| Typ | Typ wiadomości. Mapuje na wewnętrzną kategoryzację błędów. Na przykład JobValidationError lub BlobOutputAdapterInitializationFailure. |
| Identyfikator korelacji | Identyfikator GUID, który jednoznacznie identyfikuje wykonywanie zadania. Wszystkie wpisy dziennika wykonywania od momentu uruchomienia zadania do momentu zatrzymania zadania mają taką samą wartość identyfikatora korelacji. |
Aby uzyskać informacje, zobacz listę wszystkich typów kategorii dzienników zasobów obsługiwanych w usłudze Azure Monitor lub wszystkich typów kategorii dzienników zasobów zebranych dla usługi Azure Stream Analytics.
Tabele dzienników usługi Azure Monitor
W tej sekcji wymieniono tabele dzienników usługi Azure Monitor dotyczące tej usługi, które są dostępne do wykonywania zapytań przez usługę Log Analytics przy użyciu zapytań Kusto. Tabele zawierają dane dziennika zasobów i prawdopodobnie więcej w zależności od tego, co jest zbierane i kierowane do nich.
Zadania usługi Stream Analytics
| Kategoria | Nazwa wyświetlana kategorii | Tabela dzienników | Obsługuje podstawowy plan dziennika | Obsługuje transformację czasu pozyskiwania | Przykładowe zapytania | Koszty eksportowania |
|---|---|---|---|---|---|---|
Authoring |
Tworzenie | AzureDiagnostics Dzienniki z wielu zasobów platformy Azure. |
Nie | Nie. | Zapytania | Nie. |
Execution |
Wykonanie | AzureDiagnostics Dzienniki z wielu zasobów platformy Azure. |
Nie | Nie. | Zapytania | Nie. |
Dziennik aktywności
Tabela połączona zawiera listę operacji, które można zarejestrować w dzienniku aktywności dla tej usługi. Te operacje są podzbiorem wszystkich możliwych operacji dostawcy zasobów w dzienniku aktywności.
Aby uzyskać więcej informacji na temat schematu wpisów dziennika aktywności, zobacz Schemat dziennika aktywności.