Monitorowanie stanu i wydajności strumienia zdarzeń
Funkcja strumieni zdarzeń usługi Microsoft Fabric umożliwia łatwe monitorowanie danych zdarzeń przesyłania strumieniowego, stanu pozyskiwania i wydajności pozyskiwania. W tym artykule wyjaśniono, jak monitorować stan strumienia zdarzeń, sprawdzać dzienniki, błędy i szczegółowe informacje o danych za pomocą metryk.
W strumieniu zdarzeń istnieją dwa typy środowisk monitorowania: szczegółowe informacje o danych i dzienniki środowiska uruchomieniowego. Zobaczysz jeden lub oba widoki w zależności od wybranego źródła lub miejsca docelowego.
Wymagania wstępne
Przed rozpoczęciem musisz mieć następujące elementy:
- Dostęp do obszaru roboczego z uprawnieniami podglądu lub wyższymi uprawnieniami, w których znajduje się element eventstream.
- Źródło centrum zdarzeń platformy Azure lub miejsce docelowe usługi Lakehouse dodane do strumienia zdarzeń.
Analiza danych
Karta Szczegółowe informacje o danych jest wyświetlana w dolnym okienku edytora głównego. Karta zawiera metryki, których można użyć do monitorowania stanu i wydajności strumienia zdarzeń, źródeł i miejsc docelowych. Różne źródła i miejsca docelowe mają różne metryki. Po wybraniu węzła na kanwie edytora głównego metryki dla tego konkretnego węzła będą wyświetlane na karcie Szczegółowe informacje o danych.
Szczegółowe informacje o danych w węźle strumienia zdarzeń
Następujące metryki są wyświetlane dla węzła strumienia zdarzeń na karcie Szczegółowe informacje o danych:
| Metric | Jednostka | opis |
|---|---|---|
| IncomingMessages | Count | Liczba zdarzeń lub komunikatów wysyłanych do strumienia zdarzeń w określonym przedziale czasu. |
| Wychodzące wiadomości | Count | Liczba zdarzeń lub komunikatów wychodzących z strumienia zdarzeń w określonym przedziale czasu. |
| Bajty przychodzące | Bajty | Bajty przychodzące dla strumienia zdarzeń w określonym przedziale czasu. |
| Bajty wychodzące | Bajty | Bajty wychodzące dla strumienia zdarzeń w określonym przedziale czasu. |
Aby wyświetlić szczegółowe informacje o danych dla strumienia zdarzeń:
Wybierz węzeł eventstream na kanwie edytora głównego.
W dolnym okienku wybierz kartę Szczegółowe informacje o danych.
Jeśli dane znajdują się wewnątrz strumienia zdarzeń, wykres metryk zostanie wyświetlony na karcie Szczegółowe informacje o danych.
Po prawej stronie karty zaznacz pola wyboru obok metryk, które chcesz wyświetlić.
Szczegółowe informacje o danych w źródle centrum zdarzeń platformy Azure, źródle usługi Azure iot Hub, lokalizacja docelowa bazy danych lakehouse i węzły docelowe bazy danych KQL
Następujące metryki są dostępne na karcie Szczegółowe informacje o danych dla węzłów źródła centrum zdarzeń platformy Azure, źródła usługi Azure iot Hub, miejsca docelowego bazy danych lakehouse i lokalizacji docelowej bazy danych KQL (przetwarzanie zdarzeń przed rozpoczęciem pozyskiwania):
| Metric | Jednostka | opis |
|---|---|---|
| Zdarzenia wejściowe | Count | Liczba danych zdarzeń pobieranych przez aparat strumienia zdarzeń z strumienia zdarzeń (w miejscu docelowym usługi Lakehouse lub lokalizacji docelowej bazy danych KQL) lub ze źródła centrum zdarzeń platformy Azure (w źródle centrum zdarzeń platformy Azure). |
| Bajty zdarzeń wejściowych | Bajty | Ilość danych zdarzenia pobieranych przez aparat strumienia zdarzeń z strumienia zdarzeń (w miejscu docelowym usługi Lakehouse lub lokalizacji docelowej bazy danych KQL) lub ze źródła centrum zdarzeń platformy Azure (w źródle centrum zdarzeń platformy Azure). |
| Zdarzenia wyjściowe | Count | Liczba danych zdarzeń wysyłanych przez aparat strumienia zdarzeń do bazy danych lakehouse lub KQL (w miejscu docelowym bazy danych lakehouse lub bazie danych KQL) lub strumieniu zdarzeń (w źródle centrum zdarzeń platformy Azure). |
| Zdarzenia wejściowe z zaległych danych wejściowych | Count | Liczba zdarzeń wejściowych, które są zaległe w aucie eventstream. |
| Błędy środowiska uruchomieniowego | Count | Łączna liczba błędów związanych z przetwarzaniem zdarzeń. |
| Błędy konwersji danych | Count | Liczba zdarzeń wyjściowych, których nie można przekonwertować na oczekiwany schemat wyjściowy. |
| błędy deserializacji | Count | Liczba zdarzeń wejściowych, których nie można zdeserializować wewnątrz aparatu strumienia zdarzeń. |
| Opóźnienie znaku wodnego | Second | Maksymalne opóźnienie limitu we wszystkich partycjach wszystkich danych wyjściowych dla tego źródła lub miejsca docelowego. Jest obliczany jako czas zegara ściany minus największy znak wodny. |
Aby wyświetlić szczegółowe informacje o danych dla źródła centrum zdarzeń platformy Azure, źródła usługi Azure iot Hub, miejsca docelowego bazy danych lakehouse lub miejsca docelowego bazy danych KQL (przetwarzanie zdarzeń przed rozpoczęciem pozyskiwania):
Wybierz węzeł źródłowy centrum zdarzeń platformy Azure, źródło centrum iot platformy Azure, węzeł docelowy usługi Lakehouse lub węzeł docelowy bazy danych KQL na kanwie edytora głównego
W dolnym okienku wybierz kartę Szczegółowe informacje o danych.
Jeśli dane znajdują się wewnątrz źródła centrum zdarzeń platformy Azure, miejsca docelowego bazy danych lakehouse lub miejsca docelowego bazy danych KQL, wykres metryk zostanie wyświetlony na karcie Szczegółowe informacje o danych.
Po prawej stronie karty zaznacz pola wyboru obok metryk, które chcesz wyświetlić.
Szczegółowe informacje o danych w węzłach źródłowych łącznika przesyłania strumieniowego
Węzły źródłowe łącznika przesyłania strumieniowego obejmują następujące źródła:
- Przechwytywanie zmian danych w usłudze Azure SQL Database (CDC)
- CdC bazy danych PostgreSQL
- Usługa CDC bazy danych MySQL
- Azure Cosmos DB CDC
- Program SQL Server w bazie danych maszyny wirtualnej (CDC)
- Azure SQL Managed Instance CDC
- Google Cloud Pub/Sub
- Strumienie danych Amazon Kinesis
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
Następujące metryki są dostępne na karcie Szczegółowe informacje o danych dla węzłów źródłowych łącznika przesyłania strumieniowego:
| Metric | Jednostka | opis |
|---|---|---|
| Źródłowe zdarzenia wychodzące | Count | Liczba rekordów wyjściowych z przekształceń (jeśli istnieje) i zapisanych w strumieniu zdarzeń dla zadania należącego do nazwanego łącznika źródłowego w ramach procesu roboczego (od czasu ostatniego ponownego uruchomienia zadania). |
| Źródłowe zdarzenia przychodzące | Count | Przed zastosowaniem przekształceń jest to liczba rekordów utworzonych lub sondowanych przez zadanie należące do nazwanego łącznika źródłowego w ramach procesu roboczego (od czasu ostatniego ponownego uruchomienia zadania). |
| Zarejestrowane błędy łącznika | Count | Liczba błędów zarejestrowanych dla tych zadań łącznika. |
| Błędy przetwarzania łącznika | Count | Liczba błędów przetwarzania rekordów w tych zadaniach łącznika. |
| Błędy przetwarzania łącznika | Count | Liczba niepowodzeń przetwarzania rekordów w tych zadaniach łącznika, w tym niepowodzenia ponawiania prób. |
| Pominięte zdarzenia łącznika | Count | Liczba rekordów pominiętych z powodu błędów w tych zadaniach łącznika. |
Aby wyświetlić szczegółowe informacje o danych dla źródła łącznika przesyłania strumieniowego:
- Wybierz pozycję Użyj źródła zewnętrznego, a następnie wybierz źródło łącznika przesyłania strumieniowego.
- Konfigurowanie i publikowanie źródła łącznika przesyłania strumieniowego.
- W dolnym okienku w widoku na żywo wybierz kartę Szczegółowe informacje o danych.
- Jeśli dane znajdują się w źródle łącznika przesyłania strumieniowego, wykres metryk zostanie wyświetlony na karcie Szczegółowe informacje o danych.
- Po prawej stronie karty zaznacz pola wyboru obok metryk, które chcesz wyświetlić.
Dzienniki środowiska uruchomieniowego
Karta Dzienniki środowiska uruchomieniowego umożliwia sprawdzenie szczegółowych dzienników występujących w aucie eventstream. Dzienniki środowiska uruchomieniowego mają trzy poziomy ważności: ostrzeżenie, błąd i informacje.
Aby wyświetlić dzienniki środowiska uruchomieniowego źródła centrum zdarzeń platformy Azure, źródło centrum iot Platformy Azure, źródło łącznika przesyłania strumieniowego, miejsce docelowe bazy danych lakehouse i miejsce docelowe bazy danych KQL (przetwarzanie zdarzeń przed rozpoczęciem pozyskiwania):
Wybierz źródło centrum zdarzeń platformy Azure, źródło łącznika przesyłania strumieniowego, miejsce docelowe bazy danych lakehouse lub miejsce docelowe bazy danych KQL na kanwie edytora głównego.
W dolnym okienku wybierz kartę Dzienniki środowiska uruchomieniowego.
Jeśli w źródle centrum zdarzeń platformy Azure znajdują się dane, miejsce docelowe bazy danych lakehouse lub miejsce docelowe bazy danych KQL, dzienniki są wyświetlane na karcie Dzienniki środowiska uruchomieniowego.
Przeszukaj dzienniki za pomocą opcji Filtruj według słowa kluczowego lub przefiltruj listę, zmieniając ważność lub typ.
Aby wyświetlić najnowsze dzienniki, wybierz pozycję Odśwież.
