Delen via

Azure Stream Analytics bewaken

  • Artikel

In dit artikel wordt het volgende beschreven:

  • De typen bewakingsgegevens die u voor deze service kunt verzamelen.
  • Manieren om die gegevens te analyseren.

Notitie

Als u al bekend bent met deze service en/of Azure Monitor en alleen wilt weten hoe u bewakingsgegevens analyseert, raadpleegt u de sectie Analyseren aan het einde van dit artikel.

Wanneer u kritieke toepassingen en bedrijfsprocessen hebt die afhankelijk zijn van Azure-resources, moet u waarschuwingen voor uw systeem bewaken en ontvangen. De Azure Monitor-service verzamelt en aggregeert metrische gegevens en logboeken van elk onderdeel van uw systeem. Azure Monitor biedt een overzicht van beschikbaarheid, prestaties en tolerantie, en geeft u een overzicht van problemen. U kunt de Azure-portal, PowerShell, Azure CLI, REST API of clientbibliotheken gebruiken om bewakingsgegevens in te stellen en weer te geven.

Zie Stream Analytics-taken bewaken en beheren met Azure PowerShell-cmdlets en PowerShell-scripts voor instructies voor het bewaken en beheren van Azure Stream Analytics-resources met Azure PowerShell-cmdlets.

Resourcetypen

Azure maakt gebruik van het concept van resourcetypen en id's om alles in een abonnement te identificeren. Resourcetypen maken ook deel uit van de resource-id's voor elke resource die wordt uitgevoerd in Azure. Eén resourcetype voor een virtuele machine is Microsoft.Compute/virtualMachinesbijvoorbeeld . Zie Resourceproviders voor een lijst met services en de bijbehorende resourcetypen.

Azure Monitor organiseert op dezelfde manier kernbewakingsgegevens in metrische gegevens en logboeken op basis van resourcetypen, ook wel naamruimten genoemd. Er zijn verschillende metrische gegevens en logboeken beschikbaar voor verschillende resourcetypen. Uw service is mogelijk gekoppeld aan meer dan één resourcetype.

Zie de naslaginformatie over bewakingsgegevens van Azure Stream Analytics voor meer informatie over de resourcetypen voor Azure Stream Analytics.

Gegevensopslag

Voor Azure Monitor:

  • Metrische gegevens worden opgeslagen in de metrische gegevensdatabase van Azure Monitor.
  • Logboekgegevens worden opgeslagen in het logboekarchief van Azure Monitor. Log Analytics is een hulpprogramma in Azure Portal waarmee een query kan worden uitgevoerd op dit archief.
  • Het Azure-activiteitenlogboek is een afzonderlijk archief met een eigen interface in Azure Portal.

U kunt eventueel metrische gegevens en activiteitenlogboekgegevens routeren naar het logboekarchief van Azure Monitor. Vervolgens kunt u Log Analytics gebruiken om een query uit te voeren op de gegevens en deze te correleren met andere logboekgegevens.

Veel services kunnen diagnostische instellingen gebruiken om metrische gegevens en logboekgegevens te verzenden naar andere opslaglocaties buiten Azure Monitor. Voorbeelden hiervan zijn Azure Storage, gehoste partnersystemen en niet-Azure-partnersystemen, met behulp van Event Hubs.

Zie het Azure Monitor-gegevensplatform voor gedetailleerde informatie over hoe Azure Monitor gegevens opslaat.

Metrische gegevens van het Azure Monitor-platform

Azure Monitor biedt metrische platformgegevens voor de meeste services. Deze metrische gegevens zijn:

  • Afzonderlijk gedefinieerd voor elke naamruimte.
  • Opgeslagen in de metrische gegevensdatabase van Azure Monitor.
  • Lichtgewicht en in staat om bijna realtime waarschuwingen te ondersteunen.
  • Wordt gebruikt om de prestaties van een resource in de loop van de tijd bij te houden.

Verzameling: Azure Monitor verzamelt automatisch metrische platformgegevens. Er is geen configuratie vereist.

Routering: U kunt sommige metrische platformgegevens ook routeren naar Azure Monitor-logboeken/Log Analytics, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Controleer de DS-exportinstelling voor elke metriek om te zien of u een diagnostische instelling kunt gebruiken om de metrische gegevens te routeren naar Azure Monitor-logboeken/Log Analytics.

Zie Ondersteunde metrische gegevens in Azure Monitor voor een lijst met alle metrische gegevens die kunnen worden verzameld voor alle resources in Azure Monitor.

Metrische gegevens van Azure Stream Analytics

Zie Stream Analytics-taak bewaken met Azure Portal voor een beschrijving van het bewaken van metrische gegevens in Azure Portal.

Notitie

Azure Stream Analytics-taken die zijn gemaakt via REST API's, Azure SDK of PowerShell, hebben standaard geen bewaking ingeschakeld. Volg de stappen in Programmatisch een Stream Analytics-taakmonitor om bewaking in te schakelen. De bewakingsgegevens worden vervolgens weergegeven in het gebied Metrische gegevens van de Azure-portalpagina voor uw Stream Analytics-taak.

De volgende tabel bevat voorwaarden en corrigerende acties voor enkele veelgebruikte metrische gegevens van Azure Stream Analytics.

Metrische gegevens Conditie Tijdverzameling Threshold Corrigerende acties
SU (geheugen) % gebruik Groter dan Gemiddeld 80 Meerdere factoren verhogen het gebruik van RU's. U kunt schalen met queryparallelisatie of het aantal RU's verhogen. Zie Query-parallellisatie gebruiken in Azure Stream Analytics voor meer informatie.
CPU-gebruikspercentage Groter dan Gemiddeld 90 Dit betekent waarschijnlijk dat voor sommige bewerkingen (zoals door de gebruiker gedefinieerde functies, door de gebruiker gedefinieerde aggregaties of complexe invoerdeserialisatie) veel CPU-cycli nodig zijn. U kunt dit probleem meestal oplossen door het aantal RU's voor de taak te verhogen.
Runtimefouten Groter dan Totaal 0 Bekijk de activiteiten- of resourcelogboeken en breng de juiste wijzigingen aan in de invoer, query of uitvoer.
Watermerkvertraging Groter dan Gemiddeld Wanneer de gemiddelde waarde van deze metrische waarde in de afgelopen 15 minuten groter is dan de tolerantie voor late aankomst (in seconden). Als u de tolerantie voor late aankomst niet hebt gewijzigd, wordt de standaardwaarde ingesteld op 5 seconden. Verhoog het aantal RU's of parallelliseren van uw query. Zie Streaming-eenheden begrijpen en aanpassen voor meer informatie over RU's. Zie Queryparallelisatie gebruiken in Azure Stream Analytics voor meer informatie over het parallelliseren van uw query.
Fouten bij deserialisatie van invoer Groter dan Totaal 0 Bekijk de activiteiten- of resourcelogboeken en breng de juiste wijzigingen aan in de invoer. Zie Problemen met Azure Stream Analytics oplossen met behulp van resourcelogboeken voor meer informatie over resourcelogboeken.

Zie de naslaginformatie over bewakingsgegevens van Azure Stream Analytics voor een lijst en beschrijvingen van alle beschikbare metrische gegevens voor Azure Stream Analytics.

Azure Monitor-resourcelogboeken

Resourcelogboeken bieden inzicht in bewerkingen die zijn uitgevoerd door een Azure-resource. Logboeken worden automatisch gegenereerd, maar u moet ze routeren naar Azure Monitor-logboeken om ze op te slaan of er query's op uit te voeren. Logboeken zijn ingedeeld in categorieën. Een bepaalde naamruimte kan meerdere resourcelogboekcategorieën hebben.

Verzameling: Resourcelogboeken worden pas verzameld en opgeslagen als u een diagnostische instelling maakt en de logboeken doorsturen naar een of meer locaties. Wanneer u een diagnostische instelling maakt, geeft u op welke categorieën logboeken moeten worden verzameld. Er zijn meerdere manieren om diagnostische instellingen te maken en te onderhouden, waaronder Azure Portal, programmatisch en hoewel Azure Policy.

Routering: de voorgestelde standaardinstelling is het routeren van resourcelogboeken naar Azure Monitor-logboeken, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Azure-resourcelogboeken en resourcelogboekbestemmingen voor meer informatie.

Zie Diagnostische instellingen in Azure Monitor voor gedetailleerde informatie over het verzamelen, opslaan en routeren van resourcelogboeken.

Zie Ondersteunde resourcelogboeken in Azure Monitor voor een lijst met alle beschikbare resourcelogboekcategorieën in Azure Monitor.

Alle resourcelogboeken in Azure Monitor hebben dezelfde koptekstvelden, gevolgd door servicespecifieke velden. Het algemene schema wordt beschreven in het schema voor resourcelogboeken van Azure Monitor.

Azure Stream Analytics-logboeken

Azure Stream Analytics legt twee categorieën resourcelogboeken vast:

  • Ontwerpen: legt logboek gebeurtenissen vast die betrekking hebben op bewerkingen voor het ontwerpen van taken, zoals het maken van taken, het toevoegen en verwijderen van invoer en uitvoer, het toevoegen en bijwerken van de query en het starten of stoppen van de taak.

  • Uitvoering: legt gebeurtenissen vast die optreden tijdens het uitvoeren van de taak.

    • Connectiviteitsfouten
    • Gegevensverwerkingsfouten, waaronder:
      • Gebeurtenissen die niet voldoen aan de querydefinitie (niet-overeenkomende veldtypen en -waarden, ontbrekende velden, enzovoort)
      • Evaluatiefouten voor expressies
    • Andere gebeurtenissen en fouten

Zie de referentie voor bewakingsgegevens van Azure Stream Analytics voor de beschikbare resourcelogboekcategorieën, de bijbehorende Log Analytics-tabellen en de logboekschema's voor Azure Stream Analytics.

Zie Problemen met Azure Stream Analytics oplossen met behulp van resourcelogboeken voor gedetailleerde instructies voor het oplossen van problemen met Azure Stream Analytics-taken.

Azure-activiteitenlogboek

Het activiteitenlogboek bevat gebeurtenissen op abonnementsniveau waarmee bewerkingen voor elke Azure-resource worden bijgehouden, zoals van buiten die resource wordt gezien; Bijvoorbeeld het maken van een nieuwe resource of het starten van een virtuele machine.

Verzameling: gebeurtenissen in activiteitenlogboeken worden automatisch gegenereerd en verzameld in een afzonderlijk archief voor weergave in Azure Portal.

Routering: U kunt activiteitenlogboekgegevens verzenden naar Azure Monitor-logboeken, zodat u deze naast andere logboekgegevens kunt analyseren. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Overzicht van het Azure-activiteitenlogboek voor meer informatie over het routeren van het activiteitenlogboek.

Zie Foutopsporing met behulp van activiteitenlogboeken voor een gedetailleerd overzicht van het oplossen van fouten in Azure Stream Analytics-taken met behulp van het activiteitenlogboek.

Bewakingsgegevens analyseren

Er zijn veel hulpprogramma's voor het analyseren van bewakingsgegevens.

Azure Monitor-hulpprogramma's

Azure Monitor ondersteunt de volgende basishulpprogramma's:

Hulpprogramma's waarmee complexere visualisaties mogelijk zijn, zijn onder andere:

  • Dashboards waarmee u verschillende soorten gegevens kunt combineren in één deelvenster in Azure Portal.
  • Werkmappen, aanpasbare rapporten die u kunt maken in Azure Portal. Werkmappen kunnen tekst, metrische gegevens en logboekquery's bevatten.
  • Grafana, een open platformhulpprogramma dat excelleert in operationele dashboards. U kunt Grafana gebruiken om dashboards te maken die gegevens uit meerdere andere bronnen dan Azure Monitor bevatten.
  • Power BI, een business analytics-service die interactieve visualisaties biedt in verschillende gegevensbronnen. U kunt Power BI zo configureren dat logboekgegevens automatisch vanuit Azure Monitor worden geïmporteerd om te profiteren van deze visualisaties.

Azure Monitor-exporthulpprogramma's

U kunt gegevens uit Azure Monitor ophalen in andere hulpprogramma's met behulp van de volgende methoden:

Als u aan de slag wilt gaan met de REST API voor Azure Monitor, raadpleegt u de stapsgewijze instructies voor Azure Monitoring REST API.

Kusto-query's

U kunt bewakingsgegevens analyseren in de Azure Monitor-logboeken/Log Analytics-opslag met behulp van de Kusto-querytaal (KQL).

Belangrijk

Wanneer u Logboeken selecteert in het menu van de service in de portal, wordt Log Analytics geopend met het querybereik ingesteld op de huidige service. Dit bereik betekent dat logboekquery's alleen gegevens uit dat type resource bevatten. Als u een query wilt uitvoeren die gegevens uit andere Azure-services bevat, selecteert u Logboeken in het menu Azure Monitor . Zie Log-querybereik en tijdsbereik in Azure Monitor Log Analytics voor meer informatie.

Zie de interface voor Log Analytics-query's voor een lijst met algemene query's voor elke service.

Voorbeeldquery's

Hieronder vindt u voorbeeldquery's die u kunt gebruiken om uw Azure Stream Analytics-resources te bewaken:

  • Geef alle invoergegevensfouten weer. De volgende query toont alle fouten die zijn opgetreden tijdens het verwerken van de gegevens uit invoer.

    AzureDiagnostics 
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).Type == "DataError" 
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Gebeurtenissen die te laat aankwamen. In de volgende query worden fouten weergegeven vanwege gebeurtenissen waarbij het verschil tussen de tijd van de toepassing en de aankomsttijd groter is dan het beleid voor late aankomst.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and  parse_json(properties_s).DataErrorType == "LateInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Gebeurtenissen die vroeg aankwamen. In de volgende query worden fouten weergegeven vanwege gebeurtenissen waarbij het verschil tussen de tijd van de toepassing en de aankomsttijd groter is dan 5 minuten.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "EarlyInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Gebeurtenissen die niet in orde zijn. In de volgende query worden fouten weergegeven vanwege gebeurtenissen die niet in orde zijn volgens het out-of-orderbeleid.

    // To create an alert for this query, click '+ New alert rule'
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "OutOfOrderEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Alle uitvoergegevensfouten. De volgende query bevat alle fouten die zijn opgetreden tijdens het schrijven van de resultaten van de query naar de uitvoer in uw taak.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType in ("OutputDataConversionError.RequiredColumnMissing", "OutputDataConversionError.ColumnNameInvalid", "OutputDataConversionError.TypeConversionError", "OutputDataConversionError.RecordExceededSizeLimit", "OutputDataConversionError.DuplicateKey")
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • De volgende query toont de samenvatting van mislukte bewerkingen in de afgelopen zeven dagen.

    AzureDiagnostics
| where TimeGenerated > ago(7d) //last 7 days
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and status_s == "Failed" 
| summarize Count=count(), sampleEvent=any(properties_s) by JobName=Resource

Waarschuwingen

Azure Monitor-waarschuwingen melden u proactief wanneer er specifieke voorwaarden worden gevonden in uw bewakingsgegevens. Met waarschuwingen kunt u problemen in uw systeem identificeren en oplossen voordat uw klanten ze opmerken. Zie Azure Monitor-waarschuwingen voor meer informatie.

Er zijn veel bronnen van algemene waarschuwingen voor Azure-resources. Zie Voorbeeldquery's voor logboekwaarschuwingen voor voorbeelden van veelvoorkomende waarschuwingen voor Azure-resources. De site Azure Monitor Baseline Alerts (AMBA) biedt een semi-geautomatiseerde methode voor het implementeren van belangrijke metrische platformwaarschuwingen, dashboards en richtlijnen. De site is van toepassing op een voortdurend uitbreidende subset van Azure-services, inclusief alle services die deel uitmaken van de Azure Landing Zone (ALZ).

Het algemene waarschuwingsschema standaardiseert het verbruik van Azure Monitor-waarschuwingsmeldingen. Zie Algemeen waarschuwingsschema voor meer informatie.

Typen waarschuwingen

U kunt een waarschuwing ontvangen voor elke metrische gegevensbron of logboekgegevensbron in het Azure Monitor-gegevensplatform. Er zijn veel verschillende typen waarschuwingen, afhankelijk van de services die u bewaakt en de bewakingsgegevens die u verzamelt. Verschillende typen waarschuwingen hebben verschillende voordelen en nadelen. Zie Het juiste waarschuwingstype voor bewaking kiezen voor meer informatie.

In de volgende lijst worden de typen Azure Monitor-waarschuwingen beschreven die u kunt maken:

  • Metrische waarschuwingen evalueren met regelmatige tussenpozen resourcegegevens. Metrische gegevens kunnen metrische platformgegevens, aangepaste metrische gegevens, logboeken van Azure Monitor zijn geconverteerd naar metrische gegevens of metrische Gegevens van Application Insights. Metrische waarschuwingen kunnen ook meerdere voorwaarden en dynamische drempelwaarden toepassen.
  • Met logboekwaarschuwingen kunnen gebruikers een Log Analytics-query gebruiken om resourcelogboeken met een vooraf gedefinieerde frequentie te evalueren.
  • Waarschuwingen voor activiteitenlogboeken worden geactiveerd wanneer een nieuwe gebeurtenis van het activiteitenlogboek plaatsvindt die overeenkomt met gedefinieerde voorwaarden. Resource Health-waarschuwingen en Service Health-waarschuwingen zijn waarschuwingen voor activiteitenlogboeken die rapporteren over uw service en resourcestatus.

Sommige Azure-services ondersteunen ook waarschuwingen voor slimme detectie, Prometheus-waarschuwingen of aanbevolen waarschuwingsregels.

Voor sommige services kunt u op schaal bewaken door dezelfde waarschuwingsregel voor metrische gegevens toe te passen op meerdere resources van hetzelfde type dat in dezelfde Azure-regio aanwezig is. Afzonderlijke meldingen worden verzonden voor elke bewaakte resource. Zie Meerdere resources bewaken met één waarschuwingsregel voor ondersteunde Azure-services en -clouds.

Waarschuwingsregels voor Azure Stream Analytics

De volgende tabel bevat enkele voorgestelde waarschuwingsregels voor Azure Stream Analytics. Deze waarschuwingen zijn slechts voorbeelden. U kunt waarschuwingen instellen voor elke vermelding van metrische gegevens, logboekvermeldingen of activiteitenlogboeken die worden vermeld in de azure Stream Analytics-bewakingsgegevensverwijzing.

Waarschuwingstype Voorwaarde Beschrijving
Metrische platformgegevens Geheugengebruik van streaming-eenheid (SU) Wanneer het gemiddelde SU-gebruik (geheugen) % hoger is dan 80%
Activiteitenlogboek Mislukte bewerkingen Wanneer het activiteitenlogboek een gebeurtenis heeft met Category='Administrative', Signal name='All Administrative Operations', Status='Failed'

Zie Waarschuwingen instellen voor Azure Stream Analytics-taken voor gedetailleerde instructies voor het instellen van een waarschuwing voor Azure Stream Analytics.

Advisor-aanbevelingen

Voor sommige services, als er kritieke omstandigheden of aanstaande wijzigingen optreden tijdens resourcebewerkingen, wordt een waarschuwing weergegeven op de pagina Serviceoverzicht in de portal. Meer informatie en aanbevolen oplossingen voor de waarschuwing vindt u in Advisor-aanbevelingen onder Bewaking in het linkermenu. Tijdens normale bewerkingen worden er geen aanbevelingen van advisor weergegeven.

Zie het overzicht van Azure Advisor voor meer informatie over Azure Advisor.

Gerelateerde inhoud