Bewakingsgegevens van Azure streamen naar een Event Hub en externe partner
Een effectieve methode voor het streamen van gegevens van Azure Monitor naar externe hulpprogramma's is het gebruik van Azure Event Hubs. Dit artikel bevat een beschrijving van het streamen van gegevens naar Event Hubs en een lijst met enkele partners die deze gegevens van de hub kunnen gebruiken. Sommige partners integreren met Azure Monitor en hebben gehoste Azure-services.
Een Event Hubs-naamruimte maken
Voordat u streaming configureert voor een gegevensbron, moet u een Event Hubs-naamruimte en Event Hub maken. Deze naamruimte en Event Hub zijn de bestemming voor al uw bewakingsgegevens. Een Event Hubs-naamruimte is een logische groepering van Event Hubs die hetzelfde toegangsbeleid delen, net zoals een opslagaccount afzonderlijke containers voor blobs in het opslagaccount heeft. Bekijk de volgende details over de Event Hubs-naamruimte en Event Hubs die u gebruikt voor het streamen van bewakingsgegevens:
- Met het aantal doorvoereenheden kunt u de doorvoerschaal voor uw Event Hubs verhogen. Er is doorgaans slechts één doorvoereenheid nodig. Als u omhoog moet schalen naarmate uw logboekgebruik toeneemt, kunt u het aantal doorvoereenheden voor de naamruimte handmatig verhogen of automatische inflatie inschakelen.
- Met het aantal partities kunt u het verbruik parallelliseren voor veel consumenten. Eén partitie kan maximaal 20 MBps of ongeveer 20.000 berichten per seconde ondersteunen. Afhankelijk van het hulpprogramma dat de gegevens verbruikt, kan het al dan niet ondersteuning bieden voor het verbruik van meerdere partities. Vier partities zijn redelijk om mee te beginnen als u niet zeker weet hoeveel partities u wilt instellen.
- Stel de bewaarperiode van berichten op uw Event Hub in op ten minste zeven dagen. Als uw verbruikende hulpprogramma langer dan een dag uitvalt, zorgt deze retentie ervoor dat het hulpprogramma kan ophalen waar het was gebleven voor gebeurtenissen tot zeven dagen oud.
- Gebruik de standaardconsumentgroep voor uw Event Hub. U hoeft geen andere consumentengroepen te maken of een afzonderlijke consumentengroep te gebruiken, tenzij u van plan bent om twee verschillende hulpprogramma's dezelfde gegevens uit dezelfde Event Hub te gebruiken.
- Wanneer u voor het Azure-activiteitenlogboek een Event Hubs-naamruimte selecteert, maakt Azure Monitor een Event Hub binnen die naamruimte met de naamruimte
insights-logs-operational-logs
. Voor andere logboektypen kunt u een bestaande Event Hub kiezen of Azure Monitor een Event Hub per logboekcategorie laten maken. - Uitgaande poort 5671 en 5672 moeten worden geopend op de machine of het virtuele netwerk dat gegevens uit de Event Hub verbruikt.
Streamingmethoden
Gegevens kunnen worden verzonden naar Event Hubs met behulp van de volgende methoden in Azure Monitor:
Regels voor gegevensverzameling
Regels voor gegevensverzameling worden gebruikt om logboeken en metrische gegevens te streamen naar Event Hubs, Log Analytics-werkruimten en Azure Storage. Zie Regels voor gegevensverzameling in Azure Monitor en regels voor gegevensverzameling maken en bewerken voor informatie over het instellen van regels voor gegevensverzameling.Diagnostische instellingen
Gebruik de diagnostische instelling om logboeken en metrische gegevens te streamen naar Event Hubs. Zie Diagnostische instellingen maken voor meer informatie over het instellen van diagnostische instellingen.Handmatig streamen met Logic Apps
Voor gegevens die u niet rechtstreeks naar een Event Hub kunt streamen, kunt u naar Azure Storage schrijven en vervolgens een door tijd geactiveerde logische app gebruiken waarmee gegevens uit Azure Blob Storage worden opgehaald en gepusht als een bericht naar de Event Hub. Zie Verbinding maken met een Event Hub vanuit werkstromen in Azure Logic Apps voor meer informatie.
Bestandsindelingen
De volgende JSON is een voorbeeld van metrische gegevens die naar een Event Hub worden verzonden:
[
{
"records": [
{
"count": 2,
"total": 0.217,
"minimum": 0.042,
"maximum": 0.175,
"average": 0.1085,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 2,
"total": 0.284,
"minimum": 0.053,
"maximum": 0.231,
"average": 0.142,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:04:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 1,
"total": 1,
"minimum": 1,
"maximum": 1,
"average": 1,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "Requests",
"timeGrain": "PT1M"
},
...
]
}
]
De volgende JSON is een voorbeeld van logboekgegevens die naar een Event Hub worden verzonden:
[
{
"records": [
{
"time": "2023-04-18T09:39:56.5027358Z",
"category": "AuditEvent",
"operationName": "VaultGet",
"resultType": "Success",
"correlationId": "cccc2222-dd33-4444-55ee-666666ffffff",
"callerIpAddress": "10.0.0.10",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "dddddddd-3333-4444-5555-eeeeeeeeeeee",
"appid": "44445555-eeee-6666-ffff-7777aaaa8888"
}
},
"properties": {
"id": "https://mykeyvault.vault.azure.net/",
"clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
"requestUri": "https://northeurope.management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
"httpStatusCode": 200,
"properties": {
"sku": {
"Family": "A",
"Name": "Standard",
"Capacity": null
},
"tenantId": "bbbbcccc-1111-dddd-2222-eeee3333ffff",
"networkAcls": null,
"enabledForDeployment": 0,
"enabledForDiskEncryption": 0,
"enabledForTemplateDeployment": 0,
"enableSoftDelete": 1,
"softDeleteRetentionInDays": 90,
"enableRbacAuthorization": 0,
"enablePurgeProtection": null
}
},
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
"operationVersion": "2023-02-01",
"resultSignature": "OK",
"durationMs": "16"
}
],
"EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
"PartitionId": 1,
"EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
},
...
Partnerhulpprogramma's met Azure Monitor-integratie
Door uw bewakingsgegevens te routeren naar een Event Hub met Azure Monitor, kunt u eenvoudig integreren met externe SIEM- en bewakingshulpprogramma's. De volgende tabel bevat voorbeelden van hulpprogramma's met Azure Monitor-integratie.
Hulpprogramma | Gehost in Azure | Beschrijving |
---|---|---|
IBM QRadar | Nee | Microsoft Azure DSM en Microsoft Azure Event Hubs Protocol zijn beschikbaar om te downloaden via de ondersteuningswebsite van IBM. |
Splunk | Nee | Splunk-invoegtoepassing voor Microsoft Cloud Services is een opensource-project dat beschikbaar is in Splunkbase. Als u geen invoegtoepassing in uw Splunk-exemplaar kunt installeren en u een proxy gebruikt of in Splunk Cloud uitvoert, kunt u deze gebeurtenissen doorsturen naar de Splunk HTTP-gebeurtenisverzamelaar met behulp van Azure Function voor Splunk. Dit hulpprogramma wordt geactiveerd door nieuwe berichten in de Event Hub. |
SumoLogic | Nee | Instructies voor het instellen van SumoLogic om gegevens van een Event Hub te gebruiken, zijn beschikbaar via Logboeken verzamelen voor de Azure Audit-app van Event Hubs. |
ArcSight | Nee | De slimme connector van ArcSight Azure Event Hubs is beschikbaar als onderdeel van de verzameling slimme ArcSight-connectors. |
Syslog-server | Nee | Als u Azure Monitor-gegevens rechtstreeks naar een Syslog-server wilt streamen, kunt u een oplossing gebruiken op basis van een Azure-functie. |
LogRhythm | Nee | Instructies voor het instellen van LogRhythm voor het verzamelen van logboeken van een Event Hub zijn beschikbaar op deze LogRhythm-website. |
Logz.io | Ja | Zie Aan de slag met bewaking en logboekregistratie met behulp van Logz.io voor Java-apps die worden uitgevoerd in Azure voor meer informatie. |
Volgende stappen
- Azure Monitor-gegevensbronnen en methoden voor gegevensverzameling
- Regels voor gegevensverzameling van Azure Monitor
- Metrische gegevens exporteren met behulp van regels voor gegevensverzameling
- Diagnostische instellingen van Azure Monitor
- Een waarschuwing instellen op basis van een gebeurtenis in een activiteitenlogboek